RU2769671C1 - Method and device for contactless scanning of biological objects - Google Patents

Method and device for contactless scanning of biological objects Download PDF

Info

Publication number
RU2769671C1
RU2769671C1 RU2021111415A RU2021111415A RU2769671C1 RU 2769671 C1 RU2769671 C1 RU 2769671C1 RU 2021111415 A RU2021111415 A RU 2021111415A RU 2021111415 A RU2021111415 A RU 2021111415A RU 2769671 C1 RU2769671 C1 RU 2769671C1
Authority
RU
Russia
Prior art keywords
nipples
optical sensor
control unit
coordinates
dimensional image
Prior art date
Application number
RU2021111415A
Other languages
Russian (ru)
Inventor
Владимир Вячеславович Кирсанов
Дмитрий Юрьевич Павкин
Денис Викторович Шилин
Игорь Мамедяревич Довлатов
Семен Сергеевич Рузин
Сергей Сергеевич Юрочка
Original Assignee
Федеральное государственное бюджетное научное учреждение «Федеральный научный агроинженерный центр ВИМ» (ФГБНУ ФНАЦ ВИМ)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное научное учреждение «Федеральный научный агроинженерный центр ВИМ» (ФГБНУ ФНАЦ ВИМ) filed Critical Федеральное государственное бюджетное научное учреждение «Федеральный научный агроинженерный центр ВИМ» (ФГБНУ ФНАЦ ВИМ)
Priority to RU2021111415A priority Critical patent/RU2769671C1/en
Application granted granted Critical
Publication of RU2769671C1 publication Critical patent/RU2769671C1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01J—MANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00—Milking machines or devices
    • A01J5/017—Automatic attaching or detaching of clusters

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Animal Husbandry (AREA)
  • Environmental Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

FIELD: agriculture.SUBSTANCE: invention relates to agriculture. A device for non-contact determination of cow udder nipples, characterized in that it includes an optical sensor 1 for obtaining a three-dimensional image of the nipples, a manipulator 5 and a control unit 8 for processing a three-dimensional image of the nipples, while the optical sensor 1 is mounted on a rotary mechanism 2, which is fixed to the boom 3, while the boom 3 is attached with the other end by a rotary mechanism 4 to the manipulator 5. A method for non-contact determination of cow udder nipples using the device described above is that, using an optical sensor 1, a three-dimensional image of the nipples is obtained, transmitted to the control unit 8, three-dimensional images are processed and the boundaries of at least one nipple 7 are found, the rest of the nipples are determined, three-dimensional images are filtered from noise, the vertical and horizontal edges of the nipples are found, the inclination angles of the nipples, the distances between the nipples are determined, the coordinates of the lower point of the nipples are calculated, the sections of the three-dimensional image are filtered and the coordinates of the tips of the nipples are transmitted to the control unit 8, it differs in that the control unit 8 signals a change in the position of the optical sensor 1 by activating the rotary mechanism 2 of the optical sensor, and by moving the boom 3 by activating the rotary mechanism 4 determines its actual position, and also normalizes the angle of the three-dimensional image with respect to the optical sensor 1.EFFECT: invention makes it possible to increase the efficiency of determining the coordinates of the tips of the nipples of the udder of a dairy cow, reduce the number of unsuccessful attempts to determine the coordinates of the tips of the nipples and speed up the milking process.2 cl, 4 dwg

Description

Устройство относится к сельскому хозяйству, в частности к вспомогательным устройствам доильных машин или устройств, средствам распознавания объектов и определения их координат в пространстве, определения сосков вымени молочной коровы для последующего наведения роботизированного манипулятора и одевания доильных стаканов, при доении коров на роботизированных доильных установках.The device relates to agriculture, in particular to auxiliary devices of milking machines or devices, means for recognizing objects and determining their coordinates in space, determining the udder teats of a dairy cow for subsequent guidance of a robotic arm and putting on milking cups, when milking cows on robotic milking machines.

В патентном документе EP 2369911 B1, опубл. 06.01.2016, МПК A01J5/017 описано устройство прикрепления доильных стаканов, способ получения трехмерных координат положения сосков вымени. Для обнаружения сосков вымени коровы для последующего прикрепления доильных стаканов производится оценка позиционирования, где вычисляются трехмерные координаты нижней точки соска. После получения координат кончика сосков по осям Х, У (в мировой системе координат) производится горизонтальная оценка положения кончика сосков по оси z, угол наклона сосков. Дополнительно способ включает оценку длины сосков. Дополнительно способ включает оценку местоположения сосков для конкретной коровы в станке.In the patent document EP 2369911 B1, publ. 01/06/2016, IPC A01J5/017 describes a device for attaching teat cups, a method for obtaining three-dimensional coordinates of the position of the udder teats. In order to locate the teats of the cow's udder for the subsequent attachment of teat cups, a positioning evaluation is performed, where three-dimensional coordinates of the lowest point of the teat are calculated. After obtaining the coordinates of the tip of the nipples along the X, Y axes (in the world coordinate system), a horizontal assessment of the position of the tip of the nipples along the z axis, the angle of inclination of the nipples is made. Additionally, the method includes estimating the length of the nipples. Additionally, the method includes estimating the location of teats for a particular cow in the pen.

Недостаток известного способа заключается в неэффективном способе обнаружения сосков вымени. При сканировании сосков коровы с одного положения в непосредственной близости оптического устройства от вымени, есть вероятность, что задние соски будут отсканированы некорректно или не замечены. Результатом данного устройства на практике являются ошибки при сканировании, что заставляет затрачивать большее время на одевание доильных стаканов, что в свою очередь увеличивает время доения одной коровы, где от увеличения времени доения получаем меньшее количество молока и снижаем пропускную способность одной роботизированной установки.The disadvantage of the known method lies in the inefficient method for detecting udder teats. When scanning a cow's teats from one position in close proximity to the udder, there is a chance that the rear teats will be scanned incorrectly or not noticed. The result of this device in practice is errors in scanning, which makes it more time to put on teat cups, which in turn increases the time of milking one cow, where by increasing the milking time we get less milk and reduce the throughput of one robotic installation.

В патентном документе US 10499607 B2, опубл. 10.12.2019, МПК A01J5/007, A01J5/017 описано изобретение, которое содержит систему технического зрения и роботизированный манипулятор, производящий автоматическое сканирование сосков вымени коровы и автоматическое одевание доильных стаканов. Расположение роботизированного манипулятора с системой технического зрения производится со стороны хвоста коровы. Сканирование сосков вымени и одевание доильных стаканов производится со стороны хвоста коровы. Система технического зрения с заданного положения определяет местоположение одного соска, затем другого соска, устанавливает их числовые значения расстояния, сравнивает числовые значения, полученные ранее, с фактическим измерением и производит перемещение манипулятора в заданную точку и последующее одевание доильных стаканов.In the patent document US 10499607 B2, publ. 12/10/2019, IPC A01J5/007, A01J5/017 describes an invention that contains a vision system and a robotic arm that automatically scans the cow's udder teats and automatically puts on teat cups. The location of the robotic manipulator with the vision system is made from the side of the cow's tail. Scanning of the udder teats and putting on the teat cups is done from the side of the cow's tail. The vision system from a given position determines the location of one teat, then the other teat, sets their numerical distance values, compares the numerical values obtained earlier with the actual measurement and moves the manipulator to a given point and then puts on the teat cups.

Недостатком известного способа является, во-первых, местоположение роботизированного манипулятора и системы технического зрения. Производить сканирование и одевание доильных стаканов со стороны хвоста, нецелесообразно, т.к. во время процесса доения есть возможность непроизвольной дефекации животного, с последующим загрязнением узлов рабочего органа, во время процесса доения есть возможность, что корова ногой произведет точечный удар в один из улов рабочего органа, вызвав тем самым механические повреждения. Во-вторых, для сохранения в машиночитаемый энергонезависимый носитель информации данных о местоположения сосков, требуется расходование значительных производственных ресурсов на сканирование вымени и сосков каждого животного для накопления базы данных; вымя и соски животного, их физиологические характеристики (объем соска, расстояние между сосков) изменяются не только в процессе жизни животного, но и от дня лактации, и от времени суток, в разное время суток при определенных типах кормления физиологические характеристики вымени изменяются, поэтому последующее определение местоположения сосков, после определения фактического местоположения первого соска, на основании прошлых измерений является недостаточно эффективной и точной, что увеличивает вероятность некорректного определения местоположения.The disadvantage of the known method is, firstly, the location of the robotic arm and the vision system. It is impractical to scan and dress teat cups from the side of the tail, because during the milking process, there is a possibility of involuntary defecation of the animal, followed by contamination of the nodes of the working body; during the milking process, it is possible that the cow will kick one of the catches of the working body with her foot, thereby causing mechanical damage. Secondly, in order to store data on the location of teats in a machine-readable non-volatile storage medium, significant production resources are required to scan the udder and teats of each animal to accumulate a database; the udder and teats of the animal, their physiological characteristics (nipple volume, distance between the teats) change not only during the life of the animal, but also from the day of lactation, and from the time of day, at different times of the day with certain types of feeding, the physiological characteristics of the udder change, so the subsequent determining the location of the nipples, after determining the actual location of the first nipple, based on past measurements, is not efficient and accurate, which increases the likelihood of incorrect location.

В патентном документе WO 2010023121 A2, опубл. 04.03.2010, МПК A01J5/00, G06T7/00 описывается устройство для определения положения сосков доильного животного в доильной системе, которое содержит роботизированный манипулятор и систему технического зрения, состоящую из пар камер – стереоскопическая система определения координат. Пара камер производит многократную запись пар изображений, где из полученных данных извлекает координаты положения нижних точек сосков для последующего наведения.In the patent document WO 2010023121 A2, publ. 03/04/2010, IPC A01J5 / 00, G06T7 / 00 describes a device for determining the position of the teats of a milking animal in a milking system, which contains a robotic arm and a vision system consisting of pairs of cameras - a stereoscopic coordinate system. A pair of cameras performs repeated recording of pairs of images, where from the received data it extracts the position coordinates of the lower points of the nipples for subsequent guidance.

Недостатком известного способа является использование пар камер – стереоизображения. В случае с определением местоположения сосков пары камер, хоть и являются более дешевым устройством, но неэффективны в плане точного получения координат. Пары камер всегда имеют большую погрешность в определении расстояния до объекта, в сравнении с оптическими устройствами, основанными на освещении объекта коротким световым импульсом, например Lidar или ToF камеры, с генерацией облака точек. Т.к. для обеспечения одевания доильных стаканов на соски вымени погрешность в измерении должна быть не более 5 мм, с учетом того, что во время доения животное производит непроизвольные колебательные движения, применение пар камер – неэффективно в связи с невозможностью достижения необходимой точности.The disadvantage of the known method is the use of pairs of cameras - stereo images. In the case of nipple location, pairs of cameras, although they are cheaper, are inefficient in terms of obtaining accurate coordinates. Pairs of cameras always have a large error in determining the distance to the object, compared to optical devices based on illuminating the object with a short light pulse, such as Lidar or ToF cameras, with point cloud generation. Because to ensure that the teat cups are put on the teats of the udder, the measurement error should be no more than 5 mm, taking into account the fact that during milking the animal produces involuntary oscillatory movements, the use of pairs of chambers is ineffective due to the impossibility of achieving the required accuracy.

Наиболее близким по технической сущности к заявляемому устройству, является устройство, описанное в патентном документе EP 1656014 B1, опубл. 05.10.2016, МПК A01J5/017, G06T7/00, G06T7/60. Устройство содержит оптический датчик, для определения сосков вымени коровы и получения координат нижней точки соска. Датчик установлен в непосредственной близости от вымени коровы на роботизированном манипуляторе, который производит сканирование сосков, далее полученное изображение обрабатывает набором алгоритмов: фильтрация, обнаружение краев соска, угла наклона соска, расстояние между сосков. Полученные данные передаются на роботизированный манипулятор для осуществления одевания доильных стаканов.The closest in technical essence to the claimed device is the device described in patent document EP 1656014 B1, publ. 10/05/2016, IPC A01J5/017, G06T7/00, G06T7/60. The device contains an optical sensor for determining the teats of the cow's udder and obtaining the coordinates of the lowest point of the teat. The sensor is installed in the immediate vicinity of the cow's udder on a robotic arm that scans the nipples, then processes the resulting image with a set of algorithms: filtering, detection of the edges of the nipple, the angle of the nipple, the distance between the nipples. The received data is transmitted to a robotic arm for dressing the teat cups.

Недостатком известного устройства является, стационарное закрепление датчика на манипуляторе в роботизированной доильной машине. Стационарное закрепление на манипуляторе обеспечивает недостаточную эффективность при определении координат кончиков сосков коровы. Недостаточная эффективность приводит к неудачным попыткам определения координат кончиков сосков коровы и увеличению времени для этого.The disadvantage of the known device is the stationary mounting of the sensor on the manipulator in the robotic milking machine. Stationary attachment to the manipulator provides insufficient efficiency in determining the coordinates of the tips of the cow's teats. Insufficient efficiency leads to unsuccessful attempts to determine the coordinates of the cow's teat tips and an increase in the time for this.

На практике зачастую от стационарного расположения системы технического зрения на манипуляторе, получают изображение, где плохо отображен или не виден, по меньшей мере, один из задних сосков. Это связано с совокупностью факторов: физиологическим строением разного типа вымени коров, стартовым и последующим местоположением роботизированного доильного аппарата, движением коров. Недостатком известного способа является отсутствие алгоритма нормализации угла при обнаружении и определении координат кончиков сосков, т.к. при расположении оптического устройства под углом, получаемые данные являются некорректными, отчего не достигается максимальная точность определения координат нижней точки сосков вымени.In practice, often from the stationary location of the vision system on the manipulator, an image is obtained where at least one of the rear nipples is poorly displayed or not visible. This is due to a combination of factors: the physiological structure of different types of udders of cows, the starting and subsequent location of the robotic milking machine, the movement of cows. The disadvantage of the known method is the lack of an algorithm for normalizing the angle when detecting and determining the coordinates of the tips of the nipples, because when the optical device is located at an angle, the data obtained are incorrect, which is why the maximum accuracy in determining the coordinates of the lower point of the udder teats is not achieved.

Доение крупного рогатого скота на современных животноводческих роботизированных комплексах предполагает точное и безошибочное определение координат сосков вымени молочной коровы, т.к снижается время задержки между тем, как корова зашла в стойло роботизированной доильной установки и начался процесс доения молока, увеличивается надой не только от одной коровы, но и пропускная способность одной доильной роботизированной установки в день, что в свою очередь увеличивает валовый надой молока.Milking cattle on modern livestock robotic complexes involves accurate and error-free determination of the coordinates of the teats of the udder of a dairy cow, as the delay time between the cow entering the stall of the robotic milking machine and the milking process begins is reduced, milk yield is increased not only from one cow , but also the throughput of one robotic milking unit per day, which in turn increases the gross milk yield.

Технической задачей предлагаемого устройства является повышение эффективности определения координат кончиков сосков вымени молочной коровы, снижение количества неудачных попыток определения координат кончиков сосков и ускорение процесса доения.The technical task of the proposed device is to increase the efficiency of determining the coordinates of the tips of the teats of the udder of a dairy cow, reducing the number of unsuccessful attempts to determine the coordinates of the tips of the teats and accelerating the milking process.

Технический результат достигается тем, что устройство бесконтактного сканирования биологических объектов, включающее оптический датчик для получения трехмерных карт, манипулятор и блок управления для обработки трехмерных карт, согласно изобретению, снабжено стрелой, связанной поворотными механизмами с одной стороны с оптическим датчиком, а с другой с манипулятором, принимающими сигналы от блока управления.The technical result is achieved by the fact that the device for non-contact scanning of biological objects, including an optical sensor for obtaining three-dimensional maps, a manipulator and a control unit for processing three-dimensional maps, according to the invention, is equipped with an arrow connected by rotary mechanisms on one side with the optical sensor, and on the other with the manipulator receiving signals from the control unit.

Способ бесконтактного сканирования биологических объектов, заключающийся в том, что, используя оптический датчик, получают трехмерное изображение, передают его в блок управления, обрабатывают трехмерные карты и находят границы, по меньшей мере, одного соска, фильтруют трехмерные карты от шумов, находят края соска, определяют углы наклона сосков, расстояния между сосками, вычисляют координаты нижней точки сосков, фильтруют участки трехмерного изображения и передают координаты кончиков сосков в блок управления, согласно изобретению, блок управления подает сигнал об изменении положения оптического датчика, определяет его фактическое положение и проводит нормализацию угла трехмерной карты по отношению к датчику.A method for non-contact scanning of biological objects, which consists in obtaining a three-dimensional image using an optical sensor, transmitting it to the control unit, processing three-dimensional maps and finding the boundaries of at least one nipple, filtering three-dimensional maps from noise, finding the edges of the nipple, determine the angles of inclination of the nipples, the distance between the nipples, calculate the coordinates of the lower point of the nipples, filter sections of the three-dimensional image and transmit the coordinates of the tips of the nipples to the control unit, according to the invention, the control unit sends a signal about a change in the position of the optical sensor, determines its actual position and normalizes the angle of the three-dimensional cards in relation to the sensor.

Устройство для бесконтактного сканирования биологических объектов поясняется чертежами.A device for non-contact scanning of biological objects is illustrated by drawings.

На фиг. 1 представлен изометрический вид устройства при взаимодействии с выменем и сосками коровы, на животноводческом комплексе в стойле роботизированной доильной установки, на фиг. 2 – вид сверху устройства, при взаимодействии с выменем и сосками коровы; на фиг. 3 – алгоритм работы устройства, на фиг. 4 – нормализация угла.In FIG. 1 shows an isometric view of the device when interacting with the udder and teats of a cow, on a livestock complex in a stall of a robotic milking machine, in Fig. 2 - top view of the device, when interacting with the udder and teats of the cow; in fig. 3 - the algorithm of the device, in Fig. 4 – angle normalization.

Устройство для бесконтактного сканирования биологических объектов содержит оптический датчик 1 для получения трехмерных карт, который может быть выполнен в виде, по меньшей мере, одного оптического устройства в совокупности с вычислительным устройством, или, по меньшей мере, в виде одной ToF камеры, или, в виде одного лидара. Датчик 1 установлен на поворотном механизме 2, который закреплен на стреле 3, которая, в свою очередь, закреплена другим концом на поворотном механизме 4 стрелы 3 к манипулятору 5. Манипулятор 5 расположен под дойным животным 6, например коровой, и изначально направлен в сторону сосков 7 животного. Блок управления 8 для обработки трехмерных карт связан с датчиком 1 любым типом передачи данных, например, локально, с поворотным механизмом 2 датчика 1, а также поворотным механизмом 4 стрелы 3 и манипулятором 5.The device for non-contact scanning of biological objects contains an optical sensor 1 for obtaining three-dimensional maps, which can be made in the form of at least one optical device in conjunction with a computing device, or at least one ToF camera, or, in in the form of a single lidar. The sensor 1 is installed on the rotary mechanism 2, which is fixed on the boom 3, which, in turn, is fixed at the other end on the rotary mechanism 4 of the boom 3 to the manipulator 5. The manipulator 5 is located under the dairy animal 6, for example, a cow, and is initially directed towards the teats 7 animals. The control unit 8 for processing three-dimensional maps is connected to the sensor 1 by any type of data transmission, for example, locally, with the rotary mechanism 2 of the sensor 1, as well as the rotary mechanism 4 of the boom 3 and the manipulator 5.

В блоке управления 8 производится обработка трехмерных изображений сосков 7 животного 6, которые формируются датчиком 1.In the control unit 8, three-dimensional images of the nipples 7 of the animal 6 are processed, which are formed by the sensor 1.

Устройство для бесконтактного сканирования биологических объектов работает следующим образом.A device for non-contact scanning of biological objects operates as follows.

Животное 6 заходит в стойло роботизированной доильной установки (на фиг. не показано). Манипулятор 5 занимает стартовую позицию в непосредственной близости от сосков 7. Датчик 1 получает трехмерное изображение сосков 7. Передает его на блок управления 8, где производится обнаружение границ, по меньшей мере, одного соска 7. При неудачном обнаружении, повторяется процесс получения трехмерного изображения. При успешном определении расположения, по меньшей мере, одного соска 7, производится обнаружение остальных трех сосков. При неудачном обнаружении всех четырех сосков 7, блок управления 8 принимает решение о смене ракурса сканирования, например, если не был обнаружен задний правый сосок, тогда поворотный механизм 4 перемещает стрелу 3 в правую сторону и после этого выравнивает датчик 1 с помощью поворотного механизма 2 перпендикулярно правому дальнему соску 7. Если не был обнаружен левый задний соскок, то повторяются те же действия, но в левую сторону. Перемещение стрелы 3 происходит в плоскости 0XY. Далее датчик 1 занимает положение с левой или правой стороны в плоскости 0XY, с которого появляется возможность получить трехмерное изображение сосков 7. Действия повторяются до тех пор, пока будут обнаружены четыре соска 7. После этого в блоке управления 8 происходит обработка трехмерных изображений и вычисление координат кончиков сосков 7. Работа устройства завершена.The animal 6 enters the stall of the robotic milking machine (not shown in the figure). The manipulator 5 takes a starting position in the immediate vicinity of the nipples 7. The sensor 1 receives a three-dimensional image of the nipples 7. It transmits it to the control unit 8, where the boundaries of at least one nipple 7 are detected. If detection fails, the process of obtaining a three-dimensional image is repeated. Upon successful determination of the location of at least one nipple 7, the remaining three nipples are detected. If all four nipples 7 are unsuccessfully detected, the control unit 8 decides to change the scanning angle, for example, if the rear right nipple was not detected, then the rotary mechanism 4 moves the boom 3 to the right side and then aligns the sensor 1 with the help of the rotary mechanism 2 perpendicularly to the right distal nipple 7. If the left rear dismount was not detected, then the same actions are repeated, but to the left side. The boom 3 moves in the 0XY plane. Next, the sensor 1 occupies a position on the left or right side in the 0XY plane, from which it becomes possible to obtain a three-dimensional image of the nipples 7. The actions are repeated until four nipples 7 are detected. After that, the three-dimensional images are processed in the control unit 8 and the coordinates are calculated teat tips 7. The device is finished.

Способ работы устройства для бесконтактного сканирования биологических объектов осуществляется следующим образом.The method of operation of the device for non-contact scanning of biological objects is as follows.

Алгоритм работы устройства для бесконтактного сканирования биологических объектов заложен в блоке управления 8. В начале работы шаг S1 производится получение трехмерного изображения шаг S2 оптическим датчиком сосков животного 1, после получения трехмерного изображения данные передаются шаг S3 на блок управления 8. Далее, на шаге S4 производится обнаружение границ области, по меньшей мере, одного соска 7, при неудачном обнаружении границ области на шаге S4 выполняется повторное получение трехмерного изображения и возвращение к шагу S2. При успешном обнаружении границ области на шаге S4, по меньшей мере, одного соска, на шаге S5 производится обнаружение границ четырех сосков. При неудачном обнаружении границ четырех сосков на шаге S5, производится изменение положение датчика шаг S6. После чего, передается сигнал от блока управления 8 на поворотные механизмы 2, 4. Операция на шаге S5 выполняется до тех пор, пока не будут обнаружены границы четырех сосков. После удачного обнаружения границ четырех сосков на шаге S5, производится фильтрация шумов шаг S7 с помощью фильтров, например фильтры Гаусса. Следующим шагом S8 выполняется нормализация угла трехмерного изображения, т.к. датчик 1 установлен под углом к соскам вымени коровы 8 и датчик 1 изменял свое положение относительно стартового положения, а так же выполняется определение вертикальных и горизонтальных краев сосков, определение углов наклона сосков, определение расстояния между сосками, определение центральной оси между передними и задними сосками правой стороны и передними и задними сосками левой стороны вымени. Нормализация угла необходима чтобы эмитации положение датчика перпендикулярно соску, тем самым увеличивая шанс правильного его обнаружения. Известно, что оптимальным положением датчика является его размещение перпендикулярно центрально вертикальной оси соска.The operation algorithm of the device for non-contact scanning of biological objects is embedded in the control unit 8. At the beginning of the work, step S1, a three-dimensional image is obtained step S2 by the optical sensor of the nipples of the animal 1, after receiving a three-dimensional image, the data is transmitted step S3 to the control unit 8. detection of the borders of the region of at least one nipple 7, if the detection of the borders of the region fails in step S4, the 3D image is acquired again and returns to step S2. If at least one nipple is successfully detected in step S4, boundaries of four nipples are detected in step S5. If the borders of the four nipples are unsuccessfully detected in step S5, the position of the sensor is changed in step S6. After that, a signal is transmitted from the control unit 8 to the rotary mechanisms 2, 4. The operation in step S5 is performed until the boundaries of the four teats are detected. After successfully detecting the boundaries of the four nipples at step S5, the noise is filtered at step S7 using filters, such as Gaussian filters. The next step S8 is the normalization of the corner of the 3D image, because sensor 1 is installed at an angle to the teats of the cow udder 8 and sensor 1 changed its position relative to the starting position, as well as determining the vertical and horizontal edges of the nipples, determining the angles of the nipples, determining the distance between the nipples, determining the central axis between the front and rear nipples of the right sides and front and rear teats of the left side of the udder. Normalization of the angle is necessary so that the emitting position of the sensor is perpendicular to the nipple, thereby increasing the chance of its correct detection. It is known that the optimal position of the sensor is its placement perpendicular to the central vertical axis of the nipple.

Затем на шаге S9 производится фильтрация трехмерной карты от областей изображения, которые не содержат сведений о сосках, оставляя только части трехмерного изображения, которые содержат истинную информацию о положении сосков. Далее, на шаге S10 производится вычисление координат нижней точки сосков и последующая передача координат кончиков сосков на блок управления шаг S11. Шаг S12 конец работы. Next, in step S9, the 3D map is filtered from areas of the image that do not contain nipple information, leaving only parts of the 3D image that contain true nipple position information. Next, at step S10, the coordinates of the lower point of the nipples are calculated and the coordinates of the tips of the nipples are subsequently transmitted to the control unit, step S11. Step S12 end of work.

Применение устройства бесконтактного сканирования биологических объектов повысит эффективности определения сосков вымени молочной коровы, снизит количество неудачных попыток определения координат кончиков сосков, ускорит процесса доения и получение большего количества сырого молока.The use of a device for non-contact scanning of biological objects will increase the efficiency of determining the udder teats of a dairy cow, reduce the number of unsuccessful attempts to determine the coordinates of the tips of the teats, speed up the milking process and obtain more raw milk.

Claims (2)

1. Устройство бесконтактного определения сосков вымени коровы, характеризующееся тем, что оно включает оптический датчик 1 для получения трехмерного изображения сосков, манипулятор 5 и блок управления 8 для обработки трехмерного изображения сосков, при этом оптический датчик 1 установлен на поворотном механизме 2, который закреплен на стреле 3, при этом стрела 3 другим концом прикреплена поворотным механизмом 4 к манипулятору 5.1. A device for non-contact determination of the udder teats of a cow, characterized in that it includes an optical sensor 1 for obtaining a three-dimensional image of the teats, a manipulator 5 and a control unit 8 for processing a three-dimensional image of the teats, while the optical sensor 1 is installed on a rotary mechanism 2, which is fixed on boom 3, while the other end of the boom 3 is attached by a rotary mechanism 4 to the manipulator 5. 2. Способ бесконтактного определения сосков вымени коровы с использованием устройства по п. 1, заключающийся в том, что, используя оптический датчик 1, получают трехмерное изображение сосков, передают его в блок управления 8, обрабатывают трехмерные изображения и находят границы по меньшей мере одного соска 7, производят обнаружение остальных сосков, фильтруют трехмерные изображения от шумов, находят вертикальные и горизонтальные края сосков, определяют углы наклона сосков, расстояния между сосками, вычисляют координаты нижней точки сосков, фильтруют участки трехмерного изображения и передают координаты кончиков сосков в блок управления 8, отличающийся тем, что блок управления 8 подает сигнал об изменении положения оптического датчика 1, активируя поворотный механизм 2 оптического датчика, и передвижением стрелы 3 с помощью активации поворотного механизма 4 определяет его фактическое положение, а также проводит нормализацию угла трехмерного изображения по отношению к оптическому датчику 1.2. A method for non-contact determination of the udder teats of a cow using the device according to claim 1, which consists in the fact that, using an optical sensor 1, a three-dimensional image of the teats is obtained, transmitted to the control unit 8, three-dimensional images are processed and the boundaries of at least one teat are found 7, detect the remaining nipples, filter the 3D images from noise, find the vertical and horizontal edges of the nipples, determine the angles of the nipples, the distance between the nipples, calculate the coordinates of the lowest point of the nipples, filter the sections of the 3D image, and transmit the coordinates of the tips of the nipples to the control unit 8, which differs by the fact that the control unit 8 sends a signal to change the position of the optical sensor 1 by activating the rotary mechanism 2 of the optical sensor, and by moving the boom 3 by activating the rotary mechanism 4 determines its actual position, and also normalizes the angle of the three-dimensional image with respect to the optical sensor at 1.
RU2021111415A 2021-04-22 2021-04-22 Method and device for contactless scanning of biological objects RU2769671C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2021111415A RU2769671C1 (en) 2021-04-22 2021-04-22 Method and device for contactless scanning of biological objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2021111415A RU2769671C1 (en) 2021-04-22 2021-04-22 Method and device for contactless scanning of biological objects

Publications (1)

Publication Number Publication Date
RU2769671C1 true RU2769671C1 (en) 2022-04-04

Family

ID=81076169

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2021111415A RU2769671C1 (en) 2021-04-22 2021-04-22 Method and device for contactless scanning of biological objects

Country Status (1)

Country Link
RU (1) RU2769671C1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010060693A1 (en) * 2008-11-26 2010-06-03 Delaval Holding Ab Handling of teat cups
US20140029797A1 (en) * 2011-03-28 2014-01-30 Delaval Holding Ab Method for locating animal teats
US20180007859A1 (en) * 2016-07-07 2018-01-11 Technologies Holdings Corp. System and method for preparation cup attachment
US20180213742A1 (en) * 2015-07-28 2018-08-02 Gea Farm Technologies Gmbh Method and device for automatically placing teat cups onto teats of a milk-producing animal
RU2677136C1 (en) * 2018-01-17 2019-01-15 Федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный аграрный университет - МСХА имени К.А. Тимирязева" (ФГБОУ ВО РГАУ - МСХА имени К.А. Тимирязева) Method and device for remote fixing of physiological condition of udder and milking teats of agricultural animals
US20190188820A1 (en) * 2016-08-17 2019-06-20 Technologies Holdings Corp. Vision system with teat detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010060693A1 (en) * 2008-11-26 2010-06-03 Delaval Holding Ab Handling of teat cups
US20140029797A1 (en) * 2011-03-28 2014-01-30 Delaval Holding Ab Method for locating animal teats
US20180213742A1 (en) * 2015-07-28 2018-08-02 Gea Farm Technologies Gmbh Method and device for automatically placing teat cups onto teats of a milk-producing animal
US20180007859A1 (en) * 2016-07-07 2018-01-11 Technologies Holdings Corp. System and method for preparation cup attachment
US20190188820A1 (en) * 2016-08-17 2019-06-20 Technologies Holdings Corp. Vision system with teat detection
RU2677136C1 (en) * 2018-01-17 2019-01-15 Федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный аграрный университет - МСХА имени К.А. Тимирязева" (ФГБОУ ВО РГАУ - МСХА имени К.А. Тимирязева) Method and device for remote fixing of physiological condition of udder and milking teats of agricultural animals

Similar Documents

Publication Publication Date Title
EP1940218B1 (en) Arrangement and method for visual detection in a milking system
US10373306B2 (en) System and method for filtering data captured by a 3D camera
US9737040B2 (en) System and method for analyzing data captured by a three-dimensional camera
US9980460B2 (en) System and method for improved attachment of a cup to a dairy animal
US10303939B2 (en) System and method for filtering data captured by a 2D camera
JP2001507235A (en) Apparatus and method for milking animals
EP2701493B1 (en) Vision system for robotic attacher
US9171208B2 (en) System and method for filtering data captured by a 2D camera
US9681634B2 (en) System and method to determine a teat position using edge detection in rear images of a livestock from two cameras
RU2769671C1 (en) Method and device for contactless scanning of biological objects
CA2849212C (en) Vision system for robotic attacher
KR102220628B1 (en) Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera
CA2924285C (en) Vision system for robotic attacher