RU2777990C2

RU2777990C2 - System for monitoring external fish parasites in aquaculture

Info

Publication number: RU2777990C2
Application number: RU2020123540A
Authority: RU
Inventors: Рассел ХОУ; Закари ЛАЙЗЕР; Джеймс Уоллес САРРЕТТ; Питер Джон АБРАХАМСОН; Яша Такер ЛИТТЛ
Original assignee: Интервет Интернэшнл Б.В.
Priority date: 2017-12-20
Filing date: 2018-12-19
Publication date: 2022-08-12

Abstract

FIELD: fishery.

SUBSTANCE: system includes: shooting device (52) for diving into marine farm (40) for keeping fish (72, 74). The shooting device is made with the possibility of capturing fish images. Electronic system (78) for image processing provides, by the analysis of captured images, identification on fish of such external fish parasites as sea lice. Range-determining detector (54) provides the detection of the fish presence and measurement of a distance from the mentioned detector to fish, and it is installed near shooting device (52). Electronic control system (12) is made with the possibility of control of focus of shooting device (52) based on the measured distance and with the possibility of start of shooting device (52), when fish is detected within some predetermined distance range.

EFFECT: group of inventions provides automated counting of sea lice, as well as the possibility of prediction and prevention of infestation of fish with parasites.

18 cl, 12 dwg

Description

Область техникиTechnical field

Изобретение относится к системе для мониторинга таких наружных паразитов рыб, как морские вши, в аквакультуре, причем система содержит:The invention relates to a system for monitoring external fish parasites such as sea lice in aquaculture, the system comprising:

- съемочный аппарат, пригодный для погружения в морскую ферму, пригодную для содержания рыб, причем съемочный аппарат выполнен с возможностью захвата изображений рыб; и- a camera suitable for immersion in a marine farm suitable for keeping fish, and the camera is configured to capture images of fish; and

- электронную систему обработки изображений, конфигурация которой обеспечивает идентификацию таких наружных паразитов рыб, как морские вши, на рыбах путем анализа захваченных изображений.an electronic imaging system configured to identify external fish parasites such as sea lice on fish by analyzing captured images.

В этом описании изобретения термин «мониторинг» обозначает любую деятельность, целью которой является разработка эмпирической основы для принятия решения о том, заражена ли некоторая заданная популяция рыбы наружными паразитами. Термин «мониторинг» также может охватывать способ определения того, до какой степени рыба заражена наружными паразитами. Хотя мониторинг можно сочетать с мерами для уничтожения или морения паразитов, термин «мониторинг» сам по себе не охватывает такие меры.In this specification, the term "monitoring" refers to any activity the purpose of which is to develop an empirical basis for deciding whether a given population of fish is infested with external parasites. The term "monitoring" can also encompass a method of determining to what extent a fish is infested with external parasites. Although monitoring can be combined with measures to kill or kill pests, the term monitoring does not by itself cover such measures.

Уровень техникиState of the art

Подобно людям и другим млекопитающим, рыбы страдают от болезней и паразитов. Паразиты могут быть внутренними (эндопаразитами) или наружными (эктопаразитами). Жабры рыбы представляют собой предпочтительную среду обитания многих наружных паразитов рыбы, пристраивающихся к жабрам, но живущим вне их. Наиболее распространенными являются моногенетические сосальщики и определенные группы паразитирующих веслоногих ракообразных, которые могут быть исключительно многочисленными. Другими наружными паразитами рыбы, находящимися на жабрах, являются пиявки и - в морской воде - личинки гнатиидов (изопод, т.е., равноногих ракообразных). Изоподные паразиты рыбы чаще всего являются наружными и питаются кровью. Пьявки семейства Gnathiidae и половозрелые цимотодиды имеют прокалывающие и сосущие ротовые части и когтистые конечности, приспособленные для цепляния на их хозяев. Cymothoa exigua - это паразит различных морских рыб. Он вызывает атрофию языка рабы и занимает его место, считаясь при этом первым случаем обнаружения функциональных возможностей паразита, заменяющего структуру-хозяина у животных. Среди наиболее распространенных наружных паразитов рыбы - так называемые морские вши.Like humans and other mammals, fish suffer from diseases and parasites. Parasites can be internal (endoparasites) or external (ectoparasites). The gills of fish are the preferred habitat for many external fish parasites that attach themselves to the gills but live outside them. The most common are monogenetic flukes and certain groups of parasitic copepods, which can be extremely numerous. Other external parasites of fish found on the gills are leeches and, in sea water, gnathiid larvae (isopods, i.e., isopods). Isopod parasites of fish are most often external and feed on blood. Leeches of the family Gnathiidae and sexually mature cymothodids have piercing and sucking mouthparts and clawed limbs adapted for clinging to their hosts. Cymothoa exigua is a parasite of various marine fish. It causes atrophy of the tongue of the slave and takes its place, being considered the first case of finding the functionality of a parasite that replaces the host structure in animals. Among the most common external parasites of fish are the so-called sea lice.

Морские вши - это малые паразитические ракообразные (семейства Caligidae), которые питаются слизью, тканями и кровью морских рыб. Морская вошь (множественное число - морские вши) является членом отряда Siphonostomatoida семейства Caligidae. Существуют около 559 видов в 37 родах, включая приблизительно 162 вида Lepeophtheirus и 268 видов Caligus. Хотя морские вши присутствуют во многочисленных существующих в природе популяциях лосося, особенно значительные проблемы представляют заражения морскими вшами в популяциях искусственно разводимого лосося. В целях борьбы с этой напастью разработаны несколько противопаразитарных препаратов. Основным видом морской вши, причиняющим беспокойство в Норвегии, является лососевая вошь (L. salmonis). Основным паразитом, причиняющим беспокойство на лососевых фермах в Чили стали науплии (Caligus rogercresseyi).Sea lice are small, parasitic crustaceans (of the Caligidae family) that feed on the mucus, tissue, and blood of marine fish. The sea louse (plural is sea lice) is a member of the order Siphonostomatoida of the family Caligidae . There are about 559 species in 37 genera, including approximately 162 species of Lepeophtheirus and 268 species of Caligus . While sea lice are present in numerous wild salmon populations, sea lice infestations are particularly problematic in farmed salmon populations. In order to combat this scourge, several antiparasitic drugs have been developed. The main sea louse of concern in Norway is the salmon louse ( L. salmonis ). Nauplii ( Caligus rogercresseyi ) have become a major pest of concern to salmon farms in Chile.

В жизни морских вшей есть как стадия свободного плавания (планктонная), так и стадия паразитическая. Все стадии разделены линьками. Скорость развития L. salmonis от икринки до половозрелой особи изменяется от 17 до 72 суток в зависимости от температуры. Из икринок выводятся личинки науплиус I, которые линяют, переходя во вторую науплиарную стадию; на обеих науплиарных стадиях не предусматривается питание в зависимости от резервов желтка для энергии и имеет место адаптация для плавания. Стадия копепод является инфекционной стадией, и она ищет подходящего хозяина, вероятно - по хемо- и механосенсорным подсказкам.In the life of sea lice, there is both a free-swimming stage (planktonic) and a parasitic stage. All stages are separated by molts. The rate of development of L. salmonis from an egg to a sexually mature individual varies from 17 to 72 days, depending on the temperature. The eggs hatch into nauplius I larvae, which molt, passing into the second naupliar stage; in both naupliar stages, nutrition is not provided depending on the reserves of the yolk for energy and adaptation for swimming takes place. The copepod stage is an infective stage, and it searches for a suitable host, probably based on chemo- and mechanosensory cues.

Сразу же после пристраивания к хозяину, стадия копепод начинает питание и начинает развиваться в первую стадию халимуса. Стадии копепод и халимуса имеют развитый желудочно-кишечный тракт и питаются слизью и тканями в пределах области, в которой пристроились. Еще не половозрелые и половозрелые морские вши, особенно - икряные самки, являются агрессивными фагами, в некоторых случаях питающимися кровью в дополнение к тканям и слизи.Immediately after attachment to the host, the copepod stage begins feeding and begins to develop into the first stage of the chalimus. The stages of copepods and chalimus have a developed gastrointestinal tract and feed on mucus and tissues within the area in which they nestled. Not yet sexually mature and sexually mature sea lice, especially female eggs, are aggressive phages, in some cases feeding on blood in addition to tissues and mucus.

Время и издержки, связанные с работами по ликвидации последствий, и повышение смертности рыбы увеличивают стоимость производства рыбы приблизительно на 0,2 евро/кг. Соответственно, наружный паразит рыбы, такой, как морские вши, - главная забота современных фермеров лосося, которые выделяют значительные ресурсы на предотвращение заражений и соблюдение государственных норм, направленных на предотвращение более широких экологических последствий.The time and cost associated with clean-up efforts and increased fish mortality increase the cost of fish production by approximately 0.2 EUR/kg. Accordingly, an external parasite of fish such as sea lice is a major concern of today's salmon farmers, who dedicate significant resources to preventing infestations and enforcing government regulations to prevent wider environmental impacts.

Как эффективное смягчение последствий (например, оценка потребности и сроков вакцинации или химической очистки), так и соблюдение требований регламентирующих органов, зависят от точного количественного определения таких наружных паразитов рыб, как популяции морских вшей, в рамках отдельных операций разведения. В настоящее время, подсчет таких наружных паразитов рыб, как морские вши, является полностью ручным процессом и поэтому требует большого расхода времени. Например, в Норвегии подсчеты следует делать и сообщать о них еженедельно, и только это приводит к ежегодным прямые затратам 24 миллиона долларов США. Столь же хлопотной является сомнительная достоверность статистики на основе ручных подсчетов, когда подсчет таких наружных паразитов рыб, как половозрелые самки морских вшей, на основе данных выборки численностью между 10 и 20 особями находящейся под наркозом рыбы, экстраполируют, чтобы определить надлежащую обработку для популяций рыбы численностью свыше 50000 особей. Вследствие этого, распространены как избыточная обработка, так и недостаточная обработка.Both effective mitigation (e.g. assessment of the need and timing of vaccination or chemical cleaning) and compliance with regulatory requirements depend on the accurate quantification of external fish parasites such as sea lice populations within individual breeding operations. Currently, enumeration of external fish parasites such as sea lice is a completely manual process and is therefore time consuming. For example, in Norway, counts must be made and reported weekly, and this alone results in an annual direct cost of US$24 million. Equally troublesome is the dubious validity of statistics based on manual counts, when counts of external fish parasites such as mature female sea lice from a sample of between 10 and 20 anesthetized fish are extrapolated to determine the appropriate treatment for fish populations of over 50,000 individuals. As a consequence, both over-processing and under-processing are common.

В документе WO 2017/068127 A1 описана система того типа, о которой идет речь в преамбуле п.1 формулы изобретения, направленная на создание возможности автоматического и точного обнаружения и подсчета таких наружных паразитов рыб, как морские вши, в пределах популяций рыбы.WO 2017/068127 A1 describes a system of the type referred to in the preamble of claim 1 aimed at enabling the automatic and accurate detection and enumeration of external fish parasites such as sea lice within fish populations.

Любая такая система, основанная на оптическом формировании изображений, должна преодолеть несколько существенных затруднений, связанных с морской средой и поведением животных.Any such system based on optical imaging must overcome several significant challenges related to the marine environment and animal behavior.

- Оптическое искажение из-за градиентов плотности. Турбулентное смешение теплой и холодной воды или - особенно - соленой и пресной воды (например, в пределах фиордов) генерирует маломасштабные изменения плотности, вызывающие оптическое искажение. Особенно серьезным оказывается влияние на формирование изображений объектов размером менее 1 — 3 мм (например, молоди морских вшей).- Optical distortion due to density gradients. Turbulent mixing of warm and cold water or - especially - salt and fresh water (eg within fiords) generates small scale density changes causing optical distortion. The influence on the formation of images of objects less than 1–3 mm in size (for example, juvenile sea lice) is especially serious.

- Отвращение рыбы к незнакомым источникам света. Рыба может проявлять реакцию страха или неприятия более общего характера к незнакомым источникам света незнакомого места, незнакомой интенсивности или незнакомых спектров. Искажение косяков рыбы вокруг такого источника света создаст в общем случае увеличение типичного расстояния от устройства формирования изображений до рыбы, уменьшая эффективную остроту зрения системы формирования изображений. Цитируемый документ предусматривает решение этой проблемы путем разработки направляющей системы для направления рыбы по желаемой траектории формирования изображений.- Aversion of fish to unfamiliar sources of light. A fish may exhibit a more general fear or rejection reaction to unfamiliar light sources of unfamiliar location, unfamiliar intensity, or unfamiliar spectra. Distorting schools of fish around such a light source will generally increase the typical distance from the imaging device to the fish, reducing the effective visual acuity of the imaging system. The document cited provides a solution to this problem by developing a guiding system to guide the fish along the desired imaging trajectory.

- Отслеживание фокуса в высокодинамичных морских средах. Доступные для приобретения системы отслеживания фокуса не работают должным образом в быстро изменяющейся обстановке, когда в пределах поля обзора одновременно присутствует большое количество быстро движущихся адекватно сфокусированных целей (т.е. стая плавающих рыб).- Focus tracking in highly dynamic marine environments. Commercially available focus tracking systems do not work properly in a rapidly changing environment where a large number of fast moving, adequately focused targets (i.e. a school of swimming fish) are simultaneously present within the field of view.

Задача данного изобретения состоит в том, чтобы разработать систему и способ, направленные на решение этих проблем и обеспечение точных автоматизированных подсчетов, чтобы снизить объем человеческого труда, связанного с наружным паразитом рыбы, такого, как подсчеты морских вшей, а также создание возможности более эффективного прогнозирования и предотвращения вредных заражений паразитами.It is an object of the present invention to provide a system and method for solving these problems and providing accurate automated counts to reduce human labor associated with external fish parasites such as sea lice counts, as well as enable more efficient prediction. and preventing harmful infestations by parasites.

Сущность изобретенияThe essence of the invention

Чтобы решить эту задачу, система, соответствующая изобретению, характеризуется тем, что она содержит:To solve this problem, the system according to the invention is characterized in that it contains:

определяющий дальность детектор, конфигурация которого обеспечивает обнаружение присутствия рыбы и измерение расстояния от упомянутого детектора до рыбы и который установлен рядом с съемочным аппаратом); иa ranging detector configured to detect the presence of fish and measure the distance from said detector to the fish, and which is installed adjacent to the camera); and

электронную систему управления, выполненную с возможностью управления фокусом съемочного аппарата на основе измеренного расстояния и с возможностью запуска съемочного аппарата когда рыба обнаружена в пределах некоторого предварительно определенного диапазона расстояний.an electronic control system configured to control the focus of the camera based on the measured distance and to start the camera when a fish is detected within a certain predetermined range of distances.

Вместо того чтобы пытаться вести рыбу по некоторой определенной траектории, подход, соответствующий изобретению, предусматривает запуск съемочного аппарата только тогда, когда рыба обнаруживается в пределах некоторого пригодного диапазона расстояний. Таким образом, рыбе дают возможность вести себя естественно в стае, а съемочный аппарат и определяющий дальность детектор можно установить около пути, по которому - благодаря своему естественному поведению - вероятно последует рыба, например - вдоль границы морской фермы.Instead of trying to guide the fish along some specific trajectory, the approach of the invention only triggers the camera when the fish is found within some useful range of distances. In this way, the fish are allowed to behave naturally in the school, and the camera and the ranging detector can be positioned near the path that - due to their natural behavior - the fish are likely to follow, for example along the border of a marine farm.

Поскольку система захватывает изображение только тогда, когда рыба действительно обнаружена, количество изображений, подлежащих захвату, и - соответственно - количество изображений, подлежащих анализу, можно ограничить. Кроме того, поскольку освещение необходимо лишь в момент, когда изображение действительно снимают, раздражение рыбы источниками освещения тоже снижается.Since the system only captures an image when a fish is actually detected, the number of images to be captured and thus the number of images to be analyzed can be limited. In addition, since lighting is needed only when the image is actually taken, irritation to the fish from the lights is also reduced.

Способность определяющего дальность детектора выдавать надежные данные расстояния используется для более точного управления фокусом съемочного аппарата, а вследствие этого повышается качество захваченных изображений.The ability of the range detector to provide reliable distance data is used to more precisely control the camera's focus, thereby improving the quality of the captured images.

Более конкретные признаки изобретения, предусматриваемые по выбору, указаны в зависимых пунктах формулы изобретения.More specific optional features of the invention are indicated in the dependent claims.

В предпочтительном варианте система способна обнаруживать и распределять по категориям морские вши обоих полов на различных жизненных стадиях - неподвижности, подвижности и метания икры (например, молоди, еще не половозрелых особей, половозрелых самцов, половозрелых самок, мечущих икру, и половозрелых самок, не мечущих икру).In a preferred embodiment, the system is capable of detecting and categorizing sea lice of both sexes in different life stages - immobility, motility and spawning (e.g., juveniles, not yet sexually mature individuals, sexually mature males, sexually mature females that lay eggs, and sexually mature females that do not spawn caviar).

Помимо этого, система могла бы сформировать основу для встраиваемой платформы поддержки принятия решений, повышающей эксплуатационные рабочие характеристики, улучшая здоровье животных и обеспечивая устойчивое развитие аквакультуры, расположенной в океане.In addition, the system could form the basis for an embedded decision support platform that enhances operational performance, improves animal health and ensures the sustainable development of ocean-based aquaculture.

Краткое описание чертежейBrief description of the drawings

Теперь будут описаны примеры вариантов осуществления изобретения со ссылкой на чертежи, на которых:Examples of embodiments of the invention will now be described with reference to the drawings, in which:

фиг.1 - вид сбоку узла съемочного аппарата и осветительного оборудования в соответствии с предпочтительным вариантом осуществления изобретения; 1 is a side view of a camera and lighting equipment assembly in accordance with a preferred embodiment of the invention;

фиг.2 - вид морской фермы с подвешенным на ней оборудованием в соответствии с фиг.1;figure 2 - view of the marine farm with equipment suspended from it in accordance with figure 1;

фиг.3 - вид спереди узла съемочного аппарата и осветительного оборудования;Fig.3 is a front view of the node of the filming apparatus and lighting equipment;

фиг.4 - вид сбоку углового поля обзора определяющего дальность детектора, установленного на оборудовании; Fig. 4 is a side view of the angular field of view of the ranging detector mounted on the equipment;

фиг.5 и 6 - диаграммы, иллюстрирующие результаты обнаружения посредством определяющего дальность детектора; 5 and 6 are diagrams illustrating detection results with a ranging detector;

фиг.7—10 - кадры изображений, иллюстрирующие несколько этапов процедуры захвата и анализа изображений;Fig.7-10 - frames of images illustrating several stages of the procedure for capturing and analyzing images;

фиг.11 - блок-схема последовательности операций, детализирующая процесс аннотирования изображений и обучения, валидации и тестирования детектора наружных паразитов рыб в пределах электронной системы обработки изображений (системы машинного зрения) в соответствии с вариантом осуществления изобретения; и11 is a flowchart detailing the process of image annotation and training, validation and testing of a fish external parasite detector within an electronic imaging system (vision system) according to an embodiment of the invention; and

фиг.12 - блок-схема последовательности операций, детализирующая работу детектора наружных паразитов рыб в режиме логических выводов.12 is a flowchart detailing the operation of the external fish parasite detector in inference mode.

Подробное описание изобретенияDetailed description of the invention

Система захвата изображений Image capture system

Как показано на фиг.1, система захвата изображений содержит узел 10 съемочного аппарата и осветительного оборудования и систему 12 управления съемочным аппаратом и освещением, позволяющие автоматически получать высококачественные изображения рыбы.As shown in FIG. 1, the image capture system includes a camera and lighting assembly 10 and a camera and lighting control system 12 to automatically capture high quality fish images.

Узел 10 съемочного аппарата и осветительного оборудования содержит вертикальный опорный элемент 14, верхнюю стрелу 16, нижнюю стрелу 18, кожух 20 съемочного аппарата, верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. Кожух 20 съемочного аппарата крепится к вертикальному опорному элементу 14 и предпочтительно является регулируемым по высоте. Вертикальное позиционирование съемочного аппарата предпочтительно таково, что поле обзора съемочного аппарата, по меньшей мере, частично (предпочтительно - большей частью или полностью) покрыто световыми конусами верхней и нижней осветительных матриц 22, 24. В предпочтительном варианте также есть существенное угловое смещение между геометрической осью поля обзора съемочного аппарата и геометрическими осями световых конусов. Это минимизирует количество света, рассеиваемого (частицами в воде) обратно в съемочный аппарат, максимизируя (относительно) количество света, возвращающегося от ткани рыбы. При показанной наладке, съемочный аппарат можно устанавливать на некоторой высоте, измеряемой от торца опорного элемента 14 и находящейся в диапазоне между 1/4 и 3/4 длины вертикального опорного элемента.The camera and lighting assembly 10 includes a vertical support member 14, an upper boom 16, a lower boom 18, a camera housing 20, an upper lighting array 22, and a lower lighting array 24. The camera housing 20 is attached to the vertical support member 14 and is preferably adjustable. in height. The vertical positioning of the camera is preferably such that the field of view of the camera is at least partially (preferably mostly or completely) covered by the light cones of the upper and lower lighting matrices 22, 24. In the preferred embodiment, there is also a significant angular displacement between the geometrical axis of the field view of the camera and the geometric axes of the light cones. This minimizes the amount of light scattered (by particles in the water) back into the camera while maximizing (relatively) the amount of light coming back from the fish tissue. With the setup shown, the camera can be installed at a certain height, measured from the end of the support element 14 and in the range between 1/4 and 3/4 of the length of the vertical support element.

Верхняя стрела 16 и нижняя стрела 18 сочленены с вертикальным несущим элементом 14 в локтевых шарнирах 26 и 28, соответственно, которые обеспечивают угловые шарнирные сочленения верхней стрелы и нижней стрелы относительно вертикального опорного элемента. Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30 и 32, соответственно, которые обеспечивают угловые шарнирные сочленения верхней осветительной матрицы и нижней осветительной матрицы относительно верхней стрелы и нижней стрелы.The upper boom 16 and lower boom 18 are articulated with the vertical carrier 14 at elbow joints 26 and 28, respectively, which articulate the upper boom and the lower boom relative to the vertical support. The upper light array 22 and the lower light array 24 articulate with the upper boom and lower boom at pivot joints 30 and 32, respectively, which articulate the upper light array and the lower light array with respect to the upper boom and lower boom.

В показанном примере подвесные канаты 34 составляют бифилярную подвеску для узла 10 съемочного аппарата и осветительного оборудования. Подвесные канаты позволяют управлять позицией оборудования по азимуту и могут крепиться к кронштейну 36 в разных положениях, тем самым удерживая оборудование в равновесии при заданной конфигурации стрел 16 и 18. Это дает возможность точного регулирования ориентации (т.е., угла установки) узла съемочного аппарата и осветительного оборудования, поскольку центр масс узла съемочного аппарата и осветительного оборудования оказывается ниже точки крепления.In the example shown, the suspension ropes 34 constitute a bifilar suspension for the assembly 10 of the camera and lighting equipment. Suspension ropes allow you to control the position of the equipment in azimuth and can be attached to the bracket 36 in different positions, thereby keeping the equipment in balance with a given configuration of the booms 16 and 18. This allows precise control of the orientation (i.e., installation angle) of the camera unit and lighting equipment, since the center of gravity of the camera and lighting equipment assembly is below the attachment point.

В предпочтительном варианте, перенос всех данных и питания, требуемых верхней осветительной матрицей и нижней осветительной матрицей, происходит по кабельному шлангу 38, который также несет кожух съемочного аппарата и проходит между узлом съемочного аппарата и осветительного оборудования и системой 12 управления съемочным аппаратом и освещением.In the preferred embodiment, the transfer of all data and power required by the upper light array and the lower light array occurs through cable conduit 38, which also carries the camera housing and runs between the camera and lighting assembly and the camera and lighting control system 12.

На фиг.2 показан чертеж узла 10 съемочного аппарата и осветительного оборудования, погруженных в морскую ферму 40. Показанная возможная морская ферма окружена доком 42, от которого простираются вверх вертикальные опорные элементы 44. Между опорными элементами проходят натянутые кабели 46. Подвесные канаты 34 можно крепить к натянутым кабелям 46, обеспечивая введение узла 10 съемочного аппарата и осветительного оборудования в морскую ферму и отвод их от нее, а также управление горизонтальным положением оборудования относительно дока 42.Figure 2 shows a drawing of the assembly 10 of the camera and lighting equipment, immersed in the marine farm 40. The possible marine farm shown is surrounded by a dock 42, from which vertical support elements 44 extend upwards. Tensioned cables 46 pass between the support elements. Suspension ropes 34 can be attached to the stretched cables 46, providing the introduction of the assembly 10 of the camera and lighting equipment into the marine farm and their removal from it, as well as controlling the horizontal position of the equipment relative to the dock 42.

Вместе с тем, следует отметить, что морская ферма также может иметь форму, отличающуюся от той, которая показана на фиг.2.However, it should be noted that the marine truss may also have a shape different from that shown in Fig.2.

Протяженность несущих кабелей и канатов также обеспечивает регулирование глубины узла съемочного аппарата и осветительного оборудования ниже поверхности воды. В предпочтительном варианте, узел съемочного аппарата и осветительного оборудования размещают на глубине, при которой положение кожуха 20 съемочного аппарата оказывается ниже поверхностных смешивающихся слоев, где сильнее всего проявляется турбулентное смешение теплой и холодной воды или соленой и пресной воды. Это дополнительно снижает оптическое искажение, связанное с градиентами плотности. Требуемая глубина зависит от местонахождения и времени года, но в типичных случаях предпочтительна глубина 2—3 м.The length of the supporting cables and ropes also provides regulation of the depth of the camera assembly and lighting equipment below the water surface. Preferably, the camera and lighting equipment assembly is located at a depth where the position of the camera housing 20 is below the surface mixing layers, where turbulent mixing of warm and cold water or salt and fresh water is most pronounced. This further reduces the optical distortion associated with density gradients. Depth required varies by location and time of year, but typically a depth of 2-3 m is preferred.

Как показано на фиг.3, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 содержат горизонтальные элементы 48, которые служат опорой одному или нескольким осветительным приборам 50 в пределах осветительной матрицы вдоль их длины. В варианте осуществления, показанном на фиг.3, каждая из верхней осветительной матрицы и нижней осветительной матрицы содержит по два осветительных прибора 50; вместе с тем, можно использовать разные количества осветительных приборов. Горизонтальные элементы 48 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30, 32. As shown in FIG. 3, the upper lighting array 22 and the lower lighting array 24 comprise horizontal members 48 that support one or more lighting fixtures 50 within the lighting array along their length. In the embodiment shown in FIG. 3, the upper light array and the lower light array each comprise two lighting fixtures 50; however, you can use different numbers of lighting fixtures. The horizontal elements 48 are articulated with the upper boom and the lower boom in the swivel joints 30, 32.

Локтевые шарниры 26, 28 между вертикальным опорным элементом 14 и верхней стрелой 16 и нижней стрелой 18 и поворотные шарниры 30, 32 между верхней стрелой и нижней стрелой и горизонтальными элементами 48 совместно обеспечивают независимое регулирование: Elbow joints 26, 28 between the vertical support element 14 and the upper boom 16 and lower boom 18 and the pivot joints 30, 32 between the upper boom and lower boom and the horizontal elements 48 together provide independent regulation:

- горизонтального смещения между кожухом 20 съемочного аппарата и верхней осветительной матрицей 22; - horizontal displacement between the housing 20 of the camera and the upper lighting matrix 22;

- горизонтального смещения между кожухом 20 съемочного аппарата и нижней осветительной матрицей 24, - horizontal displacement between the casing 20 of the shooting apparatus and the lower lighting matrix 24,

- угловой ориентации осветительных приборов 50 в пределах верхней осветительной матрицы 22; и - the angular orientation of the lighting fixtures 50 within the upper lighting matrix 22; and

- угловой ориентации осветительных приборов 50 в пределах нижней осветительной матрицы 24.- the angular orientation of the lighting fixtures 50 within the lower lighting matrix 24.

В общем случае, верхняя осветительная матрица и нижняя осветительная матрица расположены относительно кожуха съемочного аппарата так, что обеспечивают адекватное освещение в пределах некоторой целевой области, где будет изображена рыба для обнаружения таких наружных паразитов рыб, как морские вши. Вертикальная в продольном направлении конструкция и конфигурация узла 10 съемочного аппарата и осветительного оборудования максимизирует вероятность того, что рыбы (которые проявляют отвращение к длинным, горизонтально ориентированным объектам) будут плавать в непосредственной близости к кожуху съемочного аппарата. Помимо этого, отдельные и независимо регулируемые верхняя осветительная матрица и нижняя осветительная матрица обеспечивают алгоритмы освещения, разработанные конкретно для решения проблем освещения, характерных для рыбы, подробнее обсуждаемых ниже.In general, the upper illumination array and the lower illumination array are positioned relative to the camera housing so as to provide adequate illumination within a certain target area where fish will be imaged to detect external fish parasites such as sea lice. The longitudinally vertical design and configuration of the camera and lighting assembly 10 maximizes the likelihood that fish (which exhibit an aversion to long, horizontally oriented objects) will swim in close proximity to the camera housing. In addition, separate and independently adjustable top light arrays and bottom light arrays provide lighting algorithms designed specifically to address the lighting problems specific to fish, discussed in more detail below.

Кожух 20 съемочного аппарата, который показан посредством вида спереди на фиг.3, содержит съемочный аппарат 52, определяющий дальность детектор 54, например - определяющий дальность блок с использованием света и обнаружением времени его распространения, и датчик 56 положения, включающий в себя, например, магнитометр и инерциальный измерительный блок (ИИБ), или другие известные системы определения положения.The camera housing 20, which is shown through the front view in FIG. magnetometer and inertial measurement unit (IMU), or other known position determination systems.

Съемочный аппарат предпочтительно представляет собой доступный для приобретения цифровой съемочный аппарат с высокочувствительным малошумящим датчиком, выполненный с возможностью захвата четких изображений быстро плывущих рыб при относительно слабом освещении. В одном предпочтительном варианте осуществления изобретения используется съемочный аппарат Raytrix C42i, обеспечивающий горизонтальное поле обзора приблизительно 60° и вертикальное поле обзора приблизительно 45°. Конечно, в качестве альтернативы можно использовать любой другой съемочный аппарат с аналогичными свойствами (включая электронное управление фокусом).The camera is preferably a commercially available digital camera with a high sensitivity low noise sensor capable of capturing clear images of fast swimming fish in relatively low light. In one preferred embodiment of the invention, a Raytrix C42i camera is used, providing a horizontal field of view of approximately 60° and a vertical field of view of approximately 45°. Of course, any other camera with similar properties (including electronic focus control) can be used as an alternative.

Определяющий дальность детектор 54 используется для обнаружения дальности и пеленга рыбы, плавающей в пределах поля обзора съемочного аппарата 52. Этот детектор содержит излучающее оптическое средство 58 и принимающее оптическое средство 60. Излучающее оптическое средство 58 создает веер света, ориентированного в вертикальном направлении, но - предпочтительно - коллимированного в горизонтальном направлении. То есть, веер расходится по дифференту - параллельно вертикальному опорному элементу, но относительно мало расходится по рысканию - перпендикулярно вертикальному опорному элементу.A ranging detector 54 is used to detect the range and bearing of fish swimming within the field of view of the camera 52. This detector includes an emitting optic 58 and a receiving optic 60. The emitting optic 58 produces a fan of light oriented in the vertical direction, but preferably - collimated in the horizontal direction. That is, the fan diverges along the trim - parallel to the vertical support element, but diverges relatively little along the yaw - perpendicular to the vertical support element.

Принимающее оптическое средство 60 содержит матрицу светодетекторных элементов, каждый из которых обнаруживает свет, падающий из пределов угла восприятия, раствор которого занимает, по меньшей мере, участок вертикального поля обзора съемочного аппарата. Углы смежных детекторных элементов примыкают друг к другу по дифференту, совместно образуя веер восприятия, который полностью покрывает вертикальное поле обзора. Эти ориентация и конфигурация излучающего и принимающего оптических средств оптимизированы для обнаружения и определения местонахождения туловищ рыб (которые обычно имеют высокое отношение длины к ширине), плавающих параллельно горизонтальной поверхности воды.The receiving optical means 60 comprises an array of light detecting elements, each of which detects light incident from the limits of the angle of perception, the opening of which occupies at least a portion of the vertical field of view of the camera. The corners of adjacent detector elements adjoin each other along the trim, together forming a perception fan that completely covers the vertical field of view. This orientation and configuration of emitting and receiving optics is optimized for detecting and locating fish bodies (which typically have a high length to width ratio) swimming parallel to the horizontal surface of the water.

В предпочтительном варианте определяющий дальность детектор 54 работает на длине волны света, обеспечивающей его эффективное пропускание в пределах воды. Например, для обеспечения эффективного пропускания в пределах морской воды можно использовать синий свет или зеленый свет. В предпочтительном варианте осуществления изобретения, определяющий дальность детектор представляет собой детектор LEDDAR^® (Light-Emitting-Diode Detection And Ranging detector - светодиодный обнаруживающий и определяющий дальность детектор), такой, как LeddarTech M16, излучающий и принимающий свет на длине волны 465 нм. Конечно, изобретение не ограничивается этим вариантом осуществления определяющего дальность детектора.Preferably, the range detector 54 operates at a wavelength of light that allows it to pass effectively through the water. For example, blue light or green light can be used to provide efficient transmission within seawater. In a preferred embodiment of the invention, the ranging detector is a ^LEDDAR® (Light-Emitting-Diode Detection And Ranging detector), such as the LeddarTech M16, which emits and receives light at a wavelength of 465 nm. Of course, the invention is not limited to this embodiment of the ranging detector.

В тоже предпочтительном варианте осуществления изобретения веер освещения, генерируемый излучающим оптическим средством, расходится приблизительно на 45° по дифференту, что, в сущности, дает раствор, охватывающий вертикальное поле обзора съемочного аппарата, и расходится приблизительно на 7,5° по рысканию. Принимающее оптическое средство 60 содержит матрицу из 16 детекторных элементов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту и приблизительно 7,5° по рысканию. Конечно, количество детекторных элементов может быть меньше или больше, чем 16, а предпочтительно составляет не менее 4. В предпочтительном варианте, и веер освещения, и веер восприятия горизонтально центрированы в пределах поля обзора съемочного аппарата, гарантируя возможность захвата обнаруженной рыбы съемочным аппаратом полностью.In a similarly preferred embodiment of the invention, the illumination fan generated by the emitting optics diverges about 45° trim, which essentially gives an aperture spanning the vertical field of view of the camera, and diverges about 7.5° yaw. The receiving optical means 60 comprises an array of 16 detector elements, each with a field of view of approximately 3° in trim and approximately 7.5° in yaw. Of course, the number of detector elements may be less than or greater than 16, and preferably not less than 4. Preferably, both the illumination fan and the sensing fan are horizontally centered within the field of view of the camera, ensuring that the detected fish can be completely captured by the camera.

Можно также предусмотреть системы с двумя или более определяющими дальность детекторами. Например, можно было бы расположить веер «выше по течению» (как определяется преобладающем направлением плавания рыбы) от геометрической оси, чтобы обеспечить «заблаговременное предупреждение» о попадании рыбы в кадр. Аналогичным образом, можно было бы разместить некоторый блок «ниже по течению», чтобы подтвердить выход рыбы из кадра.Systems with two or more ranging detectors may also be envisaged. For example, one could position the fan "upstream" (as determined by the predominant swimming direction of the fish) from the geometry axis to provide "advance warning" of fish entering the frame. Likewise, some block "downstream" could be placed to confirm the exit of the fish from the frame.

ИИБ в датчике 56 положения содержит акселерометр и гироскоп, например - аналогичные тем, которые можно найти в доступных для приобретения смартфонах. В одном предпочтительном варианте осуществления изобретения магнитометр и ИИБ расположены вместе на единственной печатной плате внутри кожуха 20 съемочного аппарата. ИИБ и магнитометр совместно измеряют ориентацию кожуха съемочного аппарата (а значит - и изображений, получаемых съемочным аппаратом) относительно поверхности воды и морской фермы. Поскольку рыба в общем случае плывет параллельно поверхности воды и вдоль краев морской фермы, эту информацию можно использовать для того, чтобы информировать систему машинного зрения об ожидаемой ориентации рыбы в пределах получаемых изображений.The ISS in position sensor 56 includes an accelerometer and a gyroscope, for example similar to those found in commercially available smartphones. In one preferred embodiment of the invention, the magnetometer and the ISS are located together on a single printed circuit board inside the casing 20 of the camera. The ISS and the magnetometer jointly measure the orientation of the camera housing (and hence the images obtained by the camera) relative to the water surface and the marine farm. Because the fish generally swim parallel to the surface of the water and along the edges of the marine farm, this information can be used to inform the machine vision system of the expected orientation of the fish within the acquired images.

Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 могут включать в себя одну или несколько ламп различных типов (например, накаливания, газоразрядных или светодиодных), излучающих свет на любом количестве длин волн. В предпочтительном варианте выбирают конкретные типы ламп, чтобы предоставить достаточную цветовую информацию (т.е. достаточно широкий спектр излучения), чтобы адекватно отличить наружного паразита рыбы, такого, как морские вши, от ткани рыбы. Кроме того, типы и интенсивность ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы предпочтительно выбирают дающими относительно равномерную интенсивность света, отражаемого к съемочному аппарату, несмотря на типичные, создающие заметный обратно-теневой эффект туловища рыб.Upper illumination array 22 and lower illumination array 24 may include one or more lamps of various types (eg, incandescent, HID, or LED) emitting light at any number of wavelengths. In the preferred embodiment, particular types of lamps are selected to provide sufficient color information (ie, a sufficiently broad spectrum of radiation) to adequately distinguish an external fish parasite, such as sea lice, from fish tissue. In addition, the types and intensities of the lamps within the upper light array and the lower light array are preferably chosen to give a relatively uniform intensity of light reflected to the camera, despite the typical back-shadow effect of the body of the fish.

В предлагаемом здесь варианте осуществления верхняя осветительная матрица 22 содержит пару ксеноновых ламп-вспышек. Нижняя осветительная матрица 24 содержит пару светодиодных ламп, каждая из которых содержит чип со 128 кристаллами светоизлучающих диодов (СИДов) белого цвета свечения. Эта гибридная осветительная система обеспечивает больший диапазон интенсивности освещения, чем тот, которого можно достичь с помощью однотипного освещения. В частности, лампы-вспышки обеспечивают короткое, но интенсивное освещение (приблизительно 3400 лк) рыб сверху, синхронизированное с работой затвора съемочного аппарата. Это гарантирует адекватный свет, отражаемый к съемочному аппарату от, как правило, темных, обладающих высокой светопоглощающей способностью верхних поверхностей рыб. (Это требует большей интенсивности света, чем та, которую могли бы давать светодиодные лампы нижней осветительной матрицы.) Соответственно, светодиодные лампы обеспечивают адекватную интенсивность освещения для являющихся в типичных случаях светлыми нижних поверхностей рыб. (Это требует интенсивности ниже той, которую могли бы давать ксеноновые лампы-вспышки верхней осветительной матрицы.) Результирующий равномерно яркий свет, отражаемый от рыб, позволяет эксплуатировать съемочный аппарат при относительно низкой чувствительности (например, ниже ISO 3200), обеспечивая изображения с низким уровнем шума для системы машинного зрения. В заключение отметим, что и ксеноновые лампы-вспышки, и светодиодные лампы обеспечивают адекватно широкий спектр, позволяя отличить таких наружных паразита рыб, как морские вши, от ткани рыб.In the embodiment provided herein, the upper illumination array 22 comprises a pair of xenon flash lamps. The lower lighting array 24 contains a pair of LED lamps, each of which contains a chip with 128 white light emitting diode (LED) chips. This hybrid lighting system provides a greater range of lighting intensity than can be achieved with single-type lighting. In particular, flash lamps provide short but intense illumination (approximately 3400 lux) of fish from above, synchronized with the operation of the shutter of the camera. This ensures adequate light is reflected back to the camera from the generally dark, highly absorbent upper surfaces of the fish. (This requires more light intensity than would be provided by LED bottom light array lamps.) Accordingly, LED lamps provide adequate light intensity for the typically light undersurfaces of fish. (This requires an intensity below that which would be produced by xenon flash lamps from the top light array.) The resulting uniformly bright light reflected off the fish allows the camera to be operated at relatively low sensitivities (e.g. below ISO 3200), providing low level images. noise for a machine vision system. In conclusion, both xenon flash lamps and LED lamps provide adequately broad spectrum to distinguish external fish parasites such as sea lice from fish tissue.

Как описано выше, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 расположены так, что обеспечивают желаемое освещение по всей целевой области. Целевая область характеризуется вертикальным полем обзора съемочного аппарата, а также ближней и дальней границами вдоль оси съемочного аппарата. Расстояние от съемочного аппарата до ближней границы является большим из (a) ближайшего достижимого фокусного расстояния съемочного аппарата и (b) расстояния, на котором типичная рыба перегораживает весь угол горизонтального обзора съемочного аппарата. Расстояние от съемочного аппарата до дальней границы - это расстояние, на котором угловое разрешение съемочного аппарата больше не позволяет обнаруживать наименьшего наружного паразита рыбы, такого, как морские вши, которые должны быть обнаружены. Ближняя граница «a» и дальняя граница «b» иллюстрируются на фиг.4.As described above, the upper illumination array 22 and the lower illumination array 24 are positioned to provide the desired illumination over the entire target area. The target area is characterized by the vertical field of view of the camera, as well as the near and far boundaries along the axis of the camera. The distance from the camera to the nearest boundary is the greater of (a) the closest achievable focal length of the camera and (b) the distance at which a typical fish obscures the entire horizontal angle of view of the camera. The distance from the camera to the far boundary is the distance at which the angular resolution of the camera is no longer capable of detecting the smallest external fish parasite, such as sea lice, that must be detected. Near border "a" and far border "b" are illustrated in Fig.4.

Каждая из ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы обеспечивает в общем случае осесимметричную картину освещения. Поскольку в пределах каждой матрицы вдоль длины горизонтальных элементов имеются несколько ламп, картину освещения можно эффективно охарактеризовать угловым раствором в плоскости дифферента. Длину вертикального опорного элемента 14, угловое положение верхней стрелы 16 и нижней стрелы 18 и угловую ориентацию верхней осветительной матрицы 22 и нижней осветительной матрицы 24 предпочтительно регулируют так, что угловой раствор верхней осветительной матрицы и нижней осветительной матрицы эффективно покрывает целевую область. Расстояние от съемочного аппарата до «зоны наилучшего восприятия» зависит от размера рыбы, подлежащей мониторингу, и может находиться, например, в диапазоне от 200 мм до 2000 мм. В случае, например, лосося, подходящее значение может составлять около 700 мм.Each of the lamps within the upper light array and the lower light array provides a generally axisymmetric lighting pattern. Since there are several lamps within each matrix along the length of the horizontal elements, the illumination pattern can be effectively characterized by the angled opening in the trim plane. The length of the vertical support member 14, the angular position of the upper boom 16 and lower boom 18, and the angular orientation of the upper illumination array 22 and lower illumination array 24 are preferably adjusted such that the angular opening of the upper illumination array and lower illumination array effectively covers the target area. The distance from the camera to the "sweet spot" depends on the size of the fish to be monitored and may be, for example, in the range of 200 mm to 2000 mm. In the case of salmon, for example, a suitable value may be around 700 mm.

На практике, интенсивности освещения, обеспечиваемого верхней осветительной матрицей и нижней осветительной матрицей, не вполне равномерны по всему своему угловому раствору. Вместе с тем, вышеизложенный подход гарантирует, что по целевой области обеспечивается приемлемая величина освещенности. Это также приводит к нахождению «зоны наилучшего восприятия» на коротком расстоянии за пределами ближней границы, где угол освещения между верхней осветительной матрицей, нижней осветительной матрицей и съемочным аппаратом оказывается оптимальным. Это приводит к наилучшим образом освещенным изображениям, обеспечивая также наилучшее угловое разрешение, достижимое съемочным аппаратом и минимально страдающее от искажений вследствие градиентов плотности. In practice, the illumination intensities provided by the upper illumination matrix and the lower illumination matrix are not perfectly uniform throughout their entire angular opening. However, the above approach ensures that an acceptable amount of illumination is provided over the target area. This also results in a "sweet spot" a short distance outside the near boundary where the angle of illumination between the upper light array, lower light array and camera is optimal. This results in the best possible illuminated images, while also providing the best angular resolution achievable by the camera and minimally suffering from distortion due to density gradients.

В рамках объема притязаний изобретения можно использовать широкий ассортимент других съемочных аппаратов и большое разнообразие геометрий освещения. В частности, можно сконструировать узел съемочного аппарата и осветительного оборудования для расположения в ориентациях, отличающихся от вертикальной ориентации согласно фиг.1. Например, узел съемочного аппарата и осветительного оборудования можно ориентировать горизонтально - параллельно поверхности воды. Можно также сконструировать узел съемочных аппаратов и осветительного оборудования для поддержания одного или нескольких съемочных аппаратов в фиксированных положениях (относительно целевого района), отличающихся от тех, которые показаны фиг.1. Кроме того, некоторые варианты осуществления изобретения могут предусматривать несколько узлов съемочных аппаратов и осветительного оборудования, например, два узла съемочных аппаратов и осветительного оборудования, симметрично расположенные впереди и позади целевой области, создавая возможность одновременного захвата изображений с обеих сторон одной рыбы.A wide variety of other cameras and a wide variety of lighting geometries can be used within the scope of the invention. In particular, the camera and lighting equipment assembly can be designed to be located in orientations other than the vertical orientation of FIG. For example, the assembly of the camera and lighting equipment can be oriented horizontally - parallel to the surface of the water. It is also possible to design an assembly of cameras and lighting equipment to maintain one or more cameras in fixed positions (relative to the target area) other than those shown in Fig.1. In addition, some embodiments of the invention may include multiple camera and lighting assemblies, such as two camera and lighting assemblies symmetrically placed in front of and behind the target area, allowing images to be captured from both sides of the same fish at the same time.

Система управления съемочным аппаратом и освещениемCamera and lighting control system

Система 12 управления съемочным аппаратом и освещением управляет работой системы захвата изображений. Система управления съемочным аппаратом и освещением:The camera and lighting control system 12 controls the operation of the image capture system. Camera and lighting control system:

- принимает и анализирует данные из определяющего дальность детектора 54, определяя надлежащее фокусное расстояние съемочного аппарата;- receives and analyzes data from the ranging detector 54, determining the proper focal length of the camera;

- управляет фокусом и затвором съемочного аппарата;- controls the focus and shutter of the camera;

- управляет синхронизацией освещения верхней осветительной матрицы 22 и нижней осветительной матрицы 24 относительно затвора съемочного аппарата 52; и- controls the synchronization of illumination of the upper lighting matrix 22 and the lower lighting matrix 24 relative to the camera shutter 52; and

- принимает, анализирует и сохраняет данные изображений и метаданные изображений, включая замеры, получаемые из определяющего дальность детектора, магнитометра и из ИИБ.- receives, analyzes and stores image data and image metadata, including measurements obtained from the ranging detector, magnetometer and from the IMU.

В данном варианте осуществления система 12 управления съемочным аппаратом и освещением содержит компьютер 62 и блок 64 управления питанием, которые находятся в некотором сухом месте (например, доке 42), физически близком к узлу 10 съемочного аппарата и осветительного оборудования. В альтернативных вариантах осуществления, по меньшей мере, часть функциональных возможностей системы управления съемочным аппаратом и освещением, обеспечиваемых компьютером, воплощается системой, погруженной под поверхностью воды (например, установленной на вертикальный опорный элемент 14 или встроенной внутри кожуха съемочного аппарата). В общем случае, компьютер 62 включает в себя драйверы устройств для каждого датчика в пределах узла 10 съемочного аппарата и осветительного оборудования. В частности, компьютер включает в себя драйверы устройств для съемочного аппарата 52, определяющего дальность детектора 54 и магнитометра, а также ИИБ датчика 56 положения. Драйверы устройств позволяют компьютеру получать данные измерения из связанных с ним датчиков и посылать в них данные управления. В одном предпочтительном варианте осуществления, между устройствами и процессами, проходящими на компьютере, происходит обмен данными измерения и данными управления как сообщениями в робототехнической операционной системе (РОС). Данные из датчиков (включая определяющий дальность детектор) поступают с частотой 10 Гц, а замеры из магнитометра и ИИБ поступают с частотой 100 Гц. Каждое из сообщений заносится на диск на компьютере.In this embodiment, the camera and lighting control system 12 includes a computer 62 and a power control unit 64 located in some dry location (eg, dock 42) that is physically close to the camera and lighting assembly 10. In alternative embodiments, at least a portion of the camera and lighting control system functionality provided by the computer is embodied by a system submerged below the surface of the water (e.g., mounted on a vertical support member 14 or built inside the camera housing). In general, computer 62 includes device drivers for each sensor within camera and lighting assembly 10 . In particular, the computer includes device drivers for the camera 52, the ranging detector 54 and the magnetometer, and the IMU of the position sensor 56. Device drivers allow the computer to receive measurement data from its associated sensors and send control data to them. In one preferred embodiment, measurement data and control data are exchanged between devices and processes running on a computer as messages in a robotic operating system (ROS). The data from the sensors (including the ranging detector) are received at a frequency of 10 Hz, while the measurements from the magnetometer and the IMU are received at a frequency of 100 Hz. Each of the messages is written to a disk on the computer.

Компьютер 62 выдает сигналы управления в блок 64 управления питанием и - по выбору - принимает диагностические данные из блока управления питанием. Блок управления питанием подает питание по кабельному шлангу 38 на верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. В предпочтительном варианте осуществления блок 64 управления питанием получает питание напряжением 220 В переменного тока, которое можно подавать непосредственно в зарядное устройство батареи конденсаторов для ксеноновых ламп-вспышек в пределах верхней осветительной матрицы 22 (когда ее запускают). Блок управления питанием передает питание в подводную соединительную коробку (не показана), которая преобразует питание переменного тока в питание постоянного тока (например, 36 В или 72 В) для светодиодных ламп в пределах верхней осветительной матрицы 24.The computer 62 provides control signals to the power management unit 64 and optionally receives diagnostic data from the power management unit. The power control unit supplies power through conduit 38 to the upper light array 22 and lower light array 24. In the preferred embodiment, the power control unit 64 receives 220 VAC power that can be fed directly into the xenon flashlamp capacitor bank charger. within the upper lighting matrix 22 (when it is started). The power control unit sends power to an underwater junction box (not shown) which converts AC power to DC power (e.g. 36V or 72V) for the LED lamps within the top light array 24.

Процесс вычисления фокуса, проводимый компьютером 62, cобуславливает непрерывный мониторинг данных определения дальности для обнаружения присутствия и определения дальности до рыбы в пределах целевой области. Данные определения дальности состоят из одного или нескольких расстояний для каждого детекторного элемента, от которого свет отражался обратно к детекторному элементу из пределов его угла восприятия в пределах веера восприятия.The focus calculation process by computer 62 causes the ranging data to be continuously monitored to detect the presence and range of fish within the target area. The ranging data consists of one or more distances for each detector element from which light was reflected back to the detector element from within its sensing angle within the sensing fan.

На фиг.4 показан вид сбоку угловых полей 66 обзора определяющих дальность детекторных элементов в принимающем оптическом средстве 60 в пределах определяющего дальность веера 68 восприятия. Как описано выше, апертурные углы смежных детекторов примыкают друг к другу по дифференту, совместно создавая веер восприятия. На фиг.4 показана матрица из 16 детекторов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту.FIG. 4 shows a side view of the angular viewing fields 66 of the range-determining detector elements in the receiving optical means 60 within the range-determining perception fan 68. FIG. As described above, the aperture angles of adjacent detectors are trimmed to each other, collectively creating a sensing fan. Figure 4 shows an array of 16 detectors, each with a field of view, the solution of which occupies approximately 3° trim.

На фиг.4 показаны средние углы установки детекторов в пределах определяющего дальность веера 68 восприятия. Каждый средний угол установки иллюстрируется геометрической осью 70, делящей пополам поле 66 обзора соответствующего детектора. Средний угол установки - это угол между делящей пополам геометрической осью 70 (биссектрисой) и геометрической осью веера 68 восприятия в целом, которая в общем случае параллельна оптической оси съемочного аппарата 52.Figure 4 shows the average installation angles of the detectors within the range-determining fan 68 perception. Each average mounting angle is illustrated by a geometric axis 70 bisecting the field of view 66 of the corresponding detector. The average installation angle is the angle between the bisecting geometric axis 70 (bisector) and the geometric axis of the perception fan 68 as a whole, which is generally parallel to the optical axis of the camera 52.

На фиг.4 также показан вид сбоку расстояний и средних углов установки для нескольких детекторных элементов, загороженных рыбами 72, 74 в пределах определяющего дальность веера 68 восприятия. В общем случае, процесс вычисления фокуса обеспечивает обнаружение рыб, когда несколько смежных детекторных элементов сообщают аналогичные расстояния. В предпочтительном варианте осуществления изобретения рыба обнаруживается, когда М или более смежных детекторных элементов информируют об аналогичных расстояниях d_i. Количество М может находиться в диапазоне от 1 до 1/2 общего количества детекторов (т.е. 8-ми в этом примере). В частности, процесс вычисления фокуса обуславливает поиск смежных множеств из М или более смежных расстояний d_i, для которых [max(d_i)—min(d_i)]≤W. М и W - это параметры, которые может регулировать оператор системы захвата изображений, причем W представляет максимальную допустимую толщину, приблизительно соответствующую половине толщины самой крупной рыбы, которая будет обнаружена. В зависимости от размера или возраста рыбы, параметры М и W оптимизируют для каждой системы или каждой фермы. При каждом таком обнаружении вычисление фокуса предусматривает вычисление среднего расстояния Figure 4 also shows a side view of the distances and average installation angles for several detector elements obstructed by fish 72, 74 within the ranging fan 68 of perception. In general, the focus calculation process provides fish detection when multiple adjacent detector elements report similar distances. In a preferred embodiment of the invention, fish are detected when M or more adjacent detector elements are informed of similar distances d _i . The number M can range from 1 to 1/2 of the total number of detectors (ie 8 in this example). In particular, the process of calculating the focus causes the search for adjacent sets of M or more adjacent distances d _i for which [max(d _i )—min(d _i )]≤W. M and W are parameters that can be adjusted by the operator of the imaging system, with W representing the maximum allowable thickness corresponding approximately to half the thickness of the largest fish to be detected. Depending on the size or age of the fish, the parameters M and W are optimized for each system or each farm. For each such detection, the calculation of the focus involves the calculation of the average distance

и среднего пеленга and middle bearing

где β_i - средние углы установки каждого из смежных детекторных элементов. Затем процесс вычисления фокуса возвращает фокусное расстояние D_f = D × cos β, которое представляет собой расстояние от съемочного аппарата до рекомендуемой фокальной плоскости вдоль оптической оси съемочного аппарата.where β _i - the average installation angles of each of the adjacent detector elements. The focus calculation process then returns the focal length D _f = D × cos β, which is the distance from the camera to the recommended focal plane along the optical axis of the camera.

Благодаря рассеянным частицам в воде или объекту (например, рыбе), который противолежит лишь части угла восприятия детектора, один детектор может сообщать о нескольких расстояниях. В варианте практического осуществления, в тех случаях, где один детектор сообщает о нескольких расстояниях, при вычислении фокуса используется наибольшее расстояние. Это минимизирует количество ложных обнаружений, обуславливаемых частицами в пределах воды. В случае, если несколько расстояний действительно связаны с двумя рыбами, одна из которых заслоняет лишь часть угла восприятия детектора, вероятно, что соседние детекторы будут по-прежнему успешно обнаруживать частично заслоняющую рыбу.Due to scattered particles in water or an object (such as a fish) that opposes only part of the detection angle of the detector, a single detector can report several distances. In an embodiment, where a single detector reports multiple distances, the largest distance is used in the focus calculation. This minimizes the number of false positives caused by particles within the water. In the event that several distances are indeed associated with two fish, one of which only obscures part of the detector's perception angle, it is likely that adjacent detectors will still successfully detect the partially obscuring fish.

Информацию о присутствии рыб и дальности до них, определяемую посредством процесса вычисления фокуса, можно использовать для управления получением изображений съемочным аппаратом. Например, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого предварительно определенного расстояния до «зоны наилучшего восприятия», обеспечивающей оптимальное освещение. Например, если «зона наилучшего восприятия» отстоит на 700 мм, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого диапазона расстояния от 600 до 800 мм. Всякий раз, когда происходит захват изображений, система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему значению дальности, определенному посредством процесса вычисления фокуса.The fish presence and range information determined through the focus calculation process can be used to control the acquisition of images by the camera. For example, image capture is only possible when a fish is detected within some predetermined distance to a "sweet spot" that provides optimal illumination. For example, if the "sweet spot" is 700 mm away, images can only be captured when fish are detected within a certain distance range of 600 to 800 mm. Whenever images are captured, the camera and lighting control system sets the focal length of the camera to the most recent range value determined through the focus calculation process.

В одном предпочтительном варианте осуществления изобретения система управления съемочным аппаратом и освещением непрерывно запускает съемочный аппарат, чтобы получать изображения периодически, например, с частотой 4 Гц или, в более общем случае, частотой между 2 и 10 Гц. Процесс вычисления фокуса предусматривает непрерывное и периодическое (например, с частотой 10 Гц или, в более общем случае, с частотой от 4 до 20 Гц) сообщение о текущем фокусном расстоянии на основе самых последних обнаружений дальностей рыб, а система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему известному фокусному расстоянию.In one preferred embodiment of the invention, the camera and lighting control system continuously fires the camera to acquire images periodically, for example at a frequency of 4 Hz, or more generally between 2 and 10 Hz. The focus calculation process provides for continuous and periodic (e.g. at 10 Hz or more generally at 4 to 20 Hz) reporting of the current focal length based on the most recent fish range detections, and the camera and lighting control system sets camera focal length equal to the latest known focal length.

Когда затвор съемочного аппарата открывается, съемочный аппарат посылает в систему 12 управления съемочным аппаратом и освещением сигнал синхронизации, который пропускается в блок 64 управления питанием. Блок управления питанием обеспечивает свечение верхней осветительной матрицы 22 и нижней осветительной матрицы 24 синхронизировано со срабатыванием затвора, гарантируя надлежащее освещение захваченного изображения. В тех вариантах осуществления изобретения, где лампы (такие, как ксеноновые лампы-вспышки согласно предпочтительному варианту осуществления изобретения) в пределах верхней осветительной матрицы или нижней осветительной матрицы не способны поддерживать продолжительность включения, одинаковую с съемочным аппаратом, блок управления питанием также может предусматривать процесс стабилизации освещения, включающий в себя непрерывную оценку того, должен ли блок управления питанием обеспечивать свечение верхней осветительной матрицы и нижней осветительной матрицы. В одном предпочтительном варианте осуществления изобретения, освещение стабилизируют если либо (a) архив данных по работе ксеноновых ламп-вспышек в пределах верхней осветительной матрицы свидетельствует, что они приближаются к своему верхнему тепловому пределу, либо (b) процесс вычисления фокуса не привел к недавнему обнаружению рыбы и сообщению обновленной дальности.When the camera shutter is opened, the camera sends a synchronization signal to the camera and lighting control system 12, which is passed to the power control unit 64 . The power control unit ensures that the upper illumination array 22 and the lower illumination array 24 are lit in synchronization with the shutter actuation, ensuring that the captured image is properly illuminated. In those embodiments where the lamps (such as the xenon flash lamps of the preferred embodiment) within the top light array or the bottom light array are not capable of sustaining the same duration as the camera, the power control unit may also provide for a stabilization process. lighting, including continuously evaluating whether the power control unit should provide the illumination of the upper lighting matrix and the lower lighting matrix. In one preferred embodiment of the invention, illumination is stabilized if either (a) a history of xenon flashlamps within the upper illumination array indicates that they are approaching their upper thermal limit, or (b) the focus calculation process has not resulted in a recent detection. fish and an updated range message.

В одном предпочтительном варианте осуществления изобретения, менее интенсивные светодиодные лампы в пределах нижней осветительной матрицы освещаются в продолжение экспозиции съемочного аппарата. Длительность экспозиции задают на уровне минимальной длительности, требуемой для того, чтобы светодиодные лампы могли обеспечить эквивалентное освещение. Длительность вспышки ксеноновых ламп-вспышек в верхней осветительной матрице регулируют так, чтобы обеспечить сбалансированное освещение с учетом защитной окраски типичной рыбы.In one preferred embodiment of the invention, the less intense LED lamps within the lower illumination array are illuminated during the exposure of the camera. The exposure time is set to the minimum duration required for the LED lamps to provide equivalent illumination. The flash duration of the xenon flash lamps in the upper light array is adjusted to provide a balanced illumination based on the camouflage of a typical fish.

Интенсивность освещения, обеспечиваемого светодиодными лампами в пределах нижней осветительной матрицы, предпочтительно является достаточно большой, чтобы обеспечить достаточно короткую экспозицию для того, чтобы дать приемлемо низкую размытость движения в пределах захваченных изображений плавающих рыб. В предпочтительном варианте осуществления изобретения датчик внутри съемочного аппарата (в частности, его количество пикселей), оптику съемочного аппарата (в частности, угловой раствор поля обзора) и расстояние до целевой области выбирают, гарантируя, что (a) в пределах поля обзора съемочного аппарата возможен захват рыбы целиком, да еще и (b) что возможно адекватное разрешение по молоди таких наружных паразитов рыб, как морские вши. При обеспечении 10 пикселей на каждые 2 мм (что сравнимо с размером молоди морских вшей) на целевом расстоянии, на котором раствор 60° горизонтального поля обзора съемочного аппарата охватывает ширину типичной половозрелой рыбы, требуется угловой шаг пикселей, составляющий 7,6×10⁻³° на пиксель. Для рыб, плавающих с типичной скоростью 0,2 м/сек, размытость движения на уровне субпикеселей гарантируется временами срабатывания затвора менее чем 0,6×10⁻³ с. Для предоставления адекватных изображений с низким уровнем шума в систему машинного зрения, предпочтителен коэффициент усиления датчика менее чем ISO 3200. Это, в свою очередь, требует освещенности приблизительно 3000 люкс по всей целевой области.The intensity of illumination provided by the LED lamps within the lower illumination array is preferably high enough to provide a short enough exposure to give acceptably low motion blur within captured images of swimming fish. In a preferred embodiment of the invention, the sensor inside the camera (in particular, its number of pixels), the optics of the camera (in particular, the angular opening of the field of view) and the distance to the target area are chosen, ensuring that (a) within the field of view of the camera, capturing whole fish, and (b) that an adequate resolution of external fish parasites such as sea lice is possible for juveniles. Providing 10 pixels for every 2 mm (comparable to the size of juvenile sea lice) at the target distance at which the 60° horizontal field of view of the camera spans the width of a typical mature fish requires a pixel pitch of 7.6×10 ⁻³ ° per pixel. For fish swimming at a typical speed of 0.2 m/s, motion blur at the sub-pixel level is guaranteed by shutter times of less than 0.6×10 ⁻³ s. To provide adequate low noise images to a machine vision system, a sensor gain of less than ISO 3200 is preferred. This in turn requires an illumination of approximately 3000 lux over the entire target area.

На фиг.5 иллюстрируются результаты, которые были бы получены с помощью определяющего дальность детектора 54 в ситуации, изображенной на фиг.4. То, что показано, это результаты обнаружения из детекторных элементов с полями обзора, имеющими геометрические оси в диапазоне от +6° до —15°. Каждая черная точка на фиг.5 представляет событие обнаружения, где отраженный свет принят надлежащим детекторным элементом. Положение точки в направлении оси d представляет расстояние до обнаруженного объекта, рассчитанное исходя из времени прохождения светового сигнала от излучающего оптического средства 58 до объекта и обратно к принимающему оптическому средству 60.FIG. 5 illustrates the results that would be obtained with a ranging detector 54 in the situation depicted in FIG. 4. FIG. What is shown are detection results from detector elements with fields of view having geometric axes ranging from +6° to -15°. Each black dot in FIG. 5 represents a detection event where reflected light is received by the proper detector element. The position of the dot in the d-axis direction represents the distance to the detected object, calculated from the travel time of the light signal from the emitting optical means 58 to the object and back to the receiving optical means 60.

Как описано ранее, рыбы 72 и 74 представлены обнаружениями на приблизительно одинаковых расстояниях d1 и d2, соответственно, для некоторого количества смежных детекторов. Для каждого индивидуального детектора, расстояние до рыбы является наибольшим среди расстояний, измеренных тем детектором. Точки на меньших расстояниях представляют шум, обуславливаемый мелкими частицами в веере восприятия.As previously described, fish 72 and 74 are represented by detections at approximately the same distances d1 and d2, respectively, for a number of adjacent detectors. For each individual detector, the distance to the fish is the largest among the distances measured by that detector. Points at smaller distances represent noise caused by small particles in the perception fan.

В ситуации, проиллюстрированной на фиг.4 и 5, рыба 74 частично заслонена рыбой 72, так что изображение всего силуэта рыбы можно получить только для рыбы 72, находящейся на меньшем расстоянии d1. Следовательно, фокус съемочного аппарата будет отрегулирован до получения того расстояния d1.In the situation illustrated in FIGS. 4 and 5, the fish 74 is partially obscured by the fish 72, so that the image of the entire silhouette of the fish can only be obtained for the fish 72 located at a smaller distance d1. Therefore, the focus of the camera will be adjusted to obtain that distance d1.

На фиг.6 представлена временная диаграмма, демонстрирующая обнаружения на расстоянии d1 как функцию времени t. Можно увидеть, что полученные обнаружения рыбы 72 для углов β в диапазоне от —3° до —15° стабильны в течение длительного периода времени, соответствующего времени, которое у рыбы уходит на то, чтобы проплыть через веер 68 восприятия. Следовательно, можно было бы также отфильтровать шум, накладывая требование, что обнаружение должно быть стабильным на некотором определенном минимальном интервале времени или, что эквивалентно, путем интегрирования сигнала, принимаемого от каждого детекторного элемента в течение некоторого определенного времени, а затем - регулирования порога результата интегрирования.6 is a timing chart showing detections at a distance d1 as a function of time t. It can be seen that the obtained detections of fish 72 for angles β in the range of -3° to -15° are stable over a long period of time corresponding to the time it takes the fish to swim through the fan 68 of perception. Therefore, one could also filter out the noise by imposing a requirement that the detection must be stable over some specified minimum time interval, or, equivalently, by integrating the signal received from each detector element over some specified time and then adjusting the threshold of the result of the integration .

В принципе, архив обнаружений того типа, которые проиллюстрированы на фиг.6, также можно было бы использовать для оптимизации интервала времени, в котором съемочный аппарат 52 получает последовательность снимков, чтобы убедиться, что, с одной стороны, количество снимков не становится необоснованно большим и, с другой стороны, что последовательность снимков включает в себя, по меньшей мере, один снимок, на котором вся рыба находится в пределах поля обзора съемочного аппарата. Например, как показано на фиг.6, в момент времени t1, когда некоторое определенное количество смежных детекторных элементов (три) обнаружат объект, который мог бы быть рыбой, можно запустить некоторый таймер. Потом - с некоторой определенной задержкой - в момент времени t2 можно запустить съемочный аппарат, чтобы начать съемку последовательности снимков, а остановлена эта последовательность будет - самое позднее - в момент времени t3, когда детекторные элементы указывают, что конец хвоста рыбы покидает веер восприятия.In principle, a detection archive of the type illustrated in FIG. 6 could also be used to optimize the time interval in which the camera 52 receives a sequence of shots, to ensure that, on the one hand, the number of shots does not become unreasonably large and on the other hand, that the sequence of shots includes at least one shot in which all the fish are within the field of view of the camera. For example, as shown in FIG. 6, at time t1, when a certain number of adjacent detector elements (three) detect an object that could be a fish, a timer can be started. Then - with some defined delay - at time t2, the camera can be started to start taking a sequence of images, and this sequence will be stopped - at the latest - at time t3, when the detector elements indicate that the end of the fish's tail leaves the perception fan.

На фиг.7 показано поле 76 обзора съемочного аппарата в момент времени t1, показанный на фиг.6, когда нос рыбы 72 только что пересек веер 68 восприятия.FIG. 7 shows the field of view 76 of the camera at the time t1 shown in FIG. 6, when the nose of the fish 72 has just crossed the perception fan 68. FIG.

На фиг.8 показано изображение, захваченное съемочным аппаратом 52 в момент времени, наступивший несколько позже момента времени t2, показанного на фиг.6, когда весь силуэт рыбы 72 оказывается в пределах поля 76 обзора. В этот момент, из результатов обнаружения детекторными элементами при β в диапазоне от —3° до —15° согласно фиг.6, можно сделать вывод, что геометрическая ось рыбы будет проходить под углом β = —9°, как показано на фиг.8. Эта информация может быть передана в систему обработки изображений и может способствовать распознаванию контура рыбы на захваченном изображении.FIG. 8 shows an image captured by the camera 52 at a time slightly later than the time t2 shown in FIG. 6, when the entire silhouette of the fish 72 is within the field of view 76 . At this point, from the detection results of the detector elements at β in the range from -3° to -15° according to Fig.6, it can be concluded that the geometric axis of the fish will pass at an angle β = -9°, as shown in Fig.8 . This information can be passed to the image processing system and can help recognize the outline of the fish in the captured image.

Возвращаясь к фиг.1, отмечаем, что компьютер 62 системы 12 управления съемочным аппаратом и освещением соединен с системой 78 обработки изображений, которая имеет доступ к базе 80 данных через систему 82 управления данными.Returning to FIG. 1, the computer 62 of the camera and lighting control system 12 is connected to the image processing system 78, which has access to the database 80 via the data management system 82.

Система управления данными Data management system

Автоматизированная система для обнаружения и подсчета таких наружных паразитов рыбы, как морские вши, также включает в себя систему 82 управления данными, которая включает в себя интерфейсы, поддерживающие получение, хранение, поиск, выборку и распределение данных изображений, метаданных изображений, аннотаций изображений и данных обнаружений, создаваемых при эксплуатации системы 78 обработки изображений.An automated system for detecting and enumerating external fish parasites such as sea lice also includes a data management system 82 that includes interfaces supporting acquisition, storage, retrieval, retrieval, and distribution of image data, image metadata, image annotations, and data. detections generated during operation of the image processing system 78 .

Хранилище данных Data store

Система 82 управления данными принимает изображения из системы захвата изображений, например, в форме «пакетов» РОС. Система управления данными распаковывает каждый пакет, например, в изображение формата JPEG или PNG и метаданные объектной нотации на мультипарадигмальном языке программирования JavaScript (JSON). Каждое из изображений формата JPEG хранится в хранилище данных.The data management system 82 receives images from the image capture system, for example, in the form of POC "packets". The data management system decompresses each package, for example, into a JPEG or PNG image and object notation metadata in the JavaScript multi-paradigm programming language (JSON). Each of the JPEG images is stored in the data store.

База данных Database

Метаданные JSON, не распакованные из каждого пакета РОС, хранятся в базе 80 данных, связанной с хранилищем данных. В общем случае, метаданные описывают параметры захвата изображения, относящиеся к связанному с ними изображению формата JPEG или PNG. Например, метаданные включают в себя указание ячейки пикселя центроида в пределах силуэта рыбы (например, пикселя, центрированного горизонтально в пределах изображения, на продольной геометрической оси), обнаруживаемого блоком LEDDAR (обнаружения и определения дальности посредством светоизлучающих диодов). Эту ячейку пикселя может - по выбору - использовать система обработки изображений (подробнее описываемая ниже), чтобы облегчить обнаружение рыб в пределах изображения.The JSON metadata not decompressed from each POC package is stored in a database 80 associated with the data store. In general, metadata describes the image capture parameters related to their associated JPEG or PNG image. For example, the metadata includes an indication of a cell of a centroid pixel within a fish silhouette (eg, a pixel centered horizontally within the image, on the longitudinal geometric axis) detected by the LEDDAR (Light Emitting Diode Detection and Ranging) unit. This pixel cell can - optionally - be used by an image processing system (described in more detail below) to facilitate the detection of fish within an image.

База 80 данных также хранит данные аннотаций, созданные в течение процесса аннотирования (подробнее описываемого ниже) для обучения системы 78 обработки изображений. Кроме того, база данных хранит информацию, характеризующую местонахождение, размер и тип рыбы и таких наружных паразитов рыб, как морские вши, обнаруживаемых системой машинного зрения. В заключение отметим, что, база данных хранит учетные данные для аутентификации, дающие пользователям возможность входить в различные интерфейсы (например, интерфейс аннотаций или интерфейс конечного пользователя) через модуль аутентификации.The database 80 also stores annotation data generated during the annotation process (described in more detail below) for training the image processing system 78 . In addition, the database stores information characterizing the location, size and type of fish and external fish parasites such as sea lice detected by the machine vision system. Finally, the database stores authentication credentials that enable users to log in to various interfaces (eg annotation interface or end user interface) through the authentication module.

Система обработки изображений Imaging system

В определенном варианте осуществления изобретение предусматривает применение системы 78 обработки изображений для выполнения задачи обнаружения таких наружных паразитов рыб, как морские вши. В предпочтительном варианте осуществления изобретения, для обеспечения детектора 84 рыб и детектора 86 наружных паразитов рыб, обучают отдельные нейронные сети. Сначала детектор 84 рыб обнаруживает индивидуальных рыб в пределах изображений, получаемых системой захвата изображений. Затем детектор 86 наружных паразитов рыб обнаруживает таких индивидуальных таких наружных паразитов рыб, как морские вши (если они есть) на поверхности каждой обнаруженной рыбы. В предпочтительном варианте детектор наружных паразитов рыб также классифицирует пол и жизненную стадию каждой обнаруженной вши. In a particular embodiment, the invention provides for the use of an image processing system 78 to perform the task of detecting external fish parasites such as sea lice. In a preferred embodiment of the invention, separate neural networks are trained to provide fish detector 84 and external fish parasite detector 86. First, the fish detector 84 detects individual fish within the images acquired by the imaging system. The external fish parasite detector 86 then detects individual external fish parasites such as sea lice (if present) on the surface of each detected fish. Preferably, the external fish parasite detector also classifies the sex and life stage of each louse detected.

Детекторы обучают посредством некоторой процедуры машинного обучения, которая обеспечивает усвоение корпуса аннотированных человеком изображений. Применение нейронной сети устраняет необходимость определения в явном виде характеристик (например, протяженности, формы, яркости, цвета или текстуры) рыб или таких наружных паразитов рыбы, как морские вши, а вместо этого делает выводы непосредственно на основе знания, которым обладают аннотаторы-люди, закодированного в пределах корпуса аннотированных изображений.The detectors are trained through some kind of machine learning procedure which ensures that a corpus of human annotated images is learned. The use of a neural network eliminates the need to explicitly define characteristics (e.g., length, shape, brightness, color, or texture) of fish or external fish parasites such as sea lice, and instead draw inferences directly from the knowledge possessed by human annotators, encoded within the corpus of annotated images.

На фиг.9 показаны положение и силуэт рыбы 72 в поле 76 обзора, обнаруживаемые детектором 84 рыб. Другая рыба 74, показанная на фиг.4, 7 и 8 исключена из рассмотрения в этом варианте осуществления, поскольку ее частично заслоняет рыба 72. Однако в модифицированном варианте осуществления было бы возможно обнаруживать также рыбу 74 и отыскивать наружного паразита рыбы, такого, как морские вши, на коже рыбы 74, постольку, поскольку она видна.Figure 9 shows the position and silhouette of the fish 72 in the field of view 76 detected by the detector 84 fish. The other fish 74 shown in FIGS. 4, 7 and 8 is excluded from consideration in this embodiment because it is partially obscured by fish 72. However, in a modified embodiment, it would also be possible to detect fish 74 and look for external fish parasites such as marine lice, on the skin of fish 74, insofar as it is visible.

В одном варианте осуществления изобретения глубина фокуса съемочного аппарата 52 выбрана такой, что четкое изображение получается для всего силуэта рыбы 72. В модифицированном варианте осуществления, как показано на фиг.9, силуэт рыбы, распознаваемый детектором рыб, разделен на подзоны 88, которые отличаются по их расстоянию от съемочного аппарата 52. Расстояния в разных подзонах 88 рассчитывают на основе результата определения дальности, полученного из определяющего дальность детектора 54. Значения расстояний, полученных посредством различных детекторных элементов определяющего дальность детектора, отражают уже эффект углового рассогласования между геометрической осью 70 поля обзора и оптической осью съемочного аппарата в направлении дифферента. Кроме того, для каждой точки в пределах силуэта рыбы 72, вывод об эффекте углового рассогласования в горизонтальном направлении можно сделать исходя из положения пикселя на рыбе в поле 76 обзора. По выбору, можно внести в расстояние поправку на рельеф туловища рыбы в горизонтальном направлении, причем этот рельеф, по меньшей мере, приближенно известен для рассматриваемых видов рыб.In one embodiment, the depth of focus of the camera 52 is chosen such that a sharp image is obtained for the entire silhouette of the fish 72. In a modified embodiment, as shown in FIG. their distance from the camera 52. The distances in the different subzones 88 are calculated based on the ranging result obtained from the ranging detector 54. The distance values obtained by the various detector elements of the ranging detector already reflect the effect of the angular mismatch between the geometrical axis 70 of the field of view and the optical axis of the camera in the direction of the trim. In addition, for each point within the silhouette of the fish 72, the effect of angular mismatch in the horizontal direction can be inferred from the position of the pixel on the fish in the field of view 76. Optionally, the distance can be corrected for the topography of the body of the fish in the horizontal direction, this topography being at least approximately known for the fish species in question.

Затем, когда снимают серию изображений рыбы 72 (например, с частотой 4 Гц, как описано выше), фокус можно изменять от изображения к изображению таким образом, что произойдет соответственная адаптация фокуса к одной из подзон 88, показанных на фиг.9. Это позволяет получать с высоким разрешением изображения всех подзон 88 рыбы с уменьшенной глубиной фокуса и - соответственно - с уставкой диафрагмы съемочного аппарата, которая потребует меньшей интенсивности света при освещении.Then, when a series of fish 72 images are taken (for example, at 4 Hz, as described above), the focus can be changed from image to image in such a way that the focus adapts accordingly to one of the subzones 88 shown in Fig.9. This allows high resolution images of all fish subzones 88 with a reduced depth of focus and thus with a camera aperture setting that will require less light intensity for illumination.

На фиг.10 показано нормализованное изображение рыбы 72, которое впоследствии предоставляется в детектор 86 наружных паразитов рыб. По выбору, это изображение может быть составлено из нескольких изображений подзон 88, захваченных с отличающимся фокусом съемочного аппарата. Далее, изображение, показанное на фиг.10 можно нормализовать по размеру, приводя его к некоторому стандартному размеру, что облегчает сравнение захваченного изображения рыбы с аннотированными изображениями.FIG. 10 shows a normalized image of a fish 72 which is subsequently provided to a fish external parasite detector 86 . Optionally, this image may be composed of several images of subzones 88 captured with a different camera focus. Further, the image shown in Fig. 10 can be normalized in size to some standard size, which makes it easier to compare the captured fish image with the annotated images.

Будет заметно, что изображение рыбы 72, распознанное и показанное на фиг.9, может подвергаться искажению (горизонтальному сжатию), если рыба ориентирована не под прямым углом к оптической оси съемочного аппарата. Процесс нормализации, приводящий к силуэту рыбы, показанному на фиг.10, может компенсировать это искажение.It will be seen that the fish image 72 recognized and shown in FIG. 9 may be subject to distortion (horizontal compression) if the fish is not oriented at right angles to the camera's optical axis. The normalization process resulting in the silhouette of the fish shown in Fig. 10 can compensate for this distortion.

Кроме того, на фиг.10 иллюстрируется предусматриваемый по выбору вариант осуществления, в котором силуэт рыбы разделен на разные области 90, 92 и 94—100. Области 90 и 92 позволяют системе обработки изображений устанавливать различия верхней стороны и нижней стороны, для чего, с одной стороны, с высоким разрешением будет цвет кожи рыбы, а с другой стороны, интенсивности и спектры освещения, обеспечиваемого верхней и нижней осветительными матрицами 22 и 24 будут отличающимися друг от друга. Знание области 90 или 92, где пиксель находится на рыбе, упрощает детектору 86 наружных паразитов рыб поиск характерных особенностей на контрасте между такими наружными паразитами рыб, как морские вши, и тканью рыбы.In addition, FIG. 10 illustrates an optional embodiment in which the silhouette of a fish is divided into different regions 90, 92 and 94-100. Areas 90 and 92 allow the imaging system to distinguish between the top side and the bottom side, for which, on the one hand, the skin color of the fish will be in high resolution, and on the other hand, the intensities and spectra of the illumination provided by the upper and lower illumination matrices 22 and 24 will be different from each other. Knowing the region 90 or 92 where the pixel is on the fish makes it easier for the external fish parasite detector 86 to find features in contrast between external fish parasites such as sea lice and fish tissue.

Дополнительные области 94—100, показанные в этом примере, обозначают избранные анатомические особенности рыбы, которые коррелируют с характерными плотностями популяции таких наружных паразитов рыб, как морские вши разных видов, на рыбе. Те же самые анатомические области 94—100 также будут идентифицированы на аннотированных изображениях, используемых для машинного обучения. Это позволяет обучать или конфигурировать детектор наружных паразитов рыб таким образом, что уровни доверительной вероятности для обнаружения таких наружных паразитов рыб, как морские вши, адаптируются к области, обследуемой в данный момент.Additional areas 94-100 shown in this example indicate selected anatomical features of the fish that correlate with characteristic population densities of external fish parasites such as sea lice of various species on the fish. The same anatomical regions 94-100 will also be identified in the annotated images used for machine learning. This allows the external fish parasite detector to be trained or configured such that the confidence levels for detecting external fish parasites such as sea lice are adapted to the area currently being surveyed.

Более того, когда детектор 86 наружных паразитов рыб эксплуатируют в режиме логических выводов, появляется возможность обеспечить отдельные статистики для разных областей 94—100 на рыбе, что может дать информацию, полезную для идентификации вида, пола и/или жизненной стадии таких наружных паразитов рыб, как морские вши, и/или степени заражения.Moreover, when the external fish parasite detector 86 is operated in inference mode, it is possible to provide separate statistics for different areas 94-100 on the fish, which can provide information useful for identifying the species, sex and/or life stage of such external fish parasites, like sea lice, and/or degrees of infestation.

Аннотирование, обучение, валидация и тестированиеAnnotation, training, validation and testing

На фиг.11 показана блок-схема последовательности операций, детализирующая аннотирование изображений и обучение, валидацию и тестирование детекторов 84, 86 в пределах системы 78 обработки изображений. Процесс аннотирования и обучения начинается с получения изображений. Интерфейс 102 аннотаций дает людям возможность создавать множество аннотаций, которое, когда оно связано с соответствующими изображениями, дает корпус аннотированных изображений.FIG. 11 shows a flowchart detailing image annotation and training, validation, and testing of detectors 84, 86 within image processing system 78. FIG. The annotation and training process starts with image acquisition. The annotation interface 102 allows people to create a plurality of annotations which, when associated with respective images, results in a corpus of annotated images.

В предпочтительном варианте осуществления изобретения интерфейс аннотирования обменивается информацией с медиасервером, который подключен к хранилищу данных в базе 80 данных. Интерфейс аннотирования может быть на основе языка описания гипертекстовых документов (HTML), позволяя людям-аннотаторам загружать, просматривать и аннотировать изображения в пределах некоторого веб-браузера. Для каждого изображения аннотатор создает некоторый полигон, в котором заключена каждая явно видимая рыба, и ограничивающий прямоугольник, охватывающий любых таких наружных паразитов рыб, как морские вши, присутствующих на поверхности рыбы. В предпочтительном варианте интерфейс аннотирования также позволяет аннотатору создавать ограничивающие прямоугольники, охватывающие глаза рыбы (которые могут оказаться визуально аналогичными наружным паразитам рыб, таким, как морские вши). В предпочтительном варианте аннотатор также указывает вид, пол и жизненную стадию каждой вши.In the preferred embodiment of the invention, the annotation interface communicates with a media server that is connected to a data store in the database 80 . The annotation interface may be based on Hypertext Document Description Language (HTML), allowing human annotators to upload, view, and annotate images within a web browser. For each image, the annotator creates a polygon that encloses each clearly visible fish and a bounding box that encloses any external fish parasites such as sea lice present on the surface of the fish. In the preferred embodiment, the annotation interface also allows the annotator to create bounding boxes enclosing the eyes of the fish (which may appear visually similar to external fish parasites such as sea lice). Preferably, the annotator also indicates the species, sex, and life stage of each louse.

Аннотации, созданные с помощью интерфейса 102 аннотаций, хранятся в базе 80 данных. При введении в базу данных и выборке из нее, аннотации для одиночного изображения сериализуются как объект JSON с указателем на связанное с ним изображение. Это упрощает усвоение аннотированного корпуса процедурой машинного обучения.Annotations created using the annotation interface 102 are stored in the database 80 . When injected into and retrieved from the database, the annotations for a single image are serialized as a JSON object with a pointer to the associated image. This simplifies the assimilation of the annotated corpus by the machine learning procedure.

В предпочтительном варианте осуществления изобретения процедура машинного обучения предусматривает обучение нейронных сетей на корпусе аннотированных изображений. Как показано на фиг.11, аннотированные изображения можно разделить на три множества изображений. Первые два множества изображений используют для обучения и валидации нейронной сети. Конкретнее, первое множество изображений (например, приблизительно 80% аннотированных изображений) используют для итеративного регулирования весов в пределах нейронной сети. Периодически (т.е. после некоторого определенного количества дополнительных итераций) используют второе множество изображений (приблизительно 10% аннотированных изображений) для валидации детектора эволюции, защищающего от избыточного обучения (переобучения). Результатом процесса обучения и одновременной валидации является обученный детектор 84, 86. Третье множество изображений (например, приблизительно 10% аннотированных изображений) используют для тестирования обученного детектора. Процедура тестирования характеризует производительность обученного детектора, в результате чего получается множество метрик 104 производительности.In a preferred embodiment of the invention, the machine learning procedure involves training neural networks on a corpus of annotated images. As shown in Fig. 11, the annotated images can be divided into three sets of images. The first two sets of images are used to train and validate the neural network. More specifically, the first set of images (eg, approximately 80% of the annotated images) is used to iteratively adjust the weights within the neural network. Periodically (ie, after a certain number of additional iterations), a second set of images (approximately 10% of the annotated images) is used to validate the evolution detector that protects against overfitting (overfitting). The result of the learning and concurrent validation process is a trained detector 84, 86. A third set of images (eg, approximately 10% of the annotated images) is used to test the trained detector. The test procedure characterizes the performance of the trained detector, resulting in a set of performance metrics 104 .

Как показано на фиг.11, весь процесс обучения, валидации и тестирования можно итерировать несколько раз как часть более широкого процесса проектирования нейронной сети до тех пор, пока не достигаются приемлемые метрики производительности. Как отмечалось выше, в предпочтительном варианте осуществления изобретения процесс согласно фиг.11 проводят, по меньшей мере, один раз, чтобы создать детектор 84 рыб, и, по меньшей мере, один раз, чтобы создать детектор 86 наружных паразитов рыб.As shown in FIG. 11, the entire training, validation, and testing process can be iterated multiple times as part of the larger neural network design process until acceptable performance metrics are achieved. As noted above, in the preferred embodiment of the invention, the process of FIG. 11 is run at least once to create a fish detector 84 and at least once to create an external fish parasite detector 86.

В альтернативных вариантах осуществления изобретения, чтобы повысить качество процесса обучения, валидации и тестирования, процедура машинного обучения включает в себя процесс аугментации данных для увеличения размера аннотированного корпуса. Например, применение таких методов аугментации, как накопление шума и перспективное преобразование аннотированного людьми корпуса, может увеличивать размер обучающего корпуса в 64 раза.In alternative embodiments of the invention, in order to improve the quality of the training, validation and testing process, the machine learning procedure includes a data augmentation process to increase the size of the annotated corpus. For example, the use of augmentation techniques such as noise accumulation and perspective transformation of a human-annotated corpus can increase the size of the training corpus by a factor of 64.

Claims

1. A system for monitoring external parasites of fish in aquaculture, comprising:

a camera (52) capable of being submerged in a marine farm (40) configured to contain fish (72, 74), the camera being configured to capture images of the fish; and

an electronic image processing system (78) configured to identify external fish parasites on fish by analyzing the captured images, characterized in that it comprises:

a ranging detector (54) configured to detect the presence of fish and measure the distance from said detector to the fish and installed adjacent to the camera (52); and

an electronic control system (12) configured to control the focus of the camera (52) based on the measured distance and with the ability to start the camera (52) when a fish is detected within a predetermined range of distances, in which the specified distance is greater than the distance, at which a typical fish obscures the entire horizontal angle of view of the camera, and less than the distance at which the angular resolution of the camera no longer detects the smallest external parasites of fish.

2. The system according to claim 1, characterized in that the ranging detector (54) comprises:

an LED detecting and ranging unit having an LED emitting optical means (58) for emitting light; and

receiving optical means (60) configured to receive the reflected light and measure the transit time of the received light.

3. The system according to claim 2, characterized in that the emitting optical means (58) is configured to emit light in the form of a fan, propagating in an extended angular range in the vertical direction and collimated in the horizontal direction.

4. The system according to claim 3, characterized in that the receiving optical means (60) includes a plurality of detector elements having adjacent fields of view (66) jointly forming a vertically oriented perception fan (68), wherein the ranging detector is configured to measuring the bearing angles (β) at which the individual detector elements detect the reflected light.

5. The system according to any one of the preceding claims, characterized in that the image processing electronic system (78) comprises a fish detector (84) configured to recognize the silhouette of a fish in the captured image, and an external fish parasite detector (86) configured to detect external parasites of fish in a given area (90-100) within the silhouette of a fish (72).

6. System according to claim 5, characterized in that the electronic image processing system (78) comprises at least one neural network constituting a fish detector (84) and/or a fish external parasite detector (86).

7. The system according to any of the previous paragraphs, characterized in that it contains a node (10) of the shooting apparatus and lighting equipment, having a vertical support element (14), an upper boom (16) articulated with the upper end of the support element (14) and carrying the upper lighting matrix (22), the lower boom (18), articulated with the lower end of the support element (14) and carrying the lower lighting matrix (24), and the casing (20) attached to the support element and carrying the camera (52) and a ranging detector (54), wherein the upper and lower illumination matrices (22, 24) are configured to illuminate - above and below - the target area within the field of view of the camera (52).

8. The system according to claim 7, characterized in that the upper illumination matrix (22) is configured to emit light with an intensity and/or spectral composition different from the intensity and/or spectral composition of the light emitted by the lower illumination matrix (24).

9. The system according to claim 8, characterized in that the upper lighting matrix (22) contains a flash lighting unit, and the lower lighting matrix (24) contains an LED lighting unit.

10. The system according to any one of claims 7 to 9, characterized in that it contains a position sensor (56) configured to detect the position of the unit (10) of the camera and lighting equipment relative to the marine farm (40).

11. The system according to any one of the preceding claims, characterized in that the electronic control system (12) is configured to control the camera (52) in order to adapt to capturing a sequence of images over a long time interval in which the ranging detector (54) continuously detects fish within a predefined range of distances.

12. Method for monitoring external parasites of fish in aquaculture, characterized in that the system according to any one of the preceding claims is used.

13. A method for monitoring external parasites of fish in aquaculture, in which:

the camera (52) is immersed in the marine farm (40) containing the fish (72, 74);

capture images of fish (72, 74) using a camera (52); and

identify external fish parasites on fish (72, 74) by analyzing captured images, characterized in that:

operating a ranging detector (54) to continuously monitor part of the marine farm (40) to detect the presence of fish in that part of the marine farm and, when the fish is detected, measure the distance from the camera (52) to the fish (72, 74); and,

when the fish is detected, calculating the focus setting of the camera (52) based on the measured distance; and

the camera (52) is launched when the detected fish (72, 74) is within a predetermined range of distances, in which the specified distance is greater than the distance at which a typical fish blocks the entire horizontal viewing angle of the camera, and less than the distance, at which the angular resolution of the camera no longer allows detection of the smallest external parasites of fish.

14. The method according to claim 12 or 13, characterized in that the electronic image processing system (78) is used to detect fish (72, 74) in the image captured by the camera (52) and to detect external parasites of fish within the silhouette of the detected fish .

15. The method according to claim 14, characterized in that the ranging detector (54) is used to measure the bearing angle of the detected fish (72), and the measured bearing angle is used in the machine vision system (78) to search for the silhouette of the fish in the captured image.

16. Method according to any one of claims 12-15, characterized in that the target area, limited by the field of view of the camera (52) and said predetermined distance range, is illuminated from above and below with light of different intensities and/or spectral compositions.

17. The method according to claim 16, characterized in that upon detecting the presence of external fish parasites at a predetermined location on the fish, a distinction is made as to whether said predetermined location is in the upper side region (90) or the lower side region (92) of the fish.

18. The method according to any one of claims 12-17, characterized in that:

distinguishing between at least two different classes of external parasites of fish, which differ in the difficulty of recognizing external parasites of fish;

calculating quality metrics for each captured image, the quality metrics identifying classes of external fish parasites for which the image quality is sufficient to detect external fish parasites; and

establish separate detection rates for each class of external fish parasites, with each detection rate based only on images whose quality, as described by the quality metrics, was found to be sufficient to detect external parasites of that class of fish.