RU2819131C1 - Mobile detachable complex and method for automatic determination of hemolysis and/or lipaemia in blood samples - Google Patents

Mobile detachable complex and method for automatic determination of hemolysis and/or lipaemia in blood samples Download PDF

Info

Publication number
RU2819131C1
RU2819131C1 RU2023133304A RU2023133304A RU2819131C1 RU 2819131 C1 RU2819131 C1 RU 2819131C1 RU 2023133304 A RU2023133304 A RU 2023133304A RU 2023133304 A RU2023133304 A RU 2023133304A RU 2819131 C1 RU2819131 C1 RU 2819131C1
Authority
RU
Russia
Prior art keywords
hemolysis
blood
cameras
image
blood samples
Prior art date
Application number
RU2023133304A
Other languages
Russian (ru)
Inventor
Евгений Александрович Ширшин
Борис Павлович Якимов
Георгий Михайлович Денисенко
Юлия Александровна Шитова
Александр Алексеевич Бирюков
Роберт Равильевич Фитагдинов
Андрей Сергеевич Шкода
Людмила Леонидовна Панкратьева
Александр Васильевич Пухов
Елена Николаевна Керунту
Александр Эдуардович Соколов
Original Assignee
Государственное бюджетное учреждение здравоохранения города Москвы "Городская клиническая больница 67 имени Л.А. Ворохобова Департамента здравоохранения города Москвы"
Автономная некоммерческая организация "Московский центр инновационных технологий в здравоохранении"
Общество с ограниченной ответственностью "Медеум"
Filing date
Publication date
Application filed by Государственное бюджетное учреждение здравоохранения города Москвы "Городская клиническая больница 67 имени Л.А. Ворохобова Департамента здравоохранения города Москвы", Автономная некоммерческая организация "Московский центр инновационных технологий в здравоохранении", Общество с ограниченной ответственностью "Медеум" filed Critical Государственное бюджетное учреждение здравоохранения города Москвы "Городская клиническая больница 67 имени Л.А. Ворохобова Департамента здравоохранения города Москвы"
Application granted granted Critical
Publication of RU2819131C1 publication Critical patent/RU2819131C1/en

Links

Abstract

FIELD: medicine.
SUBSTANCE: group of inventions refers to medicine, namely to laboratory diagnostics, and can be used for automatic determination of hemolysis and/or lipaemia in blood samples. Mobile detachable complex for automatic determination of the presence of hemolysis and/or lipaemia in centrifuged blood samples includes at least 2 digital short-focus cameras with a resolution of at least 1920x1080 pixels; annular LED white light source; tripod made with possibility of fixation to conveyor line of laboratory analyser of digital short-focus cameras and a circular LED white light source in the horizontal plane relative to the conveyor line of the laboratory analyser, a control and information processing system. Image is obtained by the cameras of the mobile detachable complex. Presence of a test tube on the image is detected using a first classification model. Plasma type is classified. If the first classification model detects the presence of a test tube with blood on the image, the operation of the second classification model is started, which simultaneously searches for image regions corresponding to plasma and classifies the type of plasma. Barcode placed on the test tube with blood is recognized using a second classification model. Results of determining presence of hemolysis and/or lipaemia in blood samples are displayed on the monitor.
EFFECT: group of inventions provides reliable determination of lipaemia and/or hemolysis in blood samples in laboratories without additional equipment due to use of a mobile detachable complex and classification models.
15 cl, 5 dwg, 4 tbl, 1 ex

Description

Область техники, к которой относится изобретениеField of technology to which the invention relates

Группа изобретений относится к области медицины, а именно к лабораторной диагностике, и может быть использована для автоматического определения наличия гемолиза и/или хилеза в образцах крови.The group of inventions relates to the field of medicine, namely to laboratory diagnostics, and can be used to automatically determine the presence of hemolysis and/or chylosis in blood samples.

Уровень техникиState of the art

Автоматизация является приоритетным направлением развития лаборатории, в том числе в целях увеличения производительности труда за счет автоматизации рутинных процессов. В связи с ежегодно растущим рынком биохимических и иммунологических исследований в Российской Федерации, связанных с распространением заболеваний сердечно-сосудистой системы и рака, а также с развивающейся тенденцией населения контролировать состояние здоровья и сохраняющейся проблемой преаналитической обработки проб крови на наличие хилеза и гемолиза, которые препятствуют проведению биохимического анализа, актуальна и необходима разработка системы автоматического анализа качества поступающих образцов крови на наличие хилеза и/или гемолиза с минимальным участием врача перед проведением анализа.Automation is a priority direction for laboratory development, including in order to increase labor productivity by automating routine processes. In connection with the annually growing market for biochemical and immunological research in the Russian Federation associated with the spread of diseases of the cardiovascular system and cancer, as well as with the developing tendency of the population to monitor their health status and the continuing problem of pre-analytical processing of blood samples for the presence of chylosis and hemolysis, which impede biochemical analysis, it is relevant and necessary to develop a system for automatically analyzing the quality of incoming blood samples for the presence of chylosis and/or hemolysis with minimal participation of a doctor before performing the analysis.

В настоящее время медицинские образцы исследуются визуально квалифицированным лабораторным персоналом. Однако данный метод трудоемок, а результаты весьма субъективны.Currently, medical samples are examined visually by qualified laboratory personnel. However, this method is labor-intensive, and the results are very subjective.

Также известен метод спектрофотометрии исследования, основанного на измерении спектров поглощения в оптической области электромагнитного излучения (НО K.М.С. et al. Optimization of hemolysis, icterus and lipemia interference thresholds for 35 clinical chemistry assays. Practical Laboratory Medicine. 2021, Volume 25, e00232). Однако устройства, реализующие данный метод, могут быть габаритными (624 кг), а также сложными в обращении и в обслуживании.Also known is the method of spectrophotometry research based on measuring absorption spectra in the optical region of electromagnetic radiation (BUT K.M.S. et al. Optimization of hemolysis, icterus and lipemia interference thresholds for 35 clinical chemistry assays. Practical Laboratory Medicine. 2021, Volume 25 , e00232). However, devices that implement this method can be large (624 kg), as well as difficult to handle and maintain.

Использование компьютерного зрения является значительно более доступным и при этом не менее эффективным методом определения степени гемолиза и липемии (хилеза), так как не требует специального оборудования и обучения персонала. Такой подход является альтернативой таким методам анализа, как спектрофотометрия, так и менее надежных способов анализа на основе экспертной оценки сотрудника лаборатории. Данный подход способен существенно ускорить анализ образцов крови и исключить вероятность человеческой ошибки при анализе, которая делает лабораторную диагностику крови более надежной и достоверной.The use of computer vision is a much more accessible and at the same time no less effective method for determining the degree of hemolysis and lipemia (chylosis), since it does not require special equipment or personnel training. This approach is an alternative to such methods of analysis as spectrophotometry and less reliable methods of analysis based on the expert assessment of a laboratory employee. This approach can significantly speed up the analysis of blood samples and eliminate the possibility of human error in the analysis, which makes laboratory blood diagnostics more reliable and reliable.

Известны устройство и способ определения степени гемолиза и липемии US 10746665 В2, и US10816538B2. Устройство состоит из камер, источников света, конвейера и компьютера, а способ включает получение изображения образца крови при разном времени экспозиции и в нескольких разных спектрах, имеющих разные номинальные длины волн, создания данных изображения с оптимальной экспозицией для каждого спектра, классификация данных. При этом устройство может быть конструктивной частью автоматизированной лабораторной системы или анализатора.The known device and method for determining the degree of hemolysis and lipemia are US 10746665 B2, and US10816538B2. The device consists of cameras, light sources, a conveyor and a computer, and the method includes obtaining an image of a blood sample at different exposure times and in several different spectra having different nominal wavelengths, creating image data with optimal exposure for each spectrum, classifying the data. In this case, the device can be a structural part of an automated laboratory system or analyzer.

Известны устройство и способ определения степени гемолиза и липемии US 10928310 В2. Устройство состоит из камер, источников света и компьютера, а способ включает получение изображения образца крови в нескольких экспозициях или с освещением в спектре 400-700 нм, консолидацию изображений, получение статистических данных для каждого из пикселей с оптимальной экспозицией в наборе данных пропускания на разных длинах волн (например, R, G, В) и для каждой точки обзора, классификация полученных данных. При этом устройство может быть конструктивной частью автоматизированной лабораторной системы или анализатора, либо автономно. Данный источник информации является наиболее близким аналогом созданных нами устройства и способа автоматического определения наличия гемолиза и хилеза в образцах крови.A device and method for determining the degree of hemolysis and lipemia is known US 10928310 B2. The device consists of cameras, light sources and a computer, and the method includes obtaining an image of a blood sample in several exposures or with illumination in the 400-700 nm spectrum, consolidating images, obtaining statistical data for each of the pixels with optimal exposure in a set of transmittance data at different lengths waves (for example, R, G, B) and for each viewpoint, classification of the obtained data. In this case, the device can be a structural part of an automated laboratory system or analyzer, or stand-alone. This source of information is the closest analogue of the device and method we have created for automatically determining the presence of hemolysis and chylosis in blood samples.

Основным недостатком вышеперечисленных решений является их стационарность. При этом в случае автономного варианта исполнения наиболее близкого аналога недостатком является необходимость автоматической подачи образцов крови, что требует наличия дополнительного оборудования для подачи образцов.The main disadvantage of the above solutions is their stationarity. However, in the case of the autonomous version of the closest analogue, the disadvantage is the need for automatic supply of blood samples, which requires additional equipment for supplying samples.

Решаемой заявленной группой изобретений технической проблемой является создание съемного, мобильного, простого в обращении и обслуживании устройства автоматизированного выявления ошибок на преаналитическом этапе, а именно хилеза и/или гемолиза, а также создание способа точного определения уровня хилеза и гемолиза.The technical problem solved by the claimed group of inventions is the creation of a removable, mobile, easy-to-use and maintain device for automated detection of errors at the preanalytical stage, namely chyle and/or hemolysis, as well as the creation of a method for accurately determining the level of chyle and hemolysis.

Раскрытие сущности изобретенияDisclosure of the invention

Технический результат созданной группы изобретений заключается в надежном и достоверном определении хилеза и/или гемолиза в образцах крови, реализуемом посредством мобильного съемного комплекса для автоматического определения наличия гемолиза и/или хилеза, простота и доступность которого позволяет использовать заявленное решение в лабораториях без дополнительного оборудования.The technical result of the created group of inventions lies in the reliable and reliable determination of chylosis and/or hemolysis in blood samples, implemented through a mobile removable complex for automatically determining the presence of hemolysis and/or chylosis, the simplicity and accessibility of which allows the use of the claimed solution in laboratories without additional equipment.

Технический результат, в частности, достигается за счет мобильного съемного комплекса для автоматического определения наличия гемолиза и/или хилеза в центрифугированных образцах крови, включающего:The technical result, in particular, is achieved through a mobile removable complex for automatically determining the presence of hemolysis and/or chylosis in centrifuged blood samples, including:

- не менее 2 цифровых короткофокусных камер с разрешением не менее 1920×1080 пикселей;- at least 2 digital short-focus cameras with a resolution of at least 1920x1080 pixels;

- кольцевой светодиодный источник белого света;- ring LED white light source;

- штатив, выполненный с возможностью фиксации к конвейерной линии лабораторного анализатора цифровых короткофокусных камер и кольцевого светодиодного источника белого света в горизонтальной плоскости относительно конвейерной линии лабораторного анализатора, состоящий из рамы, держателей, выполненных с возможностью фиксации и изменения вертикального положения камер, и элементов съемного крепления, выполненных с возможностью фиксации и снятия штатива с конвейерной линии лабораторного анализатора,- a tripod made with the possibility of fixing to the conveyor line of a laboratory analyzer of digital short-focus cameras and a ring LED source of white light in a horizontal plane relative to the conveyor line of the laboratory analyzer, consisting of a frame, holders made with the possibility of fixing and changing the vertical position of the cameras, and removable fastening elements , made with the ability to fix and remove the stand from the conveyor line of the laboratory analyzer,

при этом элементы съемного крепления выполнены либо с возможностью установки штатива снаружи конвейерной линии лабораторного анализатора, таким образом, чтобы короткофокусные камеры фиксировали образцы через боковые окна конвейерной линии лабораторного анализатора,in this case, the removable fastening elements are made either with the possibility of installing a tripod outside the conveyor line of the laboratory analyzer, so that short-focus cameras record samples through the side windows of the conveyor line of the laboratory analyzer,

либо выполнены с возможностью установки короткофокусных камер внутри конвейерной линии лабораторного анализатора;or are designed with the ability to install short-focus cameras inside the conveyor line of a laboratory analyzer;

- систему управления и обработки информации, производящую анализ изображений, получаемых с короткофокусных камер, с использованием первой и второй классификационных моделей, и выполненную с возможностью записи, обработки, хранения и вывода на монитор результатов определения наличия гемолиза и/или хилеза в образцах плазмы крови с информацией о пациенте, которому принадлежит образец крови, и медицинском учреждении, из которого поступил образец крови.- a control and information processing system that analyzes images obtained from short-focus cameras using the first and second classification models, and is capable of recording, processing, storing and displaying on a monitor the results of determining the presence of hemolysis and/or chylosis in blood plasma samples with information about the patient to whom the blood sample belongs and the medical facility from which the blood sample came.

В частном случае кольцевой светодиодный источник белого света выполнен с освещенностью 1400 Лк.In a particular case, the ring LED white light source is designed with an illumination of 1400 Lux.

В частном случае кольцевой светодиодный источник белого света оборудован диффузором.In a particular case, the ring LED white light source is equipped with a diffuser.

В частном случае кольцевой светодиодный источник белого света выполнен мощностью не более 20 Вт.In a particular case, the ring LED white light source has a power of no more than 20 W.

В частном случае кольцевой светодиодный источник белого света выполнен с диаметром кольца от 20 до 40 см.In a particular case, the ring LED white light source is made with a ring diameter of 20 to 40 cm.

В частном случае системой управления и обработки информации являются либо стационарный компьютер, либо ноутбук, либо смартфон.In a particular case, the control and information processing system is either a desktop computer, a laptop, or a smartphone.

В частном случае первая и вторая классификационные модели записаны в постоянную память системы управления и обработки информации.In a particular case, the first and second classification models are recorded in the permanent memory of the control and information processing system.

В частном случае первая и вторая классификационные модели записаны на удаленном сервере, в облачном хранилище, и система управления и обработки информации выполнена с возможностью временной загрузки данных классификационных моделей в свою память.In a particular case, the first and second classification models are recorded on a remote server, in a cloud storage, and the information management and processing system is configured to temporarily load classification model data into its memory.

Технический результат также достигается способом автоматического определения наличия гемолиза и/или хилеза в центрифугированных образцах крови, включающего этапы:The technical result is also achieved by a method for automatically determining the presence of hemolysis and/or chylosis in centrifuged blood samples, including the steps:

1. получение изображения камерами мобильного съемного комплекса, описанного выше;1. image acquisition by cameras of the mobile removable complex described above;

2. обнаружение наличия пробирки на изображении с помощью первой классификационной модели;2. detecting the presence of a test tube in the image using the first classification model;

3. классификации типа плазмы: если первая классификационная модель обнаруживает присутствие на изображении пробирки с кровью, запускается работа второй классификационной модели, которая одновременно осуществляет поиск областей изображения, соответствующих плазме и классификацию типа плазмы;3. classification of plasma type: if the first classification model detects the presence of a test tube with blood in the image, the work of the second classification model is launched, which simultaneously searches for image areas corresponding to plasma and classifies the plasma type;

4. распознавания штрих-кода, расположенного на пробирке с кровью, при помощи второй классификационной модели;4. recognition of a barcode located on a test tube with blood using a second classification model;

5. вывода на монитор устройства результатов определения наличия гемолиза и/или хилеза в образцах крови.5. displaying on the device monitor the results of determining the presence of hemolysis and/or chylosis in blood samples.

В случае отсутствия пробирки на изображении или, если качество изображения не позволяет обнаружить пробирку, на монитор может быть выведено сообщение о том, что пробирка не обнаружена.If there is no tube in the image or if the image quality does not allow the tube to be detected, a message may be displayed on the monitor stating that the tube was not detected.

В случае отсутствия штрих-кода или при невозможности его определения на монитор может быть выведено сообщение о том, что штрих-код не распознан.If there is no barcode or if it cannot be determined, a message may be displayed on the monitor stating that the barcode is not recognized.

В частном случае на монитор устройства выводят результаты определения наличия гемолиза и/или хилеза в образцах крови с информацией о пациенте, которому принадлежит образец крови, и медицинском учреждении, из которого поступил образец крови.In a particular case, the device monitor displays the results of determining the presence of hemolysis and/or chylosis in blood samples with information about the patient to whom the blood sample belongs and the medical institution from which the blood sample was received.

В частном случае для определения степени хилеза и/или гемолиза используют видеозапись, получаемую с камер устройства, с присутствующими на кадрах пробирками с образцами крови.In a particular case, to determine the degree of chylosis and/or hemolysis, video recordings obtained from the device’s cameras are used, with tubes with blood samples present in the frames.

В частном случае первая классификационная модель является сверточной нейронной сетью с архитектурой MobileNetV3.In a particular case, the first classification model is a convolutional neural network with MobileNetV3 architecture.

В частном случае вторая классификационная модель является сверточной нейронной сетью с архитектурой YOLOvS.In a particular case, the second classification model is a convolutional neural network with the YOLOvS architecture.

Указанные выше аспекты технического результата достигаются: во-первых, благодаря конструктивным особенностям созданного комплекса, обеспечивающих возможность зафиксировать и снять устройтсво определения наличия гемолиза и/или хилеза в образцах крови и совместимость устройства с любой автоматизированной лабораторной системой; во-вторых, благодаря способу определения наличия гемолиза и/или хилеза в образцах крови с не менее, чем 2 камерами с разрешением 1920×1080, что обеспечивает получение наиболее информативных снимков образцов крови.The above aspects of the technical result are achieved: firstly, thanks to the design features of the created complex, which provide the ability to fix and remove the device for determining the presence of hemolysis and/or chylosis in blood samples and the compatibility of the device with any automated laboratory system; secondly, thanks to a method for determining the presence of hemolysis and/or chylosis in blood samples with at least 2 cameras with a resolution of 1920x1080, which ensures the most informative images of blood samples.

Краткое описание чертежей.Brief description of the drawings.

Изобретение поясняется иллюстративным материалом.The invention is illustrated by illustrative material.

Фиг. 1 А) - схематическое изображение конвейерной линии и расположения камер прибора относительно пробирок с образцами, где 1 - конвейерная линия (вид сверху), 2 - пробирки с образцами, 3 - камеры устройства.Fig. 1 A) - schematic representation of the conveyor line and the location of the device chambers relative to the test tubes with samples, where 1 - conveyor line (top view), 2 - test tubes with samples, 3 - device chambers.

Фиг. 1 Б) - пример изображения конвейерной линии вид с камеры устройства, располагаемой сверху, над пробирками, где 2 - пробирка с образцом, 4 - держатель образца.Fig. 1 B) - an example of an image of a conveyor line as seen from the camera of the device, located on top, above the test tubes, where 2 is a test tube with a sample, 4 is a sample holder.

Фиг. 1 В) - пример изображения конвейерной линии, получаемой с камеры устройства, располагаемой сбоку от образца, где 5 - боковое окно для съемки, 2 - пробирка с образцом, 4 - держатель для образца.Fig. 1 B) is an example of an image of a conveyor line obtained from a device camera located on the side of the sample, where 5 is a side window for shooting, 2 is a test tube with a sample, 4 is a sample holder.

Фиг. 2 А, Б) - примеры изображений с хорошо различимым (А) и неразличимым штрих-кодом (Б) для камер, расположенных напротив боковых окон наблюдения.Fig. 2 A, B) - examples of images with a clearly visible (A) and indistinguishable barcode (B) for cameras located opposite the side observation windows.

Фиг. 3 А) - пример изображений с камеры Logitech HD Webcam С270 с разрешением 1280×720. Фиг. 3 Б) - пример изображения с камеры Logitech С922 Pro 1920×1080. Экспозиция 30 мс, используется дополнительное освещениеFig. 3 A) is an example of images from a Logitech HD Webcam C270 camera with a resolution of 1280×720. Fig. 3 B) - example of an image from a Logitech C922 Pro 1920×1080 camera. Exposure 30ms, additional lighting used

Фиг. 4 А) - схематическое изображение расположения камер прибора с четырьмя камерами относительно пробирок с конвейерной линии (вид сверху), где 1 - конвейерная линия, 2 - пробирки с образцами, 3 - камеры устройства.Fig. 4 A) - a schematic representation of the arrangement of the chambers of a device with four chambers relative to the test tubes from the conveyor line (top view), where 1 is the conveyor line, 2 is test tubes with samples, 3 is the device chambers.

Фиг. 4 Б) - фотография конвейерной линии с проезжающей пробиркой крови, получаемые с камер устройства. Номера на изображениях отражают нумерацию камер (К1-К4), представленную на панели А.Fig. 4 B) - photograph of a conveyor line with a passing blood tube, obtained from the device’s cameras. The numbers on the images reflect the camera numbering (K1-K4) presented in panel A.

Фиг. 4 В) - изображение установки в конфигурации четырех камер на конвейере, где 1 - конвейерная линия, 3 - камеры устройства (дополнительно отмечены желтыми рамками), 6 - управляющий компьютер, 7 - источник дополнительного освещения устройства.Fig. 4 B) - image of the installation in the configuration of four cameras on a conveyor, where 1 - conveyor line, 3 - device cameras (additionally marked with yellow frames), 6 - control computer, 7 - source of additional lighting for the device.

Фиг. 5 - результат работы устройства в предсказании классов пробирки: (А) - «виден штрих-код», (Б) - «хилез», (В) - «гемолиз», (Г) - «норма».Fig. 5 - the result of the device in predicting the classes of the test tube: (A) - “bar code is visible”, (B) - “chylosis”, (C) - “hemolysis”, (D) - “norm”.

Осуществление изобретенияCarrying out the invention

1. Тестирование конструкции прототипов устройства.1. Testing the design of device prototypes.

В результате проведенных экспериментов было сконструировано несколько экспериментальных образцов устройства (прототипов), позволяющих фотографировать едущие по конвейерной линии пробирки с центрифугированной кровью под несколькими углами зрения в различных условиях освещения при различной длительности экспозиции и числе кадров в секунду:As a result of the experiments, several experimental samples of the device (prototypes) were constructed that allow photographing test tubes with centrifuged blood moving along a conveyor line from several viewing angles in different lighting conditions with different exposure times and number of frames per second:

- прототип с двумя камерами;- prototype with two cameras;

- прототип с четырьмя камерами.- prototype with four cameras.

Также возможна компактная конструкция для применения вне конвейерной линии, реализующая метод с одной камерой. В таком случае необходимо будет сначала считать штрих-код, развернув пробирку штрих-кодом к камере, после чего развернуть пробирку областью, где виден участок плазмы крови. Таким образом, при использовании конструкции с одной камерой не реализуется автоматическое определение наличия гемолиза и/или хилеза. Кроме того, при ручной подаче пробирок не достигается достаточная четкость изображения.A compact design for off-line applications is also possible, implementing the single-chamber method. In this case, it will be necessary to first read the barcode by turning the tube with the barcode towards the camera, and then turn the tube to the area where the blood plasma section is visible. Thus, when using a single-chamber design, automatic detection of the presence of hemolysis and/or chylosis is not realized. In addition, when feeding tubes manually, sufficient image clarity is not achieved.

Прототипы с двумя и четырьмя камерами были протестированы на конвейерной линии на базе ГКБ №67 им. Л.А. Ворохобова - Beckman Coulter Power Express, с целью выявления их недостатков и выбора оптимальной конфигурации для дальнейшей работы.Prototypes with two and four cameras were tested on a conveyor line at the State Clinical Hospital No. 67 named after. L.A. Vorokhobova - Beckman Coulter Power Express, in order to identify their shortcomings and select the optimal configuration for further work.

В первую очередь было протестировано решение с использованием двух CMOS RGB камер, с максимальным цифровым разрешением 1280×720, минимальной экспозицией 30 мс, углом зрения 55°, с частотой кадров в секунду 30 Гц (модель Logitech С270 HD). Камеры были расположены с боковых сторон от конвейера, и были сфокусированы на пробирки через окна наблюдения. На Фиг. 1А представлена схема расположения камер относительно конвейерной линии.First of all, the solution was tested using two CMOS RGB cameras, with a maximum digital resolution of 1280x720, a minimum exposure of 30 ms, a viewing angle of 55°, and a frame rate per second of 30 Hz (Logitech C270 HD model). The cameras were located on the sides of the conveyor and were focused on the tubes through observation windows. In FIG. 1A shows a diagram of the location of the cameras relative to the conveyor line.

Далее при использовании дополнительного источника освещения была набрана статистика по ~300 пробиркам с использованием двух камер, расположенных с боковых сторон от конвейера, на основе которой вручную была проведена оценка доли пробирок со штрих-кодом, расположенным вне зоны видимости камеры (Фиг. 2А, Б). Было установлено, что доля пробирок с неразличимым штрих-кодом в схеме с использованием двух камер составила ~42±3%.Next, using an additional lighting source, statistics were collected on ~300 tubes using two cameras located on the sides of the conveyor, on the basis of which the proportion of tubes with a barcode located outside the camera’s visibility range was manually assessed (Fig. 2A, B ). It was found that the proportion of tubes with an indistinguishable barcode in the two-chamber design was ~42±3%.

Дополнительно была проверена достаточность разрешающей способности фотокамер: были протестированы камеры Logitech С270 HD (модель камеры 1, разрешение 1280×720, величина экспозиции - 30 мс, 30 кадров в секунду) и Logitech С922 HD Pro (модель камеры 2, цифровое разрешение 1920×1080, длительность экспозиции 30 мс, число кадров в секунду - 30, угол обзора 78°). С помощью алгоритма из библиотеки pyzbar была оценена возможность считывания штрих-кода с изображений было определено, что с помощью камеры с разрешением менее 1920×1080 пикселей невозможно получение снимков штрих-кодов (на Фиг. 3А, Б представлены репрезентативные кадры, полученные с помощью указанных моделей камер).Additionally, the sufficiency of the camera resolution was checked: Logitech C270 HD cameras (camera model 1, resolution 1280×720, exposure value 30 ms, 30 frames per second) and Logitech C922 HD Pro (camera model 2, digital resolution 1920×1080) were tested , exposure duration 30 ms, number of frames per second - 30, viewing angle 78°). Using an algorithm from the pyzbar library, the ability to read barcodes from images was assessed; it was determined that using a camera with a resolution of less than 1920×1080 pixels it is impossible to obtain images of barcodes (Fig. 3A, B shows representative frames obtained using the specified camera models).

Для устранения недостатков схемы с двумя камерами (отсутствие штрих-кодов на части изображений пробирок, низкая разрешающая способность, не позволяющая зафиксировать часть линий штрих-кода) предлагается использовать камеры с разрешением не менее 1920×1080 пикселей. Также установка двух дополнительных камер с разрешением не менее 1920×1080 пикселей позволяет еще больше минимизировать число пробирок с нераспознанными штрих кодами (см. Фиг. 4).To eliminate the shortcomings of the two-camera scheme (lack of barcodes on some of the images of the test tubes, low resolution, which does not allow capturing some of the barcode lines), it is proposed to use cameras with a resolution of at least 1920×1080 pixels. Also, installing two additional cameras with a resolution of at least 1920×1080 pixels allows you to further minimize the number of tubes with unrecognized barcodes (see Fig. 4).

Для фиксирования положения камер относительно друг друга и осветителя для первого прототипа прибора была разработана конструкция на основе оптомеханических держателей и штатива, позволяющая фиксировать и изменять вертикальное положение камер (общий вид установки представлен на Фиг. 4В).To fix the position of the cameras relative to each other and the illuminator, a design based on optomechanical holders and a tripod was developed for the first prototype of the device, which allows fixing and changing the vertical position of the cameras (a general view of the installation is shown in Fig. 4B).

Настоящая конструкция предусматривает установку не менее 2 цифровых короткофокусных камер с разрешением не менее 1920×1080 пикселей и кольцевого светодиодного источника белого света на конвейерную линию при помощи штатива, компьютера, вай-фай передатчика, дисплея и кабеля для подключения сети.This design provides for the installation of at least 2 digital short-throw cameras with a resolution of at least 1920x1080 pixels and a ring LED white light source on a conveyor line using a tripod, a computer, a Wi-Fi transmitter, a display and a cable for connecting the network.

При этом элементы штатива обеспечивают фиксацию источника света и камер в горизонтальной плоскости относительно конвейерной линии лабораторного анализатора. Держатели штатива фиксируют камеры и обеспечивают возможность изменения вертикального положения камер. Элементы съемного крепления штатива позволяют легко зафиксировать и снять штатив с камерами и источником света с конвейерной линии лабораторного анализатора. Также в случае отсутствия у конвейерной линии анализатора окон элементы съемного крепления штатива позволяют зафиксировать штатив внутри конвейерной линии.In this case, the tripod elements ensure fixation of the light source and cameras in a horizontal plane relative to the conveyor line of the laboratory analyzer. Tripod holders fix the cameras and provide the ability to change the vertical position of the cameras. Removable tripod mounting elements allow you to easily attach and remove the tripod with cameras and light source from the laboratory analyzer conveyor line. Also, if the conveyor line does not have a window analyzer, the removable tripod mounting elements allow you to fix the tripod inside the conveyor line.

Поскольку нагревание пробирок с кровью может привести к негодности биоматериал, необходим источник света, не приводящий к нагреву образца. Поэтому мощность источника света должна быть не более 20 Вт.Since heating blood tubes can render the biomaterial unusable, a light source that does not heat the sample is required. Therefore, the power of the light source should be no more than 20 W.

Изображения, получаемые при фиксированных условиях освещения, достигаемых за счет использования дополнительного источника освещения, а также использования фиксированной геометрии камер, обеспечиваемой штативом, позволяют добиваться высокой повторяемости цветовых характеристик плазмы крови образцов, фиксируемых с помощью цифровых фотокамер. Высокая повторяемость цветовых характеристик позволяет с высокой надежностью и достоверностью определять наличие гемолиза и/или хилеза в образцах.Images obtained under fixed lighting conditions, achieved through the use of an additional light source, as well as the use of a fixed camera geometry provided by a tripod, make it possible to achieve high repeatability of the color characteristics of blood plasma samples recorded using digital cameras. High repeatability of color characteristics makes it possible to determine the presence of hemolysis and/or chylosis in samples with high reliability and reliability.

2. Выбор моделей компьютерного зрения для классификации образцов крови.2. Selecting computer vision models for classifying blood samples.

Пробирки с образцами отцентрифугированной крови, детектируемые фотокамерами, расположенными в используемой конструкции, могут располагаться в различных частях изображения, при этом в ряде случаев область пробирки с плазмой крови может быть скрыта штрих-кодом, используемым для идентификации образца. Также на изображении может одновременно присутствовать несколько пробирок с различным классом пригодности плазмы крови к исследованию. В связи с этим, для корректной идентификации образцов на изображениях может быть использована модель компьютерного зрения, позволяющая одновременно детектировать - определять положение объекта на изображении - и классифицировать объекты, находящиеся в задетектированных областях. Одной из наиболее распространенных моделей, обладающих высокой точностью классификации, являются модели, основанные на применении сверточных нейросетей с архитектурой YOLO (Diwan, Т., Anirudh, G., & Tembhurne, J.V. (2022). Object detection using YOLO: challenges, architectural successors, datasets and applications. Multimedia Tools and Applications, 1-33). К причинам выбора модели YOLOv5 также можно отнести гибкость развертывания, высокую скорость и высокую точность детектирования объектов с помощью данной архитектуры.Tubes with samples of centrifuged blood, detected by cameras located in the design used, can be located in different parts of the image, and in some cases the area of the tube with blood plasma can be hidden by a barcode used to identify the sample. Also, the image may simultaneously contain several test tubes with different classes of suitability of blood plasma for research. In this regard, to correctly identify samples in images, a computer vision model can be used, which allows one to simultaneously detect - determine the position of an object in the image - and classify objects located in the detected areas. One of the most common models with high classification accuracy are models based on the use of convolutional neural networks with the YOLO architecture (Diwan, T., Anirudh, G., & Tembhurne, J.V. (2022). Object detection using YOLO: challenges, architectural successors , datasets and applications. Multimedia Tools and Applications, 1-33). The reasons for choosing the YOLOv5 model also include deployment flexibility, high speed and high accuracy of object detection using this architecture.

Для детектирования и классификации образцов крови в пробирках были обучены и протестированы пять модификаций модели YOLO v5: YOLOv5n, YOLOv5s, YOLOv5m, YOLOv51 и YOLOv5x. Основные принципиальные архитектурные особенности указанных моделей являются идентичными, а отличия заключаются в глубине моделей, которые влияют на конечную точность обработки данных. Обучение пяти моделей было проведено с целью выявления варианта, характеристики которого будут наиболее соответствовать запланированным параметрам эффективности.To detect and classify blood samples in test tubes, five modifications of the YOLO v5 model were trained and tested: YOLOv5n, YOLOv5s, YOLOv5m, YOLOv51 and YOLOv5x. The main fundamental architectural features of these models are identical, and the differences lie in the depth of the models, which affect the final accuracy of data processing. Five models were trained to identify the option whose characteristics would best match the planned performance parameters.

Разработка и первичное обучение указанной модели для классификации образцов крови включали в себя упорядочивание данных (разметку данных), которое было выполнено коллективом ГКБ №67 им. Л.А. Ворохобова по набору обучающей выборки: итоговый датасет составил 14100 изображений, которые были разделены на обучающую (13 403 изображений) и валидационную (697 изображения) выборки.The development and initial training of this model for classifying blood samples included data ordering (data marking), which was performed by the team of City Clinical Hospital No. 67 named after. L.A. Vorokhobov for a set of training samples: the final dataset consisted of 14,100 images, which were divided into training (13,403 images) and validation (697 images) samples.

Чтобы запустить модель на основе YOLO v5, которая обнаруживала бы пробирку в кадре и классифицировала тип плазмы крови в ней, необходимо было провести обучение версии алгоритма YOLO v5, предварительно настроенной на наборе данных открытой библиотеки COCO с заранее определенными параметрами: размер исходных данных, батч, скорость обучения (см. Таблицу 1).To run a YOLO v5-based model that would detect a tube in a frame and classify the type of blood plasma in it, it was necessary to train a version of the YOLO v5 algorithm, pre-tuned on a dataset of the COCO open library with predefined parameters: source data size, batch, learning rate (see Table 1).

В соответствии с характеристиками изображения и доступными на данном этапе ресурсами GPU, лучший эффект от обучения данных был достигнут при батче в 32 элемента. Для выбора основной базовой модели было обучено и протестировано 5 моделей YOLO v5, описание которых представлено в Таблице 2.In accordance with the characteristics of the image and the GPU resources available at this stage, the best effect from data training was achieved with a batch of 32 elements. To select the main base model, 5 YOLO v5 models were trained and tested, the descriptions of which are presented in Table 2.

Корректное обучение моделей на правильно сбалансированном датасете, а также выбор гиперпараметров модели (количество эпох обучения) архитектуры (в т.ч. количества параметров модели), величины параметра скорости обучения, размера входных данных, размера батча и пр. - является ключевым этапом обучения модели, распознающей класс пробирки. Собранный датасет включал большое число кадров различных пробирок образцов пригодных для анализа (образцов «в норме»), образцов с выраженным хилезом, гемолизом и хилезом и гемолизом. Параметры обучения выбирались так, чтобы точность классификации составляла не менее 0.85.Correct training of models on a properly balanced dataset, as well as the choice of model hyperparameters (number of training epochs), architecture (including the number of model parameters), learning rate parameter values, input data size, batch size, etc. is a key stage in model training , which recognizes the class of the test tube. The collected dataset included a large number of frames of various test tubes of samples suitable for analysis (“normal” samples), samples with severe chylosis, hemolysis, and chylosis and hemolysis. The training parameters were chosen so that the classification accuracy was at least 0.85.

3. Подготовка данных для обучения моделей компьютерного зрения для классификации образцов по типам гемолиз, хилез и норма.3. Preparation of data for training computer vision models to classify samples into hemolysis, chylosis and normal types.

С помощью устройства, созданного коллективом заявителей, работающего с использованием 4-х камер со следующими параметрами съемки: цифровым разрешением 1920×1080, был собран необходимый набор данных (датасет) из 14100 изображений пробирок с кровью. Для корректной работы модели обнаружения и классификации образцов крови требовалась стандартизация содержания аннотаций снимков и их форматов. Данный алгоритм стандартизации входных данных включал следующие этапы:Using a device created by a team of applicants, working using 4 cameras with the following shooting parameters: digital resolution 1920×1080, the necessary data set (dataset) of 14,100 images of blood tubes was collected. For the model to detect and classify blood samples to work correctly, standardization of the content of image annotations and their formats was required. This algorithm for standardizing input data included the following steps:

- распределение кадров с пробирками по папкам в зависимости от типа плазмы;- distribution of frames with test tubes into folders depending on the type of plasma;

- балансировка классов;- class balancing;

- перенос исходных данных в программу для разметки фотографий Supervise.ly, выделение области детекции для пробирок и присвоение образцам одного из 5 классов;- transfer of initial data to the program for marking photographs Supervise.ly, selecting a detection area for test tubes and assigning samples to one of 5 classes;

- выгрузка данных из Supervise.ly;- downloading data from Supervise.ly;

- преобразование данных в необходимый для обучения модели формат.- converting data into the format necessary for training the model.

Для обучения моделей была проведена предварительная разметка образцов квалифицированным специалистом на предмет обнаружения хилеза и гемолиза на основе визуального осмотра. Изображения с 4 углов обзора камер были структурированы и разделены на 5 классов - «хилез», «гемолиз», «норма», «цвет плазмы не виден» и «штрих-коды».To train the models, samples were pre-marked by a qualified specialist to detect chylosis and hemolysis based on visual inspection. Images from 4 camera viewing angles were structured and divided into 5 classes - “chylosis”, “hemolysis”, “normal”, “plasma color not visible” and “barcodes”.

Чтобы модель машинного обучения, используемая для выполнения проекта, хорошо обобщала данные для задействованных при обучении классов, было необходимо уравнять размеры выборок для каждого класса. В случаях несбалансированных выборок с недостаточным количеством более редких образцов модель будет игнорировать меньший класс и неправильно его классифицировать, что снизит точность и качество результатов обучения. Для недопущения снижения качества обучения перед загрузкой данных в Supervise.ly была проведена количественная балансировка выборок каждого класса.In order for the machine learning model used for the project to generalize well to the classes involved in training, it was necessary to equalize the sample sizes for each class. In cases of unbalanced samples with insufficient numbers of rarer samples, the model will ignore the smaller class and misclassify it, which will reduce the accuracy and quality of the training results. To prevent a decrease in the quality of training, before loading the data into Supervise.ly, quantitative balancing of the samples of each class was carried out.

Из всей подготовленной выборки 95% были использованы для обучения алгоритма обнаружения объектов, остальные 5% были использованы для валидации работы алгоритма. Наличие в выборке изображений, на которых содержимое образца закрыто штрих-кодом обеспечивает повышение точности обнаружения и классификации пробирок: это происходит из-за того, что без данного класса подобные пробирки были бы классифицированы как хилезные, гемолизные или нормальные, что понижало бы общую эффективность работы модели. Фоновые изображения представляют собой фотографии без пробирок и без класса и добавлены в обучающую выборку для уменьшения количества ложноположительных результатов (False Positive), что приводит к увеличению общей точности (precision) модели.Of the entire prepared sample, 95% were used to train the object detection algorithm, the remaining 5% were used to validate the operation of the algorithm. The presence in the sample of images in which the contents of the sample are covered with a barcode increases the accuracy of detection and classification of tubes: this is due to the fact that without this class, such tubes would be classified as chylous, hemolytic or normal, which would reduce the overall efficiency of work models. Background images are photographs without test tubes and without a class and are added to the training set to reduce the number of false positives (False Positive), which leads to an increase in the overall accuracy (precision) of the model.

Полученные в результате работы данные были использованы командой для обучения моделей компьютерного зрения поколения YOLO v5.The data obtained as a result of the work was used by the team to train computer vision models of the YOLO v5 generation.

4. Оценка результатов исследований.4. Evaluation of research results.

Была проведена верификация моделей классификации образцов крови, определение чувствительности и специфичности модели, работающей совместно с цифровыми камерами устройства. На валидационном наборе данных были проверены значения чувствительности и специфичности базовых моделей YOLO v5, в целях выявления наиболее результативной из этого ряда моделей для дальнейшей работы по повышению и максимизации ее эффективности. В этой связи для тестирования разработанных базовых моделей YOLO v5 в данном исследовании были приняты пять показателей:Models for classifying blood samples were verified and the sensitivity and specificity of the model working in conjunction with the device’s digital cameras was determined. The sensitivity and specificity values of the basic YOLO v5 models were tested on the validation dataset in order to identify the most effective of this series of models for further work to improve and maximize its effectiveness. In this regard, to test the developed basic YOLO v5 models, five indicators were adopted in this study:

1. Точность (Precision). Целевое значение - не менее 85%, где: Precision = True positive / (True positive+False positive). Формула расчета 1:1. Precision. The target value is at least 85%, where: Precision = True positive / (True positive+False positive). Calculation formula 1:

где TP - количество истинно положительных случаев, FP - количество ложноположительных случаев.where TP is the number of true positive cases, FP is the number of false positive cases.

2. IoU (Intersection over Union score) - метрика сегментации (детектирования) пробирки на изображении. Целевое значение - не менее 60%. Фор мула расчета 2:2. IoU (Intersection over Union score) - metric for segmentation (detection) of a test tube in the image. The target value is at least 60%. Calculation formula 2:

где R - определенная моделью площадь границы объекта; R' - истинная площадь границы объектаwhere R is the area of the object boundary determined by the model; R' - true area of the object boundary

3. Отклик (Recall). Целевое значение - не менее 95%, где: Recall = True positive / (True positive + False negative). Формула расчета:3. Response (Recall). The target value is at least 95%, where: Recall = True positive / (True positive + False negative). Calculation formula:

где TP - количество истинно положительных случаев, FT - количество ложноположительных случаев, FN - количество ложно отрицательных случае.where TP is the number of true positive cases, FT is the number of false positive cases, FN is the number of false negative cases.

4. Скорость классификации для одного образца крови в миллисекундах на 1 кадр видео.4. Classification speed for one blood sample in milliseconds per 1 video frame.

5. mAP (mean Average Precision). Среднее значение АР (Average Precision) при обнаружении пробирки с кровью (чем выше mAP, тем лучше результат обнаружения пробирки). Формула расчета:5. mAP (mean Average Precision). Average AP value (Average Precision) when detecting a blood tube (the higher the mAP, the better the test tube detection result). Calculation formula:

где С - количество классов.where C is the number of classes.

Проверка эффективности моделей для классификации образцов крови в пробирках проходила на 697 изображениях валидационного набора, результаты представлены в Таблице 4.The effectiveness of the models for classifying blood samples in test tubes was tested on 697 images of the validation set, the results are presented in Table 4.

Таким образом, в результате проведенных экспериментов было установлено, что из пяти версий моделей, версия модели YOLOv51 демонстрировала лучшие результаты точности, отклика и тАР. Средняя точность данной модели составляла 98,95%: модель корректно классифицировала изображения с хилезом в 100% случаев, с гемолизом - в 98% случаев, с нормальной плазмой крови - в 100% случаев, со штрих-кодами - в 100% случаев, с изображениями, где не видно плазму - в 98% случаев.Thus, as a result of the experiments, it was found that of the five versions of the models, the YOLOv51 version of the model demonstrated the best results in accuracy, response and tAP. The average accuracy of this model was 98.95%: the model correctly classified images with chylosis in 100% of cases, with hemolysis - in 98% of cases, with normal blood plasma - in 100% of cases, with barcodes - in 100% of cases, with images where plasma is not visible - in 98% of cases.

Примеры осуществления изобретения.Examples of implementation of the invention.

Пример 1.Example 1.

Работоспособность изобретения была верифицирована на базе конвейерной системы для биохимического анализа образцов плазмы крови клинико-диагностической лаборатории ГКБ №67 им. Л.А. Ворохобова.The performance of the invention was verified on the basis of a conveyor system for biochemical analysis of blood plasma samples at the clinical diagnostic laboratory of City Clinical Hospital No. 67 named after. L.A. Vorokhobova.

Для обработки результатов, получаемых с помощью устройства, был подготовлен и использован клиентский компьютер для использования и испытания прототипа ПАК ASUS UX430UAR с основными характеристиками:To process the results obtained using the device, a client computer was prepared and used to use and test a prototype ASUS UX430UAR PAK with the main characteristics:

- процессор: Intel Core i7-8550U, ЦПУ @ 1.80 ГГц 1.99 ГГц;- processor: Intel Core i7-8550U, CPU @ 1.80 GHz 1.99 GHz;

- оперативная память: 16 Гб;- RAM: 16 GB;

- тип операционной системы: 64-разрядная операционная система Windows 11 Pro;- operating system type: 64-bit Windows 11 Pro operating system;

- монитор: 1920×1080 точек;- monitor: 1920×1080 pixels;

- перо и сенсорный ввод: клавиатура, поддержка сенсорного ввода (точек касания: 2);- pen and touch input: keyboard, touch input support (touch points: 2);

- интернет-браузер: Google Chrome 98.0.4758.102.- Internet browser: Google Chrome 98.0.4758.102.

Для обработки изображений, получаемых с камер устройства был использован облачный сервер со следующими характеристиками:To process images received from the device’s cameras, a cloud server with the following characteristics was used:

сервер со следующими характеристиками:server with the following characteristics:

- количество ядер процессора: 4;- number of processor cores: 4;

- оперативная память: 8 Гб;- RAM: 8 GB;

- накопитель данных: 60 Гб SSD;- data storage: 60 GB SSD;

- тип операционной системы: Ubuntu 20.04.- operating system type: Ubuntu 20.04.

Для испытания прототипа устройства по конвейерной линии были запущены образцы плазмы крови, принадлежащие к различным классам - «норма», «гемолиз» и «хилез», а также образцы, в которых плазма крови не попадала в область видимости одной или нескольких камер устройства. При этом «истинное значение» класса принадлежности пробирки оценивалось визуально лаборантом клинико-диагностической лаборатории ГКБ №67.To test the prototype device, blood plasma samples belonging to various classes - “normal”, “hemolysis” and “chylosis”, as well as samples in which the blood plasma did not fall into the field of view of one or more chambers of the device were run along the conveyor line. At the same time, the “true value” of the class of belonging of the test tube was assessed visually by a laboratory assistant at the clinical diagnostic laboratory of City Clinical Hospital No. 67.

Для оценки точности работы устройства и метода были использованы следующие показатели:To assess the accuracy of the device and method, the following indicators were used:

1. Точность (Precision), где: Precision = True positive / (True positive + False positive).1. Accuracy (Precision), where: Precision = True positive / (True positive + False positive).

2. IoU (Intersection over Union score) - метрика сегментации пробирки на изображении. Целевое значение - не менее 60%.2. IoU (Intersection over Union score) - test tube segmentation metric in the image. The target value is at least 60%.

3. Отклик (Recall), где: Recall = True positive / (True positive + False negative).3. Response (Recall), where: Recall = True positive / (True positive + False negative).

4. Скорость классификации для одного образца крови в миллисекундах на 1 кадр видео: не более 10 секунд.4. Classification speed for one blood sample in milliseconds per 1 frame of video: no more than 10 seconds.

5. mAP (mean Average Precision). Среднее значение АР (Average Precision) при обнаружении пробирки с кровью (чем выше mAP, тем лучше результат обнаружения пробирки).5. mAP (mean Average Precision). Average AP value (Average Precision) when detecting a blood tube (the higher the mAP, the better the test tube detection result).

Итоговая проверка эффективности устройства и используемых в устройстве модели классификации образцов крови для проведения биохимических анализов (лабораторно-клинической диагностики) проходила на 2000 изображениях образцов, сбалансированных по точности. Тестирование классификации пробирок с кровью с помощью обученной модели YOLOv51 продемонстрировало следующие результаты:The final verification of the effectiveness of the device and the classification models of blood samples used in the device for biochemical analyzes (laboratory and clinical diagnostics) took place on 2000 images of samples, balanced in accuracy. Testing the classification of blood tubes using the trained YOLOv51 model demonstrated the following results:

- точность: 98,85%;- accuracy: 98.85%;

- IoU: 97,99%;- IoU: 97.99%;

- отклик: 97,94%;- response: 97.94%;

- скорость классификации: 25-30 миллисекунд;- classification speed: 25-30 milliseconds;

- mAP 0.5:0.95: 66%.- mAP 0.5:0.95: 66%.

На Фиг. 5 представлены примеры изображений, получаемых с помощью устройства, на которых представлены различные классы пробирок. Фиг. 5 (А) демонстрирует случаи, когда плазма крови на изображениях не видна и модель корректно отражает данный факт. На Фиг. 5 (Б-Г) изображены случаи пробирок плазмы крови с выраженным хилезом (Фиг. 5Б), с выраженным гемолизом (Фиг. 5В) и в норме (Фиг. 5Г). Для указанных классов величины чувствительности и специфичности классификации варьировались в диапазоне от 95 до 98%, что демонстрирует высокую степень надежности предлагаемого устройства и метода.In FIG. Figure 5 shows examples of images obtained using the device, which show different classes of tubes. Fig. 5 (A) demonstrates cases when blood plasma is not visible in the images and the model correctly reflects this fact. In FIG. Figure 5 (B-D) shows cases of blood plasma tubes with severe chylosis (Fig. 5B), with severe hemolysis (Fig. 5C) and normal (Fig. 5D). For these classes, the sensitivity and specificity of the classification ranged from 95 to 98%, which demonstrates the high degree of reliability of the proposed device and method.

Claims (26)

1. Мобильный съемный комплекс для автоматического определения наличия гемолиза и/ или хилеза в центрифугированных образцах крови, включающий: 1. Mobile removable complex for automatic determination of the presence of hemolysis and/or chylosis in centrifuged blood samples, including : - не менее 2 цифровых короткофокусных камер с разрешением не менее 1920х1080 пикселей;- at least 2 digital short-focus cameras with a resolution of at least 1920x1080 pixels; - кольцевой светодиодный источник белого света;- ring LED white light source; - штатив, выполненный с возможностью фиксации к конвейерной линии лабораторного анализатора цифровых короткофокусных камер и кольцевого светодиодного источника белого света в горизонтальной плоскости относительно конвейерной линии лабораторного анализатора, состоящий из рамы, держателей, выполненных с возможностью фиксации и изменения вертикального положения камер, и элементов съемного крепления, выполненных с возможностью фиксации и снятия штатива с конвейерной линии лабораторного анализатора,- a tripod made with the possibility of fixing to the conveyor line of a laboratory analyzer of digital short-focus cameras and a ring LED source of white light in a horizontal plane relative to the conveyor line of the laboratory analyzer, consisting of a frame, holders made with the possibility of fixing and changing the vertical position of the cameras, and removable fastening elements , made with the ability to fix and remove the stand from the conveyor line of the laboratory analyzer, при этом элементы съемного крепления, выполнены либо с возможностью установки штатива снаружи конвейерной линии лабораторного анализатора, таким образом, чтобы короткофокусные камеры фиксировали образцы через боковые окна конвейерной линии лабораторного анализатора, in this case, the removable fastening elements are made either with the possibility of installing a tripod outside the conveyor line of the laboratory analyzer, so that short-focus cameras record samples through the side windows of the conveyor line of the laboratory analyzer, либо выполнены с возможностью установки короткофокусных камер внутри конвейерной линии лабораторного анализатора;or are designed with the ability to install short-focus cameras inside the conveyor line of a laboratory analyzer; - систему управления и обработки информации, выполненную с возможностью анализа изображений, получаемых с короткофокусных камер, с использованием первой и второй классификационных моделей, и выполненную с возможностью записи, обработки, хранения и вывода на монитор результатов определения наличия гемолиза и/ или хилеза в образцах плазмы крови с информацией о пациенте, которому принадлежит образец крови, и медицинском учреждении, из которого поступил образец крови.- a control and information processing system capable of analyzing images obtained from short-focus cameras using the first and second classification models, and configured to record, process, store and display on a monitor the results of determining the presence of hemolysis and/or chylosis in plasma samples blood with information about the patient to whom the blood sample belongs and the health care facility from which the blood sample came. 2. Мобильный съемный комплекс по п. 1, отличающийся тем, кольцевой светодиодный источник белого света выполнен с освещенностью 1400 Лк.2. The mobile removable complex according to claim 1, characterized in that the ring LED white light source is made with an illumination of 1400 Lux. 3. Мобильный съемный комплекс по п. 1, отличающийся тем, что кольцевой светодиодный источник белого света оборудован диффузором.3. Mobile removable complex according to claim 1, characterized in that the ring LED white light source is equipped with a diffuser. 4. Мобильный съемный комплекс по п. 1, отличающийся тем, что кольцевой светодиодный источник белого света выполнен мощностью не более 20 Вт.4. Mobile removable complex according to claim 1, characterized in that the ring LED white light source is made with a power of no more than 20 W. 5. Мобильный съемный комплекс по п. 1, отличающийся тем, что кольцевой светодиодный источник белого света выполнен с диаметром кольца от 20 до 40 см.5. Mobile removable complex according to claim 1, characterized in that the ring LED white light source is made with a ring diameter of 20 to 40 cm. 6. Мобильный съемный комплекс по п. 1, отличающийся тем, что системой управления и обработки информации являются либо стационарный компьютер, либо ноутбук, либо смартфон.6. Mobile removable complex according to claim 1, characterized in that the control and information processing system is either a desktop computer, a laptop, or a smartphone. 7. Мобильный съемный комплекс по п. 1, отличающийся тем, что первая и вторая классификационные модели записаны в постоянную память системы управления и обработки информации.7. Mobile removable complex according to claim 1, characterized in that the first and second classification models are recorded in the permanent memory of the control and information processing system. 8. Мобильный съемный комплекс по п. 1, отличающийся тем, что первая и вторая классификационные модели записаны на удаленном сервере, в облачном хранилище, и система управления и обработки информации выполнена с возможностью временной загрузки данных классификационных моделей в свою память.8. Mobile removable complex according to claim 1, characterized in that the first and second classification models are recorded on a remote server, in a cloud storage, and the control and information processing system is designed with the ability to temporarily load classification model data into its memory. 9. Способ автоматического определения наличия гемолиза и/ или хилеза в центрифугированных образцах крови, включающий этапы:9. A method for automatically determining the presence of hemolysis and/or chylosis in centrifuged blood samples, including the steps: - получение изображения камерами мобильного съемного комплекса по пп. 1-8;- image acquisition by cameras of the mobile removable complex according to claims. 1-8; - обнаружение наличия пробирки на изображении с помощью первой классификационной модели;- detecting the presence of a test tube in the image using the first classification model; - классификации типа плазмы: если первая классификационная модель обнаруживает присутствие на изображении пробирки с кровью, запускается работа второй классификационной модели, которая одновременно осуществляет поиск областей изображения, соответствующих плазме и классификацию типа плазмы;- classification of plasma type: if the first classification model detects the presence of a test tube with blood in the image, the work of the second classification model is launched, which simultaneously searches for image areas corresponding to plasma and classifies the plasma type; - распознавания штрих-кода, расположенного на пробирке с кровью, при помощи второй классификационной модели;- recognition of a barcode located on a test tube with blood using a second classification model; - вывода на монитор устройства результатов определения наличия гемолиза и/ или хилеза в образцах крови.- displaying on the device monitor the results of determining the presence of hemolysis and/or chylosis in blood samples. 10. Способ по п. 9, отличающийся тем, что в случае отсутствия пробирки на изображении или, если качество изображения не позволяет обнаружить пробирку, на монитор выводится сообщение о том, что пробирка не обнаружена.10. The method according to claim 9, characterized in that if there is no test tube in the image or if the image quality does not allow the test tube to be detected, a message is displayed on the monitor stating that the test tube was not detected. 11. Способ по п. 9, отличающийся тем, что в случае отсутствия штрих-кода или при невозможности его определения на монитор выводится сообщение о том, что штрих-код не распознан.11. The method according to claim 9, characterized in that if there is no barcode or if it cannot be determined, a message is displayed on the monitor stating that the barcode is not recognized. 12. Способ по п. 9, отличающийся тем, что на монитор устройства выводят результаты определения наличия гемолиза и/ или хилеза в образцах крови с информацией о пациенте, которому принадлежит образец крови, и медицинском учреждении, из которого поступил образец крови.12. The method according to claim 9, characterized in that the device monitor displays the results of determining the presence of hemolysis and/or chylosis in blood samples with information about the patient to whom the blood sample belongs and the medical institution from which the blood sample was received. 13. Способ по п. 9, отличающийся тем, что для определения степени хилеза и/ или гемолиза используют видеозапись, получаемую с камер съемного комплекса по пп. 1-8, с присутствующими на кадрах пробирками с образцами крови. 13. The method according to claim 9, characterized in that to determine the degree of chyle and/or hemolysis, video recordings obtained from cameras of the removable complex according to claims are used. 1-8, with tubes with blood samples present in the frames. 14. Способ по п. 9, отличающийся тем, что первая классификационная модель является сверточной нейронной сетью с архитектурой MobileNetV3.14. The method according to claim 9, characterized in that the first classification model is a convolutional neural network with MobileNetV3 architecture. 15. Способ по п. 9, отличающийся тем, что вторая классификационная модель является сверточной нейронной сетью с архитектурой YOLOv5.15. The method according to claim 9, characterized in that the second classification model is a convolutional neural network with YOLOv5 architecture.
RU2023133304A 2023-12-14 Mobile detachable complex and method for automatic determination of hemolysis and/or lipaemia in blood samples RU2819131C1 (en)

Publications (1)

Publication Number Publication Date
RU2819131C1 true RU2819131C1 (en) 2024-05-14

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9322761B2 (en) * 2009-08-13 2016-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining interferents and physical dimensions in liquid samples and containers to be analyzed by a clinical analyzer
US9952241B2 (en) * 2012-08-20 2018-04-24 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
US10816538B2 (en) * 2016-01-28 2020-10-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
US11022620B2 (en) * 2016-11-14 2021-06-01 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
US11238318B2 (en) * 2017-04-13 2022-02-01 Siemens Healthcare Diagnostics Inc. Methods and apparatus for HILN characterization using convolutional neural network
US11313869B2 (en) * 2017-04-13 2022-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining label count during specimen characterization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9322761B2 (en) * 2009-08-13 2016-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining interferents and physical dimensions in liquid samples and containers to be analyzed by a clinical analyzer
US9952241B2 (en) * 2012-08-20 2018-04-24 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
US10816538B2 (en) * 2016-01-28 2020-10-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
US11022620B2 (en) * 2016-11-14 2021-06-01 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
US11238318B2 (en) * 2017-04-13 2022-02-01 Siemens Healthcare Diagnostics Inc. Methods and apparatus for HILN characterization using convolutional neural network
US11313869B2 (en) * 2017-04-13 2022-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining label count during specimen characterization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ДЕНИСЕНКО Г. М. и др. Быстрая оптическая идентификация гемолиза и липемии в образцах сыворотки крови: компьютерное зрение и спектроскопия диффузного отражения. Оптика и спектроскопия. 2023, том 131, номер 9, стр. 1288-1300, Принята к печати: 28.09.2023. YANG C. et al. A deep learning-based system for assessment of serum quality using sample images. Clinica Chimica Acta. 2022, Volume 531, pp. 254-260. WANG H. et al. An attention-based deep convolutional neural network for classification and grading of interferents in serum specimens. Chemometrics and Intelligent Laboratory Systems. 2022, Volume 231, 104688. MOHIUDEEN A. et al. Hemolysis detection in sub-microliter volumes of blood plasma. IEEE Transactions on Biomedical Engineering. 2020, vol. 67, no. 5, pp. 1243-1252, doi: 10.1109/TBME.2019.2934517. *

Similar Documents

Publication Publication Date Title
JP6927465B2 (en) Model-based methods and equipment for classifying interfering factors in specimens
JP2019510963A (en) Method and apparatus for multiview characterization
JP2019504996A (en) Method and apparatus for classifying artifacts in a sample
WO2010057081A1 (en) Image analysis platform for identifying artifacts in samples and laboratory consumables
JPH1144509A (en) Method and apparatus for calibrating imaging system for analyzing agglutination reaction
CN106661764B (en) Automated imaging and analysis of hemagglutination inhibition assay (HAI)
CN103487104A (en) System and method for collecting and identifying images of capillary pipe liquid level type data
JP2017506749A (en) Systems, instruments, and methods for sample integrity verification
US10311569B1 (en) Identifying liquid blood components from sensed data to monitor specimen integrity
JP2008536144A (en) Method and apparatus for spectral analysis of mixtures
JP5217793B2 (en) Method for improving data accuracy and system therefor
CN100470578C (en) Science instrument working state monitoring method based on computer vision
JP5826166B2 (en) Multi-parameter data analysis method and apparatus
TWM588797U (en) Detection system with identification label compensation function
RU2819131C1 (en) Mobile detachable complex and method for automatic determination of hemolysis and/or lipaemia in blood samples
CN113298760A (en) Quality detection method, device and system based on deep learning
CN206369739U (en) The outer detecting system of portable fast sieve nest
US20210116386A1 (en) Systems and methods for testing a test sample
TWI699703B (en) Detection system with recognition label compensation function
US11698342B2 (en) Method and system for analysing fluorospot assays
JP6767954B2 (en) Clinical testing equipment and systems
CN116523365A (en) Experimental operation scoring method, device, computing equipment and storage medium
CN110243823A (en) The automatic screening apparatus of Rickets and its application method based on support vector machines
WO2023108412A1 (en) Rapid recognition and quantification method for target protein
TWI612306B (en) Portable point of care testing (poct) system