WO2023134399A1 - 一种浮游植物检测方法和系统 - Google Patents
一种浮游植物检测方法和系统 Download PDFInfo
- Publication number
- WO2023134399A1 WO2023134399A1 PCT/CN2022/140062 CN2022140062W WO2023134399A1 WO 2023134399 A1 WO2023134399 A1 WO 2023134399A1 CN 2022140062 W CN2022140062 W CN 2022140062W WO 2023134399 A1 WO2023134399 A1 WO 2023134399A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- phytoplankton
- model
- yolox
- image
- scale
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims abstract description 11
- 230000001133 acceleration Effects 0.000 claims abstract description 7
- 239000002245 particle Substances 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 11
- 238000002073 fluorescence micrograph Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 9
- 239000012472 biological sample Substances 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000684 flow cytometry Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 241000894007 species Species 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241001284628 Akashiwo sanguinea Species 0.000 description 1
- 241000200030 Alexandrium catenella Species 0.000 description 1
- 241001531229 Alexandrium minutum Species 0.000 description 1
- 241000649888 Alexandrium pacificum Species 0.000 description 1
- 241000200029 Alexandrium tamarense Species 0.000 description 1
- 241000997854 Azadinium poporum Species 0.000 description 1
- 241000154207 Bysmatrum granulosum Species 0.000 description 1
- 241000295556 Chattonella marina Species 0.000 description 1
- 241001300495 Cochlodinium polykrikoides Species 0.000 description 1
- 241000227695 Ditylum brightwellii Species 0.000 description 1
- 241000114101 Gambierdiscus pacificus Species 0.000 description 1
- 241000200139 Gonyaulax Species 0.000 description 1
- 241001531269 Gymnodinium catenatum Species 0.000 description 1
- 241000934742 Heterocapsa triquetra Species 0.000 description 1
- 241000206757 Heterosigma akashiwo Species 0.000 description 1
- 241000013774 Karenia brevis Species 0.000 description 1
- 241000290272 Karenia mikimotoi Species 0.000 description 1
- 241000364664 Leptocylindrus danicus Species 0.000 description 1
- 241000321093 Lingulodinium polyedrum Species 0.000 description 1
- 241001314307 Ostreopsis siamensis Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 241001404107 Prorocentrum donghaiense Species 0.000 description 1
- 241001531267 Prorocentrum lima Species 0.000 description 1
- 241000200247 Prorocentrum micans Species 0.000 description 1
- 241001531268 Prorocentrum minimum Species 0.000 description 1
- 241000920705 Protoceratium reticulatum Species 0.000 description 1
- 241001503543 Pseudo-nitzschia pungens Species 0.000 description 1
- 241001237294 Scrippsiella trochoidea Species 0.000 description 1
- 241000206732 Skeletonema costatum Species 0.000 description 1
- 241000188683 Symbiodinium voratum Species 0.000 description 1
- 241000227646 Thalassiosira rotula Species 0.000 description 1
- 241000971505 Thecadinium Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005416 organic matter Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001228 trophic effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种浮游植物检测方法和系统，其内容包括：数据集标注：使用标注工具，得到浮游植物荧光图像对应的YOLO标签文件；数据集扩充：借助在小规模数据集训练好的YOLOX模型，进行数据集自动标注和扩充；模型搭建与训练测试：搭建YOLOX网络，在浮游植物目标检测数据集上进行模型训练和测试；模型部署与加速优化：将YOLOX网络部署到嵌入式平台上，并优化网络结构，加速模型推理速度；模型推理和结果统计存储：使用部署加速后的YOLOX模型，对浮游植物荧光图像进行推理，并得到浮游植物的关键生物参数。本发明具有检测类别多，检测准确率较高的优点，同时可以保证目标检测准确率和实时性的平衡。
Description
本发明涉及水环境监测领域，特别涉及一种浮游植物检测方法和系统。
浮游植物是海洋食物网的基础，占地球总初级生产力约50％，是海洋和全球生态环境中最重要的初级生产者之一。浮游植物产生的有机物质被食草的浮游动物所消耗，它们为更高营养级提供了重要的食物来源，在此过程中参与了碳、氮、磷等元素的循环。浮游植物对于海洋生态环境的保护和监测至关重要，对海洋浮游植物的种类组成、丰度变化、粒径分布以及群落结构和演替的监测，不仅能够帮助人们进一步理解海洋初级生产过程、生物碳汇、生物多样性等重要科学问题，而且也有助于海洋生物学家及海洋环境监测部门对海洋生态环境和海洋灾害(如有害藻华)进行监测并及时做出预报预警,有效减少海洋灾害造成的损失。
然而，目前在海洋浮游植物观测手段上仍存在时空尺度较小、分辨率较低、观测精度和效率低等局限性。例如，人工显微镜检法根据浮游植物的形态特征来识别浮游植物种类，并且使用细胞计数板进行定量分析，这种方法过程繁琐，费时费力，操作人员需要具备相当的专业知识，且时空尺度较小。近年来，成像流式细胞术(Imaging flow cytometry,IFC)由于其兼具光学显微高分辨率成像和传统流式细胞仪高通量检测的优势而受到广泛关注，同时也成为高通量浮游植物细胞分析的一种先进手段。
现有浮游植物目标检测工作存在检测类别较少，准确率较低、容易漏检小目标，无法在目标检测准确率和实时性保持平衡的问题，并 且没有将嵌入式平台应用于浮游植物检测领域，很难实现现场环境的应用和实时监测。
发明内容
根据现有技术存在的问题，本发明提供一种浮游植物检测方法和系统，以解决浮游植物检测中无法实现准确率和实时性的平衡，且很难适应现场环境和实时监测的问题。
为实现上述目的，本发明采用以下技术方案予以实现：
一种浮游植物检测方法，其特征在于，包括以下步骤：
S1.对浮游植物的原始图像进行标注，得到含有类别和边界框的标签文件，构建小规模浮游植物目标检测图像数据集；
S2.搭建YOLOX复杂模型，在所述小规模浮游植物目标检测图像数据集上训练该模型；对所述小规模浮游植物目标检测图像数据集进行扩充，利用训练好的YOLOX复杂模型将待标注的图像进行推理并生成标签文件，经人工检查和修正后，构建大规模浮游植物目标检测图像数据集；
S3.搭建YOLOX轻量模型，在所述大规模浮游植物目标检测图像数据集上进行模型训练；
S4.将训练好的YOLOX轻量模型部署到嵌入式平台上，并对所述YOLOX轻量模型进行优化加速，得到加速后的YOLOX轻量模型；
S5.使用加速后的YOLOX轻量模型对待测浮游植物图像进行推理，得到浮游植物的关键生物参数。
一些实施例中，所述步骤S2包括：
S21.将所述小规模浮游植物目标检测图像数据集划分为训练集与验证集；
S22.搭建YOLOX复杂模型，并加载在COCO数据集上训练好的预训练模型权重；
S23.在所述小规模浮游植物目标检测图像训练集上进行Mosaic和Mixup数据增强策略，然后训练该模型，并用验证集加以验证，保存最佳模型权重；
S24.使用训练好的模型将待标注的图像进行推理并生成YOLO标签文件，而后进行人工检查和修正；
S25.得到一个含有扩充后图像及对应YOLO标签的大规模浮游植物目标检测图像数据集。
一些实施例中，所述步骤S4中，使用支持Jetpack、CUDA、CUDNN、Opencv和Pytorch环境的嵌入式平台。
一些实施例中，所述步骤S4包括：
S41.在嵌入式平台上搭建YOLOX轻量模型，并将训练好的权重迁移到该嵌入式平台上；
S42.编写转换程序，将模型权重文件使用TensorRT进行优化加速并生成engine文件；
S43.使用所述轻量模型加载加速优化后的文件权重进行推理，测试推理速度。
一些实施例中，使用TensorRT对YOLOX模型结构进行重构，包括网络结构的垂直整合和水平整合。
一些实施例中，所述步骤S5包括：
根据检测得到的目标类别、置信度和边界框信息，在原始图像上加以绘制和标记，并对绘制检测结果后的图像进行压缩和储存。
一些实施例中，所述步骤S5还包括：
根据检测得到的所有目标的边界框信息，得到浮游植物粒径谱。
一些实施例中，所述步骤S5还包括：根据检测得到的目标类别及对应个数，统计每个类别的数量，得到各个类别的丰度值；根据检测得到的总的目标个数，得到总的丰度值。
一些实施例中，所述步骤S3还包括图像合成：根据浮游植物尺寸上的不同，划分三个尺度，从测试集上随机挑选这三个尺度的部分图像，使用最大强度投影法来生成含有多张合成图像的人工合成测试数据集。
一种浮游生物检测系统包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述的浮游生物检测方法。
本发明提供的技术方案带来的有益效果包括：
(1)本发明使用用于浮游植物检测的目标检测深度学习模型YOLOX，提高了对浮游植物的检测效果。通过引入PANet、Decoupled head、Anchor-free等模块和采用Mosaic、Mixup等数据增强策略，大大提升了YOLOX模型对浮游植物的检测效果，mAP可以达到80％以上，另外，本发明使用Max Intensity Projection方法来生成人工合成测试数据集，并使用训练好的YOLOX模型进行推理和检验，从而更加全面客观地证明了模型对多尺度多类别目标的检测能力，实现了对浮游植物的边界框位置以及类别的准确检测和判别。
(2)本发明针对浮游植物监测的现场需要，提出基于NVIDIA Jetson TX2的YOLOX模型嵌入式平台部署和TensorRT优化，从而有利于在现场环境下的模型嵌入式平台应用和实时检测，降低了现场应用的成本。
(3)本发明提供一种浮游植物检测方法和系统，构建了一个种 类更丰富、数量更多的浮游植物目标检测图像数据集，通过
荧光成像流式细胞仪和半自动标注流程的配合工作，提高了目标检测数据集的标注效率。
总的来说，本发明提出的浮游植物检测方法和系统，基于YOLOX的浮游植物目标检测算法可以实现对浮游植物的快速准确的检测，并将模型部署到嵌入式平台，便于在现场环境对浮游植物进行高准确率地检测，而且不易漏掉小目标。之后基于TensorRT对模型进行优化和加速，实现准确率和实时性保持平衡。
图1是本发明实施例中浮游植物检测流程图；
图2是本发明实施例中浮游植物部分原始图像；
图3是本发明实施例中Label Img标注工具；
图4是本发明实施例中目标检测YOLO标签文件；
图5为本发明实施例中小规模浮游植物目标检测图像数据集的各个类别数量分布；
图6为本发明实施例中Mosaic数据增强结果；
图7为本发明实施例中Mixup数据增强结果；
图8为本发明实施例中大规模浮游植物目标检测图像数据集的各个类别数量分布；
图9为本发明实施例中YOLOX轻量模型在合成浮游植物图像上的检测效果；
图10为本发明实施例中NVIDIA Jetson TX2嵌入式模块；
图11为本发明实施例中NVIDIA Jetson TX2平台上YOLOX-s模型在未加速和用TensorRT加速后的推理速度比较；
图12为本发明实施例中YOLOX轻量模型推理一类浮游植物图像并统计得到的粒径谱结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种浮游植物检测方法和系统，专门针对
荧光成像流式细胞仪采集的浮游植物荧光图像进行高通量实时分析,以实现对天然海水水样中浮游植物细胞的实时检测与分析，获取浮游植物的丰度和粒径谱等关键生物参数，实现浮游植物的长期动态监测，从而推动相关海洋科学研究和海洋环境监测技术的发展。
参照图1，一种浮游植物检测方法其具体步骤包括：
步骤一：获取浮游植物生物样品，根据海域内常见赤潮浮游植物种类数量，适应性选择浮游植物生物样品种类数目，本实施例中获取32类浮游植物生物样品，根据样品的浓度适当地进行稀释；本实施例中，使用
仪器采集无生物样品的海水背景图像并加以保存；随后采集的每张图都减去该背景图，以去除背景噪声；使用
仪器对浮游植物生物样品进行图像采集，每一类采集若干张原始图像，并存储到计算机硬盘，浮游植物原始图像如图2所示。
步骤二：记录32类浮游植物学名并得到一个包含这32类浮游植物学名的txt文件；下载目标检测标注工具软件Label Img，标注工具界面如图3所示；启动Label Img标注工具，读取原始图像以及标注得到的txt文件，YOLO格式的标签文件内容如图4所示；手工框选目标的边界框位置，并根据读取的txt文件赋予边界框类别序号，保存YOLO格式标签文件；迭代手工框选位置并赋予序号保存标签文 件的步骤，构建一个小规模浮游植物目标检测图像数据集，有32类共6015张图像及对应的标签文件，32类浮游植物的学名如表1所示，小规模浮游植物目标检测图像数据集各类别的数量分布如图5所示。
表1
| Akashiwo sanguinea | Karenia brevis |
| Alexandrium catenella | Karenia mikimotoi |
| Alexandrium minutum | Leptocylindrus danicus |
| Alexandrium pacificum | Lingulodinium polyedra |
| Alexandrium tamarense | Ostreopsis siamensis |
| Azadinium poporum | Prorocentrum donghaiense |
| Bysmatrum granulosum | Prorocentrum lima |
| Chattonella marina | Prorocentrum micans |
| Cochlodinium polykrikoides | Prorocentrum minimum |
| Ditylum brightwellii | Protoceratium reticulatum |
| Gambierdiscus pacificus | Pseudo-nitzschia pungens |
| Gonyaulax | Scrippsiella trochoidea |
| Gymnodinium catenatum | Skeletonema costatum |
| Heterocapsa triquetra | Symbiodinium voratum |
| Heterosigma akashiwo | Thalassiosira rotula |
| Johsia chumphonensis | Thecadinium cofoidii |
参考图3，在一些实施例中，该标注工具还可以为Labelme、Yolo_mark、Bbox-label-tool。
步骤三：将小规模浮游植物目标检测图像数据集按照8：2划分为训练集和验证集；搭建YOLOX复杂模型，并设置Batch size为16，训练Epochs为170个；加载在COCO数据集上训练好的YOLOX复杂预训练模型权重；在小规模浮游植物目标检测图像数据集的训练集上训练YOLOX复杂模型，并用验证集加以验证，保存最佳模型权重。
其中YOLOX复杂模型网络参数量较大，对于输入尺寸为640x640的图片而言，模型参数量可以达到99M，深度和宽度都比较大，模型准确率较高，但推理速度较慢。
为了进一步提高YOLOX复杂模型对小目标检测的准确率并增强模型的抗噪声样本能力，图像在输入网络前进行了Mosaic、Mixup预处理操作，进一步丰富了数据集，有助于提升模型的泛化能力。
Mosaic的做法是随机选择4张图像，通过随机缩放、随机裁剪、随机镜像的方式进行拼接，从而丰富了目标检测的数据集，特别是增加了很多小目标，让网络的鲁棒性更好；同时多张图像拼接在一起的做法等价于提高了Batch size，在Batch Normalization处理时可以直接计算4张图像的数据，因此可以降低网络训练对GPU显存的要求。Mosaic增强结果如图6所示。
Mixup的做法是随机选取两张图像，缩放到相同尺寸；然后设置一个融合系数λ，比如0.3，将处理后的两张图像进行加权融合，最后得到融合后的图像。这种方法可以降低模型对噪声样本的记忆，以提高模型的泛化能力。Mixup增强结果如图7所示。
之后，使用训练好的YOLOX复杂模型对挑选的图像数据进行推理，并自动生成YOLO标签文件；使用Label Img标注工具打开原始图像及对应的标签文件，进行人工的检查和修正；构建一个32类共30339张图像及对应YOLO标签的大规模浮游植物目标检测图像数据集，大规模浮游植物目标检测图像数据集各类别的数量分布如图8所示。
步骤四：将大规模浮游植物目标检测图像数据集按照7：2：1划分为训练集、验证集和测试集；搭建YOLOX轻量模型，并设置Batch size为32，训练Epochs为300个，使用SGD(Stochastic Gradient Descent)作为优化器，weight_decay设置为5e-4，momentum设置为0.9；初始学习率为0.01，并用余弦退火算法来对学习率进行更新；
其中YOLOX轻量模型，网络参数量较小，对于输入尺寸为640x640的图片而言，模型参数量仅为9M，深度和宽度都很小，模型推理速度较快，但模型准确率比YOLOX复杂模型稍低一些。
加载在COCO数据集上训练好的YOLOX轻量预训练模型权重；在大规模浮游植物目标检测图像数据集的训练集上训练YOLOX轻量模型，并用验证集加以验证，保存最佳模型权重；根据32类浮游植物尺寸上的不同，划分成small(0-30um)，medium(30-80um)和big (>80um)三个尺度，从测试集上随机挑选这三个尺度的部分图像，使用Max Intensity Projection来生成含有多张合成图像的人工合成数据集；Max Intensity Projection是从待融合的一批图像中，遍历这批图像每个位置的像素强度并取像素强度最高的值赋予合成的图像。使用训练好的YOLOX轻量模型，对多张人工合成图像数据进行模型推理，得到检测结果和mAP值。YOLOX轻量模型在合成浮游植物图像上的检测效果如图9所示。
在一些实施例中，可以调整数据集划分的比例，比如将训练集、验证集和测试集从7：2：1变为8：1：1。
步骤五：配置NVIDIA Jetson TX2环境，安装Jetpack4.4镜像，配置好TensorRT、Pytorch、Opencv等环境。NVIDIA Jetson TX2嵌入式模块如图10所示；在NVIDIA Jetson TX2上搭建YOLOX-s网络，并将训练好的权重迁移到NVIDIA Jetson TX2上；编写转换程序，将模型权重文件使用TensorRT进行优化加速并生成engine文件；加载优化后的engine文件权重，使用YOLOX-s模型对图像进行推理，测试模型推理速度。使用TensorRT加速后的YOLOX-s模型推理速度与未加速时的推理速度比较结果如图11所示。
在一些实施例中，可将NVIDIA Jetson TX2嵌入式平台替换为其他嵌入式平台，比如NVIDIA Jetson Nano、Raspberry Pi等。
步骤六：在NVIDIA Jetson TX2平台上加载步骤5得到的engine文件权重，使用YOLOX轻量模型对浮游植物图像进行推理，得到浮游植物的边界框信息、类别和置信度信息，其中边界框信息包括两个点的坐标信息，例如A、B两点的坐标信息，A(x1，y1)、B(x2，y2)。本实施例中A点为边界框的左上角，B点为边界框的右下角，由此可通过A、B两点的坐标信息，得到边界框的长宽信息和浮游植物的位置信息。在一些实施例中，A、B两点可为边界框的右上角和左下角，或者可得出边界框长宽信息和位置信息的其他坐标。在一些实施例中， 边界框信息也可为多个点的坐标信息。
根据推理结果，在浮游植物图像上绘制浮游植物的边界框信息、类别和置信度，并存储成jpg图像；统计各个类别及对应的统计个数，得到丰度数值，并存储结果；根据边界框的信息，计算目标浮游植物的粒径。若边界框的长宽比＜2，则认为目标浮游植物接近于球形或者椭球形，采用椭圆拟合的方式，根据长轴a和短轴b，计算椭圆面积为
再由公式
得到等效粒径；若边界框的长宽比≥2，则认为目标浮游植物接近于长链形，直接取边界框的长边作为等效粒径。然后统计粒径的结果并绘制粒径谱图像加以存储。粒径谱结果如图12所示。
一种浮游生物检测系统包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述步骤中任一项所述的一种浮游生物检测方法。
需要说明的是，在本发明中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
- 一种浮游植物检测方法，其特征在于，包括以下步骤：S1.对浮游植物的原始图像进行标注，得到含有类别和边界框的标签文件，构建小规模浮游植物目标检测图像数据集；S2.搭建YOLOX复杂模型，在所述小规模浮游植物目标检测图像数据集上训练该模型；对所述小规模浮游植物目标检测图像数据集进行扩充，利用训练好的YOLOX复杂模型将待标注的图像进行推理并生成标签文件，经人工检查和修正后，构建大规模浮游植物目标检测图像数据集；S3.搭建YOLOX轻量模型，在所述大规模浮游植物目标检测图像数据集上进行模型训练；S4.将训练好的YOLOX轻量模型部署到嵌入式平台上，并对所述YOLOX轻量模型进行优化加速，得到加速后的YOLOX轻量模型；S5.使用加速后的YOLOX轻量模型对待测浮游植物图像进行推理，得到浮游植物的关键生物参数。
- 根据权利要求1所述的浮游植物检测方法，其特征在于，所述步骤S2包括：S21.将所述小规模浮游植物目标检测图像数据集划分为训练集与验证集；S22.搭建YOLOX复杂模型，并加载在COCO数据集上训练好的预训练模型权重；S23.在所述小规模浮游植物目标检测图像训练集上进行Mosaic和Mixup数据增强策略，然后训练该模型，并用验证集加以验证，保存最佳模型权重；S24.使用训练好的模型将待标注的图像进行推理并生成YOLO标签文件，而后进行人工检查和修正；S25.得到一个含有扩充后图像及对应YOLO标签的大规模浮游植物目标检测图像数据集。
- 根据权利要求1所述的浮游植物检测方法，其特征在于，所述步骤S4中，使用支持Jetpack、CUDA、CUDNN、Opencv和Pytorch环境的嵌入式平台。
- 根据权利要求3所述的浮游植物检测方法，其特征在于，所述步骤S4包括：S41.在嵌入式平台上搭建YOLOX轻量模型，并将训练好的权重迁移到该嵌入式平台上；S42.编写转换程序，将模型权重文件使用TensorRT进行优化加速并生成engine文件；S43.使用所述轻量模型加载加速优化后的文件权重进行推理，测试推理速度。
- 根据权利要求4所述的浮游植物检测方法，其特征在于，使用TensorRT对YOLOX模型结构进行重构，包括网络结构的垂直整合和水平整合。
- 根据权利要求1所述的浮游植物检测方法，其特征在于，所述步骤S5包括：根据检测得到的目标类别、置信度和边界框信息，在原始图像上加以绘制和标记，并对绘制检测结果后的图像进行压缩和储存。
- 根据权利要求6所述的浮游植物检测方法，其特征在于，所述步骤S5还包括：根据检测得到的所有目标的边界框信息，得到浮游植物粒径谱。
- 根据权利要求6所述的浮游植物检测方法，其特征在于，所述步骤S5还包括：根据检测得到的目标类别及对应个数，统计每个类别的数量，得到各个类别的丰度值；根据检测得到的总的目标个数，得到总的丰度值。
- 根据权利要求1所述的浮游植物检测方法，其特征在于，所述步骤S3还包括图像合成：根据浮游植物尺寸上的不同，划分三个尺度，从测试集上随机挑选这三个尺度的部分图像，使用最大强度投影法来生成含有多张合成图像的人工合成测试数据集。
- 一种浮游生物检测系统，其特征在于，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指令；所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至9任一项所述的一种浮游生物检测方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210044805.0 | 2022-01-14 | ||
| CN202210044805.0A CN116486242A (zh) | 2022-01-14 | 2022-01-14 | 一种浮游植物检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023134399A1 true WO2023134399A1 (zh) | 2023-07-20 |
Family
ID=87218270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/140062 WO2023134399A1 (zh) | 2022-01-14 | 2022-12-19 | 一种浮游植物检测方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116486242A (zh) |
| WO (1) | WO2023134399A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315570A (zh) * | 2023-09-08 | 2023-12-29 | 浪潮智慧科技有限公司 | 一种基于实时视频分析的野外游泳监测方法、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255044A (zh) * | 2018-08-31 | 2019-01-22 | 江苏大学 | 一种基于YOLOv3深度学习网络的图像智能标注方法 |
| CN111898677A (zh) * | 2020-07-30 | 2020-11-06 | 大连海事大学 | 一种基于深度学习的浮游生物自动检测方法 |
| CN112581443A (zh) * | 2020-12-14 | 2021-03-30 | 北京华能新锐控制技术有限公司 | 一种风力发电机叶片表面损伤轻量化识别方法 |
-
2022
- 2022-01-14 CN CN202210044805.0A patent/CN116486242A/zh active Pending
- 2022-12-19 WO PCT/CN2022/140062 patent/WO2023134399A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255044A (zh) * | 2018-08-31 | 2019-01-22 | 江苏大学 | 一种基于YOLOv3深度学习网络的图像智能标注方法 |
| CN111898677A (zh) * | 2020-07-30 | 2020-11-06 | 大连海事大学 | 一种基于深度学习的浮游生物自动检测方法 |
| CN112581443A (zh) * | 2020-12-14 | 2021-03-30 | 北京华能新锐控制技术有限公司 | 一种风力发电机叶片表面损伤轻量化识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486242A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| He et al. | The impact of urban growth patterns on urban vitality in newly built-up areas based on an association rules analysis using geographical ‘big data’ | |
| Crema et al. | Spatio-temporal approaches to archaeological radiocarbon dates | |
| Li et al. | Developing a microscopic image dataset in support of intelligent phytoplankton detection using deep learning | |
| Mitchell et al. | Reconstructing the reproductive mode of an Ediacaran macro-organism | |
| Piwowar et al. | Data archiving is a good investment | |
| Clark et al. | Size and shape characteristics of drumlins, derived from a large sample, and associated scaling laws | |
| CN110059157A (zh) | 一种图文跨模态检索方法、系统、装置和存储介质 | |
| Vandromme et al. | Springtime zooplankton size structure over the continental shelf of the Bay of Biscay | |
| WO2023134399A1 (zh) | 一种浮游植物检测方法和系统 | |
| Conn | An evaluation and power analysis of fishery independent reef fish sampling in the Gulf of Mexico and US south Atlantic | |
| Risch et al. | Potentials of renewable energy sources in Germany and the influence of land use datasets | |
| Liu et al. | Land conversion induced by urbanization leads to taxonomic and functional homogenization of a river macroinvertebrate metacommunity | |
| Haslam et al. | Wild sea otter mussel pounding leaves archaeological traces | |
| Raghavan et al. | Spatial scale effects in environmental risk-factor modelling for diseases | |
| Burke et al. | Three-dimensional analysis of inter-and intraspecific variation in ontogenetic growth trajectories of planktonic foraminifera | |
| Saint-Amand et al. | Biophysical models resolution affects coral connectivity estimates | |
| Shao et al. | Version 2 of the global oceanic diazotroph database | |
| Schrimpf et al. | Regional breeding bird assessment of the Antarctic Peninsula | |
| Roberts | Reconciling molecules and morphology in benthic foraminifera: a morphometric study of Ammonia and Elphidiidae in the NE Atlantic | |
| Yang et al. | Data compilation on the biological response to ocean acidification: an update | |
| Livermore et al. | Small effect sizes are achievable in offshore wind monitoring surveys | |
| Fink et al. | Modeling species distribution dynamics with SpatioTemoral Exploratory Models: Discovering patterns and processes of broad-scale avian migrations | |
| Yrarrazaval et al. | Identifying non-anthropogenic accumulation in zooarchaeological assemblages using naive Bayesian classifier: A trace-oriented actualistic taphonomic approach in the hyperarid coasts of the Atacama desert | |
| CN114707079B (zh) | 一种登革热蚊媒适生区及主要影响因素的识别方法和系统 | |
| CN113344247B (zh) | 一种基于深度学习的电力设施选址预测方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22920030 Country of ref document: EP Kind code of ref document: A1 |