RU2818184C1 - Способ распознавания назначенного донного объекта - Google Patents
Способ распознавания назначенного донного объекта Download PDFInfo
- Publication number
- RU2818184C1 RU2818184C1 RU2022128572A RU2022128572A RU2818184C1 RU 2818184 C1 RU2818184 C1 RU 2818184C1 RU 2022128572 A RU2022128572 A RU 2022128572A RU 2022128572 A RU2022128572 A RU 2022128572A RU 2818184 C1 RU2818184 C1 RU 2818184C1
- Authority
- RU
- Russia
- Prior art keywords
- output
- objects
- images
- image
- digital
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 239000000463 material Substances 0.000 claims abstract description 7
- 230000003416 augmentation Effects 0.000 claims abstract description 6
- 238000012546 transfer Methods 0.000 claims abstract description 4
- 238000012806 monitoring device Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000013068 control sample Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Abstract
Изобретение относится к способам поиска донных объектов с использованием средств мониторинга дна, установленных на подводном аппарате. Техническим результатом является дополнительное повышение вероятности распознавания назначенного донного объекта. Технический результат достигается тем, что для обучения искусственной нейронной сети, используемой для распознавания донных объектов по изображениям на выходе средства мониторинга дна, вместо изображений объектов, полученных экспериментальным путем в реальных условиях, используются изображения, полученные на цифровых моделях объектов. Для этого выполняют размножение цифрового изображения назначенного донного объекта на выходе средства мониторинга дна методом аугментации для разных условий наблюдения, обучение искусственной нейронной сети с использованием размноженных цифровых изображений. При этом цифровое изображение назначенного донного объекта на выходе средства мониторинга дна формируется путем создания трехмерной цифровой модели объекта поиска на основе описания его формы и материала с последующим ее преобразованием с использованием передаточной функции приемного тракта используемого средства мониторинга дна в цифровое изображение объекта на выходе средства мониторинга дна. 5 ил.
Description
Изобретение относится к способам поиска донных объектов с использованием средств мониторинга дна, установленных на подводном аппарате.
На практике, как правило, требуется найти конкретный назначенный донный объект, например, затонувший корабль, самолёт, потерпевший крушение над морем, донную мину, другие объекты, оказавшиеся на дне и подлежащие подъёму на поверхность. Сложность решения этой задачи состоит не столько в обнаружении, сколько в распознавании назначенного донного объекта среди большого количества лежащих на дне объектов искусственного и естественного происхождения.
Для решения задачи поиска донных объектов подводные аппараты оборудуются средствами мониторинга дна, работающими на разных физических принципах. К ним относятся [1]:
- гидроакустические станции (многолучевые эхолоты, гидролокаторы бокового обзора, профилографы);
- электромагнитные искатели;
- подводные телекамеры
На фиг.1 показан поиск донных объектов подводным аппаратом с использование гидролокатора бокового обзора.
При движении подводного аппарата вдоль морского дна на выходе средства мониторинга дна формируется изображение просматриваемого участка дна. С использованием этого изображения осуществляется обнаружение и распознавание донных объектов. В качестве примера на фиг.2 приведено изображение донной мины на выходе гидролокатора бокового обзора.
Существует большое количество способов распознавания объектов по их изображениям. Условно их можно разделить на 2 класса: способы, базирующиеся на использовании эвристических алгоритмов [2-5], и способы, в основе которых лежит глубокое обучение искусственных нейронных сетей (далее - ИНС) [6-15]. На сегодняшний день наиболее эффективными признаны последние. Они широко применяются в различных областях и, в первую очередь, для распознавания изображений на фотоснимках [6]. Существенным недостатком применения ИНС является то, что для их обучения требуется большое количество обучающего материала, полученного в различных условиях. Например, для надёжного распознавания наземных объектов по фотографиям с самолёта ИНС должна обучаться с использованием десятков тысяч фотографий разных объектов, полученных в различных условиях.
Для распознавания донных объектов более широко применяются способы, базирующиеся на использовании эвристических алгоритмов [2-5]. Вместе с тем делаются попытки применять способы, в основе которых лежит глубокое обучение ИНС по изображениям с выхода гидролокаторов [11-15]. Однако эти попытки ограничены необходимостью иметь в наличии большой объём обучающего материала, получение которого в случае распознавания донных объектов затруднено.
В качестве прототипа выберем способ распознавания донных объектов, описанный в [15]. Его реализация предусматривает следующие действия:
а) на этапе обучения ИНС:
1) Получение на выходе средства мониторинга дна в разных условиях большого количества изображений донных объектов, представляющих интерес. В качестве средства мониторинга дна использовался высокочастотный гидролокатор с синтезированной апертурой, установленный на автономном необитаемом подводном аппарате MUSCLE. В течение нескольких лет было получено и накоплено 50 тысяч изображений.
2) С помощью накопленных изображений обучение ИНС, ориентированной на распознавание донных объектов.
б) на этапе поиска донных объектов:
3) Получение изображения донного объекта на выходе того же средства мониторинга дна, что использовалось для получения обучающего материала.
4) Подача полученного изображения на вход обученной ИНС.
5) Получение с выхода ИНС вероятностей принадлежности обнаруженного донного объекта каждому классу алфавита распознаваемых классов объектов.
6) Сравнение наибольшей полученной вероятности с заданным пороговым значением и в случае его превышения принятие решение в пользу того класса, которому соответствует наибольшая вероятность. В противном случае отказ от принятия решения по полученному изображению.
Недостатком прототипа является необходимость получения большого количества изображений донных объектов на выходе средств мониторинга дна, что не всегда возможно. Тем более это не представляется возможным, когда ставится задача найти конкретный донный объект, который ранее данным средством мониторинга дна не наблюдался.
Решаемая техническая проблема – повышение эффективности поиска донных объектов.
Технический результат – повышение вероятности распознавания назначенного донного объекта.
Указанный технический результат достигается тем, что в предлагаемом способе для обучения ИНС вместо изображений объектов, полученных экспериментальным путём в реальных условиях, используются изображения, полученные на цифровых моделях объектов (фиг.3). Для этого при получении задания на поиск конкретного донного объекта поиска (далее - донного объекта) на основе описания его формы и материала создаётся его трёхмерная цифровая модель (далее - цифровая модель). Затем эта цифровая модель программным путём, с использованием передаточной функции приёмного тракта средства мониторинга дна, преобразуется в её цифровое изображение на выходе средства мониторинга дна. После этого с применением известной технологии аугментации [16, 17] осуществляется размножение цифрового изображения объекта для различных условий его наблюдения. Полученные аугментированные цифровые изображения назначенного донного объекта используются для обучения ИНС.
Сущность предлагаемого изобретения заключается в следующем:
а) на этапе обучения ИНС:
1) В соответствии с полученным заданием на поиск конкретного донного объекта на основе описания его формы и материала создаётся его трёхмерная цифровая модель (фиг.4).
2) С использованием передаточной функции приёмного тракта средства мониторинга дна цифровая модель программным путём преобразуется в её цифровое изображение на выходе средства мониторинга дна (левый рисунок на фиг.5).
3) С применением технологии аугментации осуществляется размножение цифрового изображения объекта для различных условий его наблюдения (правые рисунки на фиг.5).
4) Обучение ИНС с использованием аугментированных цифровых изображений назначенного объекта на выходе средства мониторинга дна.
б) на этапе поиска назначенного объекта:
5) Получение изображения донного объекта на выходе средства мониторинга дна.
6) Подача полученного изображения на вход обученной ИНС.
7) Получение с выхода ИНС оценки вероятности соответствия обнаруженного донного объекта назначенному донному объекту [9, 10].
8) Сравнение полученной вероятности с заданным пороговым значением и в случае его превышения принятие решения о распознавании назначенного донного объекта. В противном случае отказ от принятия решения по полученному изображению.
Работоспособность заявляемого способа проверялась на примере поиска затонувшего самолёта. Трёхмерная цифровая модель самолёта представлена на фиг.4. Цифровое изображение самолёта, лежащего на дне, на выходе гидролокатора бокового обзора показано на левом рисунке фиг.5. Аугментированные изображения самолёта приведены на рисунках в правой части фиг.5. В результате аугментации было сформировано 1800 изображений размером 227x227 пикселей, из которых 1200 были обучающими и 600 контрольными.
В качества ИНС была выбрана свёрточная нейронная сеть SqueezeNet [18]. Выбор именно этой сети был обусловлен её возможностью проводить обучение с наименьшими затратами вычислительной мощности.
Проверка обученной ИНС показала следующие вероятности распознавания донных объектов типа "самолёт".
- 94% на обучающей выборке;
- 76% на контрольной выборке.
С использованием известных эвристических методов [2-5] вероятность распознавания назначенных донных объектов не превышает 50 - 70%.
Также проверялась вероятность ложной тревоги. Для этого описанным выше способом формировались изображения различных донных объектов (кораблей различного размера, подводных скал). Затем осуществлялось их распознавание при помощи ИНС, обученной для распознавания самолёта. Проверка показала, что посторонние объекты распознаются как самолёт с вероятностью 17%.
Таким образом, можно утверждать, что технический результат – повышение вероятности распознавания назначенного донного объекта – достигнут.
Источники информации:
1. Jane's unmanned maritime vehicle. 2019-2020. Ed. Kelvin Wong. IHS Markit. Coulsdon, Surrey, UK. 2020.
2. А.В. Инзарцев, Л.В. Киселев, В.В. Костенко, Ю.В. Матвиенко, А.М. Павин, А.Ф. Щербатюк [отв. ред. Л.В. Киселев]. Подводные робототехнические комплексы: системы, технологии, применение // Владивосток: Дальнаука. 2018. 368 с.
3. Б.А. Касаткин, Г.В. Косарев Результаты применения акустического профилографа для мониторинга морских акваторий с использованием алгоритмов синтезирования и фокусировки // Подводные исследования и робототехника. 2014. №1(17). С.33-38.
4. Carmichael D., Linnett L., Clarke S., Calder B. Seabed classification through multifractal analysis of sidescan sonar imagery // IEE Proc. Radar, Sonar and Navigation.1996. V.143(3). P.140–148.
5. Chapple P.B. Unsupervised detection of mine-like objects in seabed imagery from autonomous underwater vehicles // Proc. IEEE Oceans Conf. Biloxi, Mississippi, USA. 2009.
6. А.Ю. Белякова, Ю.Д. Беляков, П.С. Замятин. Решение задачи распознавания объектов и инцидентов на фотоматериалах, полученных беспилотных летательных аппаратов с использованием методом глубоко обучения // Инженерный вестник Дона. №5(2021)
7. С.А. Разлацкий, П.Ю. Якимов. Использование сверточных нейронных сетей для распознавания объектов в реальном времени // Информационные технологии и нанотехнологии. 2017. с 1679-1684
8. А.И. Бредихин. Алгоритмы обучения сверточных нейронных сетей // Вестник Югорского государственного университета. 2019. Выпуск 1(52). С. 41-54
9. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. // М.: ДМК Пресс. 2017. 652 с.
10. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. // СПб.: Питер. 2018. 480 с.
11. Zhu P., Isaacs J., Fu B., Ferrari S. Deep learning feature extraction for target recognition and classification in underwater sonar images. // Proc. IEEE Annual Conf. Decision and Control. Melbourne, Australia. 2017. P.2724–2731.
12. Williams D.P. Underwater target classification in synthetic aperture sonar imagery using deep convolutional neural networks. // Proc. Int. Conf. Pattern Recognition. Tlaquepaque, Jalisco, Mexico. 2016. P. 2497–2502.
13. Chapple P.B., Dell T., Bongiorno D. Enhanced detection and classification of mine-like objects using situational awareness and deep learning // Proc. Underwater Acoustics Conference and Exhibition. Island of Skiathos, Greece. 2017. P.529-536.
14. Williams D.P., Hamona R., Gergb I.D. On the benefit of multiple representations with convolutional neural networks for improved target classification using sonar data // Proc. Underwater Acoustics Conference and Exhibition. Hersonissos, Crete. 2019. P.187-194.
15. Williams D. Demystifying deep convolutional neural networks for sonar image classification // Proc. Underwater Acoustics Conference and Exhibition. Island of Skiathos, Greece. 2017. P.513-520.
16. А.В. Гайер, А.В. Шешкус., Ю.С. Чернышева. Аугментация обучающей выборки «на лету» для обучения нейронных сетей // Труды ИСА РАН. Спецвыпуск. 2018. С. 150-157.
17. С.О. Емельянов, А.А. Иванова, Е.А. Швец., Д.П. Николаев. Методы аугментации обучающих выборок в задачах классификации изображений // Сенсорные системы.2018. Т.32, №3. С.236-245.
18. Iandola F.N., Han S., Moskewicz M.W., Ashraf K., Dally W.J., Keutzer K. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5Mb model size // Under review as a conference paper at ICLR. 2017. P. 1-13.
Claims (1)
- Способ распознавания назначенного донного объекта по изображению на выходе средства мониторинга дна, установленного на подводном аппарате, включающий получение цифрового изображения назначенного донного объекта на выходе средства мониторинга дна, его размножение методом аугментации для разных условий наблюдения, с использованием размноженных цифровых изображений обучение искусственной нейронной сети, ориентированной на распознавание донных объектов, получение изображения донного объекта на выходе того же средства мониторинга дна, что использовалось для получения обучающих изображений, подачу изображения на вход обученной искусственной нейронной сети, получение с выхода нейронной сети оценки вероятности соответствия обнаруженного объекта назначенному донному объекту, принятие решения о соответствии обнаруженного объекта назначенному донному объекту по результату сравнения полученной оценки вероятности с заданным пороговым значением, отличающийся тем, что цифровое изображение назначенного донного объекта на выходе средства мониторинга дна формируется путем создания трехмерной цифровой модели объекта поиска на основе описания его формы и материала с последующим ее преобразованием с использованием передаточной функции приемного тракта используемого средства мониторинга дна в цифровое изображение объекта на выходе средства мониторинга дна.
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2818184C1 true RU2818184C1 (ru) | 2024-04-25 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050270905A1 (en) * | 2004-04-06 | 2005-12-08 | College Of William & Mary | System and method for identification and quantification of sonar targets in a liquid medium |
| US8150111B2 (en) * | 2005-03-15 | 2012-04-03 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data |
| RU2687994C1 (ru) * | 2018-05-08 | 2019-05-17 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-Морского Флота "Военно-морская академия им. Адмирала Флота Советского Союза Н.Г. Кузнецова" | Способ классификации морских объектов на основе весовых коэффициентов их классификационных признаков |
| RU2726992C1 (ru) * | 2020-01-09 | 2020-07-17 | Федеральное Государственное Казенное Военное Образовательное Учреждение Высшего Образования "Тихоокеанское Высшее Военно-Морское Училище Имени С.О. Макарова" Министерства Обороны Российской Федерации (Г. Владивосток) | Система обнаружения и классификации морских целей с использованием математической модели определения типа цели |
| US20200342652A1 (en) * | 2019-04-25 | 2020-10-29 | Lucid VR, Inc. | Generating Synthetic Image Data for Machine Learning |
| US11449709B2 (en) * | 2019-08-08 | 2022-09-20 | Nvidia Corporation | Domain restriction of neural networks through synthetic data pre-training |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050270905A1 (en) * | 2004-04-06 | 2005-12-08 | College Of William & Mary | System and method for identification and quantification of sonar targets in a liquid medium |
| US8150111B2 (en) * | 2005-03-15 | 2012-04-03 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data |
| RU2687994C1 (ru) * | 2018-05-08 | 2019-05-17 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-Морского Флота "Военно-морская академия им. Адмирала Флота Советского Союза Н.Г. Кузнецова" | Способ классификации морских объектов на основе весовых коэффициентов их классификационных признаков |
| US20200342652A1 (en) * | 2019-04-25 | 2020-10-29 | Lucid VR, Inc. | Generating Synthetic Image Data for Machine Learning |
| US11449709B2 (en) * | 2019-08-08 | 2022-09-20 | Nvidia Corporation | Domain restriction of neural networks through synthetic data pre-training |
| RU2726992C1 (ru) * | 2020-01-09 | 2020-07-17 | Федеральное Государственное Казенное Военное Образовательное Учреждение Высшего Образования "Тихоокеанское Высшее Военно-Морское Училище Имени С.О. Макарова" Министерства Обороны Российской Федерации (Г. Владивосток) | Система обнаружения и классификации морских целей с использованием математической модели определения типа цели |
Non-Patent Citations (1)
| Title |
|---|
| Williams D. "Demystifying deep convolutional neural networks for sonar image classification", Underwater Acoustics Conference and Exhibition, Island of Skiathos, Greece, 2017, стр. 513-520, [найдено 15.05.2023]. Найдено в Интернет: https://www.davidwilliamsphd.com/publications/DPW_UAC17.pdf. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Valdenegro-Toro | Submerged marine debris detection with autonomous underwater vehicles | |
| Neves et al. | Rotated object detection with forward-looking sonar in underwater applications | |
| US7221621B2 (en) | System and method for identification and quantification of sonar targets in a liquid medium | |
| Acosta et al. | Accumulated CA–CFAR process in 2-D for online object detection from sidescan sonar data | |
| Berg et al. | Classification of anti-submarine warfare sonar targets using a deep neural network | |
| Fuchs et al. | Object recognition in forward looking sonar images using transfer learning | |
| Park et al. | Deep convolutional neural network architectures for tonal frequency identification in a lofargram | |
| Villar et al. | A framework for acoustic segmentation using order statistic-constant false alarm rate in two dimensions from sidescan sonar data | |
| Steiniger et al. | A study on modern deep learning detection algorithms for automatic target recognition in sidescan sonar images | |
| Lakshmi et al. | Underwater image recognition detector using deep ConvNet | |
| Kasetkasem et al. | A pipeline extraction algorithm for forward-looking sonar images using the self-organizing map | |
| RU2818184C1 (ru) | Способ распознавания назначенного донного объекта | |
| Labbe-Morissette et al. | Unsupervised extraction of underwater regions of interest in side scan sonar imagery | |
| Chai et al. | Deep learning algorithms for sonar imagery analysis and its application in aquaculture: A review | |
| Soldi et al. | Underwater tracking based on the sum-product algorithm enhanced by a neural network detections classifier | |
| Rixon Fuchs et al. | Deep learning based technique for enhanced sonar imaging | |
| Tellez et al. | The special case of sea mines | |
| d’Ales de Corbet et al. | Target classification using multi-view synthetic aperture sonar imagery | |
| Ciany et al. | Real-time performance of fusion algorithms for computer aided detection and classification of bottom mines in the littoral environment | |
| Steiniger et al. | Investigating the training of convolutional neural networks with limited sidescan sonar image datasets | |
| DeBortoli et al. | Assessing perception quality in sonar images using global context | |
| Ram et al. | Machine Learning based Underwater Mine Detection | |
| Li et al. | A strategy of subsea pipeline identification with sidescan sonar based on YOLOV5 model | |
| Oliveira et al. | Probabilistic positioning of a mooring cable in sonar images for in-situ calibration of marine sensors | |
| Bykova et al. | One approach to the recognition of bottom objects using monitoring systems installed on an autonomous underwater vehicle |