RU2762636C1 - Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени - Google Patents
Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени Download PDFInfo
- Publication number
- RU2762636C1 RU2762636C1 RU2020131951A RU2020131951A RU2762636C1 RU 2762636 C1 RU2762636 C1 RU 2762636C1 RU 2020131951 A RU2020131951 A RU 2020131951A RU 2020131951 A RU2020131951 A RU 2020131951A RU 2762636 C1 RU2762636 C1 RU 2762636C1
- Authority
- RU
- Russia
- Prior art keywords
- objects
- data
- input
- blocks
- central computing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/80—Devices characterised by the determination of the time taken to traverse a fixed distance using auto-correlation or cross-correlation detection means
Abstract
Изобретение относится к области обработки и комплексирования разнородной сенсорной информации с целью определения параметров подвижных объектов и может быть использовано в различных областях науки и промышленности при создании автономных роботов, а также систем мониторинга и оценки параметров подвижных объектов. Предложено устройство параллельной обработки разнородной сенсорной информации в режиме реального времени, включающее в себя блок регистрации входных данных, центральный вычислительный узел, блоки формирования набора частиц, блоки предварительного сопоставления идентификационных номеров объектов и данных с сенсора, блоки сопоставления идентификационных номеров объектов и данных с сенсора, блоки прогнозирования положения объектов, блок хранения параметров объектов и блок определения выходных данных. Технический результат – обеспечение определения параметров подвижных объектов в режиме реального времени на базе вычислительных устройств, имеющих частоту не выше 1,2 ГГц. 2 ил.
Description
Изобретение относится к области обработки и комплексирования разнородной сенсорной информации с целью определения параметров подвижных объектов и может быть использовано в различных областях науки и промышленности при создании автономных роботов, а также систем мониторинга и оценки параметров подвижных объектов.
Из существующего уровня техники [Liang Q. et al. Multi-Player Tracking for Multi-View Sports Videos with Improved K-Shortest Path Algorithm / Applied Sciences, 2020, V. 10, N. 3, p. 864; Tang Z. et al. Moana: An online learned adaptive appearance model for robust multiple object tracking in 3d / IEEE Access, 2019, V. 7, pp. 31934-31945] известны методы определения параметров подвижных объектов, использующие заранее определенные методы сегментирования объектов на кадре и требующие наличие детерминированной в пространстве плоскости земли (ground plane).
Недостатком таких методов является отсутствие вариативности в выборе алгоритмов детектирования, а также необходимость наличия детерминированной в пространстве плоскости земли (что затрудняет отслеживание объектов в воздухе и на сложном рельефе).
Из существующего уровня техники [Zhang Т. et al. Correlation particle filter for visual tracking / IEEE Transactions on Image Processing, 2017, V.27, N.6, pp. 2676-2687; Taj M. et al. Simultaneous Detection and Tracking with Multiple Cameras / Machine Learning for Computer Vision. - Springer, Berlin, Heidelberg, 2013. - pp. 197-214; патент US 8223207 B2, опубликован 17.07.2012] известны методы определения параметров подвижных объектов на базе фильтра частиц.
Недостатком таких методов является высокая вычислительная сложность.
Общим недостатком описанных выше методов является необходимость использования для их реализации высокопроизводительных вычислительных устройств, работающих на частотах более 1,2 ГГц.
Предлагаемая группа изобретений направлена на решение технической задачи по устранению указанных недостатков.
Достигаемый при этом технический результат заключается в том, что определение параметров подвижных объектов обеспечивается в режиме реального времени на базе вычислительных устройств, имеющих частоту не выше 1,2 ГГц.
Технический результат достигается устройством параллельной обработки разнородной сенсорной информации в режиме реального времени, включающим в себя блок регистрации входных данных, на вход которого подаются сегментированные данные с сенсоров, при этом выход блока регистрации входных данных подключен к первому входу центрального вычислительного узла, первый выход центрального вычислительного узла подключен ко входам блоков формирования набора частиц, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков формирования набора частиц подключены ко второму входу центрального вычислительного узла, второй выход центрального вычислительного узла подключен ко входам блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора подключены к третьему входу центрального вычислительного узла, третий выход центрального вычислительного узла подключен ко входам блоков сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков сопоставления идентификационных номеров объектов и данных с сенсора подключены к четвертому входу центрального вычислительного узла, четвертый выход центрального вычислительного узла подключен ко входам блоков прогнозирования положения объектов, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков прогнозирования положения объектов подключены к пятому входу центрального вычислительного узла, пятый выход центрального вычислительного узла подключен ко входу блока хранения параметров объектов, выход которого подключен ко входу блока определения выходных данных, выход которого является результатом работы устройства.
Указанные признаки изобретения являются существенными и совокупность этих признаков достаточна для получения требуемого технического результата.
Изобретение поясняется следующими чертежами.
На фиг. 1 показана блок-схема способа определения параметров подвижных объектов. Она содержит операцию формирования частиц по данным с сенсора 1, операцию формирования набора данных со всех сенсоров 2, операцию формирования набора прогнозных данных о положении объектов для всех сенсоров 3, операцию прогнозирования положения объектов 4, операцию трансформации данных в систему координат сенсора 5, операцию предварительного сопоставления идентификационных номеров объектов и данных с сенсора 6, операцию формирования набора частиц 7, операцию нумерации новых объектов 8, операцию кластеризации частиц 9, операцию расчета функции правдоподобия и весов частиц 10, операцию сопоставления идентификационных номеров объектов и данных с сенсора 11, операцию формирования истории изменения параметров объектов 12, операцию формирования выходных данных 13. Совокупность блоков 1-7 является первым этапом работы фильтра частиц 14. Совокупность блоков 8-11 является вторым этапом работы фильтра частиц 15.
Работает способ определения параметров подвижных объектов следующим образом. Сегментированные данные с сенсоров поступают на вход операции формирования набора данных со всех сенсоров 2, результатами которой являются два набора данных для каждого сенсора: снятые конкретным сенсором (второй набор) и снятые всеми остальными сенсорами (первый набор). Первый набор данных и результат операции формирования набора прогнозных данных о положении объектов для всех сенсоров 3, входом которой является набор координат, полученный в результате выполнения операции прогнозирования положения объектов 4, поступают на входы операции трансформации данных в систему координат сенсора 5, результат которой передается на первый вход операции формирования набора частиц 7, а на второй и третий входы подаются результат операции формирования частиц по данным с сенсора 1, входом для которой является второй набор данных из результата операции формирования набора данных со всех сенсоров 2, и набор координат, полученный в результате выполнения операции прогнозирования положения объектов 4, которые также поступают на первый и второй входы соответственно операции предварительного сопоставления идентификационных номеров объектов и данных с сенсора 6, результат которой является первым входом для операции нумерации новых объектов 8, а вторым входом является первый набор параметров, полученный в результате выполнения операции формирования истории изменения параметров объектов 12, на вход которой поступает результат операции сопоставления идентификационных номеров объектов и данных с сенсора 11, которая имеет два входа: первый - результат операции расчета функции правдоподобия и весов частиц 10, который получается по итогу выполнения операции кластеризации частиц 9, входом которой является результат операции формирования набора частиц 7, а второй - результат операции нумерации новых объектов 8, причем итоговый результат осуществления предложенного способа - это результат операции формирования выходных данных 13, на вход которой поступает второй набор параметров, полученный в результате выполнения операции формирования истории изменения параметров объектов 12.
На фиг. 2 показана блок-схема устройства параллельной обработки разнородной сенсорной информации в режиме реального времени. Она содержит блок регистрации входных данных 16, центральный вычислительный узел 17, совокупность блоков формирования набора частиц 18, совокупность блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19, совокупность блоков сопоставления идентификационных номеров объектов и данных с сенсора 20, совокупность блоков прогнозирования положения объектов 21, блок хранения параметров объектов 22, блок определения выходных данных 23.
Работает устройство параллельной обработки разнородной сенсорной информации в режиме реального времени следующим образом. На вход блока регистрации входных данных 16, который выполняет операцию формирования набора данных со всех сенсоров 2, поступают сегментированные данные с сенсоров. Выход блока регистрации входных данных 16 подключен к первому входу центрального вычислительного узла 17, который выполняет операцию формирования истории изменения параметров объектов 12 и операцию формирования выходных данных 13, а также выработку управляющих команд для перехода между блоками и формирования необходимых для них наборов входных данных. Первый выход центрального вычислительного узла 17 подключен ко входам блоков формирования набора частиц 18, которые выполняют операцию формирования частиц по данным с сенсора 1, операцию формирования набора прогнозных данных о положении объектов для всех сенсоров 3, операцию трансформации данных в систему координат сенсора 5, операцию формирования набора частиц 7. Блоки формирования набора частиц 18 работают параллельно, их количество равно количеству сенсоров. Выходы блоков формирования набора частиц 18 подключены ко второму входу центрального вычислительного узла 17. Второй выход центрального вычислительного узла 17 подключен ко входам блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19, которые выполняют операцию предварительного сопоставления идентификационных номеров объектов и данных с сенсора 6. Блоки предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19 работают параллельно, их количество равно количеству сенсоров. Выходы блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19 подключены к третьему входу центрального вычислительного узла 17. Третий выход центрального вычислительного узла подключен ко входам блоков сопоставления идентификационных номеров объектов и данных с сенсора 20, которые выполняют операцию нумерации новых объектов 8, операцию кластеризации частиц 9, операцию расчета функции правдоподобия и весов частиц 10, операцию сопоставления идентификационных номеров объектов и данных с сенсора 11. Блоки сопоставления идентификационных номеров объектов и данных с сенсора 20 работают параллельно, их количество равно количеству сенсоров. Выходы блоков сопоставления идентификационных номеров объектов и данных с сенсора 20 подключены к четвертому входу центрального вычислительного узла 17. Четвертый выход центрального вычислительного узла 17 подключен ко входам блоков прогнозирования положения объектов 21, которые выполняют операцию прогнозирования положения объектов 4. Блоки прогнозирования положения объектов 21 работают параллельно, их количество равно количеству сенсоров. Выходы блоков прогнозирования положения объектов 21 подключены к пятому входу центрального вычислительного узла 17. Пятый выход центрального вычислительного узла 17 подключен ко входу блока хранения параметров объектов 22, выход которого подключен ко входу блока определения выходных данных 23, выход которого является результатом работы предложенного устройства.
Работоспособность группы изобретений была проверена на макете, который наглядно продемонстрировал получение требуемого технического результата. Макет включал в себя центральный вычислительный узел на базе промышленного компьютера с процессором Cortex-А53, работающего на частоте 1,2 ГГц, и 1 Гб оперативной памяти. Блоки формирования набора частиц, блоки предварительного сопоставления идентификационных номеров объектов и данных с сенсора, блоки сопоставления идентификационных номеров объектов и данных с сенсора и блоки прогнозирования положения объектов были реализованы на базе программируемой логической интегральной схеме (ПЛИС) Xilinx Artyx-7, работающих на частоте 50 МГц. Связь между блоками на ПЛИС и центральным вычислительным узлом управления осуществлялась по интерфейсу Ethernet POWERLINK.
Для тестирования был использован датасет APIDIS [URL: https://sites.uclouvain.be/ispgroup/index.php/Softwares/APIDIS (дата обращения 06.05.2020)]. Сегментированные данные с первой и седьмой камеры подавались на устройство параллельной обработки разнородной сенсорной информации в режиме реального времени. В качестве способа сегментации данных был использован метод, предложенный на ресурсе, предоставляющем датасет [URL: https://sites.uclouvain.be/ispgroup/index.php/Softwares/APIDIS (дата обращения 06.05.2020)]. В процессе эксперимента оценивались параметры трех заранее определенных объектов.
На каждой камере в отдельности в режиме реального времени успешно определялись параметры выбранных объектов без использования вычислительных устройств, работающих на частоте выше 1,2 ГГц. Полученный результат не зависит от алгоритма детектирования объектов и без использования информации о параметрах плоскости земли. Таким образом, результаты эксперимента показывают достижение заявленного технического результата.
Claims (1)
- Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени, включающее в себя блок регистрации входных данных, на вход которого подаются сегментированные данные с сенсоров, при этом выход блока регистрации входных данных подключен к первому входу центрального вычислительного узла, первый выход центрального вычислительного узла подключен ко входам блоков формирования набора частиц, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков формирования набора частиц подключены ко второму входу центрального вычислительного узла, второй выход центрального вычислительного узла подключен ко входам блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора подключены к третьему входу центрального вычислительного узла, третий выход центрального вычислительного узла подключен ко входам блоков сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков сопоставления идентификационных номеров объектов и данных с сенсора подключены к четвертому входу центрального вычислительного узла, четвертый выход центрального вычислительного узла подключен ко входам блоков прогнозирования положения объектов, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков прогнозирования положения объектов подключены к пятому входу центрального вычислительного узла, пятый выход центрального вычислительного узла подключен ко входу блока хранения параметров объектов, выход которого подключен ко входу блока определения выходных данных, выход которого является результатом работы устройства.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020131951A RU2762636C1 (ru) | 2020-09-28 | 2020-09-28 | Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020131951A RU2762636C1 (ru) | 2020-09-28 | 2020-09-28 | Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2762636C1 true RU2762636C1 (ru) | 2021-12-21 |
Family
ID=80039364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020131951A RU2762636C1 (ru) | 2020-09-28 | 2020-09-28 | Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2762636C1 (ru) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9424468B2 (en) * | 2010-09-08 | 2016-08-23 | Toyota Jidosha Kabushiki Kaisha | Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method |
| US10282852B1 (en) * | 2018-07-16 | 2019-05-07 | Accel Robotics Corporation | Autonomous store tracking system |
| RU2694021C1 (ru) * | 2015-12-14 | 2019-07-08 | Моушен Метрикс Интернешэнл Корп. | Способ и устройство идентификации частей фрагментированного материала в пределах изображения |
| RU2699716C1 (ru) * | 2016-05-30 | 2019-09-09 | Ниссан Мотор Ко., Лтд. | Способ обнаружения объектов и устройство обнаружения объектов |
-
2020
- 2020-09-28 RU RU2020131951A patent/RU2762636C1/ru active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9424468B2 (en) * | 2010-09-08 | 2016-08-23 | Toyota Jidosha Kabushiki Kaisha | Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method |
| RU2694021C1 (ru) * | 2015-12-14 | 2019-07-08 | Моушен Метрикс Интернешэнл Корп. | Способ и устройство идентификации частей фрагментированного материала в пределах изображения |
| RU2699716C1 (ru) * | 2016-05-30 | 2019-09-09 | Ниссан Мотор Ко., Лтд. | Способ обнаружения объектов и устройство обнаружения объектов |
| US10282852B1 (en) * | 2018-07-16 | 2019-05-07 | Accel Robotics Corporation | Autonomous store tracking system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113450408B (zh) | 一种基于深度相机的非规则物体位姿估计方法及装置 | |
| WO2015136714A1 (ja) | 画像識別装置、画像センサ、画像識別方法 | |
| JP7201909B2 (ja) | データセット作成方法、データセット作成装置、及びデータセット作成プログラム | |
| TWI760916B (zh) | 用於工廠自動化生產線之製造系統 | |
| CN111400040B (zh) | 基于深度学习和边缘计算的工业互联网系统及工作方法 | |
| KR20180123810A (ko) | Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
| D O’Riordan et al. | Object recognition within smart manufacturing | |
| CN112775967A (zh) | 基于机器视觉的机械臂抓取方法、装置及设备 | |
| Sampieri et al. | Pose forecasting in industrial human-robot collaboration | |
| KR20220065234A (ko) | 6d 포즈 추정 장치 및 방법 | |
| RU2762636C1 (ru) | Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени | |
| Basavaiah et al. | Robust Feature Extraction and Classification Based Automated Human Action Recognition System for Multiple Datasets. | |
| Gayanov et al. | Estimating the trajectory of a thrown object from video signal with use of genetic programming | |
| Zogopoulos et al. | Image-based state tracking in augmented reality supported assembly operations | |
| Lin et al. | Inference of 6-DOF robot grasps using point cloud data | |
| TWI598829B (zh) | 資料分析系統以及方法 | |
| Rodriguez-Criado et al. | Multi-camera torso pose estimation using graph neural networks | |
| KR20220154135A (ko) | 제조 공정을 위한 시스템, 방법 및 매체 | |
| Rollo et al. | Followme: a robust person following framework based on visual re-identification and gestures | |
| CN109002891A (zh) | 神经网络的基于特征的选择性控制 | |
| Chen et al. | NNFacet: Splitting Neural Network for Concurrent Smart Sensors | |
| Mehltretter | Joint estimation of depth and its uncertainty from stereo images using bayesian deep learning | |
| Saito et al. | A 3D sensing technique using fuzzy modeling based on stereo vision | |
| Saad et al. | FPGA-based implementation of a low cost and area real-time motion detection | |
| US11715297B2 (en) | Utilizing computer vision and machine learning models for determining utilization metrics for a space |