RU2739901C1 - Mobile device for visualizing process control using augmented reality technology - Google Patents

Mobile device for visualizing process control using augmented reality technology Download PDF

Info

Publication number
RU2739901C1
RU2739901C1 RU2019123891A RU2019123891A RU2739901C1 RU 2739901 C1 RU2739901 C1 RU 2739901C1 RU 2019123891 A RU2019123891 A RU 2019123891A RU 2019123891 A RU2019123891 A RU 2019123891A RU 2739901 C1 RU2739901 C1 RU 2739901C1
Authority
RU
Russia
Prior art keywords
module
group
instruction
outputs
inputs
Prior art date
Application number
RU2019123891A
Other languages
Russian (ru)
Inventor
Игорь Сергеевич Фадеев
Евгений Владимирович Полончук
Алексей Александрович Васенин
Евгений Владимирович Авруцкий
Original Assignee
Публичное акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королёва"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Публичное акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королёва" filed Critical Публичное акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королёва"
Priority to RU2019123891A priority Critical patent/RU2739901C1/en
Application granted granted Critical
Publication of RU2739901C1 publication Critical patent/RU2739901C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

FIELD: information technology.
SUBSTANCE: such result is achieved due to that in a mobile device for visualizing process control using augmented reality technology, consisting of an instruction development module, including an information display module, a data input-output module and setting parameters of a developed instruction, an instruction editor module, an interface module and an automated workstation, module with instructions compilation, module for transmitting data to mobile device, mobile device, in which the instruction viewing module is in form of a virtual product conformity validation module, a displayed information selection module, a virtual product offset module in a coordinate system, a module for storing conformity results, a module for converting a design model into a file for viewing and a module for preparing visual effects.
EFFECT: technical result is enabling comparison of a real article and its 3D model in process control with application of augmented reality technology.
1 cl, 3 dwg

Description

Предлагаемое изобретение относится к информационной технике, в частности к дополненной и виртуальной реальности.The proposed invention relates to information technology, in particular to augmented and virtual reality.

Из уровня техники известно устройство, использующее технологию дополненной реальности - продольно-распиловочный станок для распилки бревен, патент «RU 2566994 С2», выдан 27.10.2015. Работа данного устройства заключается в построении карты распила при помощи технологии дополненной реальности на мониторе компьютера. Отличием и недостатком данного устройства является отсутствие возможности использования мобильных устройств в том числе носимых устройств, а так же невозможности использования устройства в качестве устройства для контроля соответствия требований конструкторской документации при производстве изделия.A device using augmented reality technology is known from the prior art - a longitudinal sawing machine for sawing logs, patent "RU 2566994 C2", issued on October 27, 2015. The operation of this device is to build a cut map using augmented reality technology on a computer monitor. The difference and disadvantage of this device is the inability to use mobile devices, including wearable devices, as well as the inability to use the device as a device for monitoring compliance with the requirements of design documentation in the manufacture of a product.

Из уровня техники также известно устройство визуализации технологического процесса «RU 98610 U1», выдан 20.10.2010. Работа данного устройства, выбранного в качестве прототипа, предназначена для автоматизации технологического процесса с элементами визуализации последовательности выполнения технологических операций и содержит модуль подготовки визуальных эффектов, связанный группой входов-выходов с модулем сопряжения, модуль разработки инструкции, связанный группой входов-выходов с модулем сопряжения, модуль отображения информации, входящий в модуль разработки инструкции, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции, входящий в модуль разработки инструкции, модуль редактора инструкции, входящий в модуль разработки инструкции, автоматизированное рабочее место, связанное группой входов-выходов с модулем сопряжения, модуль сопряжения, связанный группами входов-выходов с перечисленными модулями. Ключевым отличием является введение модулей: модуль компиляции инструкции, модуль передачи данных на мобильное устройство, мобильное устройство, модуль преобразования конструкторской модели в файл для просмотра. Так же, отличием данного устройства от предлагаемого является то, что данное устройство помогает визуализировать техпроцесс (сопоставить реальное изделие с его 3D-моделью) без использования мобильного устройства (смартфона, планшета, AR-очков, ноутбука) и без использования средств дополненной реальности, не предоставляет возможности проконтролировать соответствие требований конструкторской документации непосредственно на собранном (частично собранном) изделии.A device for visualizing the technological process "RU 98610 U1", issued 20.10.2010, is also known from the prior art. The operation of this device, selected as a prototype, is designed to automate the technological process with elements of visualization of the sequence of technological operations and contains a module for preparing visual effects associated with a group of inputs-outputs with an interface module, an instruction development module connected with a group of inputs-outputs with an interface module, information display module included in the instruction development module, data input / output module and setting parameters for the instruction being developed, included in the instruction development module, the instruction editor module included in the instruction development module, an automated workstation connected by a group of I / O to the interface module, an interface module connected by groups of I / O with the listed modules. The key difference is the introduction of modules: an instruction compilation module, a module for transferring data to a mobile device, a mobile device, a module for converting a design model into a file for viewing. Also, the difference between this device and the proposed one is that this device helps to visualize the technical process (compare a real product with its 3D model) without using a mobile device (smartphone, tablet, AR glasses, laptop) and without using augmented reality, not provides the opportunity to check the compliance with the requirements of design documentation directly on the assembled (partially assembled) product.

Задачей предлагаемого изобретения является устранение перечисленных выше недостатков и создание мобильного устройства сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности с возможностью проведения контроля соответствия требований конструкторской документации при производстве или эксплуатации изделия, в том числе при прокладке кабелей, трубопроводов и мест их привязки (кондуитов, реперных точек и т.п.).The objective of the proposed invention is to eliminate the above disadvantages and create a mobile device for comparing a real product and its 3D model in the process of monitoring the technological process using augmented reality technology with the ability to monitor compliance with the requirements of design documentation during the production or operation of the product, including when laying cables , pipelines and places of their binding (conduits, reference points, etc.).

Техническим результатом является обеспечение сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности.The technical result is to ensure a comparison of a real product and its 3D model in the process of controlling the technological process using augmented reality technology.

Технический результат достигается тем, что в мобильное устройство сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности, состоящее из модуля разработки инструкции, включающего модуль отображения информации, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции, модуль редактора инструкции, связанный группой входов-выходов с модулем сопряжения, автоматизированного рабочего места связанным группой входов выходов с модулем сопряжения, причем модуль отображения информации связан группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции и группой входов-выходов с модулем редактора инструкции, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции связан группой входов выходов с модулем отображения информации и группой входов-выходов с модулем редактора инструкции, а модуль редактора инструкции связан группой входов-выходов с модулем отображения информации и группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции, в отличие от известного введен модуль компиляции инструкции связанный группой входов выходов с модулем сопряжения, модуль передачи данных на мобильное устройство связанных группой входов-выходов с модулем сопряжения и группой выходов с мобильным устройством, мобильное устройство, в котором модуль просмотра инструкции выполнен в виде модуля подтверждения соответствия виртуального изделия реальному, модуля выбора отображаемой информации, модуля смещения виртуального изделия в системе координат и модуль сохранения результатов соответствия, а также введены модуль преобразования конструкторской модели в файл для просмотра связанный группой входов-выходов с модулем сопряжения и модуль подготовки визуальных эффектов связанный группой входов-выходов с модулем сопряжения, причем модуль подтверждения соответствия виртуального изделия реальному связан группой входов-выходов с модулем выбора отображаемой информации, группой входов-выходов с модулем смещения виртуального изделия в системе координат и группой входов-выходов с модулем сохранения результатов соответствия, модуль выбора отображаемой информации связан группой входов-выходов с модулем смещения виртуального изделия в системе координат.The technical result is achieved by the fact that a mobile device for comparing a real product and its 3D model in the process of controlling a technological process using augmented reality technology, consisting of an instruction development module, including an information display module, a data input / output module and setting the parameters of the developed instruction, an instruction editor module connected by a group of inputs / outputs with an interface module, an automated workstation connected by a group of inputs / outputs with an interface module, and the information display module is connected by a group of inputs / outputs with a data input / output module and setting parameters of a developed instruction and a group of inputs / outputs with the instruction editor module, the data input-output module and setting the parameters of the developed instruction is connected by a group of inputs / outputs with the information display module and the group of inputs-outputs with the instruction editor module, and the instruction editor module is connected by a group of inputs-outputs in with the information display module and a group of inputs-outputs with the data input-output module and setting the parameters of the developed instruction, in contrast to the known one, the instruction compilation module has been introduced connected by a group of inputs-outputs with an interface module, a module for transmitting data to a mobile device connected by a group of inputs-outputs with an interface module and a group of outputs with a mobile device, a mobile device in which the instruction viewing module is made in the form of a module for confirming the correspondence of a virtual product to a real one, a module for selecting displayed information, a module for displacing a virtual product in a coordinate system and a module for storing matching results, as well as a transformation module design model to a file for viewing connected by a group of inputs-outputs with an interface module and a module for preparing visual effects connected by a group of inputs-outputs with an interface module, and the module for confirming the conformity of a virtual product to a real one is connected by a group inputs-outputs with a module for selecting displayed information, a group of inputs-outputs with a module for displacing a virtual product in a coordinate system and a group of inputs-outputs with a module for storing matching results, a module for selecting displayed information is connected by a group of inputs-outputs with a module for displacing a virtual product in a coordinate system.

Под реальным изделием подразумевается изготовленное или частично изготовленное физическое изделие. Под 3D-моделью реального изделия подразумевается компьютерная (электронная) геометрическая модель изделия, содержащая требования конструкторской документации, в т.ч. являющаяся конструкторской документацией.An actual product means a manufactured or partially manufactured physical product. A 3D model of a real product means a computer (electronic) geometric model of a product containing the requirements of design documentation, incl. which is design documentation.

Устройство предназначено для упрощения (удобства) проведения контроля соответствия требований конструкторской документации, при производстве или эксплуатации изделия, в том числе при прокладке кабелей, трубопроводов и мест их привязки (кондуитов, реперных точек и т.п.).The device is designed to simplify (convenience) control of compliance with the requirements of design documentation, during the production or operation of the product, including when laying cables, pipelines and their attachment points (conduits, reference points, etc.).

Сущность изобретения поясняется приведенными фигурами:The essence of the invention is illustrated by the following figures:

- на фиг.1 представлена структурная схема одного из вариантов мобильного устройства сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности;- figure 1 shows a block diagram of one of the variants of a mobile device for comparing a real product and its 3D model in the process of controlling a technological process using augmented reality technology;

- на фиг.2 представлен пример внешнего вида модуля смещения виртуального изделия в системе координат, полностью отображаемом (без дополнительной кнопки, открывающей основные) на экране модуля просмотра инструкции на мобильном устройстве;- figure 2 shows an example of the appearance of the module for displacement of a virtual product in the coordinate system, fully displayed (without an additional button that opens the main ones) on the screen of the module for viewing instructions on a mobile device;

- на фиг.3 представлен пример внешнего вида обложки инструкции в модуле выбора просмотра инструкции в мобильном устройстве.- Fig. 3 shows an example of the appearance of the instruction cover in the instruction view selection module in the mobile device.

На фиг.1 обозначены:Figure 1 shows:

1 - модуль преобразования конструкторской модели в файл для просмотра;1 - module for converting a design model to a file for viewing;

2 - модуль подготовки визуальных эффектов;2 - module for preparing visual effects;

3 - модуль разработки инструкции;3 - instruction development module;

4 - модуль отображения информации;4 - information display module;

5 - модуль ввода-вывода данных и задания параметров разрабатываемой инструкции;5 - module for data input-output and setting the parameters of the developed instruction;

6 - модуль редактора инструкции;6 - instruction editor module;

7 - модуль сопряжения;7 - interface module;

8 - модуль компиляции инструкции;8 - instruction compilation unit;

9 - автоматизированное рабочее место;9 - automated workstation;

10 - модуль передачи данных на мобильное устройство;10 - module for transmitting data to a mobile device;

11 - мобильное устройство;11 - mobile device;

12 - модуль просмотра инструкции;12 - module for viewing instructions;

13 - модуль подтверждения соответствия виртуального изделия реальному;13 - module for confirming compliance of a virtual product with a real one;

14 - модуль выбора отображаемой информации;14 - module for selecting displayed information;

15 - модуль смещения виртуального изделия в системе координат;15 - module of displacement of the virtual product in the coordinate system;

16 - модуль сохранения результатов соответствия.16 - module for storing the results of matching.

Предлагаемое устройство в общем случае содержит: модуль преобразования конструкторской модели в файл для просмотра 1, модуль подготовки визуальных эффектов 2, модуль разработки инструкции 3, состоящий из модуля отображения информации 4, модуля ввода-вывода данных и задания параметров разрабатываемой инструкции 5 и модуля редактора инструкции 6, модуль сопряжения 7, модуль компиляции инструкции 8, по крайне мере, одно автоматизированное рабочее место 9, модуль передачи данных на мобильное устройство 10, по крайней мере, одно мобильное устройство 11, модуль просмотра инструкции 12, состоящего из модуля подтверждения соответствия виртуального изделия реальному 13, модуля выбора отображаемой информации 14, модуля смещения виртуального изделия в системе координат 15 и модуля сохранения результатов соответствия 16, причем группа входов-выходов модуля преобразования конструкторской модели в файл для просмотра 1 соединена с группой входов-выходов модуля сопряжения 7, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля подготовки визуальных эффектов 2, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля разработки инструкции 3, модуль отображения информации 4 связан группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции 5 и группой входов-выходов с модулем редактора инструкции 6, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции 5 связан группой входов выходов с модулем отображения информации 4 и группой входов-выходов с модулем редактора инструкции 6, а модуль редактора инструкции 6 связан группой входов-выходов с модулем отображения информации 4 и группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции 5, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля компиляции инструкции 8, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов автоматизированного рабочего места 9, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля передачи данных на мобильное устройство 10, группа выходов модуля передачи данных на мобильное устройство 10 соединена с группой входов мобильного устройства 11, включающее в себя модуль просмотра инструкции 12, включающий в себя модуль подтверждения соответствия виртуального изделия реальному 13, модуль выбора отображаемой информации 14, модуль смещения виртуального изделия в системе координат 15 и модуль сохранения результатов соответствия 16, причем модуль подтверждения соответствия виртуального изделия реальному 13 связан группой входов-выходов с модулем выбора отображаемой информации 14, группой входов-выходов с модулем смещения виртуального изделия в системе координат 15 и группой входов-выходов с модулем сохранения результатов соответствия 16, модуль выбора отображаемой информации 14 связан группой входов-выходов с модулем смещения виртуального изделия в системе координат 15 и группой входов-выходов с модулем подтверждения соответствия виртуального изделия реальному 13, модуль смещения виртуального изделия в системе координат 15 связан группой входов-выходов с модулем выбора отображаемой информации 14 и группой входов-выходов с модулем подтверждения соответствия виртуального изделия реальному 13, а модуль сохранения результатов соответствия 16 связан группой входов-выходов с модулем подтверждения соответствия виртуального изделия реальному 13.The proposed device generally contains: a module for converting a design model into a file for viewing 1, a module for preparing visual effects 2, an instruction development module 3, consisting of an information display module 4, a data input-output module and setting parameters for a developed instruction 5 and an instruction editor module 6, interface module 7, instruction compilation module 8, at least one workstation 9, a module for transmitting data to a mobile device 10, at least one mobile device 11, an instruction viewer module 12, consisting of a virtual product conformity validation module real 13, the module for selecting the displayed information 14, the module for displacing the virtual product in the coordinate system 15 and the module for storing the results of correspondence 16, and the group of inputs-outputs of the module for converting the design model to a file for viewing 1 is connected to the group of inputs-outputs of the interface module 7, the group of inputs -outputs to fashion For interface 7 is connected to the group of inputs-outputs of the visual effects preparation module 2, the group of inputs-outputs of the interface module 7 is connected to the group of inputs-outputs of the instruction development module 3, the information display module 4 is connected by the group of inputs-outputs to the data and task input-output module parameters of the instruction being developed 5 and a group of inputs-outputs with the instruction editor module 6, the data input-output module and setting the parameters of the instruction being developed 5 is connected by the group of inputs / outputs with the information display module 4 and the group of inputs-outputs with the instruction editor module 6, and the instruction editor module 6 is connected by a group of inputs / outputs with the information display module 4 and a group of inputs / outputs with the data input / output module and setting parameters of the developed instruction 5, the group of inputs / outputs of the interface module 7 is connected to the group of inputs / outputs of the instruction compilation module 8, the group of inputs outputs of the interface module 7 is connected to the group of inputs-outputs automatically 9, the group of inputs-outputs of the interface module 7 is connected to the group of inputs-outputs of the module for transmitting data to the mobile device 10, the group of outputs of the module for transmitting data to the mobile device 10 is connected to the group of inputs of the mobile device 11, including the instruction viewer module 12 , including a module for confirming the correspondence of a virtual product to a real one 13, a module for selecting displayed information 14, a module for displacing a virtual product in a coordinate system 15 and a module for storing matching results 16, and the module for confirming the correspondence of a virtual product to a real one 13 is connected by a group of inputs-outputs with a module for selecting a displayed information 14, a group of inputs-outputs with a module for displacing a virtual product in the coordinate system 15 and a group of inputs-outputs with a module for storing matching results 16, a module for selecting displayed information 14 is connected by a group of inputs-outputs with a module for displacing a virtual product in the system of coordinates dinat 15 and a group of inputs-outputs with a module for confirming the correspondence of a virtual product to a real one 13, a module for displacing a virtual product in a coordinate system 15 is connected by a group of inputs-outputs with a module for selecting displayed information 14 and a group of inputs-outputs with a module for confirming the correspondence of a virtual product to a real one 13, and the module for storing the results of compliance 16 is connected by a group of inputs-outputs with the module for confirming the compliance of a virtual product with a real one 13.

Модуль преобразования конструкторской модели в файл для просмотра 1 предназначен для преобразования 3D-модели в файл просмотра. Для создания файла просмотра применяется алгоритм сжатия, что существенно уменьшает размер файла при сохранении геометрической точности. Полученный файл включает: структуру сборки (с положениями деталей); метаданные и основные характеристики, которые необходимы для принятия решений; геометрические данные вместе с допусками и предельными отклонениями формы и взаимного расположения; слоями, цветом и текстурами. Файлы для просмотра открываются намного быстрее, чем исходная 3D-модель.The module for converting a design model to a file for viewing 1 is intended for converting a 3D model into a file for viewing. A compression algorithm is used to create the preview file, which significantly reduces the file size while maintaining geometric accuracy. The resulting file includes: assembly structure (with parts positions); metadata and basic characteristics that are necessary for decision making; geometrical data together with tolerances and limit deviations of shape and relative position; layers, colors and textures. The preview files open much faster than the original 3D model.

Модуль подготовки визуальных эффектов 2 предназначен для разработки и добавления визуальных эффектов в файл для просмотра в модуле преобразования конструкторской модели в файл для просмотра 1. Модуль позволяет редактировать цвет 3D-модели, положение компонентов изделия, отображение компонентов изделия, прозрачность изделия и т.д. Модуль позволяет создавать или редактировать анимацию и визуальные эффекты в анимации.The visual effects preparation module 2 is designed to develop and add visual effects to a file for viewing in the module for converting a design model to a file for viewing 1. The module allows you to edit the color of a 3D model, the position of product components, display of product components, product transparency, etc. The module allows you to create or edit animations and visual effects in animation.

Модуль разработки инструкции 3 предназначен для автоматизированной разработки приложения для контроля соответствия требований конструкторской документации при производстве изделия из уже подготовленных или частично подготовленных данных. В модуль разработки инструкции обязательно входят модуль отображения информации 4, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции 5 и модуль редактора инструкции 6, в котором и протекают основные процессы по разработке приложения для мобильного устройства 11.Instruction development module 3 is intended for the automated development of an application for monitoring compliance with the requirements of design documentation in the production of a product from already prepared or partially prepared data. The instruction development module necessarily includes the information display module 4, the data input-output module and setting the parameters of the developed instruction 5 and the instruction editor module 6, in which the main processes of developing an application for a mobile device 11 take place.

Модуль отображения информации 4 может быть выполнен в виде стандартного монитора или экрана и интерфейса с элементами управления и программным обеспечением (ПО).Information display module 4 can be made in the form of a standard monitor or screen and interface with controls and software (software).

Модуль ввода-вывода данных и задания параметров 5 может состоять из клавиатуры, манипулятора (компьютерной мыши) и USB-порта или любого другого устройства ввода-вывода информации, а также ПО и интерфейса.The data input-output and parameter setting module 5 can consist of a keyboard, a manipulator (computer mouse) and a USB port or any other information input-output device, as well as software and an interface.

Модуль редактора инструкции 6 предназначен для редактирования и публикации (отправки на компиляцию) приложения с инструкцией контроля соответствия требований конструкторской документации при производстве изделия и представляет специальное ПО. Редактирование производится из уже подготовленных 3D-моделей, анимации и визуальных эффектов. Так же включает в себя подготовленный шаблон интерфейса приложения.Instruction editor module 6 is intended for editing and publishing (sending for compilation) of an application with instructions for monitoring compliance with the requirements of design documentation during the manufacture of a product and provides special software. Editing is done from already prepared 3D models, animation and visual effects. It also includes a prepared application interface template.

Модуль сопряжения 7 предназначен для обработки и преобразования массивов информации, передаваемых от других модулей.The interface module 7 is designed to process and transform the information arrays transmitted from other modules.

Модуль компиляции инструкции 8 предназначен для формирования приложения в подходящий формат для мобильного устройства 11 из модуля редактора инструкции 6 и передачи этого формата в модуль 3.The instruction compilation module 8 is intended to form the application into a suitable format for the mobile device 11 from the instruction editor module 6 and transfer this format to the module 3.

Автоматизированное рабочее место 9 может быть выполнено на базе персонального компьютера (ПК). Обеспечивает доступ оператора (разработчика) к пользовательскому интерфейсу модуля сопряжения 7, который позволяет осуществлять работу с модулями 1, 2, 3, 4, 5, 6, 8, 10. Автоматизированное рабочее место 9 может быть представлен как отдельным ПК с доступом по сети к модулю 7, так и одним ПК с модулем 7 внутри.Automated workstation 9 can be performed on the basis of a personal computer (PC). Provides operator (developer) access to the user interface of the interface module 7, which allows working with modules 1, 2, 3, 4, 5, 6, 8, 10. Workstation 9 can be presented as a separate PC with network access to module 7 and one PC with module 7 inside.

Модуль передачи данных на мобильное устройство 10 предназначен для передачи готового приложения с инструкцией контроля соответствия требований конструкторской документации при производстве или эксплуатации изделия из модуля сопряжения 7 в мобильное устройство 11. Модуль передачи данных на мобильное устройство 10 может быть представлен проводной (например, Ethernet) или беспроводной (например, Wi-Fi) сетью передачи данных.The data transfer module to the mobile device 10 is designed to transfer the finished application with instructions for monitoring compliance with the requirements of design documentation during the production or operation of the product from the interface 7 to the mobile device 11. The data transfer module to the mobile device 10 can be wired (for example, Ethernet) or wireless (e.g. Wi-Fi) data network.

Мобильное устройство 11 предназначено для приема готового приложения с инструкцией контроля соответствия требований конструкторской документации при производстве изделия через модуль передачи данных на мобильное устройство 10 от модуля сопряжения 7 и для возможности просмотра полученной инструкции.The mobile device 11 is designed to receive a finished application with instructions for monitoring compliance with the requirements of design documentation during the manufacture of a product through the data transmission module to the mobile device 10 from the interface module 7 and to view the received instruction.

Модуль просмотра инструкции 12 предназначен для открытия приложения с инструкцией контроля соответствия требований конструкторской документации при производстве изделия и корректного отображения загруженной информации и представляет специальное ПО для ОС мобильного устройства.The instruction viewer module 12 is designed to open an application with instructions for monitoring compliance with the requirements of design documentation during the manufacture of a product and the correct display of the loaded information and presents special software for the OS of a mobile device.

Модуль подтверждения соответствия виртуального изделия реальному 13 предназначен для графического отображения соответствия виртуальной детали реальной в изделии. Изменение состояния производится по тапу по соответствующей части инструкции. Красным цветом отображаются все детали, над которыми нужно провести контроль соответствия требований конструкторской документации при производстве или эксплуатации изделия. При однократном тапе (нажатии) по контролируемому элементу 3D-модели в инструкции, он меняет цвет на зеленый, указывая на соответствие расположения данного элемента элементу реального изделия, следовательно, и требованиям конструкторской документации; при двукратном тапе (нажатии) по контролируемому элементу - он меняет цвет на черный, указывая на отклонение расположения данного элемента в инструкции от элемента реального изделия. Модуль может быть представлен настройкой анимации в модуле 2 или специальным скриптом, настроенном в модуле 6.The module for confirming the conformity of a virtual product to a real one 13 is designed to graphically display the correspondence of a virtual part to a real one in a product. Change of state is made by tapu according to the corresponding part of the instruction. All parts that need to be monitored for compliance with the requirements of design documentation during the production or operation of the product are displayed in red. With a single tap (pressing) on the controlled element of the 3D model in the instructions, it changes color to green, indicating that the location of this element corresponds to the element of the real product, therefore, and the requirements of the design documentation; when you double tap (press) on the controlled element, it changes color to black, indicating a deviation of the location of this element in the instructions from the element of the real product. A module can be represented by an animation setting in module 2 or a special script configured in module 6.

Модуль выбора отображаемой информации 14 предназначен для отображения нужной только в данный момент времени информации. Т.е., если отображаются одновременно два типа деталей для проверки на соответствие, например, кабели и кондуиты, то при помощи модуля 14 тапом (нажатием) на соответствующую кнопку можно скрыть/отобразить один определенный тип деталей. Модуль может быть представлен настройкой в модуле 2 и специальным скриптом в модуле 6.The display information selection module 14 is designed to display information that is only needed at a given time. That is, if two types of parts are displayed simultaneously for checking for compliance, for example, cables and conduits, then using module 14, by tapping (pressing) the corresponding button, you can hide / display one specific type of parts. A module can be represented by a setting in module 2 and a special script in module 6.

Модуль смещения виртуального изделия в системе координат 15 предназначен для корректировки положения виртуальной модели относительно физической в связи с погрешностью отображения и несовершенством технологии дополненной реальности на данный момент. Модуль позволяет двигать или поворачивать виртуальную модель в приложении относительно осей Χ, Υ, Z, уменьшать или увеличивать масштаб с помощью нажатия на соответствующие кнопки до момента совмещения виртуальной и физической модели, в случае необходимости. Модуль может представлять из себя набор кнопок на главном экране модуля 12 или одну кнопку, открывающую на главном экране модуля 12 соответствующий набор кнопок. Так же, в модуль обязательно входит кнопка сброса параметров. Модуль может быть представлен специальным скриптом в модуле 6. Пример внешнего вида модуля смещения виртуального изделия в системе координат 15, полностью отображаемом (без дополнительной кнопки, открывающей основные) на экране модуля просмотра инструкции 12 на мобильном устройстве 11, приведен на фиг.2.The module of displacement of the virtual product in the coordinate system 15 is designed to correct the position of the virtual model relative to the physical one due to the display error and imperfection of the augmented reality technology at the moment. The module allows you to move or rotate the virtual model in the application about the Χ, Υ, Z axes, zoom out or increase by pressing the appropriate buttons until the virtual and physical models are aligned, if necessary. The module can be a set of buttons on the main screen of the module 12 or one button that opens the corresponding set of buttons on the main screen of the module 12. Also, the module must include a parameter reset button. The module can be represented by a special script in module 6. An example of the appearance of the module for displacing a virtual product in the coordinate system 15, fully displayed (without an additional button opening the main ones) on the screen of the instruction viewer module 12 on the mobile device 11, is shown in Fig. 2.

Модуль сохранения результатов соответствия 16 предназначен для сохранения полученных данных на мобильное устройство 11 в процессе контроля соответствия требований конструкторской документации при производстве изделия. Для этого может использоваться функция создания снимков экрана (скриншотов) мобильного устройства 11 или специальный скрипт в модуле 6 с логом (историей) производимых действий.The module for storing the results of compliance 16 is designed to save the received data to the mobile device 11 in the process of monitoring compliance with the requirements of design documentation during the manufacture of the product. For this, the function of creating screenshots (screenshots) of the mobile device 11 or a special script in module 6 with a log (history) of the actions performed can be used.

Необходимые 3D-модели для модуля 1 могут быть получены из той же конструкторской документации, что используется при разработке изделия, т.е. не требуется какой-либо дополнительной специфической работы для разработчика, только преобразование в файл для просмотра (сквозной цикл). Далее, файл для просмотра редактируется в модуле 2. В нем разрабатываются необходимые визуальные эффекты, в том числе, анимация, изменение цвета и скрытие/отображение определенных элементов 3D-модели и др. Далее полученные данные обрабатываются в модуле редактора инструкции 6, дорабатывается внешний вид инструкции (при необходимости), функционал, после чего приложение публикуется (компилируется) модулем компиляции инструкции 8 в готовую к эксплуатации инструкцию. Инструкция передается через модуль передачи данных на мобильное устройство 10 в мобильное устройство 11 и эксплуатируется.The required 3D models for module 1 can be obtained from the same design documentation that is used in product development, i.e. no additional developer specific work is required, only conversion to file for viewing (loop through). Further, the file for viewing is edited in module 2. It develops the necessary visual effects, including animation, color change and hiding / displaying certain elements of the 3D model, etc. Further, the data obtained is processed in the module of the editor of instructions 6, the appearance is finalized instructions (if necessary), functionality, after which the application is published (compiled) by the instruction compilation module 8 into a ready-to-use instruction. The instruction is transmitted via the data transmission module to the mobile device 10 to the mobile device 11 and is operated.

Модуль передачи данных на мобильное устройство 10 обязательно должен представлять сеть передачи данных: проводную и/или беспроводную.The module for transmitting data to the mobile device 10 must necessarily represent a data transmission network: wired and / or wireless.

Модуль просмотра инструкции 12 должен позволять просматривать контент независимо от наличия подключения к сети передачи данных через модуль 7 после передачи инструкции на мобильное устройство 11. Т.е. должна быть поддержка офлайн-работы модуля просмотра инструкции 12.The instruction viewer module 12 should allow viewing the content regardless of whether there is a connection to the data transmission network through the module 7 after the instruction is sent to the mobile device 11. That is, there must be support for offline operation of the instruction viewer module 12.

Модуль просмотра инструкции 12 должен иметь возможность показывать направление, с которого нужно подходить к изделию для наведения мобильного устройства 11 для проведения контроля соответствия требований конструкторской документации при производстве изделия. Для этого используется возможность модуля просмотра инструкции 12 использовать для каждой инструкции отдельную обложку, сгенерированную из материалов для подготовки инструкции в модулях 1, 2, 6. Обложка должна давать недвусмысленную информацию к какому изделию относится и с какой стороны подходить для наведения мобильного устройства 11. На обложке должно быть обозначение изделия, недвусмысленное указание области (или зоны) изделия, куда нужно направлять мобильное устройство 11, а так же проекция границ (с кратким описанием), по которым будет производиться наложение 3D-модели изделия на реальное изделие. Размеры человека и изделия на обложке должны быть пропорциональны реальным размерам. Пример обложки приведен на фиг.3.The instruction viewer 12 must be able to show the direction from which to approach the product to guide the mobile device 11 to monitor the compliance with the design documentation requirements during the manufacture of the product. To do this, use the ability of the instruction viewer 12 to use a separate cover for each instruction, generated from the materials for preparing the instruction in modules 1, 2, 6. The cover should give unambiguous information to which product it belongs to and from which side it should be approached for pointing the mobile device 11. On the cover should contain the product designation, an unambiguous indication of the area (or zone) of the product where the mobile device 11 should be directed, as well as the projection of the boundaries (with a brief description), along which the 3D model of the product will be imposed on the real product. The size of the person and the product on the cover should be proportional to the actual size. An example of a cover is shown in FIG. 3.

Технический результат, достигаемый при использовании данного изобретения, заключается в обеспечении сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности, т.е. реализацию назначения, например, в случае проверки укладки кабелей, трубопроводов и мест их привязки (кондуитов, реперных точек и т.п.).The technical result achieved with the use of this invention is to provide a comparison of a real product and its 3D model in the process of controlling a technological process using augmented reality technology, i.e. implementation of the purpose, for example, in the case of checking the laying of cables, pipelines and their attachment points (conduits, reference points, etc.).

Предлагаемое мобильное устройство сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности может работать как в онлайн, так и в офлайн режимах. В качестве мобильного устройства 11 не обязательно использовать смартфон, можно использовать планшет, очки дополненной реальности или любое другое носимое устройство с подходящими характеристиками.The proposed mobile device for comparing a real product and its 3D model in the process of controlling a technological process using augmented reality technology can work both online and offline. It is not necessary to use a smartphone as a mobile device 11, but a tablet, augmented reality glasses or any other wearable device with suitable characteristics can be used.

Представленные схема и описание позволяют реализовать изобретение, что характеризует его как промышленно применимое.The presented diagram and description make it possible to implement the invention, which characterizes it as industrially applicable.

Claims (1)

Мобильное устройство сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности, состоящее из модуля подготовки визуальных эффектов, связанного группой входов-выходов с модулем сопряжения, модуля разработки инструкции, связанного группой входов-выходов с модулем сопряжения, включающего модуль отображения информации, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции, модуль редактора инструкции, связанный группой входов-выходов с модулем сопряжения, автоматизированного рабочего места, связанного группой входов-выходов с модулем сопряжения, причем модуль отображения информации связан группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции и группой входов-выходов с модулем редактора инструкции, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции связан группой входов-выходов с модулем отображения информации и группой входов-выходов с модулем редактора инструкции, а модуль редактора инструкции связан группой входов-выходов с модулем отображения информации и группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции, отличающееся тем, что в него введен модуль компиляции инструкции, связанный группой входов-выходов с модулем сопряжения, модуль передачи данных на мобильное устройство, связанный группой входов-выходов с модулем сопряжения и группой выходов с мобильным устройством, мобильное устройство, в котором модуль просмотра инструкции выполнен в виде модуля подтверждения соответствия виртуального изделия реальному, модуля выбора отображаемой информации, модуля смещения виртуального изделия в системе координат и модуля сохранения результатов соответствия, а также введен модуль преобразования конструкторской модели в файл для просмотра, связанный группой входов-выходов с модулем сопряжения, причем модуль подтверждения соответствия виртуального изделия реальному связан группой входов-выходов с модулем выбора отображаемой информации, группой входов-выходов с модулем смещения виртуального изделия в системе координат и группой входов-выходов с модулем сохранения результатов соответствия, модуль выбора отображаемой информации связан группой входов-выходов с модулем смещения виртуального изделия в системе координат.A mobile device for comparing a real product and its 3D model in the process of controlling a technological process using augmented reality technology, consisting of a visual effects preparation module connected by a group of inputs-outputs with an interface module, an instruction development module connected by a group of inputs-outputs with an interface module, including an information display module, a data input-output module and setting parameters of the developed instruction, an instruction editor module connected by a group of inputs-outputs with an interface module, an automated workstation connected by a group of inputs-outputs with an interface module, and the information display module is connected by a group of inputs outputs with the data input-output module and setting the parameters of the developed instruction and a group of inputs-outputs with the instruction editor module, the data input-output module and setting the parameters of the developed instruction is connected by a group of inputs-outputs with the module for displaying information and groups th I / O with the instruction editor module, and the instruction editor module is connected by a group of I / O with the information display module and the I / O group with the data input-output module and setting the parameters of the instruction being developed, characterized in that the instruction compilation module is included in it, connected by a group of inputs / outputs with an interface module, a module for transmitting data to a mobile device, connected by a group of inputs / outputs with an interface module and a group of outputs with a mobile device, a mobile device in which the instruction viewer module is designed as a module for confirming the correspondence of a virtual product to a real one, a module selection of the displayed information, the module for displacing the virtual product in the coordinate system and the module for storing the matching results, as well as the module for converting the design model to a file for viewing, connected by a group of inputs-outputs with the interface module is connected by a group of inputs-outputs with a module for selecting displayed information, a group of inputs-outputs with a module for displacing a virtual product in a coordinate system and a group of inputs-outputs with a module for storing matching results, a module for selecting displayed information is connected by a group of inputs-outputs with a module for displacing a virtual product in coordinate system.
RU2019123891A 2019-07-23 2019-07-23 Mobile device for visualizing process control using augmented reality technology RU2739901C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019123891A RU2739901C1 (en) 2019-07-23 2019-07-23 Mobile device for visualizing process control using augmented reality technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019123891A RU2739901C1 (en) 2019-07-23 2019-07-23 Mobile device for visualizing process control using augmented reality technology

Publications (1)

Publication Number Publication Date
RU2739901C1 true RU2739901C1 (en) 2020-12-29

Family

ID=74106421

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019123891A RU2739901C1 (en) 2019-07-23 2019-07-23 Mobile device for visualizing process control using augmented reality technology

Country Status (1)

Country Link
RU (1) RU2739901C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2826377C1 (en) * 2024-03-22 2024-09-09 Общество с ограниченной ответственностью "СМАРТ ЭНДЖИНС СЕРВИС" System for monitoring technological process of assembling products using machine learning

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001096829A1 (en) * 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
RU98610U1 (en) * 2010-04-30 2010-10-20 Открытое акционерное общество "Корпорация "Тактическое ракетное вооружение" DEVICE FOR VISUALIZATION OF TECHNOLOGICAL PROCESS
RU2012152526A (en) * 2010-05-27 2014-07-10 Линкольн Глобал, Инк. VIRTUAL TESTS AND INSPECTION OF A VIRTUAL WELDED PRODUCT
US20160104276A1 (en) * 2014-10-14 2016-04-14 Airbus Defence and Space GmbH In-process fault inspection using augmented reality
RU2656584C1 (en) * 2017-03-14 2018-06-05 Общество с ограниченной ответственностью "Новый мир развлечений" System of designing objects in virtual reality environment in real time
US20180238810A1 (en) * 2015-08-21 2018-08-23 Ns Solutions Corporation Display system, display device, display method, and non-transitory computer readable recording medium
US20180350056A1 (en) * 2017-06-01 2018-12-06 Tesla, Inc. Augmented reality application for manufacturing
CN109189213A (en) * 2018-08-15 2019-01-11 华中科技大学 A kind of assembling process of products augmented reality guidance method based on movable computer

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001096829A1 (en) * 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
RU98610U1 (en) * 2010-04-30 2010-10-20 Открытое акционерное общество "Корпорация "Тактическое ракетное вооружение" DEVICE FOR VISUALIZATION OF TECHNOLOGICAL PROCESS
RU2012152526A (en) * 2010-05-27 2014-07-10 Линкольн Глобал, Инк. VIRTUAL TESTS AND INSPECTION OF A VIRTUAL WELDED PRODUCT
US20160104276A1 (en) * 2014-10-14 2016-04-14 Airbus Defence and Space GmbH In-process fault inspection using augmented reality
US20180238810A1 (en) * 2015-08-21 2018-08-23 Ns Solutions Corporation Display system, display device, display method, and non-transitory computer readable recording medium
RU2656584C1 (en) * 2017-03-14 2018-06-05 Общество с ограниченной ответственностью "Новый мир развлечений" System of designing objects in virtual reality environment in real time
US20180350056A1 (en) * 2017-06-01 2018-12-06 Tesla, Inc. Augmented reality application for manufacturing
CN109189213A (en) * 2018-08-15 2019-01-11 华中科技大学 A kind of assembling process of products augmented reality guidance method based on movable computer

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2826377C1 (en) * 2024-03-22 2024-09-09 Общество с ограниченной ответственностью "СМАРТ ЭНДЖИНС СЕРВИС" System for monitoring technological process of assembling products using machine learning

Similar Documents

Publication Publication Date Title
Song et al. Review and analysis of augmented reality (AR) literature for digital fabrication in architecture
CN109597377A (en) Convenient for the system and method for the graphical display designing workflows in process control plant
CN103069383B (en) There is device and the method for exploitation multimedia computer application program of graphic user interface
CN109597370A (en) System and method for display navigation level to be configured and presented in process plant
CN109491497A (en) A kind of human assistance assembly application system based on augmented reality
JP7208549B2 (en) VIRTUAL SPACE CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
CN106843124A (en) A kind of Automatic Warehouse three-dimensional real-time monitoring method and system
CN106652049A (en) Full-professional design delivery method for building based on augmented reality technology of mobile terminal
CN114329695A (en) BIM + MR construction management method based on HoloLens
US11625140B2 (en) Configuring remote devices through volumetric video telepresence interfaces
Lotsaris et al. AR based robot programming using teaching by demonstration techniques
CN109472872A (en) Shop floor status monitoring method and system
Bogaerts et al. Connecting the CoppeliaSim robotics simulator to virtual reality
Lin et al. A real-time 4D augmented reality system for modular construction progress monitoring
CN111191322A (en) Virtual maintainability simulation method based on depth perception gesture recognition
TWI525410B (en) System construction support apparatus
KR20010101333A (en) Method and devices for assisting in the control of butlding operations
CN113345104B (en) VR-based shield segment virtual splicing method and system and data processing terminal
CN117197298A (en) Automatic generation system and method for digital intelligent collaborative design of 3D modeling
RU2739901C1 (en) Mobile device for visualizing process control using augmented reality technology
CN117369811A (en) Method, device and storage medium for generating monitoring system software interface
KR20220089998A (en) Collaboration system of smart factory in argumented reality
KR20060114289A (en) Cae analysis navigation system, cae analysis processing program, and computer-readable recording medium containing the program therein
CN110766803A (en) BIM-based VR experience system
ZHongkun et al. The virtual simulation system for training and demonstrating the design of the head-end of spent nuclear fuel reprocessing