WO2022039621A1 - Система для контроля процессов строительства - Google Patents

Система для контроля процессов строительства Download PDF

Info

Publication number
WO2022039621A1
WO2022039621A1 PCT/RU2021/000187 RU2021000187W WO2022039621A1 WO 2022039621 A1 WO2022039621 A1 WO 2022039621A1 RU 2021000187 W RU2021000187 W RU 2021000187W WO 2022039621 A1 WO2022039621 A1 WO 2022039621A1
Authority
WO
WIPO (PCT)
Prior art keywords
markers
data
remote server
information
module
Prior art date
Application number
PCT/RU2021/000187
Other languages
English (en)
French (fr)
Inventor
Денис Олегович КУЗНЕЦОВ
Original Assignee
Денис Олегович КУЗНЕЦОВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Денис Олегович КУЗНЕЦОВ filed Critical Денис Олегович КУЗНЕЦОВ
Priority to US18/281,002 priority Critical patent/US20240143856A1/en
Priority to CA3211568A priority patent/CA3211568A1/en
Priority to CN202180097330.5A priority patent/CN117425910A/zh
Publication of WO2022039621A1 publication Critical patent/WO2022039621A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the invention relates to the field of construction and assembly of structures, namely to a system for monitoring the processes of construction and assembly of structures using BIM technology, and can be used in the construction and assembly of buildings, bridges, ships, aircraft, furniture and other objects.
  • BIM technology (Building Information Model or Modeling - information modeling of buildings, structures) covers the processes of design, construction and operation of various structures using a single coordinated system of three-dimensional models.
  • the main elements of BIM are the information that is embedded in the project, as well as the process of exchanging this information between various participants.
  • BIM technology implies the presence of an information model of the structure and the ability to work with a design three-dimensional model of the structure.
  • a construction process control system is known (CN 110335341 A, 10/15/2019), containing a remote server and at least one computing device associated with a memory module, a data exchange module for communicating with a remote server, a visualization module and an interface module, moreover the remote server is configured to store the information model of the structure, which contains information about its elements.
  • the computing device is configured to receive an information model from a remote server by means of a data exchange module and store it in a memory module and issue a command to the visualization module to display a three-dimensional model of the structure and information about its elements.
  • the interface module allows the user to enter a mark of a design defect identified during the inspection on the corresponding section of the three-dimensional model.
  • the computing device saves the changes in the memory module and sends the corrected three-dimensional model to the remote server via the data exchange module.
  • a known system for monitoring construction processes (KR 101897434 B1, 09/10/2018), containing at least one computing device associated with one or more video cameras for scanning markers,
  • SUBSTITUTE SHEET (RULE 26) a memory module, a data exchange module and a visualization module, wherein the computing device is configured to obtain an information model by means of the data exchange module and store it in the memory module, recognize markers printed in the form of barcodes or QR codes on structural elements when they are scanned by a video camera, uploading information about the corresponding elements, forming a two-dimensional model of the scanned part of the structure, extracting the corresponding two-dimensional part of the structure from the information model and comparing these parts. After the comparison, the visualization module displays the discrepancies - this is how construction control is carried out.
  • a system for monitoring construction processes (US 10739590 B2, 08/11/2020) was chosen as a prototype, containing a remote server and at least one computing device connected to one or more video cameras for scanning markers, a memory module, a data exchange module for communication with a remote server and a visualization module, wherein the remote server is configured to store an information model of the structure and data containing information about the structural elements and coordinates of places on them for applying markers.
  • the computing device is configured to receive an information model and data from a remote server by means of an exchange module and store them in a memory module, recognize markers when performing a scan after they are applied to structural elements in accordance with the marked places in the information model.
  • the computing device when recognizing the markers applied to the structural elements, unloads the information model and data for displaying the model through the visualization module in the augmented reality mode.
  • the markers serve as control points for determining the position of the operator, while the operator can compare the location of the markers in the model and with the current one in real time.
  • the disadvantages of the prototype are expressed in the lack of automation of the process of comparing the structure model with the current location of its elements, the lack of accuracy in the correlation of markers during their scanning, and the lack of the possibility of remote control of the correct assembly of the structure.
  • the objective of the invention is to create a solution integrated with BIM technology that allows you to control the processes of construction and assembly of structures with
  • SUBSTITUTE SHEET (RULE 26) from the moment of production to installation from anywhere in the world, to compare the position of structural elements with the design position visually and automatically.
  • the technical result is to reduce the time of construction and assembly of structures due to the capabilities of the computing device.
  • a system for monitoring construction processes containing a remote server and at least one computing device connected to one or more video cameras for scanning markers, a memory module, a data exchange module for communicating with a remote server, and a visualization module.
  • the remote server is configured to store a three-dimensional information model of a structure and data containing information about structural elements, coordinates of design places on them for applying markers and identification codes of elements that allow revealing information about them, as well as with the ability to save transmitted data.
  • the computing device is configured to receive the information model and data from a remote server via the exchange module and store them in the memory module, while scanning the markers for their recognition and calculating the distances to the recognized markers, as well as performing the following:
  • a computing device when scanning one or more markers and having data on their relationship with identification codes and data from a remote server, can upload information about structural elements on which markers are recognized and create a three-dimensional model that reflects the current location of structural elements with recognized markers. , issue commands to the visualization module to display the uploaded information about the elements and the created three-dimensional model, save it in the memory module and transfer it to the remote server via the data exchange module.
  • the computing device when scanning one or more markers and having data on their relationship with identification codes and data from a remote server, can upload information about structural elements on which markers are recognized, issue commands to the visualization module to display distances to markers and uploaded information, save data on the recognition of one or more markers and on the distances to them in the memory module and transmit them to a remote server through the data exchange module.
  • the computing device when scanning one or more markers and having data on their relationship with identification codes and storing a three-dimensional information model of the structure in the memory module, can issue commands to the visualization module to display at least a part of the three-dimensional model of the structure, showing the elements on which the markers are recognized.
  • the computing device when scanning one or more markers and having data on their relationship with identification codes and storing a three-dimensional information model of a structure in a memory module, can issue instructions to the visualization module to display at least a part of a three-dimensional model of a structure showing elements on which markers, in augmented reality mode.
  • the system includes a GPS module connected to a computing device, which is configured to, when scanning one or more markers and having data on their relationship with identification codes, calculate distances to recognized markers with assigning GPS coordinates to them, store the corresponding data in the memory module and transfer them remote server through the data exchange module.
  • a GPS module connected to a computing device, which is configured to, when scanning one or more markers and having data on their relationship with identification codes, calculate distances to recognized markers with assigning GPS coordinates to them, store the corresponding data in the memory module and transfer them remote server through the data exchange module.
  • the computing device may be able to issue a command to the visualization module when rescanning markers and recognizing some of them to display distances to the locations of unrecognized or hidden markers.
  • At least one video camera can be implemented in a smartphone, tablet computer, laptop, surveillance system, virtual reality glasses, augmented reality glasses, on a worker's helmet and/or on a quadrocopter.
  • On figa-16 is an example of the image of a three-dimensional information model of the structure with marked places for applying markers in accordance with the data.
  • Figures 2a-2b show examples of displaying by the visualization module when scanning markers information about the elements on which markers are recognized, and the results of comparing the current relative position of the markers with the relative position according to the coordinates of the design places, as well as displaying the distances to the markers and between them.
  • 3-3v shows examples of how, when scanning markers, the visualization module can display distances to them, information about the elements on which markers are recognized, and the locations of unrecognized or hidden markers during rescanning.
  • On figa-4b shows an example of the possibility of a computing device when scanning markers to create a three-dimensional model showing the location of structural elements relative to each other.
  • the system of the present invention can be applied to buildings, bridges, ships, aircraft, furniture and other structures of various sizes and purposes.
  • the proposed system for controlling the processes of construction and assembly of structures using BIM technology includes a remote server and at least one computing device connected to one or more video cameras for scanning markers, a memory module, a data exchange module for communicating with a remote server and a module visualization.
  • a remote server and at least one computing device connected to one or more video cameras for scanning markers, a memory module, a data exchange module for communicating with a remote server and a module visualization.
  • the video camera, memory module, communication module, and visualization module can be combined with a computing device, which, as a rule, is a smartphone, laptop or tablet computer.
  • a computing device which, as a rule, is a smartphone, laptop or tablet computer.
  • a combination of two or more devices is possible, for example, a laptop and an external camera, such as an IP camera, or a camera mounted on a work helmet or quadcopter.
  • the video camera can be installed in a smartphone, tablet computer, laptop, surveillance system, virtual reality glasses, augmented reality glasses, on a worker's helmet or on a quadrocopter.
  • the computing device necessarily contains a processor that executes the program code.
  • a memory module is a built-in computing device or an external data storage device
  • a data exchange module is also a built-in device or an external modem that primarily communicates wirelessly with a remote server
  • a visualization module is usually a display built into a computing device that is made with a separate input device such as a keyboard or touch screen technology.
  • the remote server is designed to store the three-dimensional information model of the structure and related data, store new transmitted data, and provide users with access to them.
  • a three-dimensional information model is recorded on the server (Fig.1a), for example, in the fbx format, and related data, for example, in the json format, containing information about the structural elements, the coordinates of the design places on them for applying markers, and
  • SUBSTITUTE SHEET (RULE 26) coordinates can be viewed on the model (FIG. 16) and element identification codes to reveal information about the elements.
  • Information about elements contains their names and may additionally contain at least one of the following: information about the types of elements, the dimensions of the elements, their weight, the names of neighboring elements, in connection with which the current element is located, their size, weight and other things that can be introduced at the design stage of a three-dimensional model using BIM technology.
  • Information about the dimensions of future markers is associated with the data on the coordinates of design places on the elements for applying markers, which is used to increase the accuracy of measuring distances to them, however, measuring distances is possible without information about dimensions.
  • Markers can be applied at any stage, such as the production of elements, their storage, transportation or assembly / construction.
  • graphic images are mainly used, as a rule, black and white simple shapes in the form of a rectangle or square with an identifier-image inscribed inside, however, other images can also be used.
  • the prior art knows the use of similar images in fiduciary markers.
  • a computing device and a visualization module actions are carried out using all the capabilities of the said device or only a part of them, depending on the need for specific capabilities at the current stage of the construction or assembly process, for example, the stages can be storage, transportation, assembly or installation, with At the same time, at each mentioned stage, different capabilities of the system can also be used, which will be obvious from the description of the work. It is essential that the system is in principle capable of performing all the actions claimed in the independent claim.
  • a specific user can at this stage use only part of the possibilities, for example, used when linking markers to identification codes of elements, and another user at a different time interval can scan the applied markers on the connected structural elements and identify discrepancies with the project (Fig.2a-2b ).
  • the computing device is configured to receive, i.e. download/download, from a remote server the information model and said data via the data exchange module and store them in the memory module. Any reception and transmission of data through the exchange module occurs when there is a connection with a remote server.
  • the computing device is capable of recognizing markers by means of a video camera and calculating distances to recognized markers, including determining their angles, which makes it possible to correctly identify the position of structural elements. Scanning refers to the processes of pointing a video camera at a marker and processing the video stream in real time.
  • algorithms known in the prior art are used, which are often used in the implementation of augmented reality.
  • Calculation of distances to markers and determination of the relative position between them is carried out by using the characteristics of the video camera matrix. Data on the focal length and location on the frame of a point that indicates the shift of the frame depth axis are used. Calculations use marker size data and known marker sizes on the frame in pixels to improve accuracy. According to the above methods, which are input data, by calculating the radius distance from the video camera to the marker center and calculating the distances along the X and Y axes in the frame plane from the frame center to the marker center, three-dimensional coordinates of the marker center relative to the video camera are compiled, which are used to calculate the distance between the markers .
  • the system is used when applying markers to structural elements, before or after the direct attachment of any marker to the element.
  • the computing device is configured after receiving data from a remote server to upload information about structural elements and their identification codes, which means determining these data in the downloaded one or more files and providing access to them to the user; then linking the element identification codes with the recognized markers before or after applying them to the elements in accordance with the coordinates of the places and issuing a command to the visualization module to display the uploaded information about the elements whose identification codes are associated with the markers, which is implemented by providing the user with the ability to search and select an element from catalog, for example, by name, which is included in the concept of information about elements, and allowing the user to bind the selected element with a recognized marker that is already attached or will be attached; after which the computing device stores the data on the completed communication in the memory module and transmits them to the remote server via the exchange module.
  • adhesive stencils can be used, on which markers are printed, with dimensions corresponding to the dimensions of the elements.
  • the marker should be applied at a distance of 0.3 m from the edge
  • SUBSTITUTE SHEET (RULE 26) construction beam.
  • a stencil is made with a marker, the center of which is at a distance of 0.3 m from the edge of the stencil.
  • the height of the stencil also corresponds to the height of the beam.
  • the proposed system can be used to directly control the construction or assembly processes.
  • the remote server additionally contains data on the binding of the markers to the identification codes of the elements.
  • the markers are scanned with recognition and calculation of distances to them.
  • the computing device unloads information about the structural elements on which markers are recognized from the data stored in the memory module, determines the relative position between the recognized markers by calculating the distance to them and compares with the relative position of the markers according to the coordinates of the design places on the elements.
  • the computing device issues commands to the visualization module to display the uploaded information about the elements, for example, their names, comparison results, for example, in color, where red or yellow - no match, green - corresponds to the design position (fig.2a-2b), and also to display the distances to the markers (fig.2a-2b - the distance is shown in white numbers in meters next to the markers) and/or the distances between them (fig.2a-2b - the distance is shown between the markers).
  • the reading color, style and font may vary, and only distances to markers, only distances between markers, or both distances can be displayed.
  • the device stores data about the recognized markers and calculated distances to them, as well as about the results of the comparison in the memory module and transfers them to a remote server through the data exchange module. This data is used to control the construction and assembly processes by the remote user.
  • the computing device may optionally be capable of performing the additional actions listed below. They expand the functionality of the system, but are not mandatory to achieve a technical result.
  • the device When scanning one or more markers on structural elements and the presence of preloaded data containing information about elements, data about the connection of markers with identification codes and coordinates of design places on elements for markers, the device is able to upload information about elements on which markers and creations are recognized.
  • a three-dimensional model that reflects the current location of the structural elements on which the markers are recognized, according to the calculated distances to them, issuing a command to the visualization module to display the uploaded information about the elements and the created three-dimensional model (Fig.4a-4b), storing it in the memory module and transferring it to remote server through the data exchange module.
  • This mode is mainly used to monitor structural elements during storage and/or transport.
  • the computing device can upload information about structural elements on which markers are recognized with the calculation of distances before them, issuing a command to the visualization module to display distances to markers and uploaded information (Fig. 3b, 3v), storing data on the recognition of one or more markers and distances to them in the memory module and transferring them to a remote server via a data exchange module.
  • This mode is mainly used for monitoring structural elements during storage and / or transportation, viewing information about elements, which, in addition to their names, may contain data on weight, dimensions, names of neighboring elements, in connection with which the current element is located, their size and weight, which will help to store, for example, construction beams that will be connected, side by side, determine the maximum vehicle load from weight information and much more.
  • the computing device can unload the 3D model and instruct the rendering module to display at least a portion of the 3D model showing elements on which one or more markers are recognized (Fig. 1a, 5a, 56). This mode can be used to view the model in order to
  • SUBSTITUTE SHEET (RULE 26) And the definition of neighboring elements, their design location and more.
  • visualization in this mode can be performed in augmented reality, that is, the user, for example, in the appropriate glasses, scans the markers and at the same time sees the design three-dimensional model of the structure superimposed on the actually located elements. This mode is convenient at the stage of installation of the structure.
  • the claimed system may include a GPS module associated with a computing device, which is additionally configured to, when scanning one or more markers and having preloaded data containing, among other things, data on the relationship of markers with identification codes, calculate distances to recognized markers and assign them GPS coordinates, saving the relevant data in the memory module and transmitting them to a remote server through the data exchange module.
  • GPS coordinates are assigned to markers adjusted for their distance from a device with a GPS module. This mode can be used to monitor structural elements during storage and / or transportation, their territorial position is checked. It is preferable to combine with other modes, in particular with a mode in which distances to recognized markers are calculated and displayed.
  • the device can issue a command to the visualization module when re-scanning the markers and recognizing some of them to display the distances to the locations of unrecognized or hidden markers (Fig. For - blue location markers at the top). This feature will speed up the search for the necessary elements.
  • a three-dimensional information model of a structure is developed, for example, a building frame.
  • Each element for example, each building beam, is assigned an identification code, by which it is possible to identify information about the corresponding element - the name and in some cases may be at least one of the following: type, size, weight, names of neighboring elements, in connection with which is the current element, their size, weight.
  • the information model and data containing said information, identification codes and location coordinates for markers are stored on a remote server.
  • SUBSTITUTE SHEET (RULE 26)
  • a graphic marker is applied to each beam by gluing or otherwise in accordance with the design coordinates, which are preloaded as part of the data by a computing device and viewed by the user.
  • they can be produced on a stencil, the dimensions of which, when applied to the edge of a structural element, allow you to accurately stick the marker.
  • the application of markers can also occur at the stage of installation / assembly of the structure.
  • Binding is performed by selecting an element according to the information displayed by the visualization module about structural elements, for example, by searching by the name of the beam. Binding data is stored and sent to the remote server when connected.
  • the worker performs marker recognition by scanning, for example, with a smartphone video camera, from the downloaded data containing information about the binding of markers, information about the corresponding elements on which markers are recognized is automatically uploaded, distances to markers in the field of view of the video camera, their angular positions, the relative position between them is determined, a comparison is made with the mutual position of the markers according to the coordinates of the design places and is shown on the display, for example, of a smartphone, information about the elements - the name, for example, "BZ-1" (Fig.2a-2b, Za-36 , 4a), and the results of comparison with the position of markers in the information model, for example, by highlighting correctly installed beams in green, and incorrectly in red (fig.2a-2b), since the distance between the markers does not match the distance according to the project, taking into account allowable deviation. Distances to markers and/or distances between markers are also displayed, depending on the implementation of the system.
  • the data about the results of recognition of markers and the results of comparison in the memory module is stored and transferred to a remote server through the data exchange module.
  • the worker can observe the installation process and, when scanning and recognizing markers, view at least parts of a three-dimensional model of the structure, showing elements on which one or more markers are recognized, that is, a design three-dimensional model (Fig.1a, 5a-5b). For this, when
  • SUBSTITUTE SHEET Recognizing a marker on a structural element and displaying information about it, the user marks this element as an anchor. After that, at least a part of the design model of the structure is displayed on the display of, for example, a smartphone. Also, the design model can be displayed in real-time augmented reality mode.
  • the advantage of the proposed solution is the ability of the verifier at any time to access the information model and all the data and results of recognition with the calculation of distances stored on a remote server and see at what stage the construction or assembly of the structure is, the degree of completion, detected violations and deviations from the project in during the installation process, the position of the elements, and when using the possibility of binding to GPS coordinates, also the territorial location of the structural elements on the map.
  • the use of the system according to the present invention will allow to recognize errors in the assembly of structures at an early stage and quickly decide on the method of elimination, including through remote monitoring, track the processes of storage and transportation, arrange elements depending on the sequence of assembly of the structure, minimize the risks of improper installation due to the output of information when recognizing markers in real time, which significantly reduces construction time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к сфере строительства и сбора конструкций, а именно к системе для контроля процессов строительства и сбора конструкций с использованием BIM технологии. Система содержит удаленный сервер и вычислительное устройство, связанное с видеокамерами для осуществления сканирования маркеров, модулем памяти, модулем обмена данными для связи с удаленным сервером и модулем визуализации. Удаленный сервер выполнен с возможностью хранения трехмерной информационной модели конструкции и данных, содержащих информацию об элементах конструкции. Вычислительное устройство выполнено с возможностью: получения с удаленного сервера информационной модели и данных и их сохранения, при осуществлении сканирования маркеров их распознавания и вычисления расстояний до распознанных маркеров, а также осуществления выгрузки информации об элементах и их идентификационных кодов; при сканировании маркеров и наличии данных об их связи с кодами и данных с удаленного сервера осуществления выгрузки информации об элементах, определения взаимного положения между распознанными маркерами, выдачи команды модулю визуализации на отображение выгруженной информации, результатов сравнения, сохранения данных и передачи их удаленный сервер.

Description

Система для контроля процессов строительства
Изобретение относится к сфере строительства и сбора конструкций, а именно к системе контроля процессов строительства и сбора конструкций с использованием BIM технологии, и может быть применено при строительстве и сборе зданий, мостов, кораблей, самолетов, мебели и других объектов.
Технология BIM (Building Information Model или Modeling - информационное моделирование зданий, сооружений) охватывает процессы проектирования, строительства и эксплуатации различных конструкций с использованием единой согласованной системы трехмерных моделей. Основным элементов BIM является информация, которая заложена в проекте, а также процесс обмена этой информацией между различными участниками.
Здесь и далее использование BIM технологии подразумевает наличие информационной модели конструкции и возможность работы с проектной трехмерной моделью конструкции.
Из уровня техники известна система контроля процессов строительства (CN 110335341 А, 15.10.2019), содержащая удаленный сервер и по меньшей мере одно вычислительное устройство, связанное с модулем памяти, модулем обмена данными для связи с удаленным сервером, модулем визуализации и модулем интерфейса, причем удаленный сервер выполнен с возможностью хранения информационной модели конструкции, в которой записана информация о ее элементах. Вычислительное устройство выполнено с возможностью получения с удаленного сервера информационной модели посредством модуля обмена данными и сохранения в модуле памяти и выдачи команды модулю визуализации на отображение трехмерной модели конструкции и информации о ее элементах. При этом модуль интерфейса позволяет пользователю ввести метку дефекта конструкции, выявленного в ходе обследования, на соответствующем участке трехмерной модели. Вычислительное устройство сохраняет изменения в модуле памяти и посредством модуля обмена данными отправляет скорректированную трехмерную модель на удаленный сервер.
Таким образом осуществляется контроль процесса строительства. Данный способ не позволяет выявлять дефекты в автоматическом режиме.
Известна система для контроля процессов строительства (KR 101897434 В1, 10.09.2018), содержащая по меньшей мере одно вычислительное устройство, связанное с одной или несколькими видеокамерами для осуществления сканирования маркеров,
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) модулем памяти, модулем обмена данными и модулем визуализации, причем вычислительное устройство выполнено с возможностью получения информационной модели посредством модуля обмена данными и сохранения в модуле памяти, распознавания маркеров, нанесенных в виде штрих-кодов или QR-кодов на элементах конструкции, при их сканировании посредством видеокамеры, осуществления выгрузки информации о соответствующих элементах, формирования двухмерной модели отсканированной части конструкции, выделения из информационной модели соответствующей двухмерной части конструкции и сравнения этих частей. После сравнения модуль визуализации отображает расхождения - так осуществляют контроль строительства.
Основные недостатки такого решения заключаются в невозможности удаленного мониторинга процессов строительства или сборки и малой информативности модели.
В качестве прототипа выбрана система для контроля процессов строительства (US 10739590 В2, 11.08.2020), содержащая удаленный сервер и по меньшей мере одно вычислительное устройство, связанное с одной или несколькими видеокамерами для осуществления сканирования маркеров, модулем памяти, модулем обмена данными для связи с удаленным сервером и модулем визуализации, причем удаленный сервер выполнен с возможностью хранения информационной модели конструкции и данных, содержащих информацию об элементах конструкции и координаты мест на них для нанесения маркеров. Вычислительное устройство выполнено с возможностью получения с удаленного сервера информационной модели и данных посредством модуля обмена и сохранения их в модуле памяти, распознавания маркеров при выполнении сканирования после их нанесения на элементы конструкции в соответствии с отмеченными местами в информационной модели. Также вычислительное устройство при распознавании нанесенных на элементы конструкции маркеров осуществляет выгрузку информационной модели и данных для отображения модели посредством модуля визуализации в режиме дополненной реальности. Маркеры служат контрольными точками для определения положения оператора, при этом оператор может сопоставлять расположение маркеров в модели и с текущим в режиме реального времени.
Недостатки прототипа выражаются в отсутствии автоматизации процесса сравнения модели конструкции с текущим расположением ее элементов, отсутствии точности соотнесения маркеров при их сканировании, а также отсутствии возможности дистанционного контроля правильности сборки конструкции.
Задачей изобретения является создание интегрированного с В1М-технологией решения, позволяющего контролировать процессы строительства и сбора конструкций с
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) момента производства до монтажа из любой точки мира, осуществлять сравнение положения элементов конструкции с проектным положение наглядно и в автоматическом режиме.
Технический результат заключается в сокращении сроков строительства и сбора конструкций за счет возможностей вычислительного устройства.
Указанный результат достигается системой для контроля процессов строительства, содержащей удаленный сервер и по меньшей мере одно вычислительное устройство, связанное с одной или несколькими видеокамерами для осуществления сканирования маркеров, модулем памяти, модулем обмена данными для связи с удаленным сервером и модулем визуализации.
При этом удаленный сервер выполнен с возможностью хранения трехмерной информационной модели конструкции и данных, содержащих информацию об элементах конструкции, координаты проектных мест на них для нанесения маркеров и идентификационные коды элементов, позволяющие выявить информацию о них, а также с возможностью сохранения передаваемых данных.
Вычислительное устройство выполнено с возможностью получения с удаленного сервера информационной модели и данных посредством модуля обмена и их сохранения в модуле памяти, при осуществлении сканирования маркеров их распознавания и вычисления расстояний до распознанных маркеров, а также осуществления следующего:
- выгрузки информации об элементах конструкции и их идентификационных кодов после получения данных с удаленного сервера, связи идентификационных кодов элементов с распознанными маркерами до или после их нанесения на элементы в соответствии с координатами проектных мест, выдачи команды модулю визуализации на отображение выгруженной информации об элементах, идентификационные коды которых связываются с маркерами, сохранения данных о выполненной связи в модуле памяти и передачи их на удаленный сервер посредством модуля обмена;
- при сканировании маркеров и наличии данных об их связи с идентификационными кодами и данных с удаленного сервера осуществления выгрузки информации об элементах конструкции, на которых распознаны маркеры, с координатами проектных мест для них на элементах, определения взаимного положения между распознанными маркерами и сравнения со взаимным положением маркеров согласно координатам проектных мест, выдачи команды модулю визуализации на отображение выгруженной информации, результатов сравнения, а также расстояний до маркеров и/или расстояний между ними, сохранения данных о распознанных маркерах и расстояниях до
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) них, а также о результатах сравнения в модуле памяти и передачи их удаленный сервер посредством модуля обмена данными.
В частном случае вычислительное устройство при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами и данных с удаленного сервера может осуществлять выгрузку информации об элементах конструкции, на которых распознаны маркеры и создавать трехмерную модель, отражающую текущее расположение элементов конструкции с распознанными маркерами, выдавать команды модулю визуализации на отображение выгруженной информации об элементах и созданной трехмерной модели, сохранять ее в модуле памяти и передавать на удаленный сервер посредством модуля обмена данными.
Предпочтительно вычислительное устройство при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами и данных с удаленного сервера может осуществлять выгрузку информации об элементах конструкции, на которых распознаны маркеры, выдавать команды модулю визуализации на отображение расстояний до маркеров и выгруженной информации, сохранять данные о распознавании одного или нескольких маркеров и о расстояниях до них в модуле памяти и передавать их удаленный сервер посредством модуля обмена данными.
Также вычислительное устройства при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами и хранении трехмерной информационной модели конструкции в модуле памяти может выдавать команды модулю визуализации на отображение по меньшей мере части трехмерной модели конструкции, показывающей элементы, на которых распознаны маркеры.
Более конкретно, вычислительное устройство при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами и хранении трехмерной информационной модели конструкции в модуле памяти может выдавать команды модулю визуализации на отображение по меньшей мере части трехмерной модели конструкции, показывающей элементы, на которых распознаны маркеры, в режиме дополненной реальности.
Дополнительно система включает GPS модуль, связанный с вычислительным устройством, которое выполнено с возможностью при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами вычисления расстояний до распознанных маркеров с присвоением им GPS координат, сохранения соответствующих данных в модуле памяти и передачи их удаленный сервер посредством модуля обмена данными.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) В случае хранения в модуле памяти результатов распознавания маркеров с вычислением расстояний до них после первого сканирования вычислительное устройство может иметь возможность выдачи команды модулю визуализации при повторном сканировании маркеров и распознавании части из них на отображение расстояний до мест расположения нераспознанных или скрытых маркеров.
По меньшей мере одна видеокамера может быть выполнена в смартфоне, планшетном компьютере, ноутбуке, системе наблюдения, очках виртуальной реальности, очках дополненной реальности, на каске рабочего и/или на квадрокоптере.
Использование данных, содержащих информацию об элементах конструкции с координатами проектных мест на них для нанесения маркеров, позволяет знать проектные расстояния и угловые положения между нанесенными на эти места маркерами и элементами в сборе соответственно, а возможность при распознавании маркеров вычисления расстояний до них и, соответственно, до элементов конструкции позволяет с допустимой погрешностью сравнивать проектное положение элементов, обозначенное в информационной модели, с действительным расположением. Отображение информации о соответствии или отклонении, а также запись и передача такой информации на удаленный сервер для дистанционного контроля позволяет существенно уменьшить время на поиски и устранения нарушений, что сокращает сроки строительства и сбора конструкций.
Настоящее изобретение поясняется с помощью фиг.1-5.
На фиг.1а- 16 дан пример изображения трехмерной информационной модели конструкции с отмеченными местами для нанесения маркеров в соответствии с данными.
На фиг.2а-2б изображены примеры отображения модулем визуализации при сканировании маркеров информации об элементах, на которых распознаны маркеры, и результатов сравнения текущего взаимного положения маркеров со взаимным положением согласно координатам проектных мест, а также по отображению расстояний до маркеров и между ними.
На фиг.За-Зв изображены примеры, как при сканировании маркеров модуль визуализации может отображать расстояния до них, информацию об элементах, на которых распознаны маркеры, и места расположения нераспознанных или скрытых маркеров при повторном сканировании.
На фиг.4а-4б показан пример возможности вычислительного устройства при сканировании маркеров по созданию трехмерной модели, показывающей расположение элементов конструкции относительно друг друга.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) На фиг.5а-5б даны фотографии, на которых показаны примеры отображения модулем визуализации при сканировании маркеров по меньшей мере части трехмерной модели конструкции, показывающей элементы, на которых распознаны маркеры.
Система по настоящему изобретению может быть применена для зданий, мостов, кораблей, самолетов, мебели и других конструкций различных размеров и предназначений.
Предлагаемая система для контроля процессов строительства и сбора конструкций с использованием BIM технологии включает в себя удаленный сервер и по меньшей мере одно вычислительное устройство, связанное с одной или несколькими видеокамерами для осуществления сканирования маркеров, модулем памяти, модулем обмена данными для связи с удаленным сервером и модулем визуализации. Принцип работы системы и методы ее реализации очевидны для специалиста в данной области техники, что подтверждает описанию ниже.
Видеокамера, модуль памяти, модуль обмена данными и модуль визуализации могут быть совмещены с вычислительным устройством, которое, как правило, представляет собой смартфон, ноутбук или планшетный компьютер. Возможна связка из двух или более устройств, например, ноутбук и внешняя камера, такая как IP камера, либо камера, установленная на каске рабочего или квадрокоптере.
Соответственно видеокамера может быть установлен в смартфоне, планшетном компьютере, ноутбуке, системе наблюдения, очках виртуальной реальности, очках дополненной реальности, на каске рабочего или на квадрокоптере. Вычислительное устройство обязательно содержит процессор, исполняющий код программы. Модуль памяти - это встроенный в вычислительное устройство или внешний накопитель данных, модуль обмена данными - это также встроенный в устройство или внешний модем, осуществляющий преимущественно беспроводную связь с удаленным сервером, а модуль визуализации - это как правило встроенный в вычислительное устройство дисплей, который выполнен с отдельным устройством для ввода, таким как клавиатура, или с технологией «touch screen».
Удаленный сервер предназначен для хранения трехмерной информационной модели конструкции и связанных с ней данных, сохранения новых передаваемых данных, а также предоставления к ним доступа пользователям. Первоначально на сервере записывают трехмерную информационную модель (фиг.1а), например, в формате fbx, и связанные данные, например, в формате json, содержащие информацию об элементах конструкции, координаты проектных мест на них для нанесения маркеров, причем
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) координаты могут быть просмотрены на модели (фиг.16) и идентификационные коды элементов, позволяющие выявить информацию об элементах.
Информация об элементах, например, строительных балках, содержит их наименования и может дополнительно содержать по меньшей мере одно из следующего: информацию о типах элементов, размерах элементов, их весе, наименования соседних элементов, в соединении с которыми находится текущий элемент, их размер, вес и другое, что может быть внесено на этапе проектирования трехмерной модели с помощью BIM технологии. С данными о координатах проектных мест на элементах для нанесения маркеров связана информация о размерах будущих маркеров, которая используется для повышения точности измерения расстояний до них, тем не менее, измерение расстояний возможно и без информации о размерах.
Маркеры могут быть нанесены на любом этапе, например, производства элементов, их складирования, транспортирования или сборки/строительства. В качестве маркеров преимущественно используются графические изображения, как правило, черно-белые простой формы в виде прямоугольника или квадрата со вписанным во внутрь идентификатором-образом, однако возможно использование и других изображений. Из уровня техники известно применение аналогичных изображений в фидуциарных маркерах.
С помощью вычислительного устройства и модуля визуализации осуществляют действия с применением всех возможностей упомянутого устройства или только части из них, в зависимости от необходимости в конкретных возможностях на текущем этапе процесса строительства или сборки, например, этапами могут быть складирование, транспортирование, сборка или монтаж, при этом на каждом упомянутом этапе также могут применять различные возможности системы, что будет очевидно из описания работы. Существенным является то, что система в принципе способна выполнять все заявленные в независимом пункте формулы действия. При этом конкретный пользователь может на данном этапе применять лишь часть возможностей, например, используемых при привязке маркеров к идентификационным кодам элементов, а другой пользователь в другой отрезок времени - сканировать нанесенные маркеры на соединенных элементах конструкции и выявлять расхождения с проектом (фиг.2а-2б).
Вычислительное устройство выполнено с возможностью получения, то есть скачивания/загрузки, с удаленного сервера информационной модели и упомянутых данных посредством модуля обмена данными и сохранения их в модуле памяти. Любая приема-передача данных посредством модуля обмена происходит при наличии связи с удаленным сервером.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Также вычислительное устройство способно при сканировании маркеров посредством видеокамеры осуществлять их распознавание и вычисление расстояний до распознанных маркеров, в том числе определения их углов, что позволяет правильно выявить положение элементов конструкции. Под сканированием понимаются процессы наведения видеокамеры на маркер и обработки видеопотока в режиме реального времени. При распознавании маркеров и вычислении расстояний до них используются известные в уровне техники алгоритмы, часто применяемые при реализации дополненной реальности.
Расчет расстояний до маркеров и определение взаимного положения между ними идет за счет использования характеристик матрицы видеокамеры. Используются данные о фокусном расстоянии и расположении на кадре точки, свидетельствующей о смешении оси глубины кадра. В вычислениях для повышения точности используются данные о размерах маркеров и известные размеры маркера на кадре в пикселях. По вышеперечисленным методикам, которые являются входными данными, путем вычисления радиусного расстояния от видеокамеры до центра маркера и вычисления расстояний по оси X и Y в плоскости кадра от центра кадра до центра маркера составляются трехмерные координаты центра маркера относительно видеокамеры, которые используются для вычисления расстояния между маркерами.
Систему применяют при нанесении маркеров на элементы конструкции, до или после непосредственного прикрепления какого-либо маркера к элементу. Для этого вычислительное устройство выполнено с возможностью после получения данных с удаленного сервера выгрузки информации об элементах конструкции и их идентификационных кодов, что означает определение этих данных в загруженном одном или нескольких файлах и предоставление к ним доступа пользователю; затем связи идентификационных кодов элементов с распознанными маркерами до или после их нанесения на элементы в соответствии с координатами мест и выдачи команды модулю визуализации на отображение выгруженной информации об элементах, идентификационные коды которых связываются с маркерами, что реализуется путем предоставления пользователю возможности поиска и выбора элемента из каталога, например, по наименованию, что входит в понятие информации об элементах, и предоставления возможности пользователю привязать выбранный элемент с распознанным маркером, который уже прикреплен, либо будет прикреплен; после чего вычислительное устройство сохраняет данные о выполненной связи в модуле памяти и передает их на удаленный сервер посредством модуля обмена.
Для повышения точности нанесения маркеров на элементы могут использоваться клейкие трафареты, на которых напечатаны маркеры, с размерами, соответствующими размерам элементов. К примеру, маркер должен быть нанесен на расстоянии 0,3 м от края
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) строительной балки. Для этого изготавливается трафарет с маркером, центр которого находится на расстоянии 0,3 м от края трафарета. Высота трафарета при этом также соответствует высоте балки. Возможен иной вариант повышения точности нанесения маркеров.
После того, как маркеры будут нанесены, предлагаемая система может использоваться с целью непосредственно контроля процессов строительства или сбора конструкций. На данном этапе удаленный сервер дополнительно содержит данные об осуществленной привязке маркеров к идентификационным кодам элементов.
Предварительно загрузив посредством модуля обмена с удаленного сервера данные, содержащие информацию об элементах конструкции, данные о выполненной связи маркеров с идентификационными кодами и координаты проектных мест на элементах для маркеров, осуществляют сканирование маркеров с распознаванием и вычислением расстояний до них. Вычислительное устройство осуществляет выгрузку из хранящихся в модуле памяти данных информации об элементах конструкции, на которых распознаны маркеры, определяет взаимное положение между распознанными маркерами за счет вычисления расстояния до них и сравнивает со взаимным положением маркеров согласно координатам проектных мест на элементах.
После чего вычислительное устройство выдает команды модулю визуализации на отображение выгруженной информации об элементах, например, их наименований, результатов сравнения, например, цветом, где красный или желтый - нет соответствия, зеленый - соответствует проектному положению (фиг.2а-2б), а также на отображение расстояний до маркеров (фиг.2а-2б - расстояние показано белыми цифрами в метрах рядом с маркерами) и/или расстояний между ними (фиг.2а-2б - расстояние показано между маркерами). В зависимости от реализации системы, цвет показаний, стиль и шрифт могут меняться, также могут отображаться только расстояния до маркеров, только расстояния между маркерами, либо и те и другие расстояния. Затем устройство сохранения данные о распознанных маркерах и вычисленных расстояниях до них, а также о результатах сравнения в модуле памяти и передачи их удаленный сервер посредством модуля обмена данными. Эти данные используются для контроля процессов строительства и сбора конструкций удаленным пользователем.
Очевидно, что перечисленные основные возможности данной системы позволяют сократить сроки строительства/сборки конструкций за счет реализованного принципа моментального контроля соответствия собираемой конструкции проекту с выводом результатов проверяющему и удаленному пользователю.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Вычислительное устройство опционально может быть способно осуществлять дополнительные действия, перечисленные ниже. Они расширяют функционал системы, но не являются обязательными для достижения технического результата.
При сканировании одного или нескольких маркеров на элементах конструкции и наличии предварительно загруженных данных, содержащих информацию об элементах, данные о связи маркеров с идентификационными кодами и координаты проектных мест на элементах для маркеров, устройство способно выполнять выгрузку информации об элементах, на которых распознаны маркеры и создания трехмерной модели, отражающей текущее расположение элементов конструкции, на которых распознаны маркеры, по вычисленным расстояниям до них, выдачу команды модулю визуализации на отображение выгруженной информации об элементах и созданной трехмерной модели (фиг.4а-4б), ее сохранение в модуле памяти и передачу на удаленный сервер посредством модуля обмена данными. Данный режим преимущественно используется для мониторинга элементов конструкции во время складирования и/или транспортировки.
При сканировании одного или нескольких маркеров и наличии предварительно загруженных данных, содержащих информацию об элементах, данные о связи маркеров с идентификационными кодами и координаты проектных мест на элементах для маркеров, вычислительное устройство может выполнять выгрузку информации об элементах конструкции, на которых распознаны маркеры с вычислением расстояний до них, выдачу команды модулю визуализации на отображение расстояний до маркеров и выгруженной информации (фиг.Зб, Зв), сохранения данных о распознавании одного или нескольких маркеров и о расстояниях до них в модуле памяти и передачи их на удаленный сервер посредством модуля обмена данными. Данный режим преимущественно используется для мониторинга элементов конструкции во время складирования и/или транспортировки, просмотра информации об элементах, которая помимо их наименований может содержать данные о весе, габаритах, наименования соседних элементов, в соединении с которыми находится текущий элемент, их размер и вес, что поможет складировать, например, строительные балки, которые будут в соединении, рядом, определять максимальную загрузку транспортного средства по информации о весе и многое другое.
При сканировании одного или нескольких маркеров и наличии предварительно загруженных трехмерной информационной модели конструкции и данных, содержащих помимо прочего данные о связи маркеров с идентификационными кодами, вычислительное устройство может выполнять выгрузку трехмерной модели и выдачу команды модулю визуализации на отображение по меньшей мере части трехмерной модели, показывающей элементы, на которых распознаны один или несколько маркеров (фиг. 1а, 5а, 56). Данный режим может использоваться для просмотра модели с целью
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) И определения соседних элементов, их проектного расположения и другого. Кроме того, визуализация в данном режиме может быть выполнена в дополненной реальности, то есть пользователь, например, в соответствующих очках осуществляет сканирование маркеров и в это же время видит проектную трехмерную модель конструкции, наложенную на реально расположенные элементы. Данный режим удобен на этапе монтаже конструкции.
В заявленную систему может быть включен GPS модуль, связанный с вычислительным устройством, которое дополнительно выполнено с возможностью при сканировании одного или нескольких маркеров и наличии предварительно загруженных данных, содержащих помимо прочего данные о связи маркеров с идентификационными кодами, вычисления расстояний до распознанных маркеров с присвоением им GPS координат, сохранения соответствующих данных в модуле памяти и передачи их на удаленный сервер посредством модуля обмена данными. GPS координаты присваиваются маркерам с поправкой на расстояние до них от устройства с GPS модулем. Данный режим может использоваться для мониторинга элементов конструкции во время складирования и/или транспортировки, проверяется их территориальное положение. Предпочтительно комбинировать с другими режимами, в частности, с режимом, в котором вычисляются и отображаются расстояния до распознанных маркеров.
А в случае хранения в модуле памяти результатов распознавания маркеров с вычислением расстояний до них после первого сканирования устройство может выполнять выдачу команды модулю визуализации при повторном сканировании маркеров и распознавании части из них на отображение расстояний до мест расположения нераспознанных или скрытых маркеров (фиг.За - голубые указатели местоположения в верхней части). Такая возможность ускорит поиск необходимых элементов.
Предлагаемая система работает следующим образом.
С использованием BIM технологии разрабатывается трехмерная информационная модель конструкции, например, каркас здания. Каждому элементу, например, каждой строительной балке, присваивается идентификационный код, по которому можно выявить информацию о соответствующем элементе - наименование и в некоторых случаях может быть по меньшей мере одно из следующего: тип, размер, вес, наименования соседних элементов, в соединении с которыми находится текущий элемент, их размер, вес. Информационную модель и данные, содержащие упомянутую информацию, идентификационные коды и координаты мест для маркеров, сохраняют на удаленном сервере.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) К примеру, на этапе производства элементов конструкции на каждую балку наносят путем приклеивания или иным способом графический маркер в соответствии с проектными координатами, которые предварительно загружены в составе данных вычислительным устройством и просматривается пользователем. Для повышения точности нанесения маркеров они могут быть произведены на трафарете, размеры которого при наложении на край элемента конструкции позволяют точно наклеить маркер. Нанесение маркеров может происходить и на этапе монтажа/сборки конструкции.
До или после нанесения маркеров выполняют их распознавание путем сканирования и привязку каждого маркера к соответствующему идентификационному коду элемента. Привязка выполняется путем выбора элемента по отображаемой информации модулем визуализации об элементах конструкции, например, путем поиска по наименованию балки. Данные о привязке сохраняются и направляются на удаленный сервер при наличии связи.
Далее на этапе монтажа конструкции рабочий выполняет распознавание маркеров путем сканирования, например, видеокамерой смартфона, из загруженных данных, содержащих сведения о привязке маркеров, автоматически выгружается информация о соответствующих элементах, на которых распознаны маркеры, высчитываются расстояния до маркеров в поле зрения видеокамеры, их угловые положения, определяется взаимное положение между ними, осуществляется сравнение с взаимным положением маркеров согласно координатам проектных мест и показывается на дисплее, например, смартфона, информация об элементах - наименование, например, «БЗ-1» (фиг.2а-2б, За- 36, 4а), и результаты сравнения с положением маркеров в информационной модели, например, путем выделения зеленым цветом правильно установленных балок, а красным - неправильно (фиг.2а-2б), так как расстояние между маркерами не совпадает с расстоянием согласно проекту с учетом с допустимого отклонения. Также отображаются расстояния до маркеров и/или расстояния между ними в зависимости от реализации системы.
Затем происходит сохранение данных о результатах распознавания маркеров и о результатах сравнения в модуле памяти и передача их удаленный сервер посредством модуля обмена данными.
Дополнительно рабочий может наблюдать процесс монтажа и при сканировании и распознавании маркеров просматривать по меньшей мере части трехмерной модели конструкции, показывающей элементы, на которых распознаны один или несколько маркеров, то есть проектной трехмерной модели (фиг.1а, 5а-5б). Для этого при
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) распознавании маркера на элементе конструкции и отображении информации о нем пользователь отмечает данный элемент как якорный. После чего по меньшей мере часть проектной модели конструкции выводится на дисплее, например, смартфона. Также проектная модель может выводиться в режиме дополненной реальности в реальном времени.
Преимуществом предлагаемого решения является возможность проверяющего в любой момент обратиться к информационной модели и всем данным и результатам распознавания с вычислением расстояний, хранящимся на удаленном сервере, и увидеть, на каком этапе находится строительство или сбор конструкции, степень завершения, обнаруженные нарушения и отклонения от проекта в процессе монтажа, положение элементов, а при использовании возможности привязки к GPS координатам еще и территориальное расположение элементов конструкции на карте.
Таким образом, применение система по настоящему изобретению позволит распознавать ошибки сбора конструкций на ранней стадии и оперативно принимать решение о методе устранения в том числе за счет удаленного мониторинга, отслеживать процессы складирования и транспортировки, располагать элементы в зависимости от очередности сборки конструкции, минимизировать риски неправильного монтажа за счет вывода информации при распознавании маркеров в режиме реального времени, что существенно сокращает сроки строительства.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)

Claims

Формула изобретения
1. Система для контроля процессов строительства, содержащая удаленный сервер и по меньшей мере одно вычислительное устройство, связанное с одной или несколькими видеокамерами для осуществления сканирования маркеров, модулем памяти, модулем обмена данными для связи с удаленным сервером и модулем визуализации, причем удаленный сервер выполнен с возможностью хранения трехмерной информационной модели конструкции и данных, содержащих информацию об элементах конструкции, координаты проектных мест на них для нанесения маркеров и идентификационные коды элементов, позволяющие выявить информацию о них, а также с возможностью сохранения передаваемых данных, вычислительное устройство выполнено с возможностью получения с удаленного сервера информационной модели и данных посредством модуля обмена и их сохранения в модуле памяти, при осуществлении сканирования маркеров их распознавания и вычисления расстояний до распознанных маркеров, а также осуществления следующего: выгрузки информации об элементах конструкции и их идентификационных кодов после получения данных с удаленного сервера, связи идентификационных кодов элементов с распознанными маркерами до или после их нанесения на элементы в соответствии с координатами проектных мест, выдачи команды модулю визуализации на отображение выгруженной информации об элементах, идентификационные коды которых связываются с маркерами, сохранения данных о выполненной связи в модуле памяти и передачи их на удаленный сервер посредством модуля обмена, при сканировании маркеров и наличии данных об их связи с идентификационными кодами и данных с удаленного сервера осуществления выгрузки информации об элементах конструкции, на которых распознаны маркеры, с координатами проектных мест для них на элементах, определения взаимного положения между распознанными маркерами и сравнения со взаимным положением маркеров согласно координатам проектных мест, выдачи команды модулю визуализации на отображение выгруженной информации, результатов сравнения, а также расстояний до маркеров и/или расстояний между ними, сохранения данных о распознанных маркерах и расстояниях до них, а также о результатах сравнения в модуле памяти и передачи их удаленный сервер посредством модуля обмена данными.
2. Система по п.1, дополнительно включающая возможность вычислительного устройства при сканировании одного или нескольких маркеров и наличии данных об их
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) связи с идентификационными кодами и данных с удаленного сервера осуществления выгрузки информации об элементах конструкции, на которых распознаны маркеры и создания трехмерной модели, отражающей текущее расположение элементов конструкции с распознанными маркерами, выдачи команды модулю визуализации на отображение выгруженной информации об элементах и созданной трехмерной модели, ее сохранения в модуле памяти и передачи на удаленный сервер посредством модуля обмена данными.
3. Система по п.1, дополнительно включающая возможность вычислительного устройства при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами и данных с удаленного сервера осуществления выгрузки информации об элементах конструкции, на которых распознаны маркеры, выдачи команды модулю визуализации на отображение расстояний до маркеров и выгруженной информации, сохранения данных о распознавании одного или нескольких маркеров и о расстояниях до них в модуле памяти и передачи их на удаленный сервер посредством модуля обмена данными.
4. Система по п.1, дополнительно включающая возможность вычислительного устройства при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами и хранении трехмерной информационной модели конструкции в модуле памяти выдачи команды модулю визуализации на отображение по меньшей мере части трехмерной модели конструкции, показывающей элементы, на которых распознаны один или несколько маркеров.
5. Система по п.1, дополнительно включающая возможность вычислительного устройства при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами и хранении трехмерной информационной модели конструкции в модуле памяти выдачи команды модулю визуализации на отображение по меньшей мере части трехмерной модели конструкции, показывающей элементы, на которых распознаны маркеры, в режиме дополненной реальности.
6. Система по п.1, включающая GPS модуль, связанный с вычислительным устройством, которое дополнительно выполнено с возможностью при сканировании одного или нескольких маркеров и наличии данных об их связи с идентификационными кодами вычисления расстояний до распознанных маркеров с присвоением им GPS координат, сохранения соответствующих данных в модуле памяти и передачи их на удаленный сервер посредством модуля обмена данными.
7. Система по п.З, дополнительно включающая возможность вычислительного устройства в случае хранения в модуле памяти результатов распознавания маркеров с
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) 16 вычислением расстояний до них после первого сканирования выдачи команды модулю визуализации при повторном сканировании маркеров и распознавании части из них на отображение расстояний до мест расположения нераспознанных или скрытых маркеров.
8. Система по п.1, включающая по меньшей мере одну видеокамеру, выполненную в смартфоне, планшетном компьютере, ноутбуке, системе наблюдения, очках виртуальной реальности, очках дополненной реальности, на каске рабочего и/или на квадрокоптере.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
PCT/RU2021/000187 2021-03-11 2021-05-04 Система для контроля процессов строительства WO2022039621A1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/281,002 US20240143856A1 (en) 2021-03-11 2021-05-04 System for monitoring building processes
CA3211568A CA3211568A1 (en) 2021-03-11 2021-05-04 System for monitoring construction processes
CN202180097330.5A CN117425910A (zh) 2021-03-11 2021-05-04 控制建造过程的系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2021106327 2021-03-11
RU2021106327A RU2769083C1 (ru) 2021-03-11 2021-03-11 Аппаратно-программный комплекс для контроля процессов строительства и сбора конструкций с использованием BIM технологии

Publications (1)

Publication Number Publication Date
WO2022039621A1 true WO2022039621A1 (ru) 2022-02-24

Family

ID=80350532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2021/000187 WO2022039621A1 (ru) 2021-03-11 2021-05-04 Система для контроля процессов строительства

Country Status (5)

Country Link
US (1) US20240143856A1 (ru)
CN (1) CN117425910A (ru)
CA (1) CA3211568A1 (ru)
RU (1) RU2769083C1 (ru)
WO (1) WO2022039621A1 (ru)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101897434B1 (ko) 2018-03-05 2018-09-10 조현태 시공 검수 장치 및 방법
US10254540B2 (en) * 2015-03-31 2019-04-09 Timothy A. Cummings System for virtual display and method of use
RU2699257C1 (ru) * 2018-07-10 2019-09-04 Общество с ограниченной ответственностью "Научно-исследовательское, проектное и производственное предприятие по природоохранной деятельности "Недра" (ООО НИППППД "НЕДРА") Способ BIM проектирования наземно-подземного объекта
CN110335341A (zh) 2019-05-30 2019-10-15 广东民航机场建设有限公司 基于bim模型的缺陷定位方法、装置、设备和存储介质
RU2709658C2 (ru) * 2015-09-10 2019-12-19 Тийода Корпорейшн Система управления строительными материалами и способ управления строительными материалами
WO2020097589A1 (en) * 2018-11-09 2020-05-14 Anchor Ring Solutions, Llc Systems and methodology for construction management and equipment positioning via building information modeling

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10254540B2 (en) * 2015-03-31 2019-04-09 Timothy A. Cummings System for virtual display and method of use
US10739590B2 (en) 2015-03-31 2020-08-11 Timothy Cummings System for virtual display and method of use
RU2709658C2 (ru) * 2015-09-10 2019-12-19 Тийода Корпорейшн Система управления строительными материалами и способ управления строительными материалами
KR101897434B1 (ko) 2018-03-05 2018-09-10 조현태 시공 검수 장치 및 방법
RU2699257C1 (ru) * 2018-07-10 2019-09-04 Общество с ограниченной ответственностью "Научно-исследовательское, проектное и производственное предприятие по природоохранной деятельности "Недра" (ООО НИППППД "НЕДРА") Способ BIM проектирования наземно-подземного объекта
WO2020097589A1 (en) * 2018-11-09 2020-05-14 Anchor Ring Solutions, Llc Systems and methodology for construction management and equipment positioning via building information modeling
CN110335341A (zh) 2019-05-30 2019-10-15 广东民航机场建设有限公司 基于bim模型的缺陷定位方法、装置、设备和存储介质

Also Published As

Publication number Publication date
RU2769083C1 (ru) 2022-03-28
CA3211568A1 (en) 2022-02-24
CN117425910A (zh) 2024-01-19
US20240143856A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US11481999B2 (en) Maintenance work support system and maintenance work support method
JP7337654B2 (ja) 保全活動サポートシステムおよび保全活動サポート方法
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
CN112767555A (zh) 用于增强现实应用的标记到模型位置配对和配准
CN101506850A (zh) 在地图绘制应用程序中对数字表面模型进行建模和纹理化
CN110262507A (zh) 一种基于5g通信的相机阵列机器人定位方法及装置
CN111436208A (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
KR20060030120A (ko) 화상 처리 장치
CN113124883B (zh) 基于3d全景相机的离线标点方法
US11395102B2 (en) Field cooperation system and management device
JP7220784B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
US11048345B2 (en) Image processing device and image processing method
RU2769083C1 (ru) Аппаратно-программный комплекс для контроля процессов строительства и сбора конструкций с использованием BIM технологии
CN111161350B (zh) 位置信息及位置关系确定方法、位置信息获取装置
CN113748312A (zh) 使用移动设备建造模架和脚手架
CN114565849B (zh) 一种基于数字孪生的资产ai识别与定位方法和系统
WO2019187772A1 (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
US11832016B2 (en) 3D tour photographing apparatus and method
JP6770826B2 (ja) 構造物の配置位置測定用の自動視準方法及び自動視準装置
JP2021014241A (ja) 無人航空機、画像撮像システム、及びプログラム
JP7467206B2 (ja) 映像管理支援システムおよび映像管理支援方法
US20230052360A1 (en) Information processing apparatus, information processing system, and information processing method, and program
US20200058135A1 (en) System and method of object positioning in space for virtual reality
US20240112406A1 (en) Bar arrangement inspection result display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858684

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 3211568

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: P6002275/2023

Country of ref document: AE

WWE Wipo information: entry into national phase

Ref document number: 2021858684

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180097330.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021858684

Country of ref document: EP

Effective date: 20231011

WWE Wipo information: entry into national phase

Ref document number: 523450624

Country of ref document: SA

122 Ep: pct application non-entry in european phase

Ref document number: 21858684

Country of ref document: EP

Kind code of ref document: A1