WO2023132570A1 - 작업 현장을 모니터링하는 방법 및 장치 - Google Patents

작업 현장을 모니터링하는 방법 및 장치 Download PDF

Info

Publication number
WO2023132570A1
WO2023132570A1 PCT/KR2022/021706 KR2022021706W WO2023132570A1 WO 2023132570 A1 WO2023132570 A1 WO 2023132570A1 KR 2022021706 W KR2022021706 W KR 2022021706W WO 2023132570 A1 WO2023132570 A1 WO 2023132570A1
Authority
WO
WIPO (PCT)
Prior art keywords
work site
tray
load
truck
monitoring
Prior art date
Application number
PCT/KR2022/021706
Other languages
English (en)
French (fr)
Inventor
박재일
트루엉홍민
은현성
Original Assignee
(주)서울로보틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)서울로보틱스 filed Critical (주)서울로보틱스
Publication of WO2023132570A1 publication Critical patent/WO2023132570A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • It relates to a method and device for monitoring a work site.
  • LIDAR Light Detection And Ranging
  • a method for monitoring a work site that tracks a truck and a tray mounted on the truck at a work site and obtains information about loads loaded on the tray and a sensing device.
  • a method for monitoring a work site includes acquiring a point cloud for a work site from a sensing device that detects a 3D space, using an object tracking model that takes the obtained point cloud as an input, and Tracking a truck and a tray mounted on the truck in the region of interest of , and acquiring information about a load loaded on the tracked tray.
  • the computer program stored in the storage medium includes, in a device monitoring a work site, acquiring a point cloud for a work site from a sensing device that detects a 3D space, tracking an object using the obtained point cloud as an input.
  • a method for monitoring a work site comprising tracking a truck and a tray mounted on the truck in a region of interest of the work site using a model, and acquiring information about a load loaded on the tracked tray. to perform
  • An apparatus for monitoring a work site includes a communication interface unit, a memory for storing instructions, and a sensing device for sensing a three-dimensional space through the communication interface unit by executing the instructions.
  • FIG. 1 is a view for explaining a work site monitoring system including a sensing device installed in a work site and a device for monitoring the work site.
  • FIG. 2 is a diagram for explaining the configuration and operation of a sensing device according to an exemplary embodiment.
  • FIG. 3 is a diagram for explaining the configuration and operation of a monitoring device according to an embodiment.
  • FIG. 4 is a view for explaining an example showing trucks and trays tracked from a point cloud for a work site and loads loaded on the trays.
  • 5 is a view for explaining a process of calculating the load amount of the load loaded on the tray of the truck.
  • FIG. 6 is a diagram for explaining a process of calculating a loading amount corresponding to a closed area in a tray of a truck.
  • FIG. 7 is a diagram for explaining a process of controlling heavy equipment in a work site.
  • FIG. 8 is a diagram for explaining a process of calculating an excavation area corresponding to a closed area in an excavation area.
  • FIG. 9 is a flowchart illustrating a method of monitoring a work site according to an exemplary embodiment.
  • 10A is a detailed flowchart illustrating an example of a process for controlling heavy equipment in a work site.
  • 10B is a detailed flow chart for explaining an example of a process for determining whether a truck is overloaded.
  • the present embodiments relate to a method and apparatus for monitoring a work site, and detailed descriptions of matters widely known to those skilled in the art to which the following embodiments belong will be omitted.
  • FIG. 1 is a diagram for explaining a work site monitoring system including a sensing device 100 installed at a work site and a device 200 for monitoring the work site.
  • the sensing device 100 is a device capable of acquiring point cloud data as sensing data for a 3D space, and may include a 3D sensor for sensing a 3D space.
  • the sensing device 100 may emit light in the 3D space and obtain a point cloud for the 3D space based on light received in response thereto.
  • the sensing device 100 may include a LIDAR (Light Detection and Ranging) sensor as a 3D sensor for sensing a 3D space, and may obtain volumetric point cloud data.
  • LiDAR sensors cannot detect the color of objects in a 3D space, but can detect their shape, size, and position.
  • a multi-channel lidar sensor that can collect information about 3D space is suitable for applications that can utilize the location, shape, and volume of objects.
  • the sensing device 100 may be installed where a work site can be monitored. In order to monitor a work site, such as a construction site or a mining site, at least one sensing device 100 may be installed in the work site. For example, the sensing device 100 may be installed on top of a pole erected at a work site. Alternatively, the sensing device 100 may be mounted on heavy equipment disposed in a work site. As shown in FIG. 1 , the sensing device 100 may be installed at an appropriate height and angle to an infrastructure such as a fixed structure so as to monitor heavy equipment and a work area disposed at a work site.
  • the sensing device 100 may track various types of objects sensed within a work site.
  • the sensing device 100 may track movements of objects such as heavy equipment used for work or trucks used for transport. For example, as shown in FIG. 1 , at a construction site where heavy equipment such as an excavator excavates an excavation area and then transfers it to a tray of a truck, the sensing device 100 tracks the truck and tray, heavy equipment, excavation area, etc. can do.
  • the sensing device 100 may be connected to other external devices by applying Internet of Things (IoT) technology.
  • IoT Internet of Things
  • the sensing device 100 may transmit sensed sensing data to a device 200 for monitoring a work site (hereinafter referred to as a monitoring device).
  • the monitoring device 200 may provide a work site monitoring service using sensing data or information received from at least one sensing device 100 .
  • the work site monitoring service may check objects in the work site and provide a service for automating work.
  • the monitoring device 200 may provide a service for each work site by placing a work site monitoring virtual machine for each work site.
  • the monitoring device 200 may be a device of a situation management room or a control center, and may be implemented with technologies such as cloud computing or edge computing.
  • the work site monitoring system is implemented in a form including a sensing device 100 and a separate and independent monitoring device 200, but the sensing device 100 can perform the operation of the monitoring device 200 can be implemented in the form In this case, the sensing device 100 may be connected to the manager terminal 300 through communication.
  • the monitoring device 200 may be installed in an external device other than the sensing device 100, for example, a device such as heavy equipment capable of utilizing a monitoring result of a work site.
  • the sensing device 100 may be mounted on the outside of an excavator, which is heavy equipment at a construction site, and the monitoring device 200 may be mounted on the inside of the excavator.
  • the manager terminal 500 may be a user terminal used by a user such as a manager or supervisor.
  • the manager terminal 500 registers setting information for work situation management at the work site where the sensing device 100 is installed in the monitoring device 200, and various notifications or information related to work situation management are received from the monitoring device 200. report can be received.
  • FIG. 2 is a diagram for explaining the configuration and operation of the sensing device 100 according to an exemplary embodiment.
  • the sensing device 100 may include a memory 110, a processor 120, a sensor unit 130, and a communication interface unit 140.
  • a memory 110 may include a central processing unit 110 and a central processing unit 110.
  • Memory 110 may store software and/or programs.
  • the memory 110 may store instructions executable by the processor 120 .
  • the processor 120 may access and use data stored in the memory 110 or store new data in the memory 110 .
  • Processor 120 may execute instructions stored in memory 110 .
  • the processor 120 may execute a computer program installed in the sensing device 100 .
  • the processor 120 may store and execute a computer program or application received from the outside in the memory 110 .
  • the processor 120 may execute at least one processing module to perform a predetermined operation.
  • the processor 120 may execute or control a processing module that executes a program for detecting a space corresponding to a work site or a program for monitoring a work site.
  • the processor 120 may control other elements included in the sensing device 100 to perform an operation corresponding to an execution result of instructions or a computer program.
  • the sensor unit 130 may include at least one sensor for sensing a 3D space.
  • the sensor unit 130 may include a light emitter that emits light in a 3D space and a light receiver that receives light, and further includes a dedicated processor for obtaining a point cloud for the 3D space based on the intensity of light received by the light receiver. may also include The sensor unit 130 may acquire a point cloud for the work site so as to track an object in the work site.
  • the sensor unit 130 may be a LIDAR (Light Detection and Ranging) sensor, and may obtain sensing data for a predetermined range of work sites including at least one 3D LIDAR sensor.
  • the sensor unit 130 may further include various types of sensors such as a radar sensor, an infrared image sensor, an ultrasonic sensor, and an image sensor.
  • the sensor unit 130 monitors a work site using a LiDAR sensor, and when an event occurs in the region of interest, by executing an image sensor such as a camera, additional information about the region of interest in which the event has occurred can be obtained.
  • the communication interface unit 140 may perform wired/wireless communication with other devices or networks.
  • the communication interface unit 140 may include a communication module supporting at least one of various wired/wireless communication methods.
  • the communication interface unit 140 is a short-range communication such as Radio Frequency Identification (RFID), Near Field Communication (NFC), Bluetooth, Wireless Fidelity (Wi-Fi), various types of communication such as 4G, 5G, etc. It may include a communication module that performs mobile communication or ultra-wideband communication.
  • the communication interface unit 140 may include a communication module that performs wired communication using a coaxial cable or an optical cable.
  • the communication interface unit 140 may be connected to a device located outside the sensing device 100 to transmit/receive signals or data.
  • the sensing device 100 may be connected to the monitoring device 200 or the manager terminal 500 through the communication interface unit 140 to use the point cloud for a work site to control devices or to provide a monitoring service.
  • the sensing device 100 may further include a location sensor such as GPS, and may further include components for improving sensing performance according to an installation environment of the sensing device 100 .
  • a location sensor such as GPS
  • the processor 120 of an embodiment according to the configuration described above may acquire a point cloud for a work site by executing one or more instructions stored in the memory 110 and transmit the obtained point cloud to the monitoring device 200 .
  • the sensing device 100 may detect a space of a work site and transmit a result of the detection to the monitoring device 200 .
  • the monitoring device 200 may distinguish each sensing device 100 and obtain a point cloud obtained from each sensing device 100 from each of the plurality of sensing devices 100. can receive
  • the processor 120 may acquire a point cloud for a work site and track an object within a region of interest by executing one or more instructions stored in the memory 110 .
  • the region of interest may be set as a predetermined region based on user input information input to a spatial information map generated by detecting an object in the work site or a work range of heavy equipment disposed at the work site.
  • the processor 120 tracks a truck and a tray mounted on the truck in an area of interest of the work site by using an object tracking model that takes a point cloud for the work site as an input, and tracks a load loaded on the tracked tray. information can be obtained.
  • Information about the load loaded on the tray may be a load amount.
  • the sensing device 100 can even perform the operation of the monitoring device 200, the sensing device 100 can control heavy equipment at the work site based on information about the tracked truck, tray, and load. there is.
  • the sensor device 100 may determine whether the truck is overloaded based on the information about the load. A detailed description thereof will be hereinafter replaced with a description of the monitoring device 200.
  • Figure 3 is a diagram for explaining the configuration and operation of the monitoring device 200 according to an embodiment.
  • FIG. 3 is a diagram for explaining the configuration and operation of the monitoring device 200 according to an embodiment.
  • the monitoring device 200 may be replaced with a computing device, an operator, a console device, and the like.
  • the sensing device 100 obtains a point cloud for a work site using a 3D sensor that detects a 3D space, detects and tracks an object of interest in the work site, and monitors the work site. It can be equipped with a processor capable of, but is not limited thereto.
  • the sensing device 100 transmits the point cloud of the work site acquired by the sensing device 100 to the monitoring device 200, the monitoring device 200 detects an object in the work site and tracks the detected object. can handle the processing of
  • the monitoring device 200 may be implemented with technologies such as cloud computing or edge computing.
  • the monitoring device 200 may be mounted or installed in a device such as heavy equipment that can utilize monitoring results at a work site. The monitoring device 200 may perform high-speed data communication with the sensing device 100 .
  • the monitoring device 200 may include a memory 210 , a processor 220 , and a communication interface unit 230 .
  • a memory 210 may be used to store data.
  • a processor 220 may be used to control the communication interface unit 230 .
  • a communication interface unit 230 may be used to communicate with other general-purpose components.
  • the description of the sensing device 100 may be applied as it is to the configuration of the same name of the monitoring device 200 even if the content is omitted below.
  • Each component of the block diagram of FIG. 3 may be separated, added, or omitted according to the implementation method of the monitoring device 200 . That is, one component may be subdivided into two or more components, two or more components may be combined into one component, or some components may be added or removed depending on the implementation method.
  • the memory 210 may store instructions executable by the processor 220 .
  • Memory 210 may store software or programs.
  • Processor 220 may execute instructions stored in memory 210 .
  • the processor 220 may perform overall control of the monitoring device 200 .
  • the processor 220 may obtain data and information received through the communication interface unit 230 and store the received data and information in a storage (not shown).
  • the processor 220 may process received information.
  • the processor 220 obtains information used to provide a monitoring service from data or information received from the sensing device 100, or performs a processing operation to manage the received data or information to store ( not shown).
  • the processor 220 transmits information to the manager terminal 300 through the communication interface unit 230 using data or information stored in a storage (not shown) as a response to a request received from the manager terminal 500. Information corresponding to the request may be transmitted.
  • the processor 220 may store progress or statistical data of the work site in storage, generate a report related to the work site, and communicate with an external device such as the manager terminal 500 through the communication interface unit 230. can be transmitted to the device.
  • the communication interface unit 230 may perform wired/wireless communication with other devices or networks.
  • the communication interface unit 230 may be connected to a device located outside the monitoring device 200 to transmit/receive signals or data.
  • the monitoring device 200 may communicate with the sensing device 100 through the communication interface unit 230 or may be connected to other servers connected through a network.
  • the storage may store various software and information necessary for the monitoring device 200 to use for controlling external devices or devices or to provide predetermined services.
  • the storage may store various data or information used for programs, applications, and predetermined services executed in the monitoring device 200 .
  • the processor 220 of one embodiment executes one or more instructions stored in the memory 210, so that the sensing device 100 for sensing a 3D space is sent to the work site through the communication interface unit 230.
  • a point cloud can be obtained.
  • the processor 220 converts the point cloud corresponding to the sensing area of each sensing device 100 together with identification information of each sensing device 100 into sensing data. can be obtained as
  • the processor 220 may track a truck and a tray mounted on the truck in an area of interest of a work site by using an object tracking model that takes the obtained point cloud as an input, and may obtain information about loads loaded on the tracked tray.
  • the object tracking model is composed of a combination of various neural network layers, and can infer the position and shape of an object.
  • An object tracking model according to an example may include a neural network model that tracks both the position and shape of a truck and the position and shape of a tray by taking a point cloud of a work site as an input.
  • An object tracking model is a first neural network model that tracks the location and shape of a truck by taking a point cloud for a work site as an input and tracking the location and shape of a tray by taking the location and shape of the tracked truck as an input It may include a second neural network model that does.
  • object tracking models can be learned by learning truck information and learning tray information, and can be learned in parallel with supervised learning for learning results.
  • the processor 220 may track the truck and the trays mounted on the truck, and calculate the load amount of the load based on the distribution of the load within the tray and the height of the load per unit position within the tray. In the case of a closed area in which the load cannot be detected in the tray due to the position of the sensing device 100, the position of the truck, or the structure of the tray, the processor 220 determines the closed area based on the information on the detection area of the load. By estimating the information, it is possible to calculate the loading amount corresponding to the closed area. For example, the processor 220 may calculate a load corresponding to the closed area by performing interpolation based on information on the surrounding area of the closed area covered by another object. For another example, when the type of load loaded in the closed area is identified, the processor 220 may calculate the load corresponding to the closed area according to a curved surface estimation method reflecting the physical properties of the material.
  • the monitoring device 200 may execute various functions by utilizing the obtained information on the tracked truck and the load loaded on the tray.
  • the processor 220 may control heavy equipment at a work site based on information about tracked trucks, trays, and loads.
  • a command for controlling the heavy equipment may be generated and transmitted to a processor that controls the operation of the heavy equipment.
  • commands for controlling the heavy equipment may be generated and transmitted to the heavy equipment through the communication interface 230 .
  • the processor 220 tracks the excavation area where the material is piled up in the region of interest, sets a point for the excavator to excavate based on the tracked excavation area, and loads the excavated material into the tray of the truck. can control.
  • the region of interest may be set based on the work range of the heavy equipment. For example, when the heavy equipment is an excavator, a region of interest may be set based on a reachable distance of a bucket of the excavator.
  • the processor 220 may determine whether the truck is overloaded based on tracked trucks and information about trays and loads. Whether or not the truck is overloaded can be determined based on the load amount of the load in the tray, that is, the volume information of the load, rather than simply determining whether the load on the tray exceeds a predetermined height. there is.
  • the processor 220 may control the heavy equipment to load the material into the truck, and then determine whether the truck is overloaded based on information about the load of the tray.
  • the processor 220 may control the heavy equipment to determine whether the truck is overloaded each time a repetitive task of loading materials into the truck after excavation is performed.
  • the processor 220 may terminate the repetitive operation of the heavy equipment immediately before reaching the overload criterion and transmit a transfer command to the truck.
  • FIG. 4 is a view for explaining an example showing trucks and trays tracked from a point cloud for a work site and loads loaded on the trays.
  • the monitoring device 200 uses a machine learning-based neural network model as an object tracking model to identify the object and classification, and object information may be acquired.
  • the monitoring device 200 may identify and classify trucks and trays from a point cloud for a work site using an object tracking model learned through learning based on truck information and tray information or supervised learning.
  • point clouds corresponding to the region of interest may be clustered to classify point clouds for each object.
  • Information on individual object regions corresponding to each object may be obtained by clustering the entire point cloud corresponding to the region of interest based on at least one of distance information, shape information, and distribution information.
  • the neural network-based object tracking model is not sufficiently trained or the object cannot be identified, the object information estimated by the neural network-based object classification model and the information about the object obtained from the individual object areas classified through clustering are integrated. Thus, it is possible to identify each object and obtain accurate information about the location or shape of the object.
  • the monitoring device 200 may track a truck and a tray mounted on the truck by using an object tracking model for a region of interest in a spatial information map generated based on a point cloud for a work site. If the trucks and trays are tracked, as shown in FIG. 4, bounding boxes corresponding to each of the trucks and trays can be displayed on the spatial information map, and the distribution and distribution of loads within the bounding boxes corresponding to the trays height can be checked.
  • 5 is a view for explaining a process of calculating the load amount of the load loaded on the tray of the truck.
  • the sensing device 100 detects a truck and a load loaded on a tray of the truck at a work site is illustrated.
  • the monitoring device 200 may acquire a point cloud for the work site from the sensing device 100 .
  • the monitoring device 200 may track a truck and a tray mounted on the truck by using an object tracking model that takes a point cloud of a work site as an input, and may obtain information on loads loaded on the tray. At this time, the monitoring device 200 may calculate the load amount of the load based on the distribution of the load in the tray and the height of the load for each unit position in the tray. The monitoring device 200 may measure the loading amount and the total loading amount for each unit location by considering the height of the bottom surface of the tray at each unit location.
  • FIG. 6 is a diagram for explaining a process of calculating a loading amount corresponding to a closed area in a tray of a truck.
  • the monitoring device 200 may calculate the load amount corresponding to the closed area by estimating information on the closed area based on the information on the load detection area.
  • the monitoring device 200 may perform interpolation based on information on the surrounding area of the closed area for the closed area or calculate the load corresponding to the closed area according to a curved surface estimation method reflecting the physical properties of the material. there is.
  • FIG. 7 is a diagram for explaining a process of controlling heavy equipment in a work site.
  • the sensing device 100 may be used to track the truck and tray, heavy equipment, excavation area, and the like.
  • the sensing device 100 may be installed in the infrastructure of a work site or mounted on heavy equipment.
  • the monitoring device 200 may obtain a point cloud for the work site from the sensing device 100 installed at the work site or installed on heavy equipment, and may set a region of interest based on the working range of the heavy equipment.
  • the monitoring device 200 may track a truck and a tray mounted on the truck in an area of interest of the work site, and control heavy equipment at the work site based on information about the load loaded on the tracked tray.
  • the monitoring device 200 tracks an excavation area where materials are piled up in the area of interest, sets a point for the excavator to excavate based on the tracked excavation area, and loads the excavated material into a tray of a truck. You can control heavy equipment.
  • the region of interest may be set based on a distance that the bucket of the excavator can reach.
  • FIG. 8 is a diagram for explaining a process of calculating an excavation area corresponding to a closed area in an excavation area.
  • the monitoring device 200 may track an excavation area corresponding to the closed area by estimating information on the closed area based on the information on the detection area of the material.
  • the monitoring device 200 may track the excavation area corresponding to the closed area by estimating the information on the closed area based on the information on the detection area of the material around the closed area.
  • the monitoring device 100 may be provided in the form of a cloud server or edge computer, or may be provided in a form mounted on the sensing device 100 or an external device.
  • the monitoring device 200 may obtain a point cloud for the work site from the sensing device 100 that senses the 3D space.
  • the monitoring device 200 may track a truck and a tray mounted on the truck in a region of interest of a work site by using an object tracking model that takes the obtained point cloud as an input.
  • An object tracking model according to an example may include a neural network model that tracks both the position and shape of a truck and the position and shape of a tray by taking a point cloud of a work site as an input.
  • An object tracking model according to another example is a first neural network model that tracks the location and shape of a truck by taking a point cloud for a work site as an input and tracking the location and shape of a tray by taking the location and shape of the tracked truck as an input It may include a second neural network model that does.
  • Such object tracking models can be learned by learning truck information and learning tray information, and can be learned in parallel with supervised learning for learning results.
  • the monitoring device 200 may obtain information about the load loaded on the tracked tray.
  • the monitoring device 200 may track the truck and the trays mounted on the truck, and calculate the load amount of the load based on the distribution of the load within the tray and the height of the load per unit position within the tray.
  • the processor 220 determines the closed area based on the information on the detection area of the load. By estimating the information, it is possible to calculate the loading amount corresponding to the closed area.
  • the monitoring device 200 may execute various functions based on the loading amount of the loaded object when information on the tracked truck and the load loaded on the tray is obtained. In this regard, an example will be described in FIGS. 10A and 10B below.
  • 10A is a detailed flowchart illustrating an example of a process for controlling heavy equipment in a work site.
  • the monitoring device 200 may control heavy equipment at the work site based on information about the tracked truck, tray, and load (S1010). For example, when the heavy equipment is an excavator, the monitoring device 200 may be interested in It is possible to track the excavation area where the material is piled up in the area, set the excavator's excavation point based on the tracked excavation area, and control the heavy equipment to load the excavated material into the truck's tray. In this case, the region of interest may be set based on the work range of the heavy equipment.
  • 10B is a detailed flow chart for explaining an example of a process for determining whether a truck is overloaded.
  • the monitoring device 200 may determine whether or not the truck is overloaded based on the tracked truck, tray, and load information (S1011). Based on the volume information of , it can be determined whether the truck is overloaded.
  • the monitoring device 200 may control the heavy equipment to load material into the truck, and then determine whether the truck is overloaded based on information about the loaded material in the tray.
  • the monitoring device 200 may control the heavy equipment to determine whether the truck is overloaded each time a repetitive task of loading materials into the truck after excavation is performed.
  • the monitoring device 200 may terminate the repetitive operation of the heavy equipment immediately before reaching the overload criterion and transmit a transfer command to the truck.
  • each of the above-described embodiments may be provided in the form of a computer program or application stored in a medium to execute predetermined steps for performing a method for monitoring a work site.
  • each of the above-described embodiments causes at least one processor of the monitoring device 200 to perform a method of monitoring a region of interest at a work site, a computer program stored in a medium, or It can be provided in the form of an application.
  • the above-described embodiments may be implemented in the form of a computer-readable storage medium storing instructions and data executable by a computer or processor. At least one of the instructions and data may be stored in the form of a program code, and when executed by a processor, a predetermined program module may be generated to perform a predetermined operation.
  • Such computer-readable storage media include read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs , DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, magnetic tapes, floppy disks, magneto-optical data storage devices, An optical data storage device, hard disk, solid-state disk (SSD), and may store instructions or software, related data, data files, and data structures, and may provide instructions or software to a processor or computer so that the processor or computer may execute the instructions. It may be any device capable of providing software, related data, data files, and data structures.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하고, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하고, 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 작업 현장을 모니터링하는 장치가 개시된다.

Description

작업 현장을 모니터링하는 방법 및 장치
작업 현장을 모니터링하는 방법 및 장치에 관한 것이다.
공사 현장, 채굴 현장 등과 같은 작업 현장(work site)에서는 굴착 작업이나 트럭을 이용하여 적재물을 이송하는 반복 작업이 많이 이루어진다. 작업 현장에서 소요되는 인부들의 인력비 절감과 안전을 위해, 이와 같은 반복 작업을 자동화하기 위해서는, 작업 현장을 빠르고 정확하게 센싱하는 기술이 필요하다.
라이다(Light Detection And Ranging, LiDAR) 기술과 같은 센싱 기술의 발전에 따라, 최근 다양한 산업 기술 분야에서 센싱 기술이 접목된 첨단 제어 기능들이 활용되고 있다. 라이다는 3차원 공간의 객체에 광을 방출한 후 반사된 광을 수신하여, 이로부터 3차원 공간에 대한 정보를 획득하는 기술이다.
작업 현장에서 트럭 및 트럭에 장착된 트레이를 추적하고, 트레이에 적재된 적재물에 대한 정보를 획득하는 작업 현장을 모니터링하는 방법 및 센싱 장치에 관한 것이다.
제1 측면에 따른 작업 현장을 모니터링하는 방법은, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계, 및 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계를 포함한다.
제2 측면에 따른 저장매체에 저장된 컴퓨터 프로그램은, 작업 현장을 모니터링하는 장치에서, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계, 및 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계를 포함하는 작업 현장을 모니터링하는 방법을 수행하도록 한다.
제3 측면에 따른 작업 현장을 모니터링하는 장치는, 통신 인터페이스 유닛, 인스트럭션들을 저장하는 메모리, 및 상기 인스트럭션들을 실행함으로써, 상기 통신 인터페이스 유닛을 통해, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하고, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하고, 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 프로세서를 포함한다.
도 1은 작업 현장에 설치된 센싱 장치 및 작업 현장을 모니터링하는 장치를 포함하는 작업 현장 모니터링 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 센싱 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 모니터링 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 4는 작업 현장에 대한 점군으로부터 추적된 트럭 및 트레이와 트레이에 적재된 적재물을 나타낸 일 예를 설명하기 위한 도면이다.
도 5는 트럭의 트레이에 적재된 적재물의 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 6은 트럭의 트레이에 내에서 폐쇄 영역에 대응되는 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 7은 작업 현장의 중장비를 제어하는 프로세스를 설명하기 위한 도면이다.
도 8은 굴착 영역에서 폐쇄 영역에 대응되는 굴착 영역을 산출하는 프로세스를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 작업 현장을 모니터링하는 방법을 설명하기 위한 흐름도이다.
도 10a은 작업 현장의 중장비를 제어하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
도 10b은 트럭의 과적 여부를 판정하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 작업 현장을 모니터링하는 방법 및 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 작업 현장에 설치된 센싱 장치(100) 및 작업 현장을 모니터링하는 장치(200)를 포함하는 작업 현장 모니터링 시스템을 설명하기 위한 도면이다.
센싱 장치(100)는 3차원 공간에 대한 센싱 데이터로 점군(point cloud data)을 획득할 수 있는 장치로서, 3차원 공간을 감지하는 3D 센서를 포함할 수 있다. 센싱 장치(100)는 3차원 공간에 광을 방출하고, 이에 대한 응답으로 수신된 광에 기초하여 3차원 공간에 대한 점군을 획득할 수 있다.
센싱 장치(100)는 3차원 공간을 감지하는 3D 센서로써 라이다(Light Detection and Ranging) 센서를 구비할 수 있으며, 체적형 점군(volumetric point cloud data)을 획득할 수 있다. 라이다 센서는 3차원 공간의 객체들의 컬러를 감지할 수 없으나, 형태, 크기, 위치를 감지할 수 있다. 3차원 공간에 대한 정보를 수집할 수 있는 다채널 라이다 센서는 객체의 위치와 형상, 체적 등을 활용할 수 있는 분야에 적합하다.
센싱 장치(100)는 작업 현장을 모니터링할 수 있는 곳에 설치될 수 있다. 공사 현장이나 광산과 같은 채굴 현장 등의 작업 현장을 모니터링하기 위해서는, 작업 현장 내에 적어도 하나의 센싱 장치(100)를 설치할 수 있다. 예를 들어, 센싱 장치(100)는 작업 현장의에 세워진 폴(pole)의 상단에 설치될 수 있다. 또는, 센싱 장치(100)는 작업 현장 내에 배치된 중장비에 장착될 수 있다. 도 1에 도시한 바와 같이, 센싱 장치(100)는 작업 현장에 배치된 중장비와 작업 영역을 모니터링할 수 있도록, 고정된 구조물과 같은 인프라에 적절한 높이와 각도로 설치될 수 있다.
센싱 장치(100)는 작업 현장 내에서 감지되는 다양한 종류의 객체를 추적할 수 있다. 센싱 장치(100)는 작업에 이용되는 중장비나 운반에 이용되는 트럭과 같은 객체들의 움직임을 추적할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 굴삭기와 같은 중장비가 굴착 영역을 굴착한 후 트럭의 트레이로 옮겨 싣는 공사 현장에서, 센싱 장치(100)는 트럭 및 트레이, 중장비, 굴착 영역 등을 추적할 수 있다.
센싱 장치(100)는 사물 인터넷(Internet of Things, IoT) 기술이 적용되어, 다른 외부 장치와 연결될 수 있다. 예를 들어, 센싱 장치(100)는 감지된 센싱 데이터를 작업 현장을 모니터링하는 장치(이하, 모니터링 장치라 한다)(200)에 전송할 수 있다.
모니터링 장치(200)는 적어도 하나의 센싱 장치(100)로부터 수신된 센싱 데이터 또는 정보를 이용하여, 작업 현장 모니터링 서비스를 제공할 수 있다. 작업 현장 모니터링 서비스는 작업 현장 내의 객체들을 확인하고, 작업의 자동화를 위한 서비스를 제공할 수 있다. 모니터링 장치(200)는 작업 현장 별로 작업 현장 모니터링 가상 머신을 두어, 각 작업 현장 별로 서비스를 제공할 수 있다. 모니터링 장치(200)는 상황 관리실이나 통제 센터의 장치일 수 있으며, 클라우드 컴퓨팅이나 엣지 컴퓨팅과 같은 기술로 구현될 수 있다.
도 1에서는 작업 현장 모니터링 시스템이 센싱 장치(100)와 별도의 독립적인 모니터링 장치(200)를 포함하는 형태로 구현되어 있으나, 센싱 장치(100)는 모니터링 장치(200)의 동작까지 수행할 수 있는 형태로 구현될 수 있다. 이 경우, 센싱 장치(100)가 관리자 단말(300)과 통신으로 연결될 수 있다.
또한, 모니터링 장치(200)는 센싱 장치(100)가 아닌 다른 외부 장치, 예를 들어, 작업 현장의 모니터링 결과를 활용할 수 있는 중장비와 같은 장치에 설치될 수도 있다. 예를 들어, 공사 현장의 중장비인 굴삭기의 외부에 센싱 장치(100)가 장착되어 있고, 모니터링 장치(200)는 굴삭기의 내부에 탑재되어 있을 수 있다.
관리자 단말(500)는 관리자 또는 감독관 같은 사용자가 이용하는 사용자 단말일 수 있다. 관리자 단말(500)은 센싱 장치(100)가 설치된 작업 현장의 작업 상황 관리를 위한 설정 정보를 모니터링 장치(200)에 등록하고, 모니터링 장치(200)로부터 작업 상황 관리와 관련된 알림이나 정보를 비롯한 각종 레포트를 수신할 수 있다.
이하, 작업 현장의 무인화 또는 자동화를 위해 작업 현장을 모니터링하는 방식에 대해 설명한다.
도 2는 일 실시예에 따른 센싱 장치(100)의 구성 및 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 센싱 장치(100)는 메모리(110), 프로세서(120), 센서부(130), 통신 인터페이스 유닛(140)을 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다.
프로세서(120)는 메모리(110)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(110)에 저장할 수 있다. 프로세서(120)는 메모리(110)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(120)는 센싱 장치(100)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 또한, 프로세서(120)는 외부로부터 수신한 컴퓨터 프로그램 또는 애플리케이션을 메모리(110)에 저장하고 실행시킬 수 있다. 프로세서(120)는 적어도 하나의 프로세싱 모듈을 실행하여, 소정의 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 작업 현장에 대응되는 공간을 감지하는 프로그램이나 작업 현장을 모니터링하는 프로그램을 실행하는 프로세싱 모듈을 실행 또는 제어할 수 있다. 프로세서(120)는 인스트럭션들 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 센싱 장치(100)에 포함된 다른 구성들을 제어할 수 있다.
센서부(130)는 3차원 공간을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(130)는 3차원 공간에 광을 방출하는 발광부와 광을 수신하는 수광부를 포함할 수 있으며, 수광부에 수신된 광의 세기에 기초하여 3차원 공간에 대한 점군을 획득하는 전용 프로세서를 더 포함할 수도 있다. 센서부(130)는 작업 현장 내의 객체를 추적할 수 있도록 작업 현장에 대한 점군을 획득할 수 있다.
센서부(130)는 라이다(Light Detection and Ranging) 센서일 수 있으며, 적어도 하나의 3차원 라이다 센서를 포함하여 소정의 범위의 작업 현장에 대한 센싱 데이터를 획득할 수 있다. 센서부(130)는 환경에 따라, 레이더(radar) 센서, 적외선 영상 센서, 초음파 센서, 이미지 센서 등과 같은 다양한 종류의 센서를 더 포함할 수도 있다. 예를 들어, 센서부(130)는 라이다 센서를 이용하여 작업 현장을 모니터링하다가, 관심 영역에서 이벤트가 발생하는 경우, 카메라와 같은 이미지 센서를 실행하여, 해당 이벤트가 발생한 관심 영역에 대한 추가 정보를 획득할 수 있다.
통신 인터페이스 유닛(140)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 유닛(140)은 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 인터페이스 유닛(140)은 RFID(Radio Frequency Identification), NFC(Near Field Communication), 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity)와 같은 근거리 통신, 4G, 5G 등과 같은 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈을 포함할 수 있다. 통신 인터페이스 유닛(140)은 동축 케이블이나 광케이블 등을 이용하는 유선 통신을 수행하는 통신 모듈을 포함할 수 있다.
통신 인터페이스 유닛(140)은 센싱 장치(100)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 센싱 장치(100)는 통신 인터페이스 유닛(140)을 통해 작업 현장에 대한 점군을 이용하여 기기의 제어에 활용하거나 모니터링 서비스를 제공하는 모니터링 장치(200)나 관리자 단말(500)과 연결될 수 있다.
센싱 장치(100)는 상기한 구성 외에, GPS와 같은 위치 센서를 더 포함할 수 있고, 센싱 장치(100)의 설치 환경에 따라 센싱 성능을 향상시키기 위한 구성들이 더 포함될 수 있다.
상기한 구성에 따른 일 실시예의 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 작업 현장에 대한 점군을 획득하고, 모니터링 장치(200)로 획득된 점군을 전송할 수 있다. 센싱 장치(100)는 작업 현장의 공간을 감지하고, 감지한 결과를 모니터링 장치(200)로 전송할 수 있다. 복수의 센싱 장치(100)들이 있는 경우, 모니터링 장치(200)는 각 센싱 장치(100)를 구별할 수 있으며, 복수의 센싱 장치(100)들 각각으로부터 각 센싱 장치(100)에서 획득된 점군을 수신할 수 있다.
상기한 구성에 따른 다른 실시예의 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 작업 현장에 대한 점군을 획득하고, 관심 영역 내의 객체를 추적할 수 있다. 이때, 관심 영역은 작업 현장 내의 객체를 검출하여 생성한 공간 정보 맵에 입력된 사용자 입력 정보나 작업 현장에 배치된 중장비의 작업 범위에 기초하여 소정의 영역으로 설정될 수 있다. 예를 들어, 프로세서(120)는 작업 현장에 대한 점군을 입력으로 하는 객체 추적 모델을 이용하여, 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적하고, 추적된 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 트레이에 적재된 적재물에 대한 정보는 적재량일 수 있다. 이와 같이 센싱 장치(100)가 모니터링 장치(200)의 동작까지 수행할 수 있는 경우, 센싱 장치(100)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다. 센신 장치(100)는 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 이에 대한 자세한 설명은 이하, 모니터링 장치(200)에 대한 설명으로 대신한다.
도 3은 일 실시예에 따른 모니터링 장치(200)의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 모니터링 장치(200)의 구성 및 동작을 설명하기 위한 도면이다. 모니터링 장치(200)는 컴퓨팅 디바이스, 오퍼레이터, 콘솔 장치 등으로 대체될 수 있다.
앞서 설명한 바와 같이, 센싱 장치(100)는 3차원 공간을 감지하는 3D 센서를 이용하여 작업 현장에 대한 점군을 획득하고, 작업 현장에서의 관심 영역의 객체를 검출 및 추적하여, 작업 현장을 모니터링할 수 있는 프로세서를 탑재할 수 있으나, 이에 한정되는 것은 아니다. 센싱 장치(100)에서 획득된 작업 현장에 대한 점군을 센싱 장치(100)가 모니터링 장치(200)에 전송하면, 모니터링 장치(200)가 작업 현장의 객체를 검출하고, 검출된 객체를 추적하는 일련의 프로세싱을 처리할 수 있다. 이와 같은 경우, 모니터링 장치(200)는 클라우드 컴퓨팅이나 엣지 컴퓨팅과 같은 기술로 구현될 수 있다. 또한, 모니터링 장치(200)는 작업 현장의 모니터링 결과를 활용할 수 있는 중장비와 같은 장치 내에 탑재 또는 설치될 수 있다. 모니터링 장치(200)는 센싱 장치(100)와 고속의 데이터 통신을 수행할 수 있다.
도 3을 참조하면, 모니터링 장치(200)는 메모리(210), 프로세서(220), 통신 인터페이스 유닛(230)을 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 앞서, 센싱 장치(100)에 대하여 설명한 내용은 이하 생략된 내용이라 하더라도, 모니터링 장치(200)의 동일한 명칭의 구성에 대해서 그대로 적용될 수 있다.
도 3의 블록도의 각 구성요소는 모니터링 장치(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(220)는 모니터링 장치(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스 유닛(230)을 통해 수신되는 데이터 및 정보를 획득하고, 수신되는 데이터 및 정보를 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 센싱 장치(100)로부터 수신되는 데이터 또는 정보로부터 모니터링 서비스를 제공하는데 이용되는 정보를 획득하거나, 수신되는 데이터 또는 정보들을 관리하기 위한 가공행위를 수행하여, 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 관리자 단말(500)로부터 수신된 요청 사항에 대한 응답으로써, 스토리지(미도시)에 저장된 데이터 또는 정보를 이용하여, 통신 인터페이스 유닛(230)을 통해 관리자 단말(300)에 요청 사항에 대응되는 정보를 전송할 수 있다. 예를 들어, 프로세서(220)는 작업 현장의 진행 상황이나 통계 자료 등을 스토리지에 저장할 수 있고, 작업 현장과 관련된 리포트를 생성하여, 통신 인터페이스 유닛(230)을 통해 관리자 단말(500)과 같은 외부 장치에 전송할 수 있다.
통신 인터페이스 유닛(230)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 통신 인터페이스 유닛(230)은 모니터링 장치(200)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 모니터링 장치(200)는 통신 인터페이스 유닛(230)을 통해 센싱 장치(100)와 통신을 수행하거나, 네트워크로 연결된 다른 서버와도 연결될 수 있다.
스토리지(미도시)는 모니터링 장치(200)가 외부 장치나 기기의 제어에 활용하거나 소정의 서비스를 제공하기 위해 필요한 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(미도시)는 모니터링 장치(200)에서 실행되는 프로그램, 애플리케이션, 및 소정의 서비스에 이용되는 각종 데이터 또는 정보를 저장할 수 있다.
상기한 구성에 따른 일 실시예의 프로세서(220)는 메모리(210)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 통신 인터페이스 유닛(230)을 통해, 3차원 공간을 감지하는 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득할 수 있다. 센싱 장치(100)가 복수 개인 경우, 프로세서(220)는 각 센싱 장치(100)로부터 각 센싱 장치(100)의 식별 정보와 함께, 각 센싱 장치(100)의 감지 영역에 대응되는 점군을 센싱 데이터로서 획득할 수 있다.
프로세서(220)는 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적하고, 추적된 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 객체 추적 모델은 다양한 신경망 레이어들의 조합으로 구성되어, 객체의 위치 및 형상을 추론할 수 있다. 일 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상과 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함할 수 있다. 다른 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 추적된 트럭의 위치 및 형상을 입력으로 하여, 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함할 수 있다. 이와 같은 객체 추적 모델들은 학습용 트럭 정보 및 학습용 트레이 정보에 의해 학습될 수 있고, 학습 결과에 대한 지도 학습을 병행하여 학습될 수 있다.
프로세서(220)는 트럭과 트럭에 장착된 트레이를 추적하여, 적재물의 트레이 내에서의 분포 및 트레이 내의 단위 위치별 적재물의 높이에 기초하여, 적재물의 적재량을 산출할 수 있다. 센싱 장치(100)의 위치나 트럭의 위치 또는 트레이의 구조로 인해, 트레이 내에서 적재물이 검출 불가한 폐쇄 영역의 경우, 프로세서(220)는 적재물의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 적재량을 산출할 수 있다. 예를 들어, 프로세서(220)는 다른 객체에 의해 가려진 폐쇄 영역에 대해서는 폐쇄 영역의 주변 영역에 대한 정보에 기초한 인터폴레이션을 수행하여 폐쇄 영역에 대응되는 적재량을 산출할 수 있다. 다른 예를 들어, 프로세서(220)는 폐쇄 영역에 적재된 적재물의 종류가 확인되는 경우, 해당 물질의 물리적 성질을 반영한 곡면 추정 방식에 따라 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
모니터링 장치(200)는 추적된 트럭 및 트레이에 적재된 적재물에 대한 정보가 획득되면, 이를 활용하여 여러가지 기능을 실행할 수 있다. 예를 들어, 프로세서(220)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다. 모니터링 장치(200)가 중장비에 탑재된 형태인 경우, 중장비를 제어하기 위한 커맨드를 생성하여, 중장비의 동작을 제어하는 프로세서로 전송할 수 있다. 모니터링 장치(200)가 중장비와 분리된 별도의 서버나 장치 형태인 경우, 중장비를 제어하기 위한 커맨트들 생성하여, 통신 인터페이스(230)를 통해 중장비에 전송할 수도 있다. 중장비가 굴삭기인 경우, 프로세서(220)는 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 추적된 굴착 영역에 기초하여 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 트럭의 트레이에 적재하도록 중장비를 제어할 수 있다. 이때, 관심 영역은 중장비의 작업 범위에 기초하여 설정될 수 있다. 예를 들어, 중장비가 굴삭기인 경우, 굴삭기의 버켓이 닿을 수 있는 거리에 기초하여, 관심 영역이 설정될 수 있다.
다른 예를 들어, 프로세서(220)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 단순히 트레이에 적재된 적재물이 소정의 높이를 초과하는 부분이 있는지에 따른 과적 여부를 판정하는 것이 아니라, 트레이 내의 적재물의 적재량 즉, 적재물의 부피 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다.
더 나아가, 프로세서(220)는 중장비를 제어하여 트럭에 자재를 실은 후, 트레이의 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 프로세서(220)는 중장비를 제어하여, 굴착 후 트럭에 자재를 실는 반복 작업을 진행할 때마다, 트럭이 과적인지 여부를 판정할 수 있다. 프로세서(220)는 과적의 기준에 도달하기 직전에 중장비의 반복 작업을 종료시키고, 트럭에 이송 명령을 전송할 수 있다.
도 4는 작업 현장에 대한 점군으로부터 추적된 트럭 및 트레이와 트레이에 적재된 적재물을 나타낸 일 예를 설명하기 위한 도면이다.
도 4를 참조하면, 작업 현장에 대한 점군에 기초하여 생성된 공간 정보 맵의 일 예를 나타내고 있다. 작업 현장에 대한 점군은 각 프레임 별로 또는 복수의 프레임들을 축적하여, 공간에서 감지된 객체에 대응되므로, 모니터링 장치(200)는 객체 추적 모델로서, 머신 러닝 기반의 신경망 모델을 이용하여, 객체를 식별 및 분류하고, 객체 정보를 획득할 수 있다. 예를 들어, 모니터링 장치(200)는 트럭 정보 및 트레이 정보에 기초한 학습 또는 지도 학습에 따라 학습된 객체 추적 모델을 이용하여, 작업 현장에 대한 점군으로부터 트럭 및 트레이를 식별 및 분류할 수 있다.
한편, 보다 정확한 객체 추적을 위해, 관심 영역에 대응되는 점군에 대해서, 트럭 및 트레이의 추적을 강화할 필요가 있다. 이를 위해, 관심 영역에 대응되는 점군을 클러스터링함으로써, 각 객체 별로 점군을 구분할 수 있다. 관심 영역에 대응되는 전체 점군을 거리 정보, 형상 정보, 분포 정보 중 적어도 하나에 기초하여 클러스터링함으로써, 각 객체에 대응되는 개별 객체 영역에 대한 정보가 획득될 수 있다. 신경망 기반의 객체 추적 모델이 충분히 학습되지 않았거나, 식별 불가한 객체의 경우, 신경망 기반의 객체 분류 모델이 추정한 객체의 정보와 클러스터링을 통해 구분된 개별 객체 영역으로부터 획득한 객체에 관한 정보를 통합하여, 각 객체를 식별하고, 객체의 위치나 형상 등에 관한 정확한 정보를 획득할 수 있다.
모니터링 장치(200)는 작업 현장에 대한 점군에 기초하여 생성되는 공간 정보 맵에서 관심 영역에 대해 객체 추적 모델을 이용하여 트럭과 트럭에 장착된 트레이를 추적할 수 있다. 트럭 및 트레이가 추적되면, 도 4에 도시된 바와 같이, 트럭 및 트레이 각각에 대응되는 바운딩 박스(bounding box)를 공간 정보 맵에 표시할 수 있으며, 트레이에 대응되는 바운딩 박스 내에서 적재물의 분포 및 높이를 확인할 수 있다.
도 5는 트럭의 트레이에 적재된 적재물의 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 5를 보면, 센싱 장치(100)가 작업 현장에서 트럭과 트럭의 트레이에 적재된 적재물을 감지하는 경우를 나타내고 있다. 이와 같은 경우, 모니터링 장치(200)는 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득할 수 있다.
모니터링 장치(200)는 작업 현장에 대한 점군을 입력으로 하는 객체 추적 모델을 이용하여, 트럭과 트럭에 장착된 트레이를 추적하고, 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 이때, 모니터링 장치(200)는 적재물의 트레이 내에서의 분포와 트레이 내의 단위 위치별 적재물의 높이에 기초하여, 적재물의 적재량을 산출할 수 있다. 모니터링 장치(200)는 각 단위 위치에서의 트레이 바닥면 높이를 고려하여, 각 단위 위치별 적재량 및 총 적재량을 측정할 수 있다.
도 6은 트럭의 트레이에 내에서 폐쇄 영역에 대응되는 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
앞서 살펴본 도 5와 달리, 센싱 장치(100)의 위치나 트럭의 위치 또는 트레이의 구조로 인해, 트레이 내에서 적재물이 검출 불가한 폐쇄 영역이 있을 수 있다. 모니터링 장치(200)는 적재물의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
도 6을 보면, 센싱 장치(100)와 트레이의 상대 위치에 따라, 적재물의 일부가 트레이에 의해 가려져, 트레이 내에 적재물이 검출 불가한 폐쇄 영역이 발생한 것을 알 수 있다. 이와 같은 경우, 모니터링 장치(200)는 폐쇄 영역에 대해서는 폐쇄 영역의 주변 영역에 대한 정보에 기초한 인터폴레이션을 수행하거나 해당 물질의 물리적 성질을 반영한 곡면 추정 방식에 따라 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
도 7은 작업 현장의 중장비를 제어하는 프로세스를 설명하기 위한 도면이다.
도 7을 보면, 굴삭기와 같은 중장비가 굴착 영역을 굴착한 후 트럭의 트레이로 옮겨 싣는 공사 현장에서, 센싱 장치(100)는 트럭 및 트레이, 중장비, 굴착 영역 등을 추적하는데 이용될 수 있다. 센싱 장치(100)는 작업 현장의 인프라에 설치되거나, 중장비에 장착된 형태일 수 있다.
모니터링 장치(200)는 작업 현장에 설치되었거나 중장비에 설치된 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득하고, 중장비의 작업 범위에 기초하여 관심 영역을 설정할 수 있다. 모니터링 장치(200)는 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적하고, 추적된 트레이에 적재된 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다.
중장비가 굴삭기인 경우,모니터링 장치(200)는 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 추적된 굴착 영역에 기초하여 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 트럭의 트레이에 적재하도록 중장비를 제어할 수 있다. 이때, 관심 영역은 굴삭기의 버켓이 닿을 수 있는 거리에 기초하여, 관심 영역이 설정될 수 있다.
도 8은 굴착 영역에서 폐쇄 영역에 대응되는 굴착 영역을 산출하는 프로세스를 설명하기 위한 도면이다.
앞서 살펴본 도 7과 달리, 센싱 장치(100)의 위치나 굴착 영역의 위치 또는 형상으로 인해, 굴착 영역에서 자재가 검출 불가한 폐쇄 영역이 있을 수 있다. 모니터링 장치(200)는 자재의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 굴착 영역을 추적할 수 있다.
도 8을 보면, 센싱 장치(100)와 굴착 영역의 상대 위치에 따라, 자재의 일부를 관측할 수 없게 되어, 굴착 영역에 자재가 검출 불가한 폐쇄 영역이 발생한 것을 알 수 있다. 이와 같은 경우, 모니터링 장치(200)는 폐쇄 영역의 주변의 자재의 검출 영역에 대한 정보에 기초하여, 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 굴착 영역을 추적할 수 있다.
도 9는 일 실시예에 따른 작업 현장을 모니터링하는 방법을 설명하기 위한 흐름도이다. 이상에서 모니터링 장치(200)에 대하여 설명한 내용과 중복되는 내용에 대해서는 이하 그 상세한 설명을 생략한다. 모니터링 장치(100)는 클라우드 서버나 엣지 컴퓨터의 형태로 제공될 수도 있고, 센싱 장치(100)나 외부 장치에 탑재된 형태로 제공될 수도 있다.
S910에서, 모니터링 장치(200)는 3차원 공간을 감지하는 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득할 수 있다.
S920에서, 모니터링 장치(200)는 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적할 수 있다. 일 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상과 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함할 수 있다. 다른 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 추적된 트럭의 위치 및 형상을 입력으로 하여, 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함할 수 있다. 이와 같은 객체 추적 모델들은 학습용 트럭 정보 및 학습용 트레이 정보에 의해 학습될 수 있고, 학습 결과에 대한 지도 학습을 병행하여 학습될 수 있다.
S930에서, 모니터링 장치(200)는 추적된 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 모니터링 장치(200)는 트럭과 트럭에 장착된 트레이를 추적하여, 적재물의 트레이 내에서의 분포 및 트레이 내의 단위 위치별 적재물의 높이에 기초하여, 적재물의 적재량을 산출할 수 있다. 센싱 장치(100)의 위치나 트럭의 위치 또는 트레이의 구조로 인해, 트레이 내에서 적재물이 검출 불가한 폐쇄 영역의 경우, 프로세서(220)는 적재물의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
모니터링 장치(200)는 추적된 트럭 및 트레이에 적재된 적재물에 대한 정보가 획득되면, 적재물의 적재량에 기초한 다양한 기능을 실행할 수 있다. 이와 관련하여, 이하 도 10a 및 도 10b에서 예를 들어 설명한다.
도 10a은 작업 현장의 중장비를 제어하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
모니터링 장치(200)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다.(S1010) 예를 들어, 중장비가 굴삭기인 경우, 모니터링 장치(200)는 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 추적된 굴착 영역에 기초하여 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 트럭의 트레이에 적재하도록 중장비를 제어할 수 있다. 이때, 관심 영역은 중장비의 작업 범위에 기초하여 설정될 수 있다.
도 10b은 트럭의 과적 여부를 판정하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
모니터링 장치(200)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다.(S1011) 모니터링 장치(200)는 트럭의 트레이 내의 적재물의 적재량 즉, 적재물의 부피 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다.
모니터링 장치(200)는 중장비를 제어하여 트럭에 자재를 실은 후, 트레이의 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 모니터링 장치(200)는 중장비를 제어하여, 굴착 후 트럭에 자재를 실는 반복 작업을 진행할 때마다, 트럭이 과적인지 여부를 판정할 수 있다. 모니터링 장치(200)는 과적의 기준에 도달하기 직전에 중장비의 반복 작업을 종료시키고, 트럭에 이송 명령을 전송할 수 있다.
상술한 실시예들 각각은 작업 현장을 모니터링하는 방법을 수행하는 소정의 단계들을 실행시키기 위하여, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 실시예들 각각은 모니터링 장치(200)의 적어도 하나의 프로세서로 하여금, 작업 현장에서의 관심 영역을 모니터링하는 방법을 수행하는 소정의 단계들을 수행하도록 하는, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다.
상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 인스트럭션 및 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 인스트럭션 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 인스트럭션 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 인스트럭션을 실행할 수 있도록 프로세서나 컴퓨터에 인스트럭션 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계;
    상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계; 및
    상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계;
    를 포함하는, 작업 현장을 모니터링하는 방법.
  2. 제1 항에 있어서,
    상기 적재물에 대한 정보를 획득하는 단계는,
    상기 적재물의 상기 트레이 내에서의 분포 및 상기 트레이 내의 단위 위치별 상기 적재물의 높이에 기초하여, 상기 적재물의 적재량을 산출하는 단계를 포함하는, 작업 현장을 모니터링하는 방법.
  3. 제2 항에 있어서,
    상기 적재물에 대한 정보를 획득하는 단계는,
    상기 트레이 내에서 상기 적재물이 검출 불가한 폐쇄 영역(occlusion region)의 경우, 상기 적재물의 검출 영역에 대한 정보에 기초하여 상기 폐쇄 영역에 대한 정보를 추정하여, 상기 폐쇄 영역에 대응되는 적재량을 산출하는 단계를 더 포함하는, 작업 현장을 모니터링하는 방법.
  4. 제1 항에 있어서,
    상기 추적된 트럭 및 트레이와 상기 획득된 적재물에 대한 정보에 기초하여, 상기 작업 현장의 중장비를 제어하는 단계를 더 포함하는, 작업 현장을 모니터링하는 방법.
  5. 제4 항에 있어서,
    상기 중장비가 굴삭기인 경우, 상기 관심 영역에서 자재가 쌓인 굴착 영역을 추적하는 단계를 더 포함하고,
    상기 중장비를 제어하는 단계는,
    상기 추적된 굴착 영역에 기초하여 상기 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 상기 트레이에 적재하도록 상기 중장비를 제어하는, 작업 현장을 모니터링하는 방법.
  6. 제4 항에 있어서,
    상기 점군을 획득하는 단계는,
    상기 중장비에 장착된 상기 센싱 장치로부터 상기 작업 현장에 대한 점군을 획득하고,
    상기 관심 영역은 상기 중장비의 작업 범위에 기초하여 설정되는, 작업 현장을 모니터링하는 방법.
  7. 제1 항에 있어서,
    상기 적재물의 적재량에 대한 정보에 기초하여, 상기 트럭이 과적인지 여부를 판정하는 단계를 더 포함하는, 작업 현장을 모니터링하는 방법.
  8. 제1 항에 있어서,
    상기 객체 추적 모델은,
    상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상과 상기 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함하는, 작업 현장을 모니터링하는 방법.
  9. 제1 항에 있어서,
    상기 객체 추적 모델은,
    상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 상기 추적된 트럭의 위치 및 형상을 입력으로 하여, 상기 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함하는, 작업 현장을 모니터링하는 방법.
  10. 작업 현장을 모니터링하는 장치에서,
    3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계;
    상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계; 및
    상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계;
    를 포함하는 작업 현장을 모니터링하는 방법을 수행하도록 하는, 저장매체에 저장된 컴퓨터 프로그램.
  11. 통신 인터페이스 유닛;
    인스트럭션들을 저장하는 메모리; 및
    상기 인스트럭션들을 실행함으로써, 상기 통신 인터페이스 유닛을 통해, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하고, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하고, 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 프로세서;
    를 포함하는, 작업 현장을 모니터링하는 장치.
  12. 제11 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    상기 적재물의 상기 트레이 내에서의 분포 및 상기 트레이 내의 단위 위치별 상기 적재물의 높이에 기초하여, 상기 적재물의 적재량을 산출하는, 작업 현장을 모니터링하는 장치.
  13. 제12 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    상기 트레이 내에서 상기 적재물이 검출 불가한 폐쇄 영역의 경우, 상기 적재물의 검출 영역에 대한 정보에 기초하여 상기 폐쇄 영역에 대한 정보를 추정하여, 상기 폐쇄 영역에 대응되는 적재량을 산출하는, 작업 현장을 모니터링하는 장치.
  14. 제11 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    상기 추적된 트럭 및 트레이와 상기 획득된 적재물에 대한 정보에 기초하여, 상기 작업 현장의 중장비를 제어하는, 작업 현장을 모니터링하는 장치.
  15. 제14 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    상기 중장비가 굴삭기인 경우, 상기 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 상기 추적된 굴착 영역에 기초하여 상기 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 상기 트레이에 적재하도록 상기 중장비를 제어하는, 작업 현장을 모니터링하는 장치.
  16. 제14 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    상기 통신 인터페이스 유닛을 통해, 상기 중장비에 장착된 센싱 장치로부터 상기 작업 현장에 대한 점군을 획득하고,
    상기 중장비의 작업 범위에 기초하여 상기 관심 영역을 설정하는, 작업 현장을 모니터링하는 장치.
  17. 제11 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    상기 적재물의 적재량에 대한 정보에 기초하여, 상기 트럭이 과적인지 여부를 판정하는, 작업 현장을 모니터링하는 장치.
  18. 제11 항에 있어서,
    상기 객체 추적 모델은,
    상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상과 상기 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함하는, 작업 현장을 모니터링하는 장치.
  19. 제11 항에 있어서,
    상기 객체 추적 모델은,
    상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 상기 추적된 트럭의 위치 및 형상을 입력으로 하여, 상기 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함하는, 작업 현장을 모니터링하는 장치.
  20. 제11 항에 있어서,
    상기 객체 추적 모델은,
    학습용 트럭 정보 및 학습용 트레이 정보에 의해 학습되고, 상기 학습 결과에 대한 지도 학습을 병행하여 학습된 것인, 작업 현장을 모니터링하는 장치.
PCT/KR2022/021706 2022-01-05 2022-12-30 작업 현장을 모니터링하는 방법 및 장치 WO2023132570A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0001637 2022-01-05
KR1020220001637A KR20230105967A (ko) 2022-01-05 2022-01-05 작업 현장을 모니터링하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023132570A1 true WO2023132570A1 (ko) 2023-07-13

Family

ID=87073841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021706 WO2023132570A1 (ko) 2022-01-05 2022-12-30 작업 현장을 모니터링하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20230105967A (ko)
WO (1) WO2023132570A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110110648A (ko) * 2010-04-01 2011-10-07 한양대학교 산학협력단 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법
KR20120004132A (ko) * 2010-07-06 2012-01-12 전자부품연구원 굴삭기 자동화 시스템 및 그 통합 관리 방법
KR102021716B1 (ko) * 2019-01-16 2019-09-16 정흥원 지능형 토사 정보 자동 처리시스템
KR20190111585A (ko) * 2018-03-23 2019-10-02 연세대학교 산학협력단 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법
WO2020255714A1 (ja) * 2019-06-18 2020-12-24 日本電気株式会社 掘削システム、作業システム、制御装置、制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体
KR20210110671A (ko) * 2019-02-01 2021-09-08 가부시키가이샤 고마쓰 세이사쿠쇼 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110110648A (ko) * 2010-04-01 2011-10-07 한양대학교 산학협력단 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법
KR20120004132A (ko) * 2010-07-06 2012-01-12 전자부품연구원 굴삭기 자동화 시스템 및 그 통합 관리 방법
KR20190111585A (ko) * 2018-03-23 2019-10-02 연세대학교 산학협력단 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법
KR102021716B1 (ko) * 2019-01-16 2019-09-16 정흥원 지능형 토사 정보 자동 처리시스템
KR20210110671A (ko) * 2019-02-01 2021-09-08 가부시키가이샤 고마쓰 세이사쿠쇼 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트
WO2020255714A1 (ja) * 2019-06-18 2020-12-24 日本電気株式会社 掘削システム、作業システム、制御装置、制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
KR20230105967A (ko) 2023-07-12

Similar Documents

Publication Publication Date Title
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2023027421A1 (ko) 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
US11479416B2 (en) Inspection system
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2016032068A1 (ko) 이상 조기 감지 장치 및 방법
WO2021060778A1 (ko) 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법
KR101239532B1 (ko) 로봇의 위치 인식 장치 및 방법
US10675659B2 (en) Instruction projecting device, package sorting system and instruction projecting method
WO2017150781A1 (ko) 스마트기기 간의 협업 방법 및 클라우드 서버
WO2021162205A1 (ko) 충돌 사고 방지 방법, 장치, 서버, 및 컴퓨터 프로그램
WO2018143571A1 (ko) 무선 통신 시스템에서 객체를 관리하는 방법 및 장치
CN108460051A (zh) 车位地图生成方法、装置及系统
WO2024140083A1 (zh) 装载率测量方法、装置、设备及介质
WO2015099249A1 (ko) 의료 영상의 병변 유사도 판단 장치 및 방법
WO2023132570A1 (ko) 작업 현장을 모니터링하는 방법 및 장치
CN106211045A (zh) 公交站台客流检测系统及方法
WO2021060599A1 (ko) 레인을 검출하는 차량 및 방법
JP2021093146A (ja) 転倒検知及び支援
CN110516511A (zh) 用于处理信息的方法和装置
WO2023027419A1 (ko) 센싱 장치의 설치 이상을 감지하는 방법 및 이를 수행하는 센싱 장치
WO2023027422A1 (ko) 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치
CN113093751B (zh) 一种机器人等电梯的位置控制方法、装置及存储介质
WO2023027420A1 (ko) 3차원 공간에 대한 점군을 정합하는 방법 및 서버
WO2023200075A1 (ko) 객체 추적 장치, 객체 추적 방법 및 이를 수행하는 프로그램을 기록한 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22919107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE