WO2021206209A1 - 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템 - Google Patents

스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템 Download PDF

Info

Publication number
WO2021206209A1
WO2021206209A1 PCT/KR2020/005945 KR2020005945W WO2021206209A1 WO 2021206209 A1 WO2021206209 A1 WO 2021206209A1 KR 2020005945 W KR2020005945 W KR 2020005945W WO 2021206209 A1 WO2021206209 A1 WO 2021206209A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
factory
location
facility
image information
Prior art date
Application number
PCT/KR2020/005945
Other languages
English (en)
French (fr)
Inventor
이승호
김재형
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Publication of WO2021206209A1 publication Critical patent/WO2021206209A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a markerless-based AR implementation method and system for building a smart factory.
  • the location of a worker is measured without separate equipment or markers based on a 3D map, and the measured location of the worker is It relates to a markerless-based AR implementation method and system for building a smart factory that provides information of the corresponding equipment through an AR device.
  • HMI Human Machine Interface
  • the HMI system in the conventional factory system using the HMI system, the HMI system is built in a separate designated space (computer room/control room), so field workers in the factory carry out production work and at the same time provide information about facilities, sensors, and production robots. Since it is impossible to know the status in real time, the HMI system administrator must reside. In addition, due to these spatial constraints, additional communication equipment is required for periodic communication between the HMI manager and field workers.
  • the old factory has a problem that the drawings and actual internal structures are different, and the conventional HMI system requires a marker, a GPS, an AP, and a separate device such as a beacon.
  • the drawings and the actual factory internal structure are different from the old factory, so it is difficult to accurately locate the facilities in the factory and to check efficiently.
  • the conventional HMI system must use additional equipment such as markers, GPS, AP and beacons to find the user's location.
  • the marker must be recognized in the field of view to enable interaction such as information display, and there is a problem in that it is difficult to apply the marker to a place where it is difficult to attach the marker.
  • the GPS, AP, and beacon have a problem in that they are greatly affected by distance and obstacles.
  • the technical problem to be achieved by the present invention is to solve the disadvantages of the prior art, and the purpose of the present invention is to enable field workers of the HMI system to grasp the state information of the sensors in real time.
  • the purpose is to enable tracking of the current location of field workers without the need for additional equipment to build a smart factory.
  • a markerless-based AR implementation method for building a smart factory for achieving this technical task is to transmit and receive data to and from an analog sensor or digital sensor of a factory facility, and the analog sensor or digital sensor and PLC In order to link the system (S10) and to connect the PLC system with an AR (Augmented Reality) device to the PLC system (S20) and to three-dimensionally extract the factory facilities and locate the facilities and constructing a 3D map (S30).
  • step (S40) of measuring the image information of the factory facility in the AR device and transmitting it to the AR interface system, extracting feature points based on the image information input from the AR device in the AR interface system, and a 3D map built in advance Comprising the steps of extracting the location information of the worker compared with the feature points of (S50) and displaying and providing information of the facility corresponding to the extracted location of the worker on the AR device (S60).
  • the markerless-based AR implementation system for building a smart factory includes a PLC system, an AR interface system, and an AR device.
  • the PLC system transmits and receives data by interworking with an analog sensor or a digital sensor and an AR device of a factory facility, and controls the operations of the analog sensor, the digital sensor, and the AR device.
  • the AR interface system three-dimensionally extracts factory facilities and constructs a 3D map to identify the location of the facility, extracts feature points based on image information input from the AR device, and builds the extracted feature points on a 3D map in advance By comparing with the feature points of , the location information of the operator is extracted.
  • the AR device measures the image information of the factory facility and transmits it to the AR interface system, and displays and provides information on the facility corresponding to the location of the worker extracted under the control of the AR interface system.
  • the AR interface system may include an image information measurement unit, a feature point extraction unit, a learning unit, a determination unit, a communication unit, a control unit, and a database.
  • the image information measurement unit measures 2D RGB image information and depth information of the factory facility using an imaging device.
  • the feature point extraction unit extracts the factory facilities three-dimensionally and extracts the 3D map using the 2D RGB image information and the depth information measured by the image information measurement unit to determine the location of the facility.
  • the learning unit learns and classifies the distribution image of the key point based on the 3D map generated by the key point extraction unit.
  • the determination unit extracts the location information of the operator by comparing the feature points extracted based on the image information input from the AR device with the feature points of the 3D map previously built based on the image information input from the image information measuring unit.
  • the control unit controls the PLC system by interworking with the AR device, and displays and provides information on the facility corresponding to the location of the worker extracted based on the image information of the factory facility input from the AR device on the AR device.
  • the markerless-based AR implementation method and system for building a smart factory utilizes a PLC system and AR device that collects sensor status information in a conventional HMI system to enable field workers to perform real-time It has the effect of grasping the state information of the sensor.
  • field workers can track the current location of the worker only with an AR device without the need for additional equipment, and check and control the real-time status information of the facility corresponding to the location. have.
  • FIG. 1 is a conceptual diagram illustrating a markerless-based AR implementation system for building a smart factory according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a markerless-based AR implementation system for building a smart factory according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a markerless-based AR implementation system for building a smart factory according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an input/output interworking process between an analog sensor and a PLC system according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an input/output interworking process between a digital sensor and a PLC system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an interworking process between a sensor module and a PLC system according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a markerless-based AR implementation method for building a smart factory according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a markerless-based AR implementation method for building a smart factory according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a wired/wireless network communication method according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method for detecting and restoring a network connection state according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a process of constructing a 3D map according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating in detail the step (S30) of constructing a 3D map.
  • FIG. 13 is a flowchart illustrating a depth information extraction process according to an embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating a process of generating a 3D point cloud according to an embodiment of the present invention.
  • 15 is a diagram illustrating a world coordinate transformation process according to an embodiment of the present invention.
  • 16 is a diagram illustrating a matching process of 2D feature points according to an embodiment of the present invention.
  • 17A, 17B, and 17C are diagrams illustrating a method for measuring depth information according to an embodiment of the present invention.
  • 18A and 18B are diagrams illustrating a 3D point cloud generation method according to an embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a process of integrating point clouds according to an embodiment of the present invention.
  • 20A and 20B are diagrams illustrating a 3D feature point matching method according to an embodiment of the present invention.
  • 21 is a diagram illustrating a 3D map of a factory facility generated according to an embodiment of the present invention.
  • 22A and 22B are diagrams illustrating a refinement operation according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a database according to an embodiment of the present invention.
  • FIG. 24 is a diagram illustrating a process of constructing a learning database according to an embodiment of the present invention.
  • 25 is a diagram illustrating a learning process of a feature point distribution image according to an embodiment of the present invention.
  • 26 is a diagram illustrating a feature point extraction process according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating a process of extracting a location of a local patch according to an embodiment of the present invention.
  • 28A and 28B are diagrams for measuring the position of an operator based on a local patch according to an embodiment of the present invention.
  • 29 is a diagram illustrating interworking of an AR interface system according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a markerless-based AR implementation system 10 for building a smart factory according to an embodiment of the present invention
  • FIG. 2 is a markerless-based AR for building a smart factory according to an embodiment of the present invention
  • It is a block diagram showing the implementation system 10
  • FIG. 3 is a block diagram showing the markerless-based AR implementation system 10 for building a smart factory according to an embodiment of the present invention.
  • the conventional factory system requires a separate HMI system and an HMI manager as shown in the right drawing of FIG.
  • additional communication equipment between the HMI manager and field workers is required.
  • the markerless-based AR implementation method and system 10 for building a smart factory is a separate HMI system and an HMI manager or a separate equipment and a location of a worker without a marker for the construction of a smart factory. It is possible to measure and provide information on the equipment corresponding to the measured position of the operator.
  • the markerless-based AR implementation system 10 for building a smart factory may include a PLC system 100 , an AR interface system 200 , and an AR device 300 .
  • PLC system 100 includes PLC AI module 110, PLC DI module 120, AD converter 130, DA converter 140, PLC internal memory 150, PLC AO module 160, PLC DO module ( 170) and a memory 180 for PLC communication.
  • the PLC system 100 may control the operation of the sensor module 410 of the factory facility 400 by interworking with the sensor module 410 of the factory facility 400 .
  • the sensor module 410 may include an analog sensor 411 and a digital sensor 412 . That is, the PLC system 100 may receive data from various analog sensors 411 or digital sensors 412 . In addition, the PLC system 100 may send a control command to the sensor module 410 of the factory facility 400 or the like, if necessary.
  • the data of the analog sensor 411 is difficult when directly connected to the server computer without an AD converter built into the PLC (Programmable Logic Controller) system 100, so that the primary data collection and control commands are sent to the sensor module 410.
  • the unloading PLC system 100 is absolutely necessary. Therefore, it is preferable to link input/output data of various analog sensors 411 or digital sensors 412 with the PLC system 100 .
  • FIG. 4 is a diagram illustrating an input/output interworking process between the analog sensor 411 and the PLC system 100 according to an embodiment of the present invention
  • FIG. 5 is a digital sensor 412 and the PLC system 100 according to an embodiment of the present invention.
  • ) is a diagram showing an input/output interworking process
  • FIG. 6 is a diagram showing an interworking process between the sensor module 410 and the PLC system 100 according to an embodiment of the present invention.
  • the signal sent from the sensor 411 is transmitted through the PLC AI module 110 to the AD converter 130 . After being converted into a digital signal by using, it is stored in the PLC internal memory 150 .
  • the PLC AI module 110, the PLC AO module 160, the PLC DI module 120, the PLC DO module 170 and the PLC connected to the sensor It is connected through the address mapping of the internal memory 150 .
  • a memory 180 for PLC communication for transmitting/receiving state values and control information data is allocated using the AR interface system 200 and the network.
  • PLC logic can be designed and applied.
  • the AR interface system 200 includes an image information measurement unit 210 , a feature point extraction unit 220 , a learning unit 230 , a determination unit 240 , a communication unit 250 , a control unit 260 , and a database 270 . can do.
  • the image information measurement unit 210 may measure 2D RGB image information and depth information of the factory facility 400 using the imaging device 211 .
  • the imaging device 211 may include a 3D scanner or a stereo camera.
  • the feature point extraction unit 220 extracts the 3D map by using the 2D RGB image information and the depth information measured by the image information measurement unit 210 to three-dimensionally extract the factory facility 400 and determine the location of the facility. 3D map may be built in the database 270 . In addition, the feature point extraction unit 220 may extract the feature points required to find the current location of the operator without a marker from the 3D map to build the data for learning in the database 270 .
  • the key point extraction unit 220 may include a 3D point cloud module 221 , a key point extraction module 222 , a coordinate system transformation module 223 , and a refinement module 224 .
  • the 3D point cloud module 221 generates a 3D point cloud by combining the 2D RGB image information and the depth information.
  • the key point extraction module 222 extracts key points from the image information measured by the image information measurement unit 210 and the image information input from the AR device 300 through a key point extraction algorithm such as SIFT and FAST.
  • the coordinate system conversion module 223 calculates the interrelationship between the 3D point cloud coordinates in order to understand the relative positional relationship between the 3D point clouds and converts the 3D point cloud coordinates into the world coordinate system.
  • the coordinate system transformation module 223 calculates the position information of the coordinates by matching the feature points extracted by the feature point extraction module 222 with the 3D point cloud, and converts the feature points for various angles into a single world coordinate to a 3D map can create
  • the refinement module 224 performs a refinement operation based on the generated 3D map. That is, the refinement module 224 performs an operation of separating an object and a background based on the generated 3D map, and a correction operation of a loss part filling a shadow area and a hole area.
  • the learning unit 230 learns and classifies the distribution image of the key points based on the 3D map generated by the key point extraction unit 220 . That is, the learning unit 230 divides the overall feature point distribution image into regional patches of a certain size by utilizing the feature points of the facilities constructed as a 3D map, and labels the divided feature point distribution image according to each location to the learning database 270 ) to build In addition, the feature point distribution image constructed by labeling is learned using a Convolution Neural Network (CNN) or deep learning.
  • CNN Convolution Neural Network
  • the determination unit 240 compares the feature points extracted based on the image information input from the AR device 300 with the feature points of the 3D map previously built based on the image information input from the image information measurement unit 210 to compare the worker extract the location information of
  • the determination unit 240 may determine the position of the operator by comparing the distribution of feature points extracted from the image input through the AR device 300 with the learning database 270 . In addition, the determination unit 240 may determine the relative distance between the worker and the facility 400 by comparing the size of the local patch with the same label as the learning database 270 .
  • the communication unit 250 may connect the PLC system 100 and the AR device 300 to the AR interface system 200 using wired/wireless network communication.
  • the controller 260 may control the PLC system 100 by interworking with the AR device 300 . That is, the control unit 260 controls the analog sensor 411 and the digital sensor 412 of the factory facility 400 through the PLC system 100 , and image information of the factory facility 400 input from the AR device 300 . Based on the extracted information on the facility corresponding to the location of the worker may be displayed and provided on the AR device 300 .
  • the database 270 stores 2D RGB image information and depth information of the factory facility 400 measured by the image information measurement unit 210 .
  • the database 270 stores the learning database 270 generated by the learning unit 230 .
  • the AR device 300 measures the image information of the factory facility 400 and transmits it to the AR interface system 200 .
  • the AR device 300 may display and provide information on the facility corresponding to the location of the worker extracted based on the image information of the factory facility 400 under the control of the controller 260 .
  • FIG. 7 is a conceptual diagram illustrating a markerless-based AR implementation method for smart factory construction according to an embodiment of the present invention
  • FIG. 8 is a markerless-based AR implementation method for smart factory construction according to an embodiment of the present invention. It is a flowchart showing
  • the markerless-based AR implementation method for building a smart factory is an analog sensor 411 to transmit and receive data to and from the analog sensor 411 or digital sensor 412 of the factory facility 400 .
  • the step (S10) of interworking the digital sensor 412 and the PLC system 100, and the PLC system 100 and the AR device 300 to connect to the PLC system 100 with an AR (Augmented Reality) device 300 may include a step (S20) of interlocking.
  • FIG. 9 is a flowchart illustrating a wired/wireless network communication method according to an embodiment of the present invention
  • FIG. 10 is a flowchart illustrating a method for detecting and restoring a network connection state according to an embodiment of the present invention.
  • FIGS. 9 and 10 are flowcharts illustrating a wired/wireless network communication method for interworking between the PLC system 100 and the AR device 300 , and a method for detecting and restoring a network connection state.
  • an administrator monitors sensor data and network connection status in a designated space to communicate with field workers. In this way, the system administrator must always be present, and additional communication equipment is required for periodic communication with field workers.
  • the markerless-based AR implementation method and system 10 for building a smart factory is an AR device 300 worn by field workers in order to overcome these disadvantages according to the selection of the operator or the system.
  • sensor data may be stored and updated in a database through wired/wireless network connection technology, and the collected sensor data may be analyzed for each sensor.
  • the network connection when the network connection is disconnected while the system is operating, it can be automatically detected and the connection can be restored. That is, the network connection status is detected through a preset pooling method, and when it is determined that the network connection is disconnected, reconnection is attempted every preset connection time (for example, 3 seconds), and the preset number of connections (for example, For example, if reconnection fails for 5 times), a notification or warning message can be sent.
  • a preset pooling method when it is determined that the network connection is disconnected, reconnection is attempted every preset connection time (for example, 3 seconds), and the preset number of connections (for example, For example, if reconnection fails for 5 times), a notification or warning message can be sent.
  • a database 270 for interworking between the PLC system 100 and the AR device 300 is established to extract necessary sensor data, and an AR interface system for interworking between the PLC system 100 and the AR device 300 ( 200 ), information of the sensor 410 may be transmitted to the AR device 300 .
  • the markerless-based AR implementation method for building a smart factory comprises the steps of extracting the factory facility 400 three-dimensionally and constructing a 3D map to determine the location of the facility (S30);
  • the device 300 may include measuring the image information of the factory facility 400 and transmitting it to the AR interface system 200 ( S40 ).
  • the markerless-based AR implementation method for building a smart factory constructs learning data by extracting feature points necessary for finding the current location of a worker without a marker from a 3D map.
  • the facility 400 in the factory is created as a three-dimensional map, the facility 400 is three-dimensionally reviewed by using it, and it is possible to accurately identify the location of the facility and to perform an efficient inspection.
  • FIG. 11 is a diagram illustrating a process of constructing a 3D map according to an embodiment of the present invention
  • FIG. 12 is a flowchart illustrating in detail the step ( S30 ) of constructing the 3D map of FIG. 8
  • 13 is a flowchart illustrating a depth information extraction process according to an embodiment of the present invention
  • FIG. 14 is a flowchart illustrating a 3D point cloud generation process according to an embodiment of the present invention.
  • the database 270 may be constructed by extracting feature points necessary for finding the current location of a worker without a marker from the 3D map.
  • the facility 400 is photographed using an imaging device 211 such as a camera, and a 3D map is generated based on 2D image information and depth information of the photographed image to review the facility 400 three-dimensionally. It is possible to do In addition, it is possible to identify the exact location of the facility, and provide related information of the facility based on the identified location information to perform an efficient inspection.
  • an imaging device 211 such as a camera
  • the step (S30) of building the 3D map includes the step (S31) of measuring 2D RGB image information and depth information using the imaging device 211, and combining the 2D RGB image information and depth information. It may include generating a 3D point cloud (S32).
  • the imaging device 211 may be a 3D scanner or a stereo camera.
  • a 3D map in order to construct a 3D map, as shown in FIG. 13 , first, 2D RGB image information and depth information are measured using an imaging device 211 such as a 3D scanner or a stereo camera.
  • an imaging device 211 such as a 3D scanner or a stereo camera.
  • a 3D point cloud is generated by combining a 2D image captured using the imaging device 211 and depth information.
  • the step of constructing the 3D map (S30) is a step of converting the 3D point cloud (3D point cloud) to a world coordinate system by calculating the interrelationship of each 3D point cloud coordinates in order to understand the relative positional relationship between each other (S33) ), extracting a feature point from the image information through a feature point extraction algorithm, matching the feature point with a 3D point cloud to calculate location information of the corresponding coordinate (S34), and converting feature points for various angles into one world coordinate and generating a 3D map ( S35 ).
  • the feature point extraction algorithm may be SIFT, FAST, or the like.
  • FIG. 15 is a diagram illustrating a world coordinate transformation process according to an embodiment of the present invention
  • FIG. 16 is a diagram illustrating a matching process of 2D feature points according to an embodiment of the present invention. That is, the diagram on the left of FIG. 15 is a diagram illustrating a graph before the world coordinate change, and the diagram on the right side of FIG. 15 is a diagram illustrating a graph after the world coordinate change.
  • a relative positional relationship between each other can be grasped by generating a world coordinate system as a reference, calculating the mutual relationship of each 3D point cloud coordinate, and converting it into a world coordinate system.
  • a relative positional relationship between the cameras can be grasped by generating a world coordinate system as a reference, calculating the mutual relationship of each 3D point cloud coordinate, and converting it into a world coordinate system.
  • FIG. 16 is a diagram illustrating a process of matching 2D feature points with respect to images (photos) of different angles. As shown in FIG. 16 , feature points for different angles may be extracted, respectively, and a correlation between the feature points may be calculated by matching the extracted feature points.
  • FIGS. 17A, 17B, and 17C are diagrams illustrating a method for measuring depth information according to an embodiment of the present invention. That is, FIGS. 17A, 17B, and 17C illustrate a process of generating depth information for images (pictures) of different angles. As shown in FIG. 17A , feature points may be matched with respect to images of different angles, and each matched feature point may be extracted.
  • depth information may be generated using the feature point matching result and camera parameters.
  • 17B illustrates a method of measuring depth information using a feature point matching result and a camera parameter.
  • distance or depth information between a camera and an object may be measured using Equation 1 below based on images of different angles (eg, a left-eye image and a right-eye image).
  • depth information may be generated based on an image input through the stereo camera and an overlapping image captured through the stereo camera.
  • FIGS. 18A and 18B are diagrams illustrating a 3D point cloud generation method according to an embodiment of the present invention
  • FIG. 19 is a diagram illustrating a process of integrating point clouds according to an embodiment of the present invention
  • 20A and 20B are diagrams illustrating a 3D feature point matching method according to an embodiment of the present invention
  • FIG. 21 is a diagram illustrating a 3D map of a factory facility generated according to an embodiment of the present invention.
  • a 3D point cloud may be generated by combining an input image (2D RGB image) and depth information (2D depth information) generated through feature point matching.
  • the feature points extracted through feature point extraction algorithms such as SIFT and FAST are matched to calculate the location information of the corresponding coordinates, and then feature points for various angles are converted into one world coordinate (Registration).
  • a 3D map may be completed by matching 3D feature points with respect to 3D point clouds generated at different angles. That is, as shown in FIG. 20A , a source cloud point (p i ) and a target cloud point (q i ) are extracted, and the corresponding location information is matched.
  • a 3D map is generated by repeatedly performing a point cloud generation and matching process.
  • 21 shows an image of the factory facility 400 generated using the point cloud through the process of FIGS. 20A and 20B.
  • the step of constructing the 3D map (S30) may further include a step (S36) of performing a refinement operation based on the 3D map generated in the step (S35) of generating a 3D map by converting the single world coordinates.
  • FIG. 22A and 22B are diagrams illustrating a refinement operation according to an embodiment of the present invention. That is, FIG. 22A is a diagram illustrating a refinement operation by separating an object and a background, and FIG. 22B is a diagram illustrating a refinement operation of arranging a portion where a shadow area and a hole area occur.
  • a refinement operation is performed to separate objects and backgrounds, and to fill in the lost parts such as shadow areas and hole areas to create a 3D map complete
  • This object area is designed to interact with the operator wearing the AR device 300 later.
  • RGB information and depth information are generally separated in photos taken with a 3D camera, shadow areas or hole areas occur in the process of combining them.
  • the 3D map completed through the refinement work is stored in the database 270 to three-dimensionally review the feature point extraction process or facility for the markerless-based AR software, and to accurately locate the facility and efficiently check it.
  • the step of constructing the 3D map (S30) is a step of learning and classifying the distribution image of the feature points based on the 3D map generated in the step (S35) of generating a 3D map by converting the single world coordinates (S37) may further include.
  • the step of learning and classifying includes the steps of dividing the entire feature point distribution image into regional patches of a certain size (S371), labeling the divided feature point distribution image according to each position and constructing the image (S372) and labeling and learning the constructed feature point distribution image (S373).
  • the step of learning the feature point distribution image learns the feature point distribution image using CNN or deep learning.
  • FIG. 23 is a diagram illustrating a database 270 according to an embodiment of the present invention
  • FIG. 24 is a diagram illustrating a learning database 270 construction process according to an embodiment of the present invention
  • FIG. 25 is an embodiment of the present invention. It is a diagram showing the learning process of the feature point distribution image according to the
  • FIG. 24 is a diagram illustrating the construction (S37) of a database 270 for learning by labeling a feature point distribution image for markerless-based location tracking for an AR device according to an embodiment of the present invention
  • FIG. 25 is a deep It is a diagram illustrating a process (S38) of learning the feature point distribution image using learning.
  • information on the factory facility 400 may be input to the database 270 to build the facility database.
  • the user of the AR device 300 when the user of the AR device 300 generates an event in the object area by matching the unique ID value of the facility 400 information with the object area of the 3D map based on the built database 270, the actual facility 400 ) may be transmitted from the database 270 to the AR device 300 .
  • the method using the marker has a problem in that information display and interaction are possible only when the marker is recognized within the field of view, and it is difficult to apply to a place where it is difficult to attach a marker.
  • the method using the GPS, AP, and beacon has a disadvantage that it is difficult to apply indoors or is greatly affected by distance and obstacles. Therefore, the markerless-based AR implementation method for building a smart factory according to an embodiment of the present invention uses a markerless-based location tracking method using the feature points of a 3D map to track the location of a worker indoors in real time.
  • a distribution image of feature points is learned and classified as shown in FIG. 24 .
  • the overall feature point distribution image is divided into regional patches of a certain size.
  • it is possible to construct a learning database by labeling the divided feature point distribution image according to each position.
  • the feature point distribution image of the learning database constructed by labeling may be learned using a Convolution Neural Network (CNN).
  • CNN Convolution Neural Network
  • a feature point is extracted from the 3D map, a local patch is generated by dividing the extracted feature point into a predetermined size in the image, and the generated local patch is regarded as one object.
  • the local patch to be learned and the x-coordinate, y-coordinate, area, and height of the local patch are inputted in pairs, and information labeled as to which part of the local patch is used for learning.
  • a 3D map of the facility 400 is built, the facility 400 is three-dimensionally reviewed, and the exact location of the facility can be determined.
  • the markerless-based AR implementation method for building a smart factory extracts feature points based on image information input from the AR device 300 in the AR interface system 200, and 3D pre-built Comparing with the feature points of the map, extracting the location information of the worker (S50) and displaying and providing information on the facility corresponding to the extracted location of the worker on the AR device 300 (S60).
  • the markerless-based AR implementation method for building a smart factory may extract the current location of the worker without a marker based on the learning result.
  • a markerless-based AR implementation method for building a smart factory extracts feature points from an image input to the AR device 300 worn by an operator using an algorithm such as SIFT as shown in FIG. 26 .
  • SIFT an algorithm such as SIFT as shown in FIG. 26 .
  • a corner where the pixel value of the image changes by a predetermined value or more is found and displayed.
  • FIG. 27 is a diagram illustrating a process of extracting a location of a local patch according to an embodiment of the present invention. That is, FIG. 27 is a diagram illustrating a process of extracting a location of a local patch to be found from a 3D map based on the learning result of FIG. 25 .
  • the extracted feature point image is input to the CNN and the result is displayed.
  • the learning information of the local patch is entered in pairs with the local patch, but when the result is derived, only the feature point distribution image is input to the CNN so that the server finds the local patch from the currently input image and displays the location.
  • candidate groups with a probability that the feature point to be searched for are distributed are created, and the location of the local patch is displayed in the finally input image through intersection with the region where one feature point distribution is expected.
  • FIG. 28A and 28B are diagrams for measuring the position of an operator based on a local patch according to an embodiment of the present invention. That is, FIG. 28A is a diagram of measuring a distance between an operator and a facility through the size of a local patch, and FIG. 28B is a view of measuring an angle between an operator and a facility through the location of a local patch.
  • the location of the operator may be measured by comparing the distribution of feature points extracted from the image input through the AR device 300 with the database 270 for learning. That is, it is possible to measure the relative distance between the worker and the facility 400 by comparing the size of the local patch with the same label as the learning database 270 as shown in FIG. 28A .
  • the operator is closer than the reference point set when the training database 270 is created in the facility 400 at the location of the local patch. position can be determined.
  • the operator is more It can be judged that it is located far away.
  • the angle between the operator and the facility 400 may be measured by comparing the location of the training database 270 and the same labeled local patch.
  • the local patch of the image input through the AR device 300 is to the left of the local patch location of the training database 270, the current worker's location is to the right of the reference point set when making the local patch of the training database 270 It can be judged that there is
  • FIG. 29 is a diagram illustrating interworking of the AR interface system 200 according to an embodiment of the present invention. Based on the location information of the worker measured through the above-described process, the AR interface system 200 is linked to provide the worker with the related information of the factory facility 400 to the AR device 300 .
  • the AR software of the AR device 300 can receive information about the facility by interworking with the server of the AR interface system 200, and when the current position of the worker is measured, the AR software based on the markerless corresponds to the corresponding position. control panel and information can be displayed.
  • step of displaying and providing the AR device 300 when the location of the worker is measured in the step ( S50 ) of extracting the location information of the worker, information of the facility corresponding to the measurement location is provided to the AR device 300 .
  • An interface such as a button may be provided to display and, if necessary, interact with each other.
  • the markerless-based AR implementation method and system 10 for building a smart factory includes the analog sensor 411 or digital sensor 412 of the facility 400 and the PLC system 100 and The interlocking function of the facility 400 and the operation control function of the analog sensor 411 or digital sensor 412 of the facility 400 are possible, and through this, the facility 400 can be controlled only with the AR device 300 without the manager of the HMI system do.
  • the sensor 410 data is collected and transmitted to the AR interface system 200 through a wired/wireless network, and the AR interface system 200 stores the data in the database 270 and transmits it to the AR device 300 . By doing so, it is possible to detect the network connection state and restore the connection state without an HMI manager.
  • the feature points necessary to find the current location of the worker without a marker can be extracted from the 3D map, and the facility 400 in the factory is created as a 3D map and through this, the facility 400 is reviewed and Accurate location of equipment and efficient inspection are possible.
  • the current location of the operator is tracked only with the AR device 300 without additional equipment, and the control panel and information corresponding to the location are displayed, thereby reducing the cost compared to the conventional method of mobilizing separate equipment to track the location. can save
  • PLC system 110 PLC AI module
  • DA converter 150 PLC internal memory
  • image information measuring unit 211 image device
  • control unit 270 database
  • sensor module 411 analog sensor

Abstract

본 발명은 스마트 팩토리의 구축을 위해 3D 맵을 토대로 별도의 장비나 마커 없이 작업자의 위치를 측정하고, 측정된 작업자의 위치에 해당하는 설비의 정보를 AR 디바이스를 통해 제공하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템에 관한 것이다. 본 발명에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 공장 시설물의 아날로그 센서 또는 디지털 센서와 데이터를 송수신하고 제어하기 위해 상기 아날로그 센서 또는 디지털 센서와 PLC 시스템을 연동하는 단계(S10)와, AR(Augmented reality) 디바이스로 PLC 시스템에 접속하기 위하여 PLC 시스템과 AR 디바이스를 연동하는 단계(S20) 및 상기 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 3D 맵을 구축하는 단계(S30)를 포함한다. 또한, 상기 AR 디바이스에서 공장 시설물의 영상 정보를 측정하여 AR 인터페이스 시스템에 전송하는 단계(S40)와, 상기 AR 인터페이스 시스템에서 AR 디바이스로부터 입력된 영상 정보를 토대로 특징점을 추출하고, 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출하는 단계(S50) 및 추출된 작업자의 위치에 해당하는 설비의 정보를 상기 AR 디바이스에 디스플레이하여 제공하는 단계(S60)를 포함한다.

Description

스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템
본 발명은 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템에 관한 것으로서, 스마트 팩토리의 구축을 위해 3D 맵을 토대로 별도의 장비나 마커 없이 작업자의 위치를 측정하고, 측정된 작업자의 위치에 해당하는 설비의 정보를 AR 디바이스를 통해 제공하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템에 관한 것이다.
종래의 공장 및 HMI(Human Machine Interface) 시스템에 대한 스마트 팩토리를 구축하기 위해서는 몇 가지 해결해야 할 문제가 존재한다. 첫 번째는 HMI(Human Machine Interface) 시스템 관리자의 상주가 필요하고, 두 번째는 HMI 관리자와 현장 작업자 간의 부가적인 통신장비가 요구된다.
즉, 상기 HMI 시스템을 사용하는 종래의 공장 시스템은 HMI 시스템이 별도의 지정된 공간(전산실/Control Room)에 구축되어 있어 공장 내 현장 작업자가 생산 업무를 진행함과 동시에 설비, 센서 및 생산 로봇에 대한 상태를 실시간으로 파악하기가 불가능하므로 HMI 시스템 관리자가 상주해야 한다. 또한, 이러한 공간적인 제약으로 인해 HMI 관리자와 현장 작업자 간의 주기적인 소통을 위해 부가적인 통신 장비가 필요하다.
또한, 준공 시기가 오래된 공장은 도면과 실제 내부구조가 상이한 문제가 있고, 종래의 HMI 시스템은 마커와 GPS, AP 및 비콘과 같은 별도의 장치가 필요하다. 즉, 준공 시기가 오래된 공장은 도면과 실제 공장 내부구조가 상이한 경우가 존재하여 공장 내의 정확한 설비의 위치 파악과 효율적인 점검에 어려움이 있다.
또한, 일반적으로 HMI 솔루션은 사용자의 위치 파악이 매우 중요한데, 종래의 HMI 시스템은 사용자의 위치를 찾기 위해 마커, GPS, AP 및 비콘과 같은 부가적인 장비를 이용해야만 한다.
이때, 마커는 반드시 시야 안에 마커가 인식되어야 정보 디스플레이와 같은 상호작용이 가능하며, 마커가 부착되기 어려운 곳에는 적용하기 어려운 문제가 있다. 또한, 상기 GPS, AP 및 비콘 등은 거리 및 장애물에 영향을 많이 받는 문제가 있다.
[선행기술문헌]
[특허문헌]
대한민국 공개특허 제10-2019-0129220호(2019년 11월 20일 공개)
따라서, 본 발명이 이루고자 하는 기술적 과제는 종래의 단점을 해결한 것으로서, HMI 시스템의 현장 작업자가 실시간으로 센서의 상태 정보를 파악할 수 있도록 하는데 그 목적이 있다. 또한, 스마트 팩토리 구축을 위해 별도의 장비가 필요 없이 현장 작업자의 현재 위치를 추적할 수 있도록 하는데 그 목적이 있다.
또한, 현장 작업자와 HMI 시스템 관리자 간의 부가적인 통신 장비와, HMI 시스템을 관제하는 별도의 인력이 필요 없이 공장 시설물의 정확한 위치 파악이 가능한 마커리스 기반의 AR 솔루션을 제공하고자 하는데 그 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 일 측면에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 공장 시설물의 아날로그 센서 또는 디지털 센서와 데이터를 송수신하고 제어하기 위해 상기 아날로그 센서 또는 디지털 센서와 PLC 시스템을 연동하는 단계(S10)와, AR(Augmented reality) 디바이스로 PLC 시스템에 접속하기 위하여 PLC 시스템과 AR 디바이스를 연동하는 단계(S20) 및 상기 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 3D 맵을 구축하는 단계(S30)를 포함한다.
또한, 상기 AR 디바이스에서 공장 시설물의 영상 정보를 측정하여 AR 인터페이스 시스템에 전송하는 단계(S40)와, 상기 AR 인터페이스 시스템에서 AR 디바이스로부터 입력된 영상 정보를 토대로 특징점을 추출하고, 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출하는 단계(S50) 및 추출된 작업자의 위치에 해당하는 설비의 정보를 상기 AR 디바이스에 디스플레이하여 제공하는 단계(S60)를 포함한다.
또한, 본 발명의 다른 측면에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템은 PLC 시스템, AR 인터페이스 시스템 및 AR 디바이스를 포함한다. 상기 PLC 시스템은 공장 시설물의 아날로그 센서 또는 디지털 센서 및 AR 디바이스와 연동하여 데이터를 송수신하고, 상기 아날로그 센서, 디지털 센서 및 AR 디바이스의 동작을 제어한다.
또한, 상기 AR 인터페이스 시스템은 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 3D 맵을 구축하고, 상기 AR 디바이스로부터 입력된 영상 정보를 토대로 특징점을 추출하며, 추출된 특징점을 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출한다.
또한, 상기 AR 디바이스는 공장 시설물의 영상 정보를 측정하여 AR 인터페이스 시스템에 전송하고, 상기 AR 인터페이스 시스템의 제어에 따라 추출된 작업자의 위치에 해당하는 설비의 정보를 디스플레이하여 제공한다.
또한, 상기 AR 인터페이스 시스템은 영상정보 측정부, 특징점 추출부, 학습부, 판단부, 통신부, 제어부 및 데이터베이스를 포함할 수 있다. 상기 영상정보 측정부는 영상장치를 이용하여 상기 공장 시설물의 2D RGB 이미지 정보와 깊이 정보를 측정한다.
또한, 상기 특징점 추출부는 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 영상정보 측정부에서 측정된 2D RGB 이미지 정보와 깊이 정보를 이용하여 3D 맵을 추출한다. 또한, 상기 학습부는 특징점 추출부에서 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류한다.
또한, 상기 판단부는 AR 디바이스로부터 입력된 영상 정보를 토대로 추출된 특징점과, 상기 영상정보 측정부로부터 입력된 영상정보를 토대로 미리 구축된 3D 맵의 특징점을 비교하여 작업자의 위치 정보를 추출한다. 또한, 상기 제어부는 PLC 시스템과 AR 디바이스를 연동하여 제어하고, 상기 AR 디바이스로부터 입력된 공장 시설물의 영상 정보를 토대로 추출된 작업자의 위치에 해당하는 설비의 정보를 AR 디바이스에 디스플레이하여 제공한다.
이상에서 설명한 바와 같이, 본 발명에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템은 종래의 HMI 시스템에서 센서의 상태 정보를 수집하는 PLC 시스템과 AR 디바이스를 활용하여 현장 작업자가 실시간으로 센서의 상태 정보를 파악할 수 있는 효과가 있다. 또한, 마커리스 기반의 AR 솔루션을 제공하여 별도의 장비가 필요 없이 현장 작업자가 AR 디바이스만으로 작업자의 현재 위치를 추적하고, 해당 위치에 대응되는 시설물의 실시간 상태 정보를 확인하며 컨트롤할 수 있는 효과가 있다.
또한, HMI 시스템을 관제하는 인력과 시간을 절감할 수 있고, 현장 작업자와 HMI 시스템 관리자 간의 부가적인 통신 장비가 필요 없어 설치 비용을 절감할 수 있는 효과가 있다. 또한, 3D 맵 구축을 통해 공장 내의 시설물을 입체적으로 검토하고, 정확한 설비의 위치 파악과 효율적인 점검을 할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템을 나타내는 개념도이다.
도 2는 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템을 나타내는 구성도이다.
도 3은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템을 나타내는 블록도이다.
도 4는 본 발명의 실시 예에 따른 아날로그 센서와 PLC 시스템의 입출력 연동 과정을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 디지털 센서와 PLC 시스템의 입출력 연동 과정을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 센서 모듈과 PLC 시스템의 연동 과정을 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법을 나타내는 개념도이다.
도 8은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법을 나타내는 순서도이다.
도 9는 본 발명의 실시 예에 따른 유무선 네트워크 통신 방법을 나타내는 흐름도이다.
도 10은 본 발명의 실시 예에 따른 네트워크 연결 상태 감지 및 연결 복원 방법을 나타내는 흐름도이다.
도 11은 본 발명의 실시 예에 따른 3D 맵의 구축 과정을 나타내는 도면이다.
도 12는 3D 맵을 구축하는 단계(S30)를 세부적으로 나타내는 순서도이다.
도 13은 본 발명의 실시 예에 따른 깊이 정보 추출 과정을 나타내는 흐름도이다.
도 14는 본 발명의 실시 예에 따른 3D 포인트 클라우드의 생성 과정을 나타내는 흐름도이다.
도 15는 본 발명의 실시 예에 따른 월드 좌표 변환 과정을 나타내는 도면이다.
도 16은 본 발명의 실시 예에 따른 2D 특징점의 매칭 과정을 나타내는 도면이다.
도 17a, 도 17b 및 도 17c는 본 발명의 실시 예에 따른 깊이 정보 측정 방법을 나타내는 도면이다.
도 18a 및 도 18b는 본 발명의 실시 예에 따른 3D 포인트 클라우드 생성 방법을 나타내는 도면이다.
도 19는 본 발명의 실시 예에 따라 포인트 클라우드를 통합하는 과정을 나타내는 도면이다.
도 20a 및 도 20b는 본 발명의 실시 예에 따른 3D 특징점의 매칭 방법을 나타내는 도면이다.
도 21은 본 발명의 실시 예에 따라 생성된 공장 시설물의 3D 맵을 나타내는 도면이다.
도 22a 및 도 22b는 본 발명의 실시 예에 따른 정밀화 작업을 나타내는 도면이다.
도 23은 본 발명의 실시 예에 따른 데이터베이스를 나타내는 도면이다.
도 24는 본 발명의 실시 예에 따른 학습용 데이터베이스 구축 과정을 나타내는 도면이다.
도 25는 본 발명의 실시 예에 따른 특징점 분포 이미지의 학습 과정을 나타내는 도면이다.
도 26은 본 발명의 실시 예에 따른 특징점 추출 과정을 나타내는 도면이다.
도 27은 본 발명의 실시 예에 따른 지역 패치의 위치 추출 과정을 나타내는 도면이다.
도 28a 및 도 28b는 본 발명의 실시 예에 따른 지역 패치를 토대로 작업자의 위치를 측정하는 도면이다.
도 29는 본 발명의 실시 예에 따른 AR 인터페이스 시스템의 연동을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 또는 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템(10)을 나타내는 개념도이고, 도 2는 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템(10)을 나타내는 구성도이며, 도 3은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템(10)을 나타내는 블록도이다.
종래의 공장 시스템은 도 2의 우측 도면에 도시된 바와 같이 별도의 HMI 시스템 및 HMI 관리자가 요구된다. 또한, 상기 HMI 관리자와 현장 작업자 간의 부가적인 통신장비가 요구된다.
하지만, 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템(10)은 스마트 팩토리의 구축을 위해 별도의 HMI 시스템 및 HMI 관리자나 별도의 장비 및 마커 없이 작업자의 위치를 측정하고, 측정된 작업자의 위치에 해당하는 설비의 정보를 제공할 수 있다.
본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템(10)은 PLC 시스템(100), AR 인터페이스 시스템(200) 및 AR디바이스(300)를 포함할 수 있다.
PLC 시스템(100)은 PLC AI 모듈(110), PLC DI 모듈(120), AD 컨버터(130), DA 컨버터(140), PLC 내부 메모리(150), PLC AO 모듈(160), PLC DO 모듈(170) 및 PLC 통신용 메모리(180)를 포함할 수 있다. 또한, PLC 시스템(100)은 공장 시설물(400)의 센서 모듈(410)과 연동하여 공장 시설물(400)의 센서 모듈(410)에 대한 동작을 제어할 수 있다.
여기에서, 센서 모듈(410)은 아날로그 센서(411)와 디지털 센서(412)를 포함할 수 있다. 즉, PLC 시스템(100)은 각종 아날로그 센서(411) 또는 디지털 센서(412)들의 데이터를 입력받을 수 있다. 또한, PLC 시스템(100)은 필요에 따라 공장 시설물(400)의 센서 모듈(410) 등에 제어 명령을 보낼 수도 있다.
특히, 아날로그 센서(411)의 데이터는 PLC(Programmable Logic Controller) 시스템(100)에 내장된 AD 컨버터 없이 직접 서버 컴퓨터로 연결시 어려움이 있어 1차적인 데이터 수집과 센서 모듈(410)에 제어 명령을 내리는 PLC 시스템(100)이 반드시 필요하다. 따라서, 각종 아날로그 센서(411) 또는 디지털 센서(412)들의 입/출력 데이터를 PLC 시스템(100)과 연동하는 것이 바람직하다.
도 4는 본 발명의 실시 예에 따른 아날로그 센서(411)와 PLC 시스템(100)의 입출력 연동 과정을 나타내는 도면이고, 도 5는 본 발명의 실시 예에 따른 디지털 센서(412)와 PLC 시스템(100)의 입출력 연동 과정을 나타내는 도면이며, 도 6은 본 발명의 실시 예에 따른 센서 모듈(410)과 PLC 시스템(100)의 연동 과정을 나타내는 도면이다.
도 4에서 도시된 바와 같이 아날로그 센서(411)의 경우 센서(411)에서 PLC 시스템(100)으로 입력될 때는 센서(411)에서 보낸 신호를 PLC AI 모듈(110)을 거쳐 AD 컨버터(130)를 사용하여 디지털 신호로 변환한 후 PLC 내부 메모리(150)에 저장된다.
또한, PLC 시스템(100)에서 아날로그 센서(411)로 동작 명령을 내릴 때는 PLC 내부 메모리(150)에서 DA 컨버터(140)를 거쳐 아날로그 신호로 변환시킨 후 PLC AO 모듈(160)을 거쳐 아날로그 센서(411)로 전송한다.
또한, 도 5에서 도시된 바와 같이 디지털 센서(412)의 경우는 컨버터가 필요 없으므로 디지털 센서(412)의 컨버터 부분을 제외하고 사용한다. 또한, 아날로그 센서(411) 또는 디지털 센서(412)의 동작 제어를 위하여 센서와 연결된 PLC AI 모듈(110), PLC AO 모듈(160), PLC DI 모듈(120), PLC DO 모듈(170)과 PLC 내부 메모리(150)의 어드레스 매핑을 통해 연결한다.
또한, 도 6과 같이 AR 인터페이스 시스템(200)과 네트워크를 이용하여 상태 값 및 제어 정보 데이터를 송/수신하기 위한 PLC 통신용 메모리(180)를 할당한다. 또한, PLC 로직을 설계하여 이를 적용시킬 수 있다.
AR 인터페이스 시스템(200)은 영상정보 측정부(210), 특징점 추출부(220), 학습부(230), 판단부(240), 통신부(250), 제어부(260) 및 데이터베이스(270)를 포함할 수 있다.
영상정보 측정부(210)는 영상장치(211)를 이용하여 공장 시설물(400)의 2D RGB 이미지 정보와 깊이 정보를 측정할 수 있다. 여기에서, 영상장치(211)는 3D 스캐너 또는 스테레오 카메라 등이 포함될 수 있다.
특징점 추출부(220)는 공장 시설물(400)을 입체적으로 추출하고 설비의 위치 파악을 위하여 영상정보 측정부(210)에서 측정된 2D RGB 이미지 정보와 깊이 정보를 이용하여 3D 맵을 추출하고, 추출된 3D 맵을 데이터베이스(270)에 구축할 수 있다. 또한, 특징점 추출부(220)는 마커 없이 작업자의 현재 위치를 찾을 때 필요한 특징점들을 3D 맵에서 추출하여 학습용 데이터를 데이터베이스(270)에 구축할 수 있다.
또한, 특징점 추출부(220)는 3D 포인트 클라우드 모듈(221), 특징점 추출 모듈(222), 좌표계 변환 모듈(223) 및 정밀화 모듈(224)을 포함할 수 있다. 3D 포인트 클라우드 모듈(221)은 상기 2D RGB 이미지 정보와 깊이 정보를 결합하여 3D 포인트 클라우드(Point cloud)를 생성한다.
또한, 특징점 추출 모듈(222)은 SIFT, FAST 등의 특징점 추출 알고리즘을 통해 영상정보 측정부(210)에서 측정된 영상 정보와, AR 디바이스(300)로부터 입력된 영상 정보에서 특징점을 추출한다.
또한, 좌표계 변환 모듈(223)은 상기 3D 포인트 클라우드(3D Point Cloud) 상호 간의 상대적인 위치 관계를 파악하기 위해 각 3D 포인트 클라우드 좌표들의 상호관계를 계산하여 월드 좌표계로 변환한다. 또한, 좌표계 변환 모듈(223)은 특징점 추출 모듈(222)에서 추출된 특징점을 3D 포인트 클라우드와 매칭하여 해당 좌표의 위치 정보를 계산하고, 여러 각도에 대한 특징점들을 하나의 월드 좌표로 변환하여 3D 맵을 생성할 수 있다.
또한, 정밀화 모듈(224)은 생성된 3D 맵을 토대로 정밀화 작업을 수행한다. 즉, 정밀화 모듈(224)은 생성된 3D 맵을 토대로 객체와 배경을 분리하는 작업과, 그림자 영역 및 구멍(Hole) 영역을 채우는 손실 부분 보정 작업을 수행한다.
학습부(230)는 특징점 추출부(220)에서 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류한다. 즉, 학습부(230)는 3D 맵으로 구축되어 있는 시설물들의 특징점을 활용하여 전체적인 특징점 분포 이미지를 일정 크기의 지역 패치로 분할하고, 분할된 특징점 분포 이미지를 각 위치에 맞게 라벨링하여 학습용 데이터베이스(270)를 구축한다. 또한, 라벨링하여 구축된 특징점 분포 이미지를 CNN(Convolution Neural Network) 또는 딥러닝을 이용하여 학습한다.
또한, 판단부(240)는 AR 디바이스(300)로부터 입력된 영상 정보를 토대로 추출된 특징점과, 영상정보 측정부(210)로부터 입력된 영상정보를 토대로 미리 구축된 3D 맵의 특징점을 비교하여 작업자의 위치 정보를 추출한다.
즉, 판단부(240)는 AR 디바이스(300)를 통해 입력되는 영상으로부터 추출된 특징점 분포를 학습용 데이터베이스(270)와 비교하여 작업자의 위치를 판단할 수 있다. 또한, 판단부(240)는 학습용 데이터베이스(270)와 동일 라벨링이 되어 있는 지역 패치와 크기를 비교하여 작업자와 시설물(400) 간의 상대적 거리를 판단할 수 있다.
또한, 통신부(250)는 유무선 네트워크 통신을 이용하여 PLC 시스템(100) 및 AR 디바이스(300)와 AR 인터페이스 시스템(200)을 연결할 수 있다.
제어부(260)는 PLC 시스템(100)과 AR 디바이스(300)를 연동하여 제어할 수 있다. 즉, 제어부(260)는 PLC 시스템(100을 통해 공장 시설물(400)의 아날로그 센서(411)와 디지털 센서(412)를 제어하고, AR 디바이스(300)로부터 입력된 공장 시설물(400)의 영상 정보를 토대로 추출된 작업자의 위치에 해당하는 설비의 정보를 AR 디바이스(300)에 디스플레이하여 제공할 수 있다.
데이터베이스(270)는 영상정보 측정부(210)에서 측정된 공장 시설물(400)의 2D RGB 이미지 정보와 깊이 정보를 저장한다. 또한, 데이터베이스(270)는 학습부(230)에서 생성된 학습용 데이터베이스(270)를 저장한다.
또한, AR 디바이스(300)는 공장 시설물(400)의 영상 정보를 측정하여 AR 인터페이스 시스템(200)에 전송한다. 또한, AR 디바이스(300)는 제어부(260)의 제어에 따라 공장 시설물(400)의 영상 정보를 토대로 추출된 작업자의 위치에 해당하는 설비의 정보를 디스플레이하여 제공할 수 있다.
도 7은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법을 나타내는 개념도이고, 도 8은 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법을 나타내는 순서도이다.
본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 공장 시설물(400)의 아날로그 센서(411) 또는 디지털 센서(412)와 데이터를 송수신하고 제어하기 위해 아날로그 센서(411) 또는 디지털 센서(412)와 PLC 시스템(100)을 연동하는 단계(S10)와, AR(Augmented reality) 디바이스(300)로 PLC 시스템(100)에 접속하기 위하여 PLC 시스템(100)과 AR 디바이스(300)를 연동하는 단계(S20)를 포함할 수 있다.
도 9는 본 발명의 실시 예에 따른 유무선 네트워크 통신 방법을 나타내는 흐름도이고, 도 10은 본 발명의 실시 예에 따른 네트워크 연결 상태 감지 및 연결 복원 방법을 나타내는 흐름도이다.
즉, 도 9 및 도 10은 PLC 시스템(100)과 AR 디바이스(300)와의 연동을 위한 유무선 네트워크 통신 방법과, 네트워크 연결 상태 감지 및 연결 복원 방법을 나타내는 흐름도이다.
종래의 HMI 시스템은 지정된 공간에서 관리자가 센서 데이터와 네트워크 연결 상태 등을 모니터링하여 현장 작업자와 연락을 취한다. 이러한 방식은 시스템 관리자가 항상 상주하고 있어야 하고 현장 작업자와 주기적인 소통을 위해 부가적인 통신 장비가 필요하게 된다.
따라서, 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템(10)은 이러한 단점을 극복하고자 현장 작업자가 착용하는 AR 디바이스(300)에 작업자 또는 시스템의 선택에 따라 센서 데이터를 분석하여 이상이 발생할 시 자동으로 작업자에게 알림 정보를 전송할 수 있다. 즉, 도 8과 같이 유무선 네트워크 연결 기술을 통해 센서 데이터를 데이터베이스에 저장하고 갱신하며, 수집된 센서 데이터를 센서별로 분석할 수 있다.
또한, 도 10에서 도시된 바와 같이 시스템이 동작하는 도중에 네트워크 연결이 끊어질 경우 자동으로 이를 감지하고 연결을 복원할 수 있다. 즉, 미리 설정된 풀링(Pooling) 방식을 통해 네트워크 연결 상태를 감지하며 네트워크 연결이 끊어졌다고 판단되는 경우 미리 설정된 연결시간(예를 들어 3초)마다 재연결을 시도하고, 미리 설정된 연결회수(예를 들어 5회) 동안 재연결에 실패할 경우에는 알림 또는 경고 메시지를 전송할 수 있다.
또한, PLC 시스템(100)과 AR 디바이스(300)의 연동을 위한 데이터베이스(270)를 구축하여 필요한 센서 데이터를 추출하고, PLC 시스템(100)과 AR 디바이스(300)와의 연동을 위한 AR 인터페이스 시스템(200)을 통해 센서(410)의 정보를 AR 디바이스(300)에 송신할 수 있다.
또한, 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 공장 시설물(400)을 입체적으로 추출하고 설비의 위치 파악을 위하여 3D 맵을 구축하는 단계(S30)와, AR 디바이스(300)에서 공장 시설물(400)의 영상 정보를 측정하여 AR 인터페이스 시스템(200)에 전송하는 단계(S40)를 포함할 수 있다.
즉, 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 마커 없이 작업자의 현재 위치를 찾을 때 필요한 특징점들을 3D 맵에서 추출하여 학습용 데이터를 구축한다. 또한, 공장 내의 시설물(400)을 3차원 맵으로 생성한 후에 이를 이용하여 시설물(400)을 입체적으로 검토하고, 정확한 설비의 위치 파악과 효율적인 점검이 가능하도록 한다.
도 11은 본 발명의 실시 예에 따른 3D 맵의 구축 과정을 나타내는 도면이고, 도 12는 도 8의 3D 맵을 구축하는 단계(S30)를 세부적으로 나타내는 순서도이다. 또한, 도 13은 본 발명의 실시 예에 따른 깊이 정보 추출 과정을 나타내는 흐름도이고, 도 14는 본 발명의 실시 예에 따른 3D 포인트 클라우드의 생성 과정을 나타내는 흐름도이다.
본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 마커 없이 작업자의 현재 위치를 찾을 때 필요한 특징점들을 3D 맵에서 추출하여 데이터베이스(270)를 구축할 수 있다.
즉, 도 11과 같이 카메라와 같은 영상장치(211)를 이용하여 시설물(400)을 촬영하고, 촬영된 영상의 2D 이미지 정보와 깊이 정보를 토대로 3D 맵을 생성하여 시설물(400)을 입체적으로 검토하는 것이 가능하다. 또한, 설비의 정확한 위치를 파악하고, 파악된 위치 정보를 토대로 설비의 관련 정보를 제공하여 효율적인 점검을 할 수 있다.
도 12와 같이 상기 3D 맵을 구축하는 단계(S30)는 영상장치(211)를 이용하여 2D RGB 이미지 정보와 깊이 정보를 측정하는 단계(S31)와, 상기 2D RGB 이미지 정보와 깊이 정보를 결합하여 3D 포인트 클라우드를 생성하는 단계(S32)를 포함할 수 있다. 여기에서, 영상장치(211)는 3D 스캐너 또는 스테레오 카메라 등이 사용될 수 있다.
즉, 3D 맵 구축을 위해서는 도 13과 같이 먼저 3D 스캐너 또는 스테레오 카메라 등의 영상장치(211)를 사용하여 2D RGB 이미지 정보와 깊이 정보를 측정한다. 또한, 도 14에서 도시된 바와 같이 영상장치(211)를 이용하여 촬영한 2D 이미지와 깊이 정보를 결합하여 3D 포인트 클라우드(Point cloud)를 생성한다.
또한, 상기 3D 맵을 구축하는 단계(S30)는 상기 3D 포인트 클라우드(3D Point Cloud) 상호 간의 상대적인 위치 관계를 파악하기 위해 각 3D 포인트 클라우드 좌표들의 상호관계를 계산하여 월드 좌표계로 변환하는 단계(S33)와, 영상 정보에서 특징점 추출 알고리즘을 통해 특징점을 추출하고, 상기 특징점을 3D 포인트 클라우드와 매칭하여 해당 좌표의 위치 정보를 계산하는 단계(S34) 및 여러 각도에 대한 특징점들을 하나의 월드 좌표로 변환하여 3D 맵을 생성하는 단계(S35)를 포함할 수 있다. 여기에서, 상기 특징점 추출 알고리즘은 SIFT, FAST 등이 될 수 있다.
도 15는 본 발명의 실시 예에 따른 월드 좌표 변환 과정을 나타내는 도면이고, 도 16은 본 발명의 실시 예에 따른 2D 특징점의 매칭 과정을 나타내는 도면이다. 즉, 도 15의 좌측 도면은 월드 좌표 변경 전의 그래프를 나타내는 도면이고, 도 15의 우측 도면은 월드 좌표 변경 후의 그래프를 나타내는 도면이다.
각 3D 포인트 클라우드의 좌표들은 서로 독립적이므로 이를 절대 좌표로 변환해야 한다. 즉, 독립 좌표계인 다른 각도의 카메라 좌표계를 월드 좌표계로 변환할 수 있다.
도 15와 같이 기준이 되는 월드 좌표계를 생성하고, 각 3D 포인트 클라우드 좌표들의 상호관계를 계산하여 월드 좌표계로 변환함으로써 상호 간의 상대적 위치 관계를 파악할 수 있다. 이를 통해, 각각 다른 각도에서 촬영된 카메라의 상대적인 위치 좌표들을 하나의 월드 좌표로 통일하여 카메라 상호간의 상대적 위치 관계를 파악할 수 있다.
또한, 도 16은 서로 다른 각도의 영상(사진)에 대하여 2D 특징점을 매칭하는 과정을 나타내는 도면이다. 도 16과 같이 서로 다른 여러 각도에 대한 특징점들을 각각 추출하고, 추출된 특징점을 매칭하여 특징점 간의 상관관계를 계산할 수 있다.
도 17a, 도 17b 및 도 17c는 본 발명의 실시 예에 따른 깊이 정보 측정 방법을 나타내는 도면이다. 즉, 도 17a, 도 17b 및 도 17c는 서로 다른 각도의 영상(사진)에 대한 깊이 정보를 생성하는 과정을 나타낸다. 도 17a와 같이 서로 다른 각도의 영상에 대하여 특징점을 매칭하고, 각 매칭된 특징점들을 추출할 수 있다.
또한, 특징점 매칭된 결과와 카메라 파라미터를 사용하여 깊이 정보를 생성할 수 있다. 도 17b는 특징점 매칭된 결과와 카메라 파라미터를 사용한 깊이 정보 측정 방법을 나타낸다.
도 17b와 같이 서로 다른 각도의 영상(예를 들어, 좌안 영상과 우안 영상)을 토대로 아래의 [수학식 1]을 이용하여 카메라와 객체 사이의 거리 또는 깊이 정보를 측정할 수 있다.
Figure PCTKR2020005945-appb-M000001
여기에서, z는 카메라와 객체 사이의 거리 또는 깊이 정보를 나타내고, f는 카메라의 초점 거리이며, T는 카메라 간의 거리 차이고, d는 각 특징점 간의 거리 차를 나타낸다. 또한, 도 17c와 같이 스테레오 카메라를 통한 입력 영상과 스테레오 카메라를 통해 촬영된 오버랩된 영상을 토대로 깊이 정보를 생성할 수 있다.
또한, 도 18a 및 도 18b는 본 발명의 실시 예에 따른 3D 포인트 클라우드 생성 방법을 나타내는 도면이고, 도 19는 본 발명의 실시 예에 따라 포인트 클라우드를 통합하는 과정을 나타내는 도면이다. 또한, 도 20a 및 도 20b는 본 발명의 실시 예에 따른 3D 특징점의 매칭 방법을 나타내는 도면이고, 도 21은 본 발명의 실시 예에 따라 생성된 공장 시설물의 3D 맵을 나타내는 도면이다.
도 18a 및 도 18b와 같이 입력 영상(2D RGB 영상)과 특징점 매칭을 통해 생성된 깊이 정보(2D 깊이 정보)를 결합하여 3D의 포인트 클라우드를 생성할 수 있다.
이때, 도 19와 같이 SIFT, FAST 등의 특징점 추출 알고리즘을 통해 추출된 특징점을 매칭하여 해당 좌표의 위치 정보를 계산한 뒤, 여러 각도에 대한 특징점들을 하나의 월드 좌표로 변환(Registration)한다.
즉, 서로 다른 각도에서 생성된 3D 포인트 클라우드의 변환(Registration)을 통해 각 포인트 클라우드의 기하학적 관계를 계산한 뒤 하나의 포인트 클라우드로 결합할 수 있다.
또한, 도 20a 및 도 20b와 같이 서로 다른 각도에서 생성된 3D 포인트 클라우드에 대하여 3D 특징점을 매칭하여 3D 맵을 완성할 수 있다. 즉, 도 20a와 같이 소스(Source) 클라우드 포인트(pi)와 타겟(Target) 클라우드 포인트(qi)를 추출하고, 각각 대응되는 위치 정보를 매칭한다.
또한, 도 20b와 같이 포인트 클라우드의 생성과 매칭 과정을 반복적으로 수행하여 3D 맵을 생성한다. 도 21은 상기 도 20a와 도 20b의 과정을 통해 포인트 클라우드를 이용하여 생성한 공장 시설물(400)의 영상을 나타낸다.
또한, 상기 3D 맵을 구축하는 단계(S30)는 상기 하나의 월드 좌표로 변환하여 3D 맵을 생성하는 단계(S35)에서 생성된 3D 맵을 토대로 정밀화 작업을 수행하는 단계(S36)를 더 포함할 수 있다.
도 22a 및 도 22b는 본 발명의 실시 예에 따른 정밀화 작업을 나타내는 도면이다. 즉, 도 22a는 객체와 배경 분리를 통해 정밀화 작업을 진행하는 것을 나타내는 도면이고, 도 22b는 그림자 영역과 구멍 영역이 발생한 부분을 정리하는 정밀화 작업을 나타내는 도면이다.
도 22a 및 도 22b와 같이 상기 도 15 내지 도 21의 변환 과정 결과로 생성된 3D 맵을 토대로 객체와 배경 분리 작업, 그림자 영역 및 구멍 영역 등의 손실 부분 등을 채우는 정밀화 작업을 진행하여 3D 맵을 완성한다.
또한, 생성된 3D 포인트 클라우드 내 3차원 정보 중 필요로 하는 부분만 선택해서 사용하기 위해서는 이를 객체화할 필요성이 있다. 이러한 객체 영역은 추후 AR 디바이스(300)를 착용하는 작업자와 상호작용하도록 설계된다.
또한, 3D 카메라를 통해 촬영된 사진은 일반적으로 RGB 정보와 깊이 정보가 분리되어 있어 이를 결합하는 과정에서 그림자 영역이나 구멍 영역이 발생하므로 이러한 그림자 영역 및 구멍 영역 등의 손실 부분 등을 채우는 정밀화 작업을 진행한다.
또한, 정밀화 작업을 통해 완성된 3D 맵을 마커리스 기반의 AR 소프트웨어를 위한 특징점 추출 과정이나 시설물을 입체적으로 검토 및 정확한 설비의 위치파악과 효율적인 점검이 가능하도록 하기 위해 데이터베이스(270)에 저장한다.
또한, 상기 3D 맵을 구축하는 단계(S30)는 상기 하나의 월드 좌표로 변환하여 3D 맵을 생성하는 단계(S35)에서 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류하는 단계(S37)를 더 포함할 수 있다.
또한, 상기 학습하고 분류하는 단계(S37)는 전체적인 특징점 분포 이미지를 일정 크기의 지역 패치로 분할하는 단계(S371), 분할된 특징점 분포 이미지를 각 위치에 맞게 라벨링하여 구축하는 단계(S372) 및 라벨링하여 구축된 특징점 분포 이미지를 학습하는 단계(S373)를 포함한다.
이때, 특징점 분포 이미지를 학습하는 단계(S373)는 CNN 또는 딥러닝을 이용하여 상기 특징점 분포 이미지를 학습한다.
도 23은 본 발명의 실시 예에 따른 데이터베이스(270)를 나타내는 도면이고, 도 24는 본 발명의 실시 예에 따른 학습용 데이터베이스(270) 구축 과정을 나타내는 도면이며, 도 25는 본 발명의 실시 예에 따른 특징점 분포 이미지의 학습 과정을 나타내는 도면이다.
즉, 도 24는 본 발명의 실시 예에 따라 AR 디바이스용 마커리스 기반의 위치 추적을 위해 특징점 분포 이미지를 라벨링하여 학습용 데이터베이스(270)를 구축하는 것(S37)을 나타내는 도면이고, 도 25는 딥러닝을 이용하여 상기 특징점 분포 이미지를 학습하는 과정(S38)을 나타내는 도면이다.
도 23에서 도시된 바와 같이 공장 시설물(400)에 관한 정보를 데이터베이스(270)에 입력하여 시설물 데이터베이스를 구축할 수 있다. 또한, 구축된 데이터베이스(270)를 토대로 시설물(400) 정보의 고유 ID 값을 3D 맵의 객체 영역과 매칭하여 AR 디바이스(300)의 사용자가 해당 객체 영역의 이벤트를 발생시킬 경우, 실제 시설물(400)의 정보를 데이터베이스(270)로부터 AR 디바이스(300)로 전송받을 수 있다.
한편, 종래의 AR 디바이스용 실내 위치 추적 방식으로는 마커를 이용하는 방식과 GPS, AP 및 비콘 등을 이용하는 방식이 있다. 이때, 상기 마커를 이용하는 방식은 마커가 반드시 시야 내에 인식되어야 정보 디스플레이 및 상호작용이 가능하고, 마커를 부착하기 어려운 곳에는 적용하기 어려운 문제가 있다.
또한, 상기 GPS, AP 및 비콘 등을 이용하는 방식은 실내에서 적용하기가 어렵거나 거리 및 장애물에 영향을 많이 받는 단점이 있다. 따라서, 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 실내에서 작업자의 위치를 실시간으로 추적하기 위하여 3D 맵의 특징점을 이용한 마커리스 기반의 위치 추적 방식을 이용한다.
이를 위해, 도 24와 같이 특징점의 분포 이미지를 학습하고 분류한다. 3D 맵으로 구축되어 있는 시설물들의 특징점을 활용하여 전체적인 특징점 분포 이미지를 일정 크기의 지역 패치로 만들어 분할한다. 또한, 분할된 특징점 분포 이미지를 각 위치에 맞게 라벨링하여 학습용 데이터베이스를 구축할 수 있다.
또한, 도 25에서 도시된 바와 같이 라벨링하여 구축된 상기 학습용 데이터베이스의 특징점 분포 이미지를 CNN(Convolution Neural Network)을 이용하여 학습할 수 있다. 또한, 3D 맵에서 특징점을 추출하고, 추출한 특징점들을 이미지에서 일정 크기로 분할하여 지역 패치를 생성하며, 생성된 지역 패치를 하나의 객체로 간주한다.
또한, 전체 특징점 분포 이미지에서 학습하고자 하는 지역 패치와 지역 패치의 x좌표, y좌표, 넓이, 높이와 어느 부분의 지역 패치인지 라벨링한 정보를 쌍으로 입력하여 학습한다.
이와 같이, 상기 3D 맵을 생성하는 단계(S30)는 시설물(400)의 3D 맵을 구축하여 시설물(400)을 입체적으로 검토하고, 정확한 설비의 위치를 파악할 수 있다.
또한, 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 AR 인터페이스 시스템(200)에서 AR 디바이스(300)로부터 입력된 영상 정보를 토대로 특징점을 추출하고, 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출하는 단계(S50) 및 추출된 작업자의 위치에 해당하는 설비의 정보를 AR 디바이스(300)에 디스플레이하여 제공하는 단계(S60)를 포함할 수 있다.
즉, 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 학습 결과를 토대로 마커 없이 작업자의 현재 위치를 추출할 수 있다.
도 26은 본 발명의 실시 예에 따른 특징점 추출 과정을 나타내는 도면이다. 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법은 도 26과 같이 SIFT 등의 알고리즘을 이용하여 작업자가 착용한 AR 디바이스(300)에 입력되는 영상에서 특징점을 추출한다. 이때, 상기 특징점 추출은 영상의 픽셀값이 미리 설정된 일정 값 이상 변화하는 코너를 찾아 표시한다.
도 27은 본 발명의 실시 예에 따른 지역 패치의 위치 추출 과정을 나타내는 도면이다. 즉, 도 27은 도 25의 학습 결과를 토대로 3D 맵에서 찾고자 하는 지역 패치의 위치를 추출하는 과정을 나타내는 도면이다.
도 27과 같이 추출된 특징점 이미지를 CNN에 입력하여 결과를 표시한다. 이때, 상기 학습 시에는 지역 패치와 함께 지역 패치의 정보를 쌍을 이루어 입력하지만, 결과 도출시에는 CNN에 특징점 분포 이미지만 입력하여 서버가 현재 입력된 이미지에서 지역 패치를 찾아내어 그 위치를 표시할 수 있다.
또한, 상기 CNN의 마지막 레이어에서 찾고자 하는 특징점이 분포되어 있을 확률이 있는 후보군들을 만들고, 하나의 특징점 분포가 있을 것으로 예상되는 영역과 교집합을 거쳐 최종적으로 입력되는 영상에서 지역패치의 위치를 표시한다.
도 28a 및 도 28b는 본 발명의 실시 예에 따른 지역 패치를 토대로 작업자의 위치를 측정하는 도면이다. 즉, 도 28a는 지역 패치의 크기를 통해 작업자와 시설물의 거리를 측정하는 도면이고, 도 28b는 지역 패치의 위치를 통해 작업자와 시설물의 각도를 측정하는 도면이다.
도 28a 및 도 28b와 같이 AR 디바이스(300)를 통해 입력되는 영상으로부터 추출된 특징점 분포를 학습용 데이터베이스(270)와 비교하여 작업자의 위치를 측정할 수 있다. 즉, 도 28a와 같이 학습용 데이터베이스(270)와 동일 라벨링이 되어 있는 지역 패치와 크기를 비교하여 작업자와 시설물(400) 간의 상대적 거리를 측정할 수 있다.
이때, 학습용 데이터베이스(270)의 지역 패치보다 AR 디바이스(300) 입력 영상의 지역 패치 크기가 크면 지역 패치의 위치에 있는 시설물(400)에 학습용 데이터베이스(270)를 만들 때 설정된 기준점보다 작업자가 더 가까운 위치에 있음을 판단할 수 있다.
반대로, 학습용 데이터베이스(270)의 지역 패치보다 AR 디바이스(300) 입력 영상의 지역 패치 크기가 작으면 지역 패치의 위치에 있는 시설물(400)에 학습용 데이터베이스(270)를 만들 때 설정된 기준점보다 작업자가 더 멀리 위치해 있음을 판단할 수 있다.
또한, 동일한 방식으로 도 28b에서 도시된 바와 같이 학습용 데이터베이스(270)와 동일 라벨링이 되어 있는 지역 패치의 위치를 비교하여 작업자와 시설물(400) 간의 각도를 측정할 수 있다.
이때, AR 디바이스(300)를 통해 입력된 영상의 지역 패치가 학습용 데이터베이스(270)의 지역 패치 위치보다 왼쪽에 있다면 현재 작업자의 위치는 학습용 데이터베이스(270)의 지역 패치를 만들 때 설정된 기준점보다 오른쪽에 있다고 판단할 수 있다.
도 29는 본 발명의 실시 예에 따른 AR 인터페이스 시스템(200)의 연동을 나타내는 도면이다. 상술한 과정을 통해 측정된 작업자의 위치 정보를 토대로 AR 인터페이스 시스템(200)을 연동하여 작업자에게 AR 디바이스(300)로 공장 시설물(400)의 관련 정보를 제공한다.
AR 디바이스(300)의 AR 소프트웨어가 AR 인터페이스 시스템(200)의 서버에 연동하여 설비에 대한 정보를 수신할 수 있으며, 현재 작업자의 위치가 측정되면 마커리스 기반의 AR 소프트웨어를 이용하여 해당 위치에 대응되는 컨트롤 패널 및 정보를 디스플레이할 수 있다.
즉, AR 디바이스(300)에 디스플레이하여 제공하는 단계(S60)는 작업자의 위치 정보를 추출하는 단계(S50)에서 작업자의 위치가 측정되면 측정 위치에 해당하는 설비의 정보를 AR 디바이스(300)에 디스플레이하고, 필요한 경우 상호작용을 할 수 있도록 버튼 등의 인터페이스를 제공할 수 있다.
이와 같이 본 발명의 실시 예에 따른 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법 및 시스템(10)은 시설물(400)의 아날로그 센서(411) 또는 디지털 센서(412)와 PLC 시스템(100)과의 연동 기능과, 시설물(400)의 아날로그 센서(411) 또는 디지털 센서(412)의 동작 제어 기능이 가능하며, 이를 통해 HMI 시스템의 관리자 없이 AR 디바이스(300)만으로 시설물(400)의 컨트롤이 가능하다.
또한, 센서(410) 데이터를 수집하여 유/무선 네트워크를 통해 AR 인터페이스 시스템(200)으로 송신하고, AR 인터페이스 시스템(200)은 데이터베이스(270)에 데이터를 저장하여 이를 AR 디바이스(300)에 송신함으로써, HMI 관리자 없이 네트워크 연결 상태의 감지 및 연결 상태의 복원이 가능하다.
또한, 3D 맵 구축을 통해 마커 없이 작업자의 현재 위치를 찾을 때 필요한 특징점들을 3D 맵에서 추출할 수 있고, 공장 내의 시설물(400)을 3D 맵으로 생성하여 이를 통해 시설물(400)을 입체적으로 검토 및 정확한 설비의 위치파악과 효율적인 점검이 가능하다.
또한, 별도의 장비 없이 AR 디바이스(300)만으로 작업자의 현재 위치를 추적하여 해당 위치에 대응되는 컨트롤 패널 및 정보를 디스플레이하며, 이를 통해 종래 별도의 장비를 동원하여 위치를 추적하는 방식에 비해 비용을 절감할 수 있다.
이상으로 본 발명에 관한 바람직한 실시 예를 설명하였으나, 본 발명은 상기 실시 예에 한정되지 아니하며, 본 발명의 실시 예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.
[부호의 설명]
10 : 마커리스 기반의 AR 구현 시스템
100 : PLC 시스템 110 : PLC AI 모듈
120 : PLC DI 모듈 130 : AD 컨버터
140 : DA 컨버터 150 : PLC 내부 메모리
160 : PLC AO 모듈 170 : PLC DO 모듈
180 : PLC 통신용 메모리 200 : AR 인터페이스 시스템
210 : 영상정보 측정부 211 : 영상장치
220 : 특징점 추출부 221 : 3D 포인트 클라우드 모듈
222 : 특징점 추출 모듈 223 : 좌표계 변환 모듈
224 : 정밀화 모듈 230 : 학습부
240 : 판단부 250 : 통신부
260 : 제어부 270 : 데이터베이스
300 : AR 디바이스 400 : 공장 시설물
410 : 센서 모듈 411 : 아날로그 센서
412 : 디지털 센서

Claims (10)

  1. 공장 시설물의 아날로그 센서 또는 디지털 센서와 데이터를 송수신하고 제어하기 위해 상기 아날로그 센서 또는 디지털 센서와 PLC 시스템을 연동하는 단계(S10);
    AR(Augmented reality) 디바이스로 PLC 시스템에 접속하기 위하여 PLC 시스템과 AR 디바이스를 연동하는 단계(S20);
    상기 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 3D 맵을 구축하는 단계(S30);
    상기 AR 디바이스에서 공장 시설물의 영상 정보를 측정하여 AR 인터페이스 시스템에 전송하는 단계(S40);
    상기 AR 인터페이스 시스템에서 AR 디바이스로부터 입력된 영상 정보를 토대로 특징점을 추출하고, 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출하는 단계(S50); 및
    추출된 작업자의 위치에 해당하는 설비의 정보를 상기 AR 디바이스에 디스플레이하여 제공하는 단계(S60)를 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  2. 제1항에 있어서,
    상기 3D 맵을 구축하는 단계(S30)는
    영상장치를 이용하여 2D RGB 이미지 정보와 깊이 정보를 측정하는 단계(S31);
    상기 2D RGB 이미지 정보와 깊이 정보를 결합하여 3D 포인트 클라우드를 생성하는 단계(S32);
    상기 3D 포인트 클라우드 상호 간의 상대적인 위치 관계를 파악하기 위해 각 3D 포인트 클라우드 좌표들의 상호관계를 계산하여 월드 좌표계로 변환하는 단계(S33);
    영상 정보에서 특징점 추출 알고리즘을 통해 특징점을 추출하고, 상기 특징점을 3D 포인트 클라우드와 매칭하여 해당 좌표의 위치 정보를 계산하는 단계(S34); 및
    여러 각도에 대한 특징점들을 하나의 월드 좌표로 변환하여 3D 맵을 생성하는 단계(S35)를 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  3. 제2항에 있어서,
    상기 3D 맵을 구축하는 단계(S30)는 상기 하나의 월드 좌표로 변환하여 3D 맵을 생성하는 단계(S35) 이후에, 생성된 3D 맵을 토대로 정밀화 작업을 수행하는 단계(S36)를 더 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  4. 제3항에 있어서,
    상기 정밀화 작업은 생성된 3D 맵을 토대로 객체와 배경을 분리하는 작업과, 그림자 영역 및 구멍(Hole) 영역을 채우는 손실 부분 보정 작업을 수행하는 것을 특징으로 하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  5. 제2항에 있어서,
    상기 3D 맵을 구축하는 단계(S30)는 상기 하나의 월드 좌표로 변환하여 3D 맵을 생성하는 단계(S35) 이후에, 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류하는 단계(S37)를 더 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  6. 제5항에 있어서,
    상기 특징점의 분포 이미지를 학습하고 분류하는 단계(S37)는
    전체적인 특징점 분포 이미지를 일정 크기의 지역 패치로 분할하는 단계(S371)와,
    분할된 특징점 분포 이미지를 각 위치에 맞게 라벨링하여 구축하는 단계(S372) 및
    라벨링하여 구축된 특징점 분포 이미지를 학습하는 단계(S373)를 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  7. 제1항에 있어서,
    상기 작업자의 위치 정보를 추출하는 단계(S50)는
    미리 구축된 3D 맵과 AR 디바이스로부터 입력된 영상 정보를 토대로 동일 라벨링이 되어 있는 지역 패치의 크기를 비교하여 작업자와 공장 시설물 간의 상대적 거리를 측정하는 것을 특징으로 하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  8. 제1항에 있어서,
    상기 작업자의 위치 정보를 추출하는 단계(S50)는
    미리 구축된 3D 맵과 AR 디바이스로부터 입력된 영상 정보를 토대로 동일 라벨링이 되어 있는 지역 패치의 상대적인 위치를 비교하여 작업자와 공장 시설물 간의 각도를 측정하는 것을 특징으로 하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법.
  9. 공장 시설물의 아날로그 센서 또는 디지털 센서 및 AR 디바이스와 연동하여 데이터를 송수신하고, 상기 아날로그 센서, 디지털 센서 및 AR 디바이스의 동작을 제어하는 PLC 시스템;
    상기 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 3D 맵을 구축하고, 상기 AR 디바이스로부터 입력된 영상 정보를 토대로 특징점을 추출하며, 추출된 특징점을 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출하는 AR 인터페이스 시스템; 및
    상기 공장 시설물의 영상 정보를 측정하여 AR 인터페이스 시스템에 전송하고, 상기 AR 인터페이스 시스템의 제어에 따라 추출된 작업자의 위치에 해당하는 설비의 정보를 디스플레이하여 제공하는 AR 디바이스를 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템.
  10. 제9항에 있어서,
    상기 AR 인터페이스 시스템은
    영상장치를 이용하여 상기 공장 시설물의 2D RGB 이미지 정보와 깊이 정보를 측정하는 영상정보 측정부;
    상기 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 영상정보 측정부에서 측정된 2D RGB 이미지 정보와 깊이 정보를 이용하여 3D 맵을 추출하는 특징점 추출부;
    상기 특징점 추출부에서 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류하는 학습부;
    상기 AR 디바이스로부터 입력된 영상 정보를 토대로 추출된 특징점과, 상기 영상정보 측정부로부터 입력된 영상정보를 토대로 미리 구축된 3D 맵의 특징점을 비교하여 작업자의 위치 정보를 추출하는 판단부; 및
    상기 PLC 시스템과 AR 디바이스를 연동하여 제어하고, 상기 AR 디바이스로부터 입력된 공장 시설물의 영상 정보를 토대로 추출된 작업자의 위치에 해당하는 설비의 정보를 AR 디바이스에 디스플레이하여 제공하는 제어부를 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템.
PCT/KR2020/005945 2020-04-07 2020-05-06 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템 WO2021206209A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0041917 2020-04-07
KR1020200041917A KR102209025B1 (ko) 2020-04-07 2020-04-07 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2021206209A1 true WO2021206209A1 (ko) 2021-10-14

Family

ID=74239266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005945 WO2021206209A1 (ko) 2020-04-07 2020-05-06 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102209025B1 (ko)
WO (1) WO2021206209A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585650B1 (ko) * 2023-03-06 2023-10-13 한방유비스 주식회사 원자력발전소의 전기설비 관리 방법 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130092061A (ko) * 2012-02-10 2013-08-20 주식회사 삼천리엔바이오 환경기초시설용 다이렉트 동적감시관리장치 및 방법
KR20170028605A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
KR101746648B1 (ko) * 2016-02-23 2017-06-14 주식회사 언리얼파크 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
JP2018181292A (ja) * 2017-04-21 2018-11-15 日立Ｇｅニュークリア・エナジー株式会社 プラント設備機器認識システムおよびプラント設備機器認識方法
KR20190053119A (ko) * 2017-11-09 2019-05-17 더 보잉 컴파니 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들
KR20190075356A (ko) * 2017-12-21 2019-07-01 삼성전자주식회사 객체를 식별하기 위한 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190129220A (ko) 2018-05-10 2019-11-20 주식회사 에이유이 실내위치기반 서비스를 이용한 스마트 팩토리 제어 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130092061A (ko) * 2012-02-10 2013-08-20 주식회사 삼천리엔바이오 환경기초시설용 다이렉트 동적감시관리장치 및 방법
KR20170028605A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
KR101746648B1 (ko) * 2016-02-23 2017-06-14 주식회사 언리얼파크 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
JP2018181292A (ja) * 2017-04-21 2018-11-15 日立Ｇｅニュークリア・エナジー株式会社 プラント設備機器認識システムおよびプラント設備機器認識方法
KR20190053119A (ko) * 2017-11-09 2019-05-17 더 보잉 컴파니 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들
KR20190075356A (ko) * 2017-12-21 2019-07-01 삼성전자주식회사 객체를 식별하기 위한 장치 및 방법

Also Published As

Publication number Publication date
KR102209025B1 (ko) 2021-01-28

Similar Documents

Publication Publication Date Title
WO2018186583A1 (ko) 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
WO2019093532A1 (ko) 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2018164460A1 (en) Method of providing augmented reality content, and electronic device and system adapted to the method
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2018230845A1 (ko) 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2021137483A1 (ko) 자율주행 로봇을 이용한 지도 업데이트 방법 및 시스템
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2021206209A1 (ko) 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
WO2021040214A1 (ko) 이동 로봇 및 그 제어 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2021085771A1 (ko) 하이브리드 교통신호제어시스템 및 그 방법
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2020251099A1 (ko) 사용자의 현재 위치로 차량을 호출하는 방법
WO2019199112A1 (ko) 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2020189831A1 (ko) 자율주행 차량의 모니터링 및 제어 방법
WO2022203252A1 (ko) 전극 코팅공정의 롤맵, 롤맵 작성방법 및 롤맵 작성 시스템
WO2019054593A1 (ko) 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치
WO2018199630A1 (ko) 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법
WO2017119545A1 (ko) 2d 레이저 센서와 모터를 구비하는 스캐너를 이용하여 항공기를 주기장에 안전하게 유도하는 방법
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20929703

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20929703

Country of ref document: EP

Kind code of ref document: A1