WO2022085859A1 - 기계 학습용 이미지 데이터 생성 방법 및 그 장치 - Google Patents

기계 학습용 이미지 데이터 생성 방법 및 그 장치 Download PDF

Info

Publication number
WO2022085859A1
WO2022085859A1 PCT/KR2020/017247 KR2020017247W WO2022085859A1 WO 2022085859 A1 WO2022085859 A1 WO 2022085859A1 KR 2020017247 W KR2020017247 W KR 2020017247W WO 2022085859 A1 WO2022085859 A1 WO 2022085859A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
data
product
information
machine learning
Prior art date
Application number
PCT/KR2020/017247
Other languages
English (en)
French (fr)
Inventor
이규홍
Original Assignee
주식회사 팀솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팀솔루션 filed Critical 주식회사 팀솔루션
Priority to US18/249,151 priority Critical patent/US12008706B2/en
Publication of WO2022085859A1 publication Critical patent/WO2022085859A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present invention relates to a method and apparatus for generating image data for machine learning. More particularly, it relates to a 3D CAD-based method for generating image data for machine learning and an apparatus therefor.
  • Big data for machine learning like this is easy to acquire in the case of the service industry that targets the public.
  • the manufacturing industry it is difficult to secure an image before the launch of a new product due to security issues, and in particular, it is impossible to secure an image of the manufacturing process.
  • the shapes are all different according to the order of the shipowner, so when machine learning is performed with an existing ship image, manufacturing of a new ship under construction and useless data are produced. Furthermore, the image of the existing ship only provides information on the final state of construction completed, and exposes a limitation in not reflecting the data of the ship's manufacturing process.
  • the technical problem to be solved by the present invention is to provide a method and an apparatus for mass-generating image data for learning that reflect a manufacturing process of a customized product that does not have a ready-made product.
  • the present invention is to provide a method and apparatus for generating image data for machine learning for identifying the process progress of an intermediate product calculated at each stage of a ship building process to which a large block is applied.
  • Another technical problem to be solved by the present invention is to provide a method and an apparatus for mass generating 3D CAD-based image data for machine learning.
  • the present invention provides a method and apparatus for lightening 3D CAD data reflecting the unique properties of large-scale products on demand, and generating image data for learning based on the lightweight 3D CAD data, and an apparatus therefor.
  • Another technical problem to be solved by the present invention is to provide a method and an apparatus for monitoring an actual process of a product. Specifically, to provide a method and an apparatus capable of monitoring the progress of the current actual process by comparing the captured image of the detailed step of the actual process and the machine learning result for the generated 3D CAD-based image data for learning.
  • the product generated as a result of performing the first step of the manufacturing process of the product including a plurality of steps, based on 3D CAD data of the product Extracting the first image data and generating a plurality of posture conversion image sets corresponding to each of a plurality of postures for the product based on the first image data, and each image of the plurality of posture conversion image sets It may include performing image processing through a rendering engine by applying the actual data to the image processing and generating a training data set for the first image data through the image processing.
  • the step of extracting the first image data includes three-dimensional CAD data for the product, identification information for the finished product including the identification information of the product and the product, and each step of the manufacturing process. It may include matching to the first data group including information about.
  • the extracting of the first image data may include comparing the first image data with identification information of the product, identification information on intermediate products constituting the product, and a plurality of steps of the manufacturing process. and matching the second data group including information on the progress of the first step.
  • the generating of the plurality of posture transformation image sets includes performing a preset viewpoint transformation on the first image data and capturing the viewpoint transformation first image data. can do.
  • the step of performing image processing through a rendering engine by applying the actual data may include, from a backbone database for storing field information corresponding to the first step, physical value information corresponding to the first step, Receiving the environmental value information and noise information and based on the received information, it may include the step of generating the actual data.
  • the performing image processing through the rendering engine based on the plurality of posture transformation image sets and the actual data, determining a rendering model and processing the image based on the determined rendering model generating a third data group including information about the applied real-world data and the determined rendering model, and matching the third data group to a training data set for the first image data.
  • the field information includes process information corresponding to the first step
  • the method includes: filtering the received field information based on the process information; based on the step of performing reinforcement learning on the training data set, wherein the step of performing the reinforcement learning, a simulation to be applied to the training data through a reinforcement learning model registered in advance based on the filtered field information It may include generating data and applying the simulated data to the training data set.
  • the filtering of the received field information based on the process information includes: extracting pre-matched noise information based on at least one of a process type and a process direction from among the process information; It may include filtering the field information based on the pre-matched noise information.
  • the step of extracting the first image data includes: identifying a hierarchical structure of a three-dimensional CAD model for a product; and performing the CAD weight reduction process, and may include generating 3D CAD data for the product.
  • performing the CAD lightening process of reducing the weight of the object determined to be merged among the objects constituting the hierarchical structure includes determining a merge target among the objects based on the manufacturing process of the product. can do.
  • the method includes extracting second image data for a product generated as a result of performing a second step in the manufacturing process of the product including the plurality of steps, and based on the second image data with the step of generating a plurality of posture conversion image sets of the second image data corresponding to each of the plurality of postures for the product, and applying the actual data to each of the images of the plurality of posture conversion image sets of the second image data
  • the method may further include performing image processing through a rendering engine and generating a training data set for the second image data through the image processing.
  • An apparatus for generating image data for machine learning for solving the above technical problem includes one or more processors, a network interface for receiving three-dimensional CAD data and field information about a product, and a memory for loading a computer program executed by the processor And storage for storing the computer program, wherein the computer program, based on the three-dimensional CAD data, for a product generated as a result of performing a first step of the manufacturing process of the product including a plurality of steps
  • FIG. 1 is a conceptual diagram of a system for generating image data for machine learning according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an apparatus for generating image data for machine learning according to another embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for generating image data for machine learning according to another embodiment of the present invention.
  • FIG. 4 is a block diagram for explaining the structure of image data generating software for machine learning, which is referenced in some embodiments of the present invention.
  • FIG. 5 is an exemplary diagram for explaining a database for generating image data for machine learning, which is referenced in some embodiments of the present invention.
  • FIG. 6 is an exemplary diagram of image data for training, which is referenced in some embodiments of the present invention.
  • the product is produced through a specific process, for example, may be a large block applied to a ship.
  • the vessel is a finished product, and may be assembled or combined between various products.
  • the intermediate product is a product produced as each step of the process for producing the product is performed, and may be a product in an unfinished state or a part of the product.
  • the product is a large block
  • the large block is produced by assembling and welding various steel sheets and structures, and the assembly of a part of the steel sheet and the structure may be an intermediate product.
  • the output between steps 1 to 9 may be an intermediate product.
  • the image data generating system, apparatus, and method for machine learning may be referred to as an image data generating system, an image data generating apparatus, and an image data generating method, respectively.
  • the image data generation system includes a three-dimensional CAD data unit 10 , a plurality of posture data generation units 20 , a live-action data reflection rendering unit 30 , a simulation-based learning unit 40 , and process monitoring.
  • a portion 50 may be included.
  • Each component of the system may be a hardware device or a hardware device for storing and calculating software performing each function, and the components shown separately in FIG. 1 may be configured as one hardware device.
  • each component of the system may be a software module that is integrated into one hardware computing device to perform each function.
  • the three-dimensional CAD data unit 10 may be, for example, a device that provides design data of a manufactured product or a finished product, and in particular, in this specification, the three-dimensional CAD data is a ship produced by assembling a plurality of large blocks of various shapes. It may be the three-dimensional design drawing data 11 of
  • the three-dimensional design drawing data 11 of the ship may be three-dimensional CAD weight reduction processing data.
  • a 3D CAD model of a manufactured product such as a ship consists of a large number of vertices, parts (objects in the 3D CAD model hierarchy), materials constituting each part, and property information. there is.
  • 3D CAD models are made for the purpose of product production, and thus the precision expressed in the number of vertices or the hierarchical structure of objects is generally very high compared to 3D CAD models produced in the entertainment industry such as movies and games.
  • the image data generating apparatus 100 identifies a hierarchical structure of a 3D CAD model for a product, and reduces the weight of the object determined to be merged among the objects constituting the hierarchical structure. process can be performed.
  • the image data generating apparatus 100 may generate the 3D design drawing data 11 of the lightweight ship from the 3D CAD model of the product.
  • a merging target among the objects may be determined based on a manufacturing process of the product. That is, the image data generating apparatus 100 may perform weight reduction to reflect the structure that must be maintained at least to reflect the manufacturing process of the ship. The weight reduction degree may be set by a user of the image data generating apparatus 100 .
  • the three-dimensional CAD data unit 10 can extract three-dimensional CAD data in units of blocks constituting the ship from the three-dimensional design drawing data 11 of the ship.
  • the 3D CAD data unit 10 may extract CAD image data for each detailed step included in the manufacturing process of each block.
  • a case in which CAD image data for block A is extracted from the 3D data unit 10 will be described as an example.
  • the three-dimensional CAD data unit 10 may implement the A block and the assembly process of the steel plate and the structure constituting the A block as CAD image data.
  • step 1 the support steel plate is placed, in step 2, the left column steel plate is assembled to the left of the support steel plate, and in step 3, the right column steel plate is the support steel plate.
  • the three-dimensional CAD data unit 10 can extract CAD image data in which only the first supporting steel plate is placed as the CAD image data for the block A, and secondly, CAD image data in which the left steel plate is assembled to the supporting steel plate. can be extracted.
  • the three-dimensional CAD data unit 10 may finally extract CAD image data assembled from the support steel plate to the right steel plate.
  • the extracted 3D CAD image data in units of blocks is provided to the plurality of posture data generating units 20 .
  • the various posture data refers to CAD image data that expresses a visible object in three dimensions when the viewpoint of viewing the image data is changed in various ways or when the block is rotated in various directions.
  • the plurality of posture data generators 20 may generate posture data in various directions while rotating and capturing the image data of the product or intermediate product by 360 degrees.
  • the actual data reflection rendering unit 30 includes a plurality of posture data, weather, time zone, environmental information such as welding sparks, noise information such as people and equipment, block material in which the manufacturing process is performed, paint color, type of light source, and Image rendering is performed for posture data in various directions by reflecting actual data such as physical information such as location.
  • the real-time data reflection rendering unit 30 may acquire real-world data from a backbone network for recording or real-time acquisition of field information.
  • the backbone network may be a network interface capable of acquiring various on-site information, such as types and locations of installed facilities, cameras and light sources, and process information in the field. That is, the backbone network is a network interface that connects the image data generation system and field information.
  • the actual data reflection rendering unit 30 stores various rendering models, and in particular, through a rendering engine, an optimal rendering model may be applied to the posture data in consideration of the properties of the actual data. Alternatively, image rendering may be performed by combining optimal rendering models through a rendering engine.
  • the simulation-based learning unit 40 may generate ( 41 ) image data to which changes are applied for each stage of the manufacturing process with respect to an intermediate product corresponding to the converted posture data of each image.
  • the simulation-based learning unit 40 may generate a plurality of image data corresponding to the process progress rate 43 at close time intervals.
  • the simulation-based learning unit 40 may generate image data corresponding to the process progress rate 43 at time intervals set based on process characteristics. That is, as the process progresses, image data may be frequently generated in the case of a process generating an image with many intermediate products and many changes, and image data may be generated at least in the case of a process with little change.
  • image data in a direction with a lot of change frequently generates image data corresponding to the process progress rate 43, but the direction of the converted posture data even for an image of the same process
  • the amount of image data generated may be optimized.
  • the image generating apparatus 100 may store in advance settings for the number of times of generating the image data and a time interval for generating the image data.
  • the simulation-based learning unit 40 is, in particular, a state in which the actual data is reflected by the actual data reflection rendering unit 30 for each image data corresponding to each step of the manufacturing process extracted from the three-dimensional CAD data unit 10 .
  • the simulation-based learning unit 40 based on the database of the backbone network, the image data that is the result extracted and processed by the 3D CAD data unit 10 and the actual field data reflection rendering unit 30, Image simulation that satisfies data properties is performed. Accordingly, the learning range is narrowed, and image data simulated on an actual image of the field can be generated.
  • field information for each step may be reflected in the due diligence data of each process step. That is, when the actual data reflection rendering unit 30 is irradiating light to the block A from the light source at the X position at the site of the manufacturing process, the simulation-based learning unit 40 is located at the X position at each stage of the manufacturing process of the block A
  • the CAD image data can be simulated by reflecting the case of irradiating light from the light source of To this end, at least one machine learning model widely known in the field to which the present invention belongs may be applied to the simulation-based learning unit 40 .
  • the simulation-based learning unit 40 may generate image data in which field information is reflected in real-time in the actual data as a modeling result of the machine learning model and the assembly state corresponding to the process progress is reflected.
  • the process progress rate may have different results from the simulated image data depending on the weather or time zone of the manufacturing site, that is, on-site information of the situation in which the corresponding stage starts and ends. can be created.
  • the process monitoring unit 50 may compare the CAD image data for each stage of the simulated manufacturing process with the real data of the stage 51 of the real-time manufacturing process in the field.
  • the process monitoring unit 50 maintains a preset similarity range with the CAD image data for each step of the manufacturing process in which the actual data is simulated, whether detailed steps of the manufacturing process are performed, in particular, according to a predetermined schedule. can determine whether
  • FIG. 2 is a block diagram of an apparatus for generating image data for machine learning according to another embodiment of the present invention.
  • the image data generating apparatus 100 includes one or more processors 101 , a network interface 102 to which an external device is connected or receiving data from an external device, and a computer program executed by the processor 101 . It may include a memory 103 for loading and a storage 104 for storing a computer program.
  • the processor 101 controls the overall operation of each component of the image data generating apparatus 100 .
  • the processor 101 includes a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), an application processor (AP), or any type of processor well known in the art. can be In addition, the processor 101 may perform an operation on at least one application or program for executing the method according to the embodiments of the present invention.
  • the network interface 102 supports wired/wireless Internet communication of the image data generating apparatus 100 .
  • the network interface 102 may support various communication methods other than the Internet, which is a public communication network.
  • the network interface 102 may provide a connection with an external device.
  • the network interface 102 may be configured to include at least one of a communication module and a connection terminal well known in the art.
  • the network interface 102 may obtain three-dimensional CAD image data of at least one of a finished product, a manufactured product, and an intermediate product from an external device, and may also receive the due diligence data and process data .
  • the external device is a terminal belonging to a backbone network, and may be a server device that stores field information and/or various sensors of a manufacturing site. Also, the external device may be at least some of the devices included in the image data generating system of FIG. 1 .
  • the backbone network may mean a main transmission path for transmitting a communication amount between a small-scale “local area network (LAN)” or a branch LAN, and in particular, in the embodiment of the present invention, It refers to a network that is connected to the internal intranet of the company performing the process at all times or in an emergency.
  • LAN local area network
  • the external device according to the embodiment of the present invention is not limited thereto, and the external device may be a terminal providing 3D CAD image data.
  • the memory 103 stores various data, commands and/or information.
  • the memory 103 may load one or more programs 105 from the storage 104 to execute methods according to embodiments of the present invention.
  • Memory 103 may be, for example, RAM.
  • the storage 104 may non-temporarily store the one or more programs 105 and 3D CAD image data 106 .
  • the one or more programs may include a 3D CAD program, and may include a program for exchanging and/or sharing data with a Product Lifecycle Management (PLM) system and an Enterprise Resource Planning (ERP) system.
  • PLM Product Lifecycle Management
  • ERP Enterprise Resource Planning
  • Such a program may provide an interface for sharing data through the network interface 102 from a server of a manufacturing company performing a design process.
  • the storage 104 may store unique information of the vessel and the line number of the block.
  • the stories 104 may store information about the process steps and sequence of the vessel and/or block, for example, a detailed assembly procedure (DAP, Detailed Assembly Procedure), and may also store the due diligence data for each process step.
  • DAP detailed assembly procedure
  • image data generation software 105 is shown as an example of the one or more programs 105 .
  • the image data generating software 105 may be referred to as an image data generating program.
  • the one or more programs 105 may include a program for performing a process of reducing the weight of the 3D CAD model.
  • the storage 104 is a non-volatile memory such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, or well in the art to which the present invention pertains. It may be configured to include any known computer-readable recording medium.
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory a hard disk, a removable disk, or well in the art to which the present invention pertains. It may be configured to include any known computer-readable recording medium.
  • the image data generating software 105 is calculated by the image data generating device 100 , so that, based on the three-dimensional CAD image data 106 , the product and/or the intermediate product is rotated in various directions. Image data in which the viewpoint is converted may be generated.
  • the image data generating software 105 is calculated by the image data generating device 100 , so that based on the three-dimensional CAD image data 106 , the CAD image to which the on-site actual data of the manufacturing process is applied. data can be generated.
  • the image data generating software 105 is calculated by the image data generating device 100 , so that, based on the three-dimensional CAD image data 106 , the assembly process of each step of the manufacturing process of the product is performed. This reflected CAD image data can be generated.
  • the first, second and third embodiments may be combined with each other, and the three-dimensional CAD image data may store the image data generated in the above embodiments.
  • three-dimensional CAD image data corresponding to block A (hereinafter, block A image data) is rotated for each preset angle in three dimensions, and by capturing the image, various posture data may be generated.
  • the setting for the rotation angle may be, for example, a rotation of 360 degrees in a horizontal direction and a rotation of 180 degrees in a vertical direction by 1 degree each.
  • the image data generating apparatus 100 may generate image data to which actual data and/or process data are applied among field data.
  • the actual data may include, for example, a physical value, an environmental value, and noise information.
  • the 3D CAD image data is the image data of the block
  • the actual data may include an image of a welding machine applied to the process of the block as noise information.
  • the process data may include information on at least one of a type, a schedule, a level of an intermediate product, an assembly relationship between intermediate products, and an assembly sequence of each step of the manufacturing process of the block A.
  • the image data generating apparatus 100 may generate image data to which the actual data and/or process data are applied.
  • the due diligence data and the process data may be generated to correlate information. For example, when the manufacturing process of block A is welding of the right side, the image data generating apparatus 100 identifies the type of the process, and the welding machine image, which is noise information of the actual data, is placed on the right side of the A block. can render.
  • the image data generating apparatus 100 may obtain data on the process of the vessel and/or block from the backbone network through the network interface 102 .
  • data about a process may be a detailed assembly procedure (DAP) of blocks.
  • the image data generating apparatus 100 may identify the type of the welding process on the right side of block A in the detailed block assembly procedure, and match and store the welding machine image as noise information.
  • DAP detailed assembly procedure
  • the image data generation software 105 generates a machine learning model for generating the 3D image data 106 according to at least one of the first, second and third embodiments.
  • the machine learning model is applied to an external device separated from the image data generating apparatus 100 so that learning of the image data rendered by the image data generating apparatus 100 is performed in the external device. may be performed.
  • the machine learning model may include an artificial neural network, and a convolutional neural network (CNN), an auto encoder, a feedforward neural network, and a radial basis function network. ), a kohonen self-organizing network, and a recurrent neural network (RNN).
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the machine learning model is by a convolutional neural network
  • the feature values of the three-dimensional CAD image data 106 are filtered, and through the convolution calculation Among several image pixels, only certain values are newly taken. By repeating this learning, desired feature points can be extracted.
  • the feature point may be an edge point on the appearance of the block.
  • the accumulated feature point extraction result data may be utilized as feed data for a machine learning model.
  • a product or an intermediate product viewed from a specific direction can be associated with a specific stage of the manufacturing process, and the image data generating apparatus 100 assembles the specific intermediate product It is possible to determine the degree, that is, the process progress rate.
  • Ships built in shipyards are designed in different sizes and shapes, and it is very rare that the shape of the ship built first and the ship built later are the same. Furthermore, in most cases, the size and shape of the blocks constituting each ship also have unique values. As such, in the case of manufactured products such as ships that cannot be mass-produced based on ready-made products, it is often difficult to grasp the progress of the manufacturing process in the field. In particular, in the case of a ship block, the direction and surface of the operation are different for each stage of the manufacturing process, and the block is laid in a different direction for each stage.
  • the image data generating apparatus 100 of the present invention may generate image data reflecting the assembly state of each step, which is learned by simulating the actual field data and reflecting the process data.
  • FIG. 3 is a flowchart of a method for generating image data for machine learning according to another embodiment of the present invention.
  • each step of FIG. 3 is performed by the image data generating apparatus 100 .
  • each step is performed as the image data generating software 105 is calculated by the processor 101 of FIG. 2 .
  • the three-dimensional CAD image data according to an embodiment of the present invention is the design drawing data of a ship will be described as an example.
  • the image data generating apparatus 100 may acquire 3D CAD image data of a ship ( S10 ).
  • the image data generating apparatus 100 may receive 3D CAD image data of a ship shared from the network interface 102 or may acquire data from an external device.
  • the image data generating apparatus 100 may extract image data for the product of the first step during the manufacturing process ( S20 ). Specifically, by obtaining a detailed assembly procedure (DAP) of a ship and/or a block from a database of the backbone network, the image data generating apparatus 100 may extract image data corresponding to the product of the first step .
  • DAP detailed assembly procedure
  • the image data generating apparatus 100 may generate a posture conversion image set for the extracted image data (S30).
  • the image data generating apparatus 100 may generate the posture conversion image set by rotating the image data for the product of the first step in three directions of X, Y, and Z.
  • the image set may be generated by discontinuously performing rotation in preset angle units.
  • the image data generating apparatus 100 performs image rendering by applying the actual data to each image included in the posture conversion image set (S40).
  • the type of the actual data may be limited to field information, and accordingly, an image data set for performing machine learning may be generated (S50).
  • the image data generating apparatus 100 may perform limited learning of the image data set for machine learning based on field information, thereby limiting the scope of machine learning and rapidly generating simulated data for each step of the manufacturing process. .
  • step S40 the image data generating apparatus 100 generates simulated data generated based on the field information extracted by filtering based on the process information, and includes it in the posture conversion image set Image rendering can be performed by applying simulated data to each image.
  • 4 is a block diagram for explaining the structure of image data generating software for machine learning, which is referenced in some embodiments of the present invention.
  • 5 is an exemplary diagram for explaining a database for generating image data for machine learning, which is referenced in some embodiments of the present invention.
  • raw CAD data 501 may be 3D CAD image data of a ship. Alternatively, it may be 3D CAD image data for a specific block. All or part of the raw CAD data 501 may be obtained from a database of the backbone network, and may include unique identification information, vessel identification information, block identification information, data inputter information, comments, last update date information, and the like. .
  • the unique identification information may be generated by mapping the vessel identification information and the block identification information.
  • the raw CAD data (rawCAD) 501 may be linked to the feeder CAD data (feederCAD) 502 .
  • the feeder CAD data 502 may include progress rate information of a block manufacturing process, raw CAD data information, unique identification information, information on a machine learning model to be fed, information on a fed path, and the like.
  • the feeder CAD data 502 may include information on a detailed step to which the feeder CAD data belongs during a manufacturing process.
  • CAD data 511 is input to the rendering module 420 as input data 410 .
  • the CAD data 511 may be image data matching the feeder CAD data 502 .
  • the input data 410 may include the actual data 413 .
  • the actual data 413 is information for closely simulating the CAD image data to the real data, and according to one embodiment, the actual data 413 is a physical value 431, an environmental value 432, a noise 433 and At least some data of the field information 430 such as process information 435 may be included.
  • the due diligence data 413 may be simulated data generated by giving weight to specific data among the field information 430 and filtering some data according to conditions.
  • the image data generating apparatus 100 may receive field information and filter it based on process information. Specifically, the image data generating apparatus 100 may extract pre-matched noise information based on at least one of a process type and a process progress direction among the process information, and the field information based on the pre-matched noise information can be filtered. That is, as in the above example, when the manufacturing process of block A is welding of the right side, the image data generating apparatus 100 may filter the noise information, on-site information with which the welding machine disposed on the right is matched in advance. The image data generating apparatus 100 may generate simulated data based on the filtered field information.
  • a weight function that gives weight to specific data of the field information 430 or a filter that performs filtering on some data may be obtained through machine learning, and such machine learning is performed by the context reinforcement module 423 ) can be performed in The weight value and the filtering algorithm may be simulated data generated through the machine learning.
  • the render method (renderMethod) 503 may include identification information, information specific to feeder CAD data, information on an applied rendering model, and the like.
  • the render method 503 is determined by the rendering engine 421 after the CAD data 411 and the photorealistic data 413 matching the feeder CAD data 502 are input to the rendering module 420, and the input data ( 410) may include information on a rendering model applied to the .
  • the image data generating apparatus 100 may track the CAD data information for the image data fed to the machine learning model 450 , the actual data applied value, and the applied rendering model.
  • the reinforcement learning engine 451 of the machine learning model 450 may perform learning in a limited range with specific field information based on the relationship between databases of FIG. 5 and data of each table. Accordingly, there is an advantage of optimizing the time and resource utilization of machine learning.
  • the output image data 460 may be used as data to be compared with the real thing in a process progress monitoring process at the site of a manufacturing process.
  • the twin model 504 may include identification information, information on the rendering model, physical values, noise, and identification information on environment values. That is, the twin model 504 may match the rendered image data input to the machine learning model 450 .
  • the rendering engine 421 when the photorealistic data 413 is input to the rendering module 420 together with the CAD data 410 , the rendering engine 421 performs image processing and a rendered image is output.
  • the context reinforcement module 423 participates in image processing of the rendering engine by filtering or weighting the data of the specific site information 430 to the rendering engine.
  • the context reinforcement module 423 may include at least one machine learning model, and apply a learned value based on field information, particularly process information, to a result of the rendering engine 421 .
  • the image data generating apparatus 100 may generate 3D CAD image data for a specific structure constituting a block.
  • image data 601 , 602 , 603 , and 604 in different directions are generated through posture transformation is illustrated as an example.
  • the image data 601 , 602 , 603 , and 604 may be intermediate products of an unfinished assembly step.
  • the image data generating apparatus 100 may determine the progress rate of the assembly step of the manufacturing process by checking the image data of the structure in various directions.
  • the methods according to the embodiments of the present invention described with reference to the accompanying drawings so far may be performed by executing a computer program embodied as computer readable code.
  • the computer program may be transmitted from the first computing device to the second computing device through a network such as the Internet and installed in the second computing device, thereby being used in the second computing device.
  • the first computing device and the second computing device include all of a server device, a stationary computing device such as a desktop PC, and a mobile computing device such as a notebook computer, a smart phone, and a tablet PC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

기계 학습용 이미지 데이터 생성 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따르면, 상기 방법은, 제조물에 대한 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 단계와 상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 단계와 상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계와 상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 포함할 수 있다.

Description

기계 학습용 이미지 데이터 생성 방법 및 그 장치
본 발명은 기계 학습용 이미지 데이터 생성 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 3차원 CAD 기반의 기계 학습용 이미지 데이터 생성 방법 및 그 장치에 관한 것이다.
최근, 기계 학습 기술이 인공지능 기반의 다양한 ICT 서비스 분야에 적극 활용되고 있으며, 그 적용 분야가 다양한 산업 분야로 확대되고 있다. 이러한 기계 학습 기술의 결과물 품질은 학습 대상에 대한 학습량에 의해 결정되므로, 기계 학습의 대상이 되는 빅 데이터의 확보는 결과물 품질 담보를 위한 중요 과제이다.
이 같은 기계 학습을 위한 빅 데이터는, 대중을 대상으로 하는 서비스업 분야의 경우, 이미지 확보가 용이한 편이다. 반면, 제조업의 경우, 보안 이슈로 신제품 출시 전 이미지 확보가 어렵고, 특히 그 제조 공정 과정의 이미지를 확보하는 것은 불가능하다.
특히, 선박과 같은 주문형 제조물의 경우, 선주의 주문에 따라 형상이 모두 제각각이어서 기존의 선박 이미지로 기계 학습하는 경우, 신규 건조 중인 선박의 제조와 무용한 데이터를 생산하게 된다. 나아가, 기존 선박의 이미지는 건조가 완료된 최종 상태의 정보만을 제공할 뿐, 선박의 제조 과정의 데이터를 반영하지 못하는 한계를 노출한다.
이 같은 문제점은, 제조업을 기계 학습 적용 분야에서 소외시키고, 제조 현장의 혁신을 저해한다.
본 발명이 해결하고자 하는 기술적 과제는, 기성품이 존재하지 않는 주문형 제조물의 제조 과정을 반영하는 학습용 이미지 데이터를 대량 생성하는 방법 및 그 장치를 제공하는 것이다. 구체적으로, 본 발명은 대형 블록이 적용되는 선박 건조 공정의 각 단계에서 산출되는 중간 산출물의 공정 진행상황을 식별하기 위한 기계 학습용 이미지 데이터를 생성하는 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 3차원 CAD 기반의 기계 학습용 이미지 데이터를 대량 생성하는 방법 및 그 장치를 제공하는 것이다. 구체적으로, 본 발명은, 주문형 대형 제조물의 고유 속성이 반영된 3차원 CAD 데이터를 경량화하고, 경량화된 3차원 CAD 데이터를 기반으로 학습용 이미지 데이터를 생성하는 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 제조물의 실제 공정을 모니터링하는 방법 및 그 장치를 제공하는 것이다. 구체적으로, 실제 공정의 세부 단계의 촬영 영상과, 생성된 3차원 CAD 기반 학습용 이미지 데이터에 대한 기계 학습 결과를 비교하여, 현재 실제 공정의 진행률을 모니터링할 수 있는 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 기계 학습용 이미지 데이터 생성 방법은, 제조물에 대한 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 단계와 상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 단계와 상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계와 상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 이미지 데이터를 추출하는 단계는, 상기 제조물에 대한 3차원 CAD 데이터를, 상기 제조물의 식별정보와 상기 제조물을 포함하는 완성품에 대한 식별정보 및 상기 제조 공정의 각 단계에 대한 정보를 포함하는 제1 데이터 그룹에 매칭시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 이미지 데이터를 추출하는 단계는, 상기 제1 이미지 데이터를, 상기 제조물의 식별정보와 상기 제조물을 구성하는 중간 산출물에 대한 식별정보 및 상기 제조 공정의 복수의 단계 대비 상기 제1 단계의 공정 진척도에 대한 정보를 포함하는 제2 데이터 그룹에 매칭시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 복수의 자세 변환 이미지 셋을 생성하는 단계는, 상기 제1 이미지 데이터에 대하여, 미리 설정된 시점 변환을 수행하는 단계와 상기 시점 변환된 제1 이미지 데이터를 캡처링하는 단계를 포함할 수 있다.
일 실시예에서, 상기 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는, 상기 제1 단계에 대응되는 현장 정보를 저장하는 기간망 데이터베이스로부터, 상기 제1 단계에 대응되는 물리 값 정보, 환경 값 정보 및 노이즈 정보를 수신하는 단계와 상기 수신된 정보를 기초로, 상기 실사 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는, 상기 복수의 자세 변환 이미지 셋 및 상기 실사 데이터를 기초로, 렌더링 모델을 결정하는 단계와 상기 결정된 렌더링 모델을 기초로 상기 이미지 프로세싱을 수행하는 단계와 상기 적용된 실사 데이터 및 상기 결정된 렌더링 모델에 대한 정보를 포함하는 제3 데이터 그룹을 생성하는 단계와 상기 제3 데이터 그룹을 상기 제1 이미지 데이터에 대한 학습용 데이터 셋에 매칭시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 현장 정보는, 상기 제1 단계에 대응되는 공정 정보를 포함하고, 상기 방법은, 상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계와 상기 필터링된 현장 정보를 바탕으로, 상기 학습용 데이터 셋에 대한 강화 학습을 수행하는 단계를 포함하되, 상기 강화 학습을 수행하는 단계는, 상기 필터링된 현장 정보를 바탕으로 미리 등록된 강화 학습 모델을 통해 학습용 데이터에 적용할 모사 데이터를 생성하는 단계와 상기 모사 데이터를 상기 학습용 데이터 셋에 적용하는 단계를 포함할 수 있다.
일 실시예에서, 상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계는, 상기 공정 정보 중 공정 종류 및 공정의 진행 방향 중 적어도 하나를 기초로 미리 매칭된 노이즈 정보를 추출하는 단계와 상기 미리 매칭된 노이즈 정보를 기초로 상기 현장 정보를 필터링하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 이미지 데이터를 추출하는 단계는, 제조물에 대한 3차원 CAD 모델의 계층구조를 식별하는 단계와 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계와 상기 CAD 경량화 프로세스를 수행함에 따라, 상기 제조물에 대한 3차원 CAD 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계는, 상기 제조물의 제조 공정을 기초로, 상기 오브젝트 중 병합대상을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 방법은, 상기 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제2 단계를 진행한 결과 생성되는 산출물에 대한 제2 이미지 데이터를 추출하는 단계와 상기 제2 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋을 생성하는 단계와 상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계와 상기 이미지 프로세싱을 통해, 상기 제2 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 기계 학습용 이미지 데이터 생성 장치 는, 하나 이상의 프로세서와 제조물에 대한 3차원 CAD 데이터 및 현장 정보를 수신하는 네트워크 인터페이스와 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리와 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 상기 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 오퍼레이션과 상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 오퍼레이션과 상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 오퍼레이션과 상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 오퍼레이션을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 기성품이 존재하지 않고 설계 도면만 존재하는 제조물에 대한 학습용 데이터를 생성함으로써, 기계 학습의 적용 범위를 확대할 수 있는 장점이 있다. 본 발명의 실시예에 따르면, 생산된 적이 없는 주문형 제조물에도 기계 학습의 적용을 가능케함으로써, 제조 현장의 혁신을 극대화할 수 있게 된다.
또한, 본 발명의 다른 실시예에 따르면, 기계 학습된 이미지 데이터를 통해 제조 공정의 각 단계의 중간 산출물의 완성 정도를 확인함으로써, 공정의 각 단계별 진행률을 분석할 수 있는 효과가 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 많은 컴퓨팅 자원이 요구되는 3차원 CAD 데이터를 경량화함으로써, 적은 자원으로 신속하게 기계 학습용 이미지 데이터를 대량 생성할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 기계 학습용 이미지 데이터 생성 시스템의 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 장치의 블록(Block)도이다.
도 3은 본 발명의 또 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 방법의 순서도이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성 소프트웨어 구조를 설명하기 위한 블록도이다.
도 5는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성을 위한 데이터베이스를 설명하기 위한 예시도이다.
도 6은 본 발명의 몇몇 실시예에서 참조되는, 학습용 이미지 데이터의 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서, 제조물은, 특정 공정을 통해 생산되는 것으로, 예를 들어, 선박에 적용되는 대형 블록일 수 있다. 이 경우, 선박은 완성품으로, 다양한 제조물 간의 조립 또는 결합으로 이뤄질 수 있다.
또한, 본 명세서에서, 중간 산출물은, 제조물을 생산하기 위한 공정의 각 단계가 수행됨에 따라 생산되는 산출물로서, 미완의 상태의 제조물 또는 제조물의 일부 부품일 수 있다. 예를 들어, 제조물이 대형 블록인 경우, 다양한 강판 및 구조물들의 조립 및 용접에 의해 대형 블록이 생산되고, 상기 강판 및 구조물 일부의 조립체는 중간 산출물일 수 있다. 상기 예에서 제조물의 생산에 10 단계의 공정을 거치는 경우, 1단계 내지 9단계 사이의 산출물이 중간 산출물일 수 있다.
이하, 기계 학습용 이미지 데이터 생성 시스템, 장치 및 방법은, 각각 이미지 데이터 생성 시스템, 이미지 데이터 생성 장치 및 이미지 데이터 생성 방법으로 칭해질 수 있다.
도 1은 본 발명의 일 실시예에 따른 기계 학습용 이미지 데이터 생성 시스템의 개념도이다. 도 1을 참조하면, 이미지 데이터 생성 시스템은, 3차원 CAD 데이터부(10), 복수개의 자세 데이터 생성부(20), 실사 데이터 반영 렌더링부(30), 모사 기반 학습부(40) 및 공정 모니터링부(50)를 포함할 수 있다.
시스템의 각 구성요소는 하드웨어 장치 또는 각 기능을 수행하는 소프트웨어를 저장하고 연산하는 하드웨어 장치일 수 있으며, 도 1에서 구분되어 도시된 구성요소들은 하나의 하드웨어 장치로 구성될 수도 있다.
다른 실시예로, 상기 시스템의 각 구성요소는 하나의 하드웨어 컴퓨팅 장치에 통합되어 각 기능을 수행하는 소프트웨어 모듈일 수도 있다.
3차원 CAD 데이터부(10)는, 예를 들어 제조물 또는 완성품의 설계 데이터를 제공하는 장치일 수 있으며, 특히 본 명세서에서 3차원 CAD 데이터는 복수개의 다양한 형상의 대형 블록의 조립에 의해 생산되는 선박의 3차원 설계도면 데이터(11)일 수 있다.
일 실시예에 따르면, 상기 선박의 3차원 설계도면 데이터(11)는 3차원 CAD 경량화 프로세싱된 데이터일 수 있다.
즉, 선박과 같은 제조물의 3차원 CAD 모델은 많은 수의 정점(Vertex), 파트(3D CAD 모델 계층 구조상의 오브젝트), 각 파트를 구성하는 재질(material), 속성정보(property) 등으로 구성되어 있다. 이는, 3차원 CAD 모델이 대부분 제품 생산을 목적으로 만들어진 것이어서, 정점 개수나 오브젝트 계층 구조로 나타나는 정밀도가 일반적으로 영화, 게임 등 엔터테인먼트 산업에서 생산되는 3D CAD 모델과 대비하여 매우 높기 때문이다.
이러한 높은 정밀도와, 각 오브젝트 별로 부여된 속성정보(길이, 직경, 재료 등)로 인한 과도한 데이터는, 3D CAD 모델이 고 사양의 디바이스에서만 구동되거나 저 사양의 디바이스에서는 제한적인 기능만 구현되는 문제를 초래한다.
이에, 본 발명의 일 실시예에 따른 이미지 데이터 생성 장치(100)는 제조물에 대한 3차원 CAD 모델의 계층구조를 식별하고, 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행할 수 있다.
상기 경량화 프로세스를 수행함에 따라, 이미지 데이터 생성 장치(100)는, 제조물에 대한 3차원 CAD 모델로부터 경량화된 선박의 3차원 설계도면 데이터(11)를 생성할 수 있다.
일 실시예에서, 상기 오브젝트 중 병합대상은 상기 제조물에 대한 제조 공정을 기초로 결정될 수도 있다. 즉, 이미지 데이터 생성 장치(100)는 선박의 제조 공정을 반영하기에 최소한 유지되어야 하는 구조물이 반영되도록 경량화를 수행할 수 있다. 상기 경량화 정도는, 이미지 데이터 생성 장치(100)의 사용자에 의해 설정될 수 있다.
3차원 CAD 데이터부(10)는, 선박의 3차원 설계도면 데이터(11)로부터 선박을 구성하는 블록 단위의 3차원 CAD 데이터를 추출할 수 있다.
제조물이 블록인 경우, 3차원 CAD 데이터부(10)는, 각 블록의 제조 공정에 포함된 세부 단계 별로 CAD 이미지 데이터를 추출할 수 있다. 3차원 데이터부(10)에서 A 블록에 대한 CAD 이미지 데이터가 추출된 경우를 예로 들어 설명한다.
3차원 CAD 데이터부(10)는, A 블록 및 A 블록을 구성하는 강판 및 구조물의 조립 과정이 진행되는 것을 CAD 이미지 데이터로 구현할 수 있다.
특히, A 블록의 제조 공정 총 3단계 인 경우, 1번 단계에서 받침 강판이 놓이고, 2번 단계에서 좌측 기둥 강판이 받침 강판의 왼쪽에 조립되고, 3번 단계에서 우측 기둥 강판이 받침 강판의 오른쪽에 조립되는 순서로 제조되는 경우를 설명한다. 이 경우, 3차원 CAD 데이터부(10)는, A 블록에 대한 CAD 이미지 데이터로 최초 받침 강판만이 놓여 있는 CAD 이미지 데이터를 추출할 수 있고, 두번째로 받침 강판에 좌측 강판이 조립된 CAD 이미지 데이터를 추출할 수 있다. 3차원 CAD 데이터부(10)는, 마지막으로 받침 강판에 우측 강판까지 조립된 CAD 이미지 데이터를 추출할 수 있다.
추출된 블록 단위의 3차원 CAD 이미지 데이터는 복수개의 자세 데이터 생성부(20)로 제공된다.
블록 제조 공정에서 각 단계에 블록이 회전되거나 놓이는 방향, 작업 방향이 다양해질 수 있는데, 복수개의 자세 데이터 생성부(20)는, 블록에 대한 3차원 CAD 데이터에 대한, 다양한 자세 데이터(21)를 생성할 수 있다. 이때, 다양한 자세 데이터란, 이미지 데이터를 바라보는 시점을 다양하게 변환시키거나, 블록을 다양한 방향으로 회전시키는 경우 보이는 대상체를 3차원으로 표현하는 CAD 이미지 데이터이다. 이를 위해, 복수개의 자세 데이터 생성부(20)는 제조물 또는 중간 산출물의 이미지 데이터를 360도 회전 및 캡쳐하면서, 다양한 방향의 자세 데이터를 생성할 수 있다.
실사 데이터 반영 렌더링부(30)는, 복수의 자세 데이터에, 날씨, 시간대, 용접 불꽃과 같은 환경 정보, 사람, 설비 등의 노이즈 정보, 제조 공정이 진행되는 블록 재질, 도장 색상, 광원의 종류 및 위치 등 물리 정보 등과 같은 실사 데이터를 반영하여 다양한 방향의 자세 데이터에 대한 이미지 렌더링을 수행한다. 실사 데이터 반영 렌더링부(30)는, 현장 정보를 기록 또는 실시간 획득하는 기간망으로부터 실사 데이터를 획득할 수 있다. 여기에서 기간망이란, 현장의 설치된 설비, 카메라 및 광원의 종류와 위치, 공정 정보 등 다양한 현장 정보를 획득할 수 있는 네트워크 인터페이스일 수 있다. 즉, 기간망은 이미지 데이터 생성 시스템과 현장 정보를 연결하는 네트워크 인터페이스이다.
실사 데이터 반영 렌더링부(30)는 다양한 렌더링 모델을 저장하며, 특히, 렌더링 엔진을 통해, 실사 데이터의 속성을 고려하여 최적의 렌더링 모델을 자세 데이터에 적용할 수 있다. 또는 렌더링 엔진을 통해, 최적의 렌더링 모델을 조합하여 이미지 렌더링을 수행할 수도 있다.
모사 기반 학습부(40)는, 각 이미지의 변환된 자세 데이터에 해당하는 중간 산출물에 대하여, 제조 공정의 단계마다 변화를 적용한 이미지 데이터를 생성(41)할 수 있다. 다른 실시예에서, 모사 기반 학습부(40)는, 공정 진척률(43)에 해당하는 다수의 이미지 데이터를 촘촘한 시간 간격으로 생성할 수도 있다. 또 다른 실시예에서, 모사 기반 학습부(40)는, 공정 진척률(43)에 해당하는 이미지 데이터를 공정 특성 기반으로 설정된 시간 간격으로 생성할 수도 있다. 즉, 공정이 진행됨에 따라, 중간 산출물이 많이 발생하고 변화가 많은 이미지를 발생시키는 공정의 경우 이미지 데이터를 빈번하게 생성하고, 변화가 적은 공정의 경우 이미지 데이터를 최소한 생성할 수도 있다. 또 다른 실시예로, 각 이미지의 변환된 자세 데이터 중, 변화가 많은 방향의 이미지 데이터는 공정 진척률(43)에 해당하는 이미지 데이터를 빈번히 생성하되, 동일한 공정의 이미지라도 변환된 자세 데이터의 방향에서 이미지 변화가 적은 데이터의 경우, 이미지 데이터의 생성량을 최적화할 수도 있다.
이미지 생성 장치(100)는 상기 이미지 데이터 생성의 횟수, 생성 시간 간격에 대한 설정을 미리 저장할 수 있다.
모사 기반 학습부(40)는, 특히, 상기 3차원 CAD 데이터부(10)에서 추출된 제조 공정의 각 단계에 해당하는 이미지 데이터 마다 상기 실사 데이터 반영 렌더링부(30)에 의해 실사 데이터가 반영된 상태에서, 기간망으로부터 현장의 설정 데이터를 적용할 수 있다. 구체적으로, 기간망의 카메라 센서가 향하는 특정 방향, 작업이 이뤄지는 블록의 면 등 현장의 한정적인 상황이 주석으로 이미지 데이터에 라벨링되고, 이를 기초로 학습될 수 있다.
이로써, 모사 기반 학습부(40)는, 3차원 CAD 데이터부(10)와 실사 데이터 반영 렌더링부(30)에서 추출되고 처리된 결과물인 이미지 데이터에 대하여, 기간망의 데이터베이스에 기반하여, 실제 현장의 데이터 속성을 만족하는 이미지 모사를 수행한다. 따라서, 학습 범위가 좁혀지고, 현장의 실제 이미지에 모사된 이미지 데이터가 생성될 수 있다.
상기 예에서, 각 공정 단계의 실사 데이터에 단계 별 현장 정보가 반영될 수도 있다. 즉, 실사 데이터 반영 렌더링부(30)가 제조 공정의 현장에서 X 위치의 광원이 A 블록에 빛을 조사 중인 경우, 모사 기반 학습부(40)는, A 블록의 제조 공정의 각 단계에 X 위치의 광원이 빛을 조사하는 경우를 반영하여 CAD 이미지 데이터가 모사할 수 있다. 이를 위해, 모사 기반 학습부(40)에, 본 발명이 속한 분야에서 널리 알려진 기계 학습 모델이 적어도 하나 적용될 수 있다.
모사 기반 학습부(40)는 특히, 상기 기계 학습 모델의 모델링 결과물로 실사 데이터에 현장 정보가 실시간 반영되고, 공정 진척률에 해당하는 조립 상태가 반영된 이미지 데이터를 생성할 수 있다. 공정 진척률은 제조 현장의 날씨나 시간대, 즉, 해당 단계가 시작되고 종료되는 상황의 현장 정보에 따라 모사되는 이미지 데이터의 결과가 달라질 수 있으며, 기계 학습 모델을 통해 이 같은 현장 정보가 반영된 이미지 데이터가 생성될 수 있다.
공정 모니터링부(50)는 상기 모사된 제조 공정의 각 단계 별 CAD 이미지 데이터를 현장의 실시간 제조 공정의 단계(51)의 실물 데이터와 비교할 수 있다.
공정 모니터링부(50)는 이로써, 제조 공정의 세부 단계가 수행되는지, 특히, 정해진 스케줄에 맞게 수행되는지, 또한, 실물 데이터가 모사된 제조 공정의 각 단계 별 CAD 이미지 데이터와 미리 설정된 유사도 범위를 유지하는지 판단할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 장치의 블록(Block)도이다.
도 2를 참조하면, 이미지 데이터 생성 장치(100)는 하나 이상의 프로세서(101), 외부 디바이스가 연결되거나, 외부 디바이스로부터 데이터를 수신하는 네트워크 인터페이스(102), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 컴퓨터 프로그램을 저장하는 스토리지(104)를 포함할 수 있다.
프로세서(101)는 이미지 데이터 생성 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), AP(Application Processor), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
네트워크 인터페이스(102)는 이미지 데이터 생성 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 또한, 네트워크 인터페이스(102)는 외부 디바이스와의 연결을 제공할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈 및 접속 단자 중 적어도 하나를 포함하여 구성될 수 있다. 특히, 본 발명의 실시예에 따르면, 네트워크 인터페이스(102)는 완성품, 제조물 및 중간 산출물 중 적어도 하나의 3차원 CAD 이미지 데이터를 외부 디바이스로부터 획득할 수 있으며, 실사 데이터, 공정 데이터를 수신할 수도 있다.
여기에서 외부 디바이스는, 기간망에 속한 단말로서 현장 정보를 저장하는 서버 장치 및/또는 제조 현장의 각종 센서일 수 있다. 또한, 외부 디바이스는, 도 1의 이미지 데이터 생성 시스템에 포함된 장치 중 적어도 일부 장치일 수도 있다.
예를 들어, 기간망은, 소규모의 "구내 정보 통신망(LAN)" 또는 지선 구내 정보 통신망(branch LAN) 상호 간의 통신량을 전송하는 주요 전송로를 의미할 수 있으며, 본 발명의 실시예에서 특히, 제조 공정을 수행하는 기업의 내부 인트라넷과 상시 또는 비상시 연결되는 네트워크를 의미한다.
본 발명의 실시예에 따른 외부 디바이스는 이에 한정되지 않으며, 외부 디바이스는, 3차원 CAD 이미지 데이터를 제공하는 단말일 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 방법들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 메모리(103)는 예를 들어 RAM일 수 있다.
스토리지(104)는 상기 하나 이상의 프로그램(105), 3차원 CAD 이미지 데이터(106)를 비임시적으로 저장할 수 있다. 하나 이상의 프로그램은, 3차원 CAD 프로그램을 포함할 수 있으며, PLM(Product Lifecycle Management) 시스템, ERP(Enterprise Resource Planning) 시스템과 데이터를 교환 및/또는 공유하기 위한 프로그램을 포함할 수 있다. 이 같은 프로그램은, 설계 공정을 수행하는 제조기업의 서버로부터 네트워크 인터페이스(102)를 통해 데이터를 공유받기 위한 인터페이스를 제공할 수 있다.
또한, 도시되지 않았으나, 스토리지(104)는, 선박의 고유 정보, 블록의 호선번호를 저장할 수 있다. 또한, 스토리즈(104)는 선박 및/또는 블록의 공정 단계와 순서에 대한 정보, 예를 들어 세부조립절차서(DAP, Detailed Assembly Procedure)를 저장할 수 있으며, 각 공정 단계 별 실사 데이터를 저장할 수도 있다.
도 3에서 상기 하나 이상의 프로그램(105)의 예시로 이미지 데이터 생성 소프트웨어(105)가 도시 되었다. 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 프로그램으로 칭해질 수도 있다.
또한, 도시되지 않았으나, 상기 하나 이상의 프로그램(105)은 3차원 CAD 모델의 경량화 프로세스를 수행하기 위한 프로그램을 포함할 수도 있다.
스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
제1 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 장치(100)에 의해 연산됨으로써, 3차원 CAD 이미지 데이터(106)에 기초하여, 제조물 및/또는 중간 산출물이 다양한 방향으로 시점이 변환된 이미지 데이터가 생성되도록 할 수 있다.
제2 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 장치(100)에 의해 연산됨으로써, 3차원 CAD 이미지 데이터(106)에 기초하여, 제조 공정의 현장 실사 데이터가 적용된 CAD 이미지 데이터가 생성되도록 할 수 있다.
제3 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 장치(100)에 의해 연산됨으로써, 3차원 CAD 이미지 데이터(106)에 기초하여, 제조물의 제조 공정의 각 단계의 조립 과정이 반영된 CAD 이미지 데이터를 생성할 수 있다.
상기 제1, 제2 및 제3 실시예는, 상호 간 결합될 수 있으며, 3차원 CAD 이미지 데이터는 상기 실시예에서 생성된 이미지 데이터를 저장할 수도 있다.
예를 들어, A 블록에 대응되는 3차원 CAD 이미지 데이터(이하, A 블록 이미지 데이터)가 3차원으로 미리 설정된 각도마다 회전되고, 해당 이미지를 캡처링함으로써, 다양한 자세 데이터가 생성될 수 있다. 상기 회전 각도에 대한 설정은, 예를 들어, 수평방향 360도, 수직방향 180도의 각 1도씩의 회전으로 설정될 수 있다.
상기 예에서, 이미지 데이터 생성 장치(100)는 현장 데이터 중, 실사 데이터 및/또는 공정 데이터가 적용된 이미지 데이터를 생성할 수 있다.
실사 데이터는 예를 들어, 물리 값, 환경 값, 노이즈 정보를 포함할 수 있다. 또한, 실사 데이터는, 3차원 CAD 이미지 데이터가 블록의 이미지 데이터인 경우, 상기 블록의 공정에 적용되는 용접기계 이미지를 노이즈 정보로 포함할 수도 있다.
공정 데이터는, A 블록의 제조 공정의 각 단계의 종류, 스케줄, 중간 산출물의 레벨, 중간 산출물 간의 조립 관계, 조립 순서 중 적어도 하나의 정보를 포함할 수 있다.
이미지 데이터 생성 장치(100)는 상기 실사 데이터 및/또는 공정 데이터가 적용된 이미지 데이터를 생성할 수 있다. 상기 예에서, 실사 데이터와 공정 데이터는 상호 관련 정보가 생성될 수 있다. 일 예로, A블록의 제조 공정이 오른쪽 면의 용접인 경우, 이미지 데이터 생성 장치(100)는 상기 공정의 종류를 식별하고, 실사 데이터의 노이즈 정보인 용접기계 이미지가 상기 A블록의 오른쪽에 배치되도록 렌더링할 수 있다.
이를 위해, 이미지 데이터 생성 장치(100)는 선박 및/또는 블록의 공정에 대한 데이터를 네트워크 인터페이스(102)를 통해 기간망으로부터 획득할 수 있다. 예를 들어, 공정에 대한 데이터는 블록의 세부조립절차서(DAP)일 수 있다. 이미지 데이터 생성 장치(100)는 상기 블록 세부조립절차서에서 A블록의 오른쪽 용접을 공정의 종류를 식별하고, 노이즈 정보인 용접기계 이미지와 매칭하여 저장할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는 상기 제1, 제2 및 제3 실시예 중 적어도 하나에 의한 3차원 이미지 데이터(106)를 생성하기 위한 기계 학습 모델을 포함할 수 있다. 프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 상기 제1, 제2 및 제3 실시예 중 적어도 하나에 의한 3차원 이미지 데이터(106)가 생성될 수도 있다.
본 발명의 다른 실시예에 따르면, 기계 학습 모델은, 상기 이미지 데이터 생성 장치(100)와 분리된 외부 디바이스에 적용되어, 이미지 데이터 생성 장치(100)에서 렌더링된 이미지 데이터에 대한 학습이 외부 디바이스에서 수행될 수도 있다.
여기에서, 기계 학습 모델은, 인공 신경망을 포함할 수 있으며, 컨볼루션 신경망(convolution neural network: CNN), 오토 인코더(auto encoder), 피드포워드 신경망(feedforward neural network), 방사 신경망(radial basis function network), 코헨 자기조직 신경망(kohonen self-organizing network), 순환 신경망(RNN:recurrent neural network) 중 적어도 하나를 포함하여 구성될 수 있다.
예를 들어, 기계 학습 모델이 컨볼루션 신경망에 의한 것일 경우, 프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 3차원 CAD 이미지 데이터(106)의 특징 값이 필터링되고, 컨볼루션 계산을 통해 여러 이미지 픽셀 중 특정한 값만 새롭게 취해진다. 이를 반복 학습함으로써, 원하는 특징점이 추출될 수 있다.
일 실시예에서, 상기 특징점은, 블록의 외관 상의 엣지 포인트일 수 있다.
축적된 특징점 추출 결과 데이터는, 기계 학습 모델을 위한 피드(Feed) 데이터로 활용될 수 있다.
본 발명의 실시예에 따르면, 상기와 같은 특징점 추출을 반복함으로써, 특정 방향에서 보이는 제조물 또는 중간 산출물을 제조 공정의 특정 단계와 연관 지을 수 있으며, 이미지 데이터 생성 장치(100)는 특정 중간 산출물의 조립 정도 즉, 공정 진척률을 판단할 수 있다.
이를 통해, 도 1에서 참조된 바와 같이, 공정이 모니터링될 수 있다.
조선소에서 건조된 선박은 제 각각의 크기와 형상으로 설계되며, 먼저 건조된 선박과 추후 건조된 선박의 형상이 동일한 경우는 매우 드물다. 나아가, 각 선박을 구성하는 블록의 크기와 형상 또한 고유의 값을 갖는 경우가 대부분이다. 이처럼, 기성품을 기준으로 대량 생산이 불가한 선박과 같은 제조물의 경우, 제조 공정의 진척률을 현장에서 파악하기가 어려운 경우가 많다. 특히, 선박 블록의 경우, 제조 공정의 단계마다 작업이 이뤄지는 방향과 면이 달라, 블록이 각 단계마다 다른 방향으로 뉘이게 된다.
이 경우, 현장의 관리자는 이 같은 기존의 선박 제조 경험이 많더라도, 신규 사이즈 및 형상의 블록이 특정 방향으로 뉘어 있으면, 세부 조립이 어디까지 이뤄졌는지 파악하기 어려운 문제가 있으나, 이 같은 문제를 해결하기 위해 과거 건조된 선박의 현장 사진을 대비해보더라도, 이 역시 현재 조립 중인 선박의 블록의 특정 방향의 조립 단계와 과거 현장 사진이 매칭되기는 어렵다.
반면, 본 발명의 실시예는, 3차원 CAD 이미지 데이터 기반으로 현장과 비교 가능한 이미지 데이터를 생성함으로써, 제조물의 제조 공정의 각 단계별 진척률을 분석할 수 있다. 특히, 본 발명의 이미지 데이터 생성 장치(100)는 현장의 실사 데이터를 모사하고, 공정 데이터가 반영되어 학습된, 각 단계별 조립 상태가 반영된 이미지 데이터를 생성할 수 있다.
도 3은 본 발명의 또 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 방법의 순서도이다. 이하, 도 3의 각 단계는 이미지 데이터 생성 장치(100)에 의해 수행된다. 구체적으로, 도 2의 프로세서(101)에 의해 이미지 데이터 생성 소프트웨어(105)가 연산됨에 따라 각 단계가 수행된다. 특히, 본 발명의 실시예에 따른 3차원 CAD 이미지 데이터가 선박의 설계도면 데이터인 경우를 예로 들어 설명한다.
도 3을 참조하면, 이미지 데이터 생성 장치(100)는, 선박의 3차원 CAD 이미지 데이터를 획득할 수 있다(S10). 이미지 데이터 생성 장치(100)는, 네트워크 인터페이스(102)로부터 선박의 3차원 CAD 이미지 데이터를 공유 받거나, 외부 디바이스로부터 데이터를 획득 할 수 있다.
이미지 데이터 생성 장치(100)는, 제조 공정 중, 제1 단계의 산출물에 대한 이미지 데이터를 추출할 수 있다(S20). 구체적으로, 기간망의 데이터베이스로부터 선박 및/또는 블록의 세부조립절차서(DAP, Detailed Assembly Procedure)를 획득함으로써, 이미지 데이터 생성 장치(100)는 제1 단계의 산출물에 대응되는 이미지 데이터를 추출할 수 있다.
이미지 데이터 생성 장치(100)는, 추출된 이미지 데이터에 대한 자세 변환 이미지 셋을 생성할 수 있다(S30). 이미지 데이터 생성 장치(100)는 X, Y, Z의 3축 방향으로 제1 단계의 산출물에 대한 이미지 데이터를 회전시킴으로써 상기 자세 변환 이미지 셋을 생성할 수 있다. 이때 미리 설정된 각도 단위로 회전을 불연속적으로 수행하여 이미지 셋을 생성할 수도 있다.
다음으로, 이미지 데이터 생성 장치(100)는 상기 자세 변환 이미지 셋에 포함된 이미지 마다 실사 데이터를 적용하여 이미지 렌더링을 수행한다(S40).
이때, 실사 데이터의 종류는 현장 정보로 한정될 수 있으며, 이에 따라 기계 학습을 수행하기 위한 이미지 데이터 셋이 생성될 수 있다(S50). 이미지 데이터 생성 장치(100)는 기계 학습용 이미지 데이터 셋은, 현장 정보로 한정된 학습을 수행하게 될 수 있으며, 이로써 기계 학습의 범위가 제한되고 신속하게 제조 공정의 각 단계 별 모사 데이터를 생성할 수 있다.
본 발명의 실시예에 따르면, 단계(S40)에서, 이미지 데이터 생성 장치(100)는 공정 정보를 기초로 필터링함으로써 추출된 현장 정보를 바탕으로 생성된 모사 데이터를 생성하고, 자세 변환 이미지 셋에 포함된 이미지 마다 모사 데이터를 적용하여 이미지 렌더링을 수행할 수 있다.
도 4는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성 소프트웨어 구조를 설명하기 위한 블록도이다. 도 5는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성을 위한 데이터베이스를 설명하기 위한 예시도이다.
도 4 및 도 5를 참조하여, 이미지 생성 소프트웨어에 의한 연산 과정 및 이를 위한 데이터베이스를 설명한다.
도 5를 참조하면, 로 캐드 데이터(rawCAD)(501)는, 선박에 대한 3차원 CAD 이미지 데이터일 수 있다. 또는, 특정 블록에 대한 3차원 CAD 이미지 데이터일 수 있다. 로 캐드 데이터(501)의 전부 또는 일부 데이터는, 기간망의 데이터베이스로부터 획득될 수 있으며, 고유 식별정보, 선박 식별정보, 블록 식별정보, 데이터 입력자 정보, 주석, 최종 갱신일 정보 등을 포함할 수 있다. 예를 들어, 고유 식별 정보는, 상기 선박 식별정보 및 블록 식별정보를 매핑하여 생성될 수 있다.
로 캐드 데이터(rawCAD)(501)는 피더 캐드 데이터(feederCAD)(502)에 연동될 수 있다. 피더 캐드 데이터(502)는, 블록의 제조 공정의 진척률 정보, 로 캐드 데이터 정보, 고유 식별정보, 피딩 되는 기계 학습 모델에 대한 정보, 피딩되는 경로에 대한 정보 등을 포함할 수 있다. 일 실시예에서, 피더 캐드 데이터(502)는 제조 공정 중 피더 캐드 데이터가 속하는 세부 단계에 대한 정보를 포함할 수도 있다.
도 4를 참조하면, CAD 데이터(511)는 입력 데이터(410)로서 렌더링 모듈(420)에 입력된다. 이때, CAD 데이터(511)는 피더 캐드 데이터(502)에 매칭되는 이미지 데이터일 수 있다. 이때, 입력 데이터(410)는 실사 데이터(413)를 포함할 수 있다.
실사 데이터(413)는, CAD 이미지 데이터를 실물 데이터에 가깝게 모사하기 위한 정보로서, 일 실시예에 따르면, 실사 데이터(413)은 물리 값(431), 환경 값(432), 노이즈(433) 및 공정 정보(435) 등의 현장 정보(430) 중 적어도 일부 데이터를 포함할 수 있다.
다른 실시예에서, 실사 데이터(413)는 현장 정보(430) 중 특정 데이터에 가중치를 부여하고, 조건에 따라 몇몇 데이터를 필터링하여 생성된 모사 데이터일 수도 있다.
예를 들어, 이미지 데이터 생성 장치(100)는 현장 정보를 수신하고, 이를 공정 정보를 기초로 필터링할 수 있다. 구체적으로, 이미지 데이터 생성 장치(100)는 공정 정보 중 공정 종류 및 공정의 진행 방향 중 적어도 하나를 기초로 미리 매칭된 노이즈 정보를 추출할 수 있으며, 상기 미리 매칭된 노이즈 정보를 기초로 상기 현장 정보를 필터링할 수 있다. 즉, 상술한 예시와 같이, A블록의 제조 공정이 오른쪽 면의 용접인 경우, 이미지 데이터 생성 장치(100)는 노이즈 정보인 오른쪽 배치된 용접기계가 미리 매칭되어 있는 현장 정보를 필터링할 수 있다. 이미지 데이터 생성 장치(100)는 필터링된 현장 정보를 기초로 모사 데이터를 생성할 수 있다.
또 다른 실시예에서, 현장 정보(430)의 특정 데이터에 가중치를 부여하는 가중치 함수 또는 몇몇 데이터에 대한 필터링을 수행하는 필터는 기계 학습을 통해 얻어질 수 있으며, 이러한 기계 학습은 문맥강화 모듈(423)에서 수행될 수 있다. 상기 가중치 값, 상기 필터링 알고리즘은, 상기 기계 학습을 통해 생성된 모사 데이터일 수 있다.
다시 도 5를 참조하면, 렌더 메소드(renderMethod)(503)는, 식별 정보, 피더 캐드 데이터 고유 정보, 적용하는 렌더링 모델에 대한 정보 등을 포함할 수 있다. 렌더 메소드(503)는, 피더 캐드 데이터(502)에 매칭되는 CAD 데이터(411) 및 실사 데이터(413)가 렌더링 모듈(420)에 입력된 후, 렌더링 엔진(421)에 의해 결정되고 입력 데이터(410)에 적용되는 렌더링 모델에 대한 정보를 포함할 수 있다.
이로써, 이미지 데이터 생성 장치(100)는, 기계 학습 모델(450)에 피드되는 이미지 데이터에 대한 CAD 데이터 정보, 실사 데이터 적용 값 및 적용된 렌더링 모델를 추적할 수 있다. 또한, 기계 학습 모델(450)의 강화학습 엔진(451)은, 도 5의 데이터베이스 간의 관계 및 각 테이블의 데이터를 바탕으로, 특정 현장 정보로 제한된 범위의 학습을 수행할 수 있다. 이에 따라, 기계 학습의 시간과 자원 활용을 최적화할 수 있는 장점이 있다. 출력된 이미지 데이터(460)은, 제조 공정의 현장에서, 공정 진척률 모니터링 과정에서 실물과 비교 대상 데이터로 활용될 수 있다.
다시 도 5를 참조하면, 트윈 모델(twinModel)(504)은 식별정보, 렌더링 모델에 대한 정보, 물리 값, 노이즈, 환경 값에 대한 식별정보를 포함할 수 있다. 즉, 트윈 모델(504)는 기계 학습 모델(450)에 입력되는 렌더링 이미지 데이터에 매칭될 수 있다.
도 4에서, CAD 데이터(410)와 함께, 실사 데이터(413)이 렌더링 모듈(420)으로 입력되면, 렌더링 엔진(421)이 이미지 프로세싱을 수행하고, 렌더링된 이미지가 출력된다. 이 과정에서 문맥강화 모듈(423)은 렌더링 엔진에 특정 현장 정보(430)의 데이터를 필터링 또는 가중치 부여함으로써 렌더링 엔진의 이미지 프로세싱에 관여한다.
문맥강화 모듈(423)은 적어도 하나의 기계 학습 모델을 포함하고, 현장 정보, 특히 공정 정보 기반의 학습된 값을 렌더링 엔진(421)의 결과물에 적용시킬 수 있다.
도 6은 본 발명의 몇몇 실시예에서 참조되는, 학습용 이미지 데이터의 예시도이다. 도 6을 참조하면, 이미지 데이터 생성 장치(100)는 블록을 구성하는 특정 구조체에 대한 3차원 CAD 이미지 데이터가 생성할 수 있다. 특히, 자세 변환을 통해, 각기 다른 방향의 이미지 데이터(601, 602, 603, 604)가 생성된 경우가 예로써 도시되었다. 상기 이미지 데이터(601, 602, 603, 604)는 완성되지 않은 조립 단계의 중간 산출물일 수도 있다. 이미지 데이터 생성 장치(100)는 다양한 방향에서 상기 구조체에 대한 이미지 데이터를 확인함으로써 제조 공정의 조립 단계에 대한 진척률을 판단할 수 있다.
지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치를 모두 포함한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (13)

  1. 기계 학습용 이미지 데이터 생성 장치에 의해 수행되는, 기계 학습용 이미지 데이터 생성 방법으로서,
    제조물에 대한 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 단계;
    상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 단계;
    상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계; 및
    상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  2. 제 1 항에 있어서, 상기 제1 이미지 데이터를 추출하는 단계는,
    상기 제조물에 대한 3차원 CAD 데이터를, 상기 제조물의 식별정보와 상기 제조물을 포함하는 완성품에 대한 식별정보 및 상기 제조 공정의 각 단계에 대한 정보를 포함하는 제1 데이터 그룹에 매칭시키는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  3. 제 1 항에 있어서, 상기 제1 이미지 데이터를 추출하는 단계는,
    상기 제1 이미지 데이터를, 상기 제조물의 식별정보와 상기 제조물을 구성하는 중간 산출물에 대한 식별정보 및 상기 제조 공정의 복수의 단계 대비 상기 제1 단계의 공정 진척도에 대한 정보를 포함하는 제2 데이터 그룹에 매칭시키는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  4. 제 1 항에 있어서, 상기 복수의 자세 변환 이미지 셋을 생성하는 단계는,
    상기 제1 이미지 데이터에 대하여, 미리 설정된 시점 변환을 수행하는 단계; 및
    상기 시점 변환된 제1 이미지 데이터를 캡처링하는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  5. 제 1 항에 있어서, 상기 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는,
    상기 제1 단계에 대응되는 현장 정보를 저장하는 기간망 데이터베이스로부터, 상기 제1 단계에 대응되는 물리 값 정보, 환경 값 정보 및 노이즈 정보를 수신하는 단계; 및
    상기 수신된 정보를 기초로, 상기 실사 데이터를 생성하는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  6. 제 5 항에 있어서, 상기 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는,
    상기 복수의 자세 변환 이미지 셋 및 상기 실사 데이터를 기초로, 렌더링 모델을 결정하는 단계;
    상기 결정된 렌더링 모델을 기초로 상기 이미지 프로세싱을 수행하는 단계;
    상기 적용된 실사 데이터 및 상기 결정된 렌더링 모델에 대한 정보를 포함하는 제3 데이터 그룹을 생성하는 단계; 및
    상기 제3 데이터 그룹을 상기 제1 이미지 데이터에 대한 학습용 데이터 셋에 매칭시키는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  7. 제 6 항에 있어서, 상기 현장 정보는, 상기 제1 단계에 대응되는 공정 정보를 포함하고,
    상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계; 및
    상기 필터링된 현장 정보를 바탕으로, 상기 학습용 데이터 셋에 대한 강화 학습을 수행하는 단계를 포함하되,
    상기 강화 학습을 수행하는 단계는,
    상기 필터링된 현장 정보를 바탕으로 미리 등록된 강화 학습 모델을 통해 학습용 데이터에 적용할 모사 데이터를 생성하는 단계; 및
    상기 모사 데이터를 상기 학습용 데이터 셋에 적용하는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  8. 제 7 항에 있어서, 상기 공정 정보는,
    상기 제1 단계에 대응되는 공정의 종류, 공정의 진행 방향 및 상기 중간 산출물의 작업 대상 면에 대한 정보 중 적어도 하나를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  9. 제 7 항에 있어서, 상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계는,
    상기 공정 정보 중 공정 종류 및 공정의 진행 방향 중 적어도 하나를 기초로 미리 매칭된 노이즈 정보를 추출하는 단계; 및
    상기 미리 매칭된 노이즈 정보를 기초로 상기 현장 정보를 필터링하는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  10. 제 1 항에 있어서, 상기 제1 이미지 데이터를 추출하는 단계는,
    제조물에 대한 3차원 CAD 모델의 계층구조를 식별하는 단계;
    상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계; 및
    상기 CAD 경량화 프로세스를 수행함에 따라, 상기 제조물에 대한 3차원 CAD 데이터를 생성하는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  11. 제 10 항에 있어서, 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계는,
    상기 제조물의 제조 공정을 기초로, 상기 오브젝트 중 병합대상을 결정하는 단계를 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  12. 제 1 항에 있어서, 상기 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제2 단계를 진행한 결과 생성되는 산출물에 대한 제2 이미지 데이터를 추출하는 단계;
    상기 제2 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋을 생성하는 단계;
    상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계; 및
    상기 이미지 프로세싱을 통해, 상기 제2 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 더 포함하는,
    기계 학습용 이미지 데이터 생성 방법.
  13. 하나 이상의 프로세서;
    제조물에 대한 3차원 CAD 데이터 및 현장 정보를 수신하는 네트워크 인터페이스;
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    상기 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 오퍼레이션;
    상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 오퍼레이션;
    상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 오퍼레이션; 및
    상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 오퍼레이션을 포함하는,
    기계 학습용 이미지 데이터 생성 장치.
PCT/KR2020/017247 2020-10-21 2020-11-30 기계 학습용 이미지 데이터 생성 방법 및 그 장치 WO2022085859A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/249,151 US12008706B2 (en) 2020-10-21 2020-11-30 Method and device for generating image data for machine learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0136379 2020-10-21
KR20200136379 2020-10-21

Publications (1)

Publication Number Publication Date
WO2022085859A1 true WO2022085859A1 (ko) 2022-04-28

Family

ID=81290571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017247 WO2022085859A1 (ko) 2020-10-21 2020-11-30 기계 학습용 이미지 데이터 생성 방법 및 그 장치

Country Status (3)

Country Link
US (1) US12008706B2 (ko)
KR (1) KR102520133B1 (ko)
WO (1) WO2022085859A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102603129B1 (ko) * 2022-12-29 2023-11-16 주식회사 애자일소다 인공지능 기반의 선박 건조 공정 분석 시스템 및 방법
CN117115569B (zh) * 2023-10-24 2024-02-06 深圳桑达银络科技有限公司 基于机器学习的物像自动识别分类方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059720A (ko) * 2012-11-07 2014-05-16 대우조선해양 주식회사 경량 모델 기반 선박 건조 공정의 생산을 위한 협업 시스템
US9019268B1 (en) * 2012-10-19 2015-04-28 Google Inc. Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information
KR20200032090A (ko) * 2017-06-29 2020-03-25 베스트 앱스, 엘엘씨 커스텀 제품 생성을 위해 컴퓨터를 이용하는 시스템 및 그 방법
US20200211276A1 (en) * 2018-12-29 2020-07-02 Dassault Systemes Learning a neural network for inference of editable feature trees

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394937B2 (en) * 2004-05-19 2008-07-01 Applied Vision Company, Llc Vision system and method for process monitoring
US9031317B2 (en) * 2012-09-18 2015-05-12 Seiko Epson Corporation Method and apparatus for improved training of object detecting system
KR101445973B1 (ko) * 2013-05-30 2014-10-02 에스티엑스조선해양 주식회사 영상 처리 기술을 이용한 블록 제작 공정 진척도 인식 방법 및 그 시스템
US10127497B2 (en) * 2014-10-14 2018-11-13 Microsoft Technology Licensing, Llc Interface engine for efficient machine learning
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
US10311335B1 (en) 2018-09-05 2019-06-04 StradVision, Inc. Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same
US11392659B2 (en) * 2019-02-28 2022-07-19 Adobe Inc. Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs
KR102086351B1 (ko) * 2019-09-03 2020-05-29 국방과학연구소 가상 데이터에 기반한 머신 러닝 모델 학습 장치 및 방법
US11640692B1 (en) * 2020-02-04 2023-05-02 Apple Inc. Excluding objects during 3D model generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019268B1 (en) * 2012-10-19 2015-04-28 Google Inc. Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information
KR20140059720A (ko) * 2012-11-07 2014-05-16 대우조선해양 주식회사 경량 모델 기반 선박 건조 공정의 생산을 위한 협업 시스템
KR20200032090A (ko) * 2017-06-29 2020-03-25 베스트 앱스, 엘엘씨 커스텀 제품 생성을 위해 컴퓨터를 이용하는 시스템 및 그 방법
US20200211276A1 (en) * 2018-12-29 2020-07-02 Dassault Systemes Learning a neural network for inference of editable feature trees

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SON MYEONG-JO, LEE JEONG-YOUL, PARK HO GYUN, KIM JONG-OH, WOO JENGJAE, LEE JOUNGHYUN: "Development of 3D CAD/CAE Interface in Initial Structural Design Phase of Shipbuilding", KOREAN JOURNAL OF COMPUTATIONAL DESIGN AND ENGINEERING, vol. 21, no. 2, 1 June 2016 (2016-06-01), pages 186 - 195, XP055923098, ISSN: 1226-0606, DOI: 10.7315/CADCAM.2016.186 *

Also Published As

Publication number Publication date
US20230326121A1 (en) 2023-10-12
KR102520133B9 (ko) 2023-06-09
US12008706B2 (en) 2024-06-11
KR20220052798A (ko) 2022-04-28
KR102520133B1 (ko) 2023-04-11

Similar Documents

Publication Publication Date Title
CN104484524B (zh) 一种基于bim仿真模型与现场施工交互的方法和系统
WO2022085859A1 (ko) 기계 학습용 이미지 데이터 생성 방법 및 그 장치
CN106920049A (zh) 一种基于bim网络技术的建筑工程管理系统平台
CN112149211B (zh) 一种基于bim模型的幕墙的建模方法及系统
CN113408034B (zh) 一种基于bim建筑三维模型技术的工程施工智能云管理平台
CN111476425A (zh) 一种工程项目造价进度监管系统及方法
CN111966068A (zh) 电机产线增强现实监控方法、装置、电子设备及存储介质
CN111432197A (zh) 施工监测方法及系统
CN108415386A (zh) 用于智能车间的增强现实系统及其工作方法
CN115587784A (zh) 一种应用于钢结构数字化加工制造的bim方法
CN111626234A (zh) 一种智能制造系统平台的实现方法
Griffin et al. Using advanced manufacturing technology for smarter construction
CN113807599B (zh) 一种智慧建造信息化综合管理云平台
CN112464494A (zh) 一种智慧建造施工系统
Kollatsch et al. [POSTER] Industrial Augmented Reality: Transferring a Numerical Control Connected Augmented Realty System from Marketing to Maintenance
CN117764541A (zh) 一种基于三维可视化技术的交互式工厂管理系统
Liu et al. Research on real-time monitoring technology of equipment based on augmented reality
Hatami et al. Applicability of Artificial Intelligence (AI) Methods to Construction Manufacturing: A Literature Review
CN118134437B (zh) 基于bim技术的管道数字化放样与焊接管理方法
CN116452753B (zh) 用于施工进度辨识的多数据映射系统
He et al. Computational architectural integrated implementation: A digital process from initial design to fabrication
Pang et al. An MBD-Enabled Digital Twin Modeling Method for Cognition Assistance in Human-Centric Smart Assembly
CN115179256B (zh) 远程示教方法及系统
Jianhua et al. Modeling, Implementation and simulation of virtual factory based on colored timed Petri net
CN111047293B (zh) 图形数据资源管理的方法及其系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20958809

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20958809

Country of ref document: EP

Kind code of ref document: A1