KR20200103204A - Deep learning-based learning data generation method and learning data generation system - Google Patents
Deep learning-based learning data generation method and learning data generation system Download PDFInfo
- Publication number
- KR20200103204A KR20200103204A KR1020190020146A KR20190020146A KR20200103204A KR 20200103204 A KR20200103204 A KR 20200103204A KR 1020190020146 A KR1020190020146 A KR 1020190020146A KR 20190020146 A KR20190020146 A KR 20190020146A KR 20200103204 A KR20200103204 A KR 20200103204A
- Authority
- KR
- South Korea
- Prior art keywords
- learning data
- symbol
- data generation
- learning
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템에 관한 것이다.The present invention relates to a deep learning-based learning data generation method and a learning data generation system.
인공지능의 발전으로 인해, 딥러닝(deep learning) 기술의 활용 분야는 점점 넓어지고 있으며, 활용 목적에 따라 요구되는 데이터의 종류는 달라진다.With the advancement of artificial intelligence, the field of application of deep learning technology is getting wider, and the type of data required is different depending on the purpose of use.
플랜트 엔지니어링(plant engineering) 분야에서의 딥러닝 기술은 플랜트 기본사양 추정, 기기 고장 진단/예측, 플랜트 운전상태 모니터링, 플랜트 운영실적 데이터 분석 등의 목적으로 사용되고 있다.Deep learning technology in the field of plant engineering is being used for the purpose of estimating basic plant specifications, diagnosing/predicting device failures, monitoring plant operation status, and analyzing plant operation performance data.
플랜트 엔지니어링 분야에서의 딥러닝 기술의 성공적인 수행을 위해서는 목적과 부합한 대량의 학습용 데이터가 필요하다. 하지만 대량의 학습용 데이터를 수작업으로 구축하는 것은 수많은 시간이 요구된다.In order to successfully perform deep learning technology in the field of plant engineering, a large amount of data for learning that is suitable for the purpose is required. However, manually building a large amount of training data takes a lot of time.
또한, 휴먼 에러의 발생으로 인해, 플랜트 모델의 기본 설계 정보와의 불일치 등의 정확성에 문제가 생길 수 있다.In addition, due to the occurrence of human errors, a problem may arise in accuracy such as inconsistency with basic design information of the plant model.
본 발명은 플랜트 도면에서 딥러닝 기술에 필요한 학습용 데이터를 자동으로 추출하여 학습에 필요한 형식으로 변환하고, 구조화 함으로써 딥러닝 응용 도구에서 사용할 수 있도록 지원하는 것이 가능한 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템을 제공하는 것을 목적으로 한다.The present invention is a deep learning-based learning data generation method and learning data capable of automatically extracting training data necessary for deep learning technology from a plant drawing, converting it into a format required for learning, and structuring it to be used in a deep learning application tool. It aims to provide a generation system.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Meanwhile, the technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned are clearly to those of ordinary skill in the technical field to which the present invention belongs from the following description. It will be understandable.
본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법은 플랜트 도면의 객체에 대한 딥러닝 기반 학습 데이터를 생성하는 학습 데이터 생성 방법에 있어서, 상기 플랜트 도면 및 상기 객체에 대한 학습 데이터가 저장되는 폴더를 계층 별로 분류하여 생성하는 계층 폴더 생성 단계; 상기 플랜트 도면에서 심볼 객체를 탐지하고, 탐지된 상기 심볼 객체에 대한 심볼 학습 데이터를 생성하는 심볼 학습 데이터 생성 단계; 상기 플랜트 도면에서 상기 심볼 객체에 대한 분류 학습 데이터를 생성하는 심볼 분류 학습 데이터 생성 단계; 상기 플랜트 도면에서 문자 객체를 탐지하고, 탐지된 문자 객체에 대한 문자 학습 데이터를 생성하는 문자 학습 데이터 생성 단계; 및 상기 플랜트 도면에서 배관 객체를 탐지하고, 탐지된 배관 객체에 대한 배관 학습 데이터를 생성하는 배관 학습 데이터 생성 단계; 를 포함할 수 있다.A deep learning-based learning data generation method according to an embodiment of the present invention is a learning data generation method for generating deep learning-based learning data for an object of a plant drawing, the folder in which the plant drawing and the learning data for the object are stored A hierarchical folder generation step of classifying and generating a layer by layer; A symbol learning data generation step of detecting a symbol object in the plant drawing and generating symbol learning data for the detected symbol object; A symbol classification learning data generation step of generating classification learning data for the symbol object in the plant drawing; A text learning data generation step of detecting text objects in the plant drawing and generating text learning data for the detected text objects; And generating pipe learning data for detecting a pipe object in the plant drawing and generating pipe learning data for the detected pipe object. It may include.
상기 계층 폴더 생성 단계에서는 제1계층 폴더, 상기 제1계층 폴더 내에 위치하며 적어도 하나의 플랜트 도면이 저장되는 제2계층 폴더 및 상기 제2계층 폴더 내에 위치하며, 상기 심볼 학습 데이터, 상기 심볼 분류 학습 데이터, 상기 문자 학습 데이터 및 상기 배관 학습 데이터 각각이 구분되어 저장되는 제3계층 폴더를 생성할 수 있다.In the hierarchical folder creation step, a first layer folder, a second layer folder in which at least one plant drawing is stored, and a second layer folder located in the first layer folder, and the symbol learning data, the symbol classification learning A third layer folder in which data, the character learning data, and the pipe learning data are separated and stored may be created.
상기 제3계층 폴더는 상기 심볼 학습 데이터가 저장되는 심볼 학습 데이터 폴더, 상기 심볼 분류 학습 데이터가 저장되는 심볼 분류 학습 데이터 폴더, 상기 문자 학습 데이터가 저장되는 문자 학습 데이터 폴더 및 상기 배관 학습 데이터가 저장되는 배관 학습 데이터 폴더를 포함할 수 있다.The third layer folder stores a symbol learning data folder in which the symbol learning data is stored, a symbol classification learning data folder in which the symbol classification learning data is stored, a character learning data folder in which the character learning data is stored, and the pipe learning data. It may include a pipe learning data folder.
상기 계층 폴더 생성 단계에서는 상기 심볼 분류 학습 데이터 폴더에 위치하며, 심볼 객체의 형상 정보 및 배향 정보가 동일한 데이터가 그룹핑된 심볼 분류 학습 데이터가 저장되는 적어도 하나의 제4계층 폴더를 생성할 수 있다.In the hierarchical folder generation step, at least one fourth hierarchical folder located in the symbol classification learning data folder and storing symbol classification learning data in which data having the same shape information and orientation information of the symbol object is grouped may be created.
상기 심볼 학습 데이터 생성 단계에서는 플랜트 도면 상에서의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 상기 심볼 학습 데이터를 생성하고, 상기 문자 학습 데이터 생성 단계에서는 플랜트 도면 상에서의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 상기 문자 학습 데이터를 생성할 수 있다.In the symbol learning data generation step, the symbol learning data including location information, size information, shape information, color information, and orientation information on the plant drawing is generated, and in the character learning data generation step, position information on the plant drawing, The character learning data including size information, shape information, color information, and orientation information may be generated.
상기 심볼 학습 데이터 생성 단계 및 상기 문자 학습 데이터 생성 단계에서는 상기 플랜트 도면 상에 바운딩 박스를 투영하고, 상기 심볼 객체 또는 상기 문자 객체에 매칭되는 바운딩 박스의 크기 및 위치를 심볼 객체 또는 문자 객체의 위치 정보 및 크기 정보로 반영할 수 있다.In the step of generating the symbol learning data and the step of generating the text learning data, a bounding box is projected on the plant drawing, and the size and position of the bounding box matched to the symbol object or the text object are determined as symbol object or text object position information. And size information.
상기 심볼 학습 데이터 생성 단계 및 상기 문자 학습 데이터 생성 단계에서는 상기 플랜트 도면의 모서리 중 하나를 원점으로 설정하고, 상기 바운딩 박스의 각 모서리의 좌표값을 통해 바운딩 박스의 크기 정보 및 위치 정보를 획득할 수 있다.In the symbol learning data generation step and the text learning data generation step, one of the corners of the plant drawing may be set as an origin, and size information and position information of the bounding box may be obtained through coordinate values of each corner of the bounding box. have.
상기 심볼 분류 학습 데이터 생성 단계에서는 심볼 객체의 형상 정보 및 배향 정보를 기반으로 저장부에 기 저장된 심볼 객체 데이터와 상기 플랜트 도면의 심볼 객체를 매칭시킨 후, 상기 플랜트 도면에서 형상 정보 및 배향 정보가 동일한 심볼 객체와 매칭되는 기 저장된 심볼 객체 데이터를 그룹핑한 후, 그룹핑된 심볼 분류 학습 데이터를 생성하여 상기 제4계층 폴더에 저장할 수 있다.In the step of generating the symbol classification learning data, after matching the symbol object data previously stored in the storage unit with the symbol object of the plant drawing based on the shape information and orientation information of the symbol object, shape information and orientation information in the plant drawing are the same. After grouping the previously stored symbol object data matching the symbol object, the grouped symbol classification learning data may be generated and stored in the fourth layer folder.
상기 문자 학습 데이터 생성 단계에서는 플랜트 도면에서 상기 심볼 객체 내부에 배치된 문자 및 상기 심볼 객체 외부에 배치된 문자를 함께 탐지하고, 탐지된 문자 객체에 대한 상기 문자 학습 데이터를 생성할 수 있다.In the step of generating the text learning data, a text disposed inside the symbol object and a text disposed outside the symbol object in a plant drawing may be detected together, and the text learning data for the detected text object may be generated.
상기 문자 학습 데이터 생성 단계에서는 타입 정보를 포함하는 상기 문자 학습 데이터를 생성하고, 상기 타입 정보는 문자 타입 정보 및 숫자 타입 정보를 포함하고, 상기 문자 타입 정보는 영문자 타입 정보 및 국문자 타입 정보를 포함하고, 영문자 타입 정보는 대문자 타입 정보 및 소문자 타입 정보를 포함할 수 있다.In the character learning data generation step, the character learning data including type information is generated, the type information includes character type information and number type information, and the character type information includes English character type information and Korean character type information, , The English character type information may include upper case type information and lower case type information.
상기 배관 학습 데이터 생성 단계에서는 상기 플랜트 도면 상에서 심볼 객체 및 문자 객체를 제외하며, 실선 또는 파선을 포함하는 라인(line)을 탐지하여, 탐지된 상기 라인에 대응되는 배관의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 배관 학습 데이터를 생성할 수 있다.In the pipe learning data generation step, by detecting a line including a solid line or a broken line, excluding symbol objects and text objects on the plant drawing, location information, size information, and shape of the pipe corresponding to the detected line Pipe learning data including information, color information, and orientation information may be generated.
상기 배관 학습 데이터 생성 단계에서는 상기 플랜트 도면의 모서리 중 하나를 원점으로 설정하고, 상기 라인의 선단 및 말단의 좌표값을 통해 배관의 위치 정보, 크기 정보 및 배향 정보를 획득할 수 있다.In the pipe learning data generation step, one of the corners of the plant drawing may be set as an origin, and position information, size information, and orientation information of the pipe may be obtained through coordinate values of the tip and end of the line.
상기 배관 학습 데이터 생성 단계에서는 상기 라인 상에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함할 수 있다.In the generating of the pipe learning data, flow information may be included by detecting a flow symbol located on the line.
상기 배관 학습 데이터 생성 단계에서는 상기 라인의 선단 또는 말단에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함할 수 있다.In the generating of the pipe learning data, flow information may be included by detecting a flow symbol located at the tip or end of the line.
상기 심볼 학습 데이터는 심볼 이미지 파일, 심볼 주석 파일 및 심볼 리스트 파일을 포함하고, 상기 심볼 분류 학습 데이터는 저장부에 기 저장된 심볼 이미지 파일 및 저장부에 기 저장된 심볼 리스트 파일을 포함하고, 상기 문자 학습 데이터는 문자 이미지 파일, 문자 주석 파일 및 문자 리스트 파일을 포함하고, 상기 배관 학습 데이터는 배관 이미지 파일, 배관 주석 파일 및 배관 리스트 파일을 포함할 수 있다.The symbol learning data includes a symbol image file, a symbol annotation file, and a symbol list file, and the symbol classification learning data includes a symbol image file previously stored in a storage unit and a symbol list file previously stored in a storage unit, and the character learning The data may include a text image file, a text annotation file, and a text list file, and the pipe learning data may include a pipe image file, a pipe annotation file, and a pipe list file.
또한, 본 발명의 실시예에 따른 학습 데이터 생성 시스템은 플랜트 도면의 객체에 대한 딥러닝 기반 학습 데이터를 생성하는 학습 데이터 생성 시스템에 있어서, 상기 플랜트 도면 및 상기 객체에 대한 학습 데이터가 저장되는 폴더를 계층 별로 분류하여 생성하는 계층 폴더 생성부; 상기 플랜트 도면에서 심볼 객체를 탐지하고, 탐지된 상기 심볼 객체에 대한 학습 데이터를 생성하는 심볼 학습 데이터 생성부; 상기 플랜트 도면에서 상기 심볼 객체에 대한 분류 학습 데이터를 생성하는 심볼 분류 학습 데이터 생성부; 상기 플랜트 도면에서 문자 객체를 탐지하고, 탐지된 문자 객체에 대한 학습 데이터를 생성하는 문자 학습 데이터 생성부; 및 상기 플랜트 도면에서 배관 객체를 탐지하고, 탐지된 배관 객체에 대한 학습 데이터를 생성하는 배관 학습 데이터 생성부; 를 포함할 수 있다.In addition, in the learning data generation system according to an embodiment of the present invention, in a learning data generation system for generating deep learning-based learning data for an object of a plant drawing, a folder in which the plant drawing and the learning data for the object are stored. A hierarchical folder generation unit that classifies and generates by hierarchy; A symbol learning data generator configured to detect a symbol object in the plant drawing and generate learning data for the detected symbol object; A symbol classification learning data generation unit that generates classification learning data for the symbol object in the plant drawing; A text learning data generator configured to detect text objects in the plant drawing and generate learning data for the detected text objects; And a pipe learning data generator configured to detect a pipe object in the plant drawing and generate learning data on the detected pipe object. It may include.
본 발명의 실시예에 따르면, 플랜트 도면에서 딥러닝 기술에 필요한 학습용 데이터를 자동으로 추출하여 학습에 필요한 형식으로 변환하고, 구조화 함으로써 딥러닝 응용 도구에서 사용할 수 있도록 지원하는 것이 가능하다.According to an embodiment of the present invention, it is possible to automatically extract data for learning required for deep learning technology from a plant drawing, convert it into a format required for learning, and structure it so that it can be used in a deep learning application tool.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.On the other hand, the effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description. I will be able to.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템의 구성을 나타낸 예시도이고,
도 2는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법을 나타내는 흐름도이고,
도 3은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 제공되는 플랜트 도면을 나타낸 예시도이고,
도 4는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 계층 폴더의 구조를 개략적으로 나타낸 예시도이고,
도 5 및 도 6은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 심볼 객체를 탐지하는 과정을 설명하기위한 예시도이고,
도 7은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 주석 파일을 나타낸 예시도이고,
도 8은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 리스트 파일을 나타낸 예시도이고,
도 9는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 분류된 심볼 객체의 이미지를 나타낸 예시도이고,
도 10은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고,
도 11은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고,
도 12는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 문자 객체를 탐지하는 과정을 설명하기 위한 예시도이고,
도 13은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 주석 파일을 나타낸 예시도이고,
도 14는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 리스트 파일을 나타낸 예시도이고,
도 15는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 배관 객체를 탐지하는 과정을 설명하기 위한 예시도이고,
도 16은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 배관 학습 데이터의 배관 주석 파일을 나타낸 예시도이다.1 is an exemplary diagram showing the configuration of a deep learning-based learning data generation system according to an embodiment of the present invention,
2 is a flow chart showing a deep learning-based learning data generation method according to an embodiment of the present invention,
3 is an exemplary diagram showing a plant diagram provided to a method for generating learning data based on deep learning according to an embodiment of the present invention,
4 is an exemplary diagram schematically showing the structure of a hierarchical folder generated according to a deep learning-based learning data generation method according to an embodiment of the present invention,
5 and 6 are exemplary diagrams for explaining a process of detecting a symbol object on a plant drawing according to a method for generating learning data based on deep learning according to an embodiment of the present invention,
7 is an exemplary view showing a symbol annotation file of symbol learning data generated on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention.
8 is an exemplary diagram showing a symbol list file of symbol learning data generated on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention,
9 is an exemplary view showing an image of a symbol object classified on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention.
10 is an exemplary diagram showing a hierarchical folder of symbol classification training data generated on a plant drawing according to a deep learning-based training data generation method according to an embodiment of the present invention,
11 is an exemplary diagram showing a hierarchical folder of symbol classification training data generated on a plant drawing generated according to a deep learning-based training data generation method according to an embodiment of the present invention;
12 is an exemplary view for explaining a process of detecting a text object on a plant drawing according to a method for generating learning data based on deep learning according to an embodiment of the present invention,
13 is an exemplary diagram showing a text annotation file of text learning data generated on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention;
14 is an exemplary diagram showing a character list file of character learning data generated on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention,
15 is an exemplary view for explaining a process of detecting a pipe object on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention,
16 is an exemplary view showing a pipe annotation file of pipe learning data generated on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.The embodiments of the present invention are provided to more completely describe the present invention to those of ordinary skill in the art, and the following examples may be modified in various other forms, and the scope of the present invention is as follows. It is not limited to the examples. Rather, these embodiments are provided to make the present disclosure more faithful and complete, and to completely convey the spirit of the present invention to those skilled in the art.
또한, 이하의 도면에서 각 구성은 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면 상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는" 는 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.In addition, each component in the following drawings is exaggerated for convenience and clarity of description, and the same reference numerals refer to the same elements in the drawings. As used herein, the term “and/or” includes any and all combinations of one or more of the corresponding listed items.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다.The terms used in this specification are used to describe specific embodiments, and are not intended to limit the present invention.
본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.As used herein, the singular form may include the plural form unless the context clearly indicates another case. Further, as used herein, "comprise" and/or "comprising" specifies the presence of the mentioned shapes, numbers, steps, actions, members, elements and/or groups thereof. And does not exclude the presence or addition of one or more other shapes, numbers, actions, members, elements, and/or groups.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1을 참조하여, 플랜트 도면에서 딥러닝 기반 학습 데이터 생성 시스템을 설명한다.With reference to FIG. 1, a system for generating learning data based on deep learning in a plant drawing will be described.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템의 구성을 나타낸 예시도이다.1 is an exemplary diagram showing the configuration of a deep learning-based learning data generation system according to an embodiment of the present invention.
우선, 도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템은 저장부(110), 계층 폴더 생성부(120), 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)를 포함할 수 있다.First, referring to FIG. 1, the deep learning-based learning data generation system according to an embodiment of the present invention includes a
저장부(110)는 계층 폴더 생성부(120)에서 생성된 폴더와, 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)에서 생성된 학습 데이터 각각을 저장할 수 있다.The
계층 폴더 생성부(120)는 저장부(110)에 계층에 따른 폴더를 각각 생성할 수 있다. The
계층에 따른 각각의 폴더에는 제공되는 플랜트 도면, 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)에서 생성된 학습 데이터 각각이 저장될 수 있다.In each folder according to the hierarchy, a plant drawing provided, a symbol learning
심볼 학습 데이터 생성부(130)는 제공되는 플랜트 도면에서 심볼 객체를 탐지하고, 이에 대한 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.The symbol learning
심볼 분류 학습 데이터 생성부(140)는 제공되는 플랜트 도면의 심볼 객체를 심볼 객체의 형상 정보 및 배향 정보를 기반으로 분류하고, 저장부(110)에 기 저장된 심볼 객체 데이터와 매칭 시킨 후, 형상 정보 및 배향 정보가 동일한 심볼 객체와 매칭되는 기 저장된 심볼 객체 데이터를 그룹핑한 후, 그룹핑된 심볼 분류 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.The symbol classification learning
문자 학습 데이터 생성부(150)는 제공되는 플랜트 도면에서 문자 객체를 탐지하고, 이에 대한 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.The text learning
배관 학습 데이터 생성부(160)는 제공되는 플랜트 도면에서 문자 객체를 탐지하고, 이에 대한 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.The pipe learning
이하에서는 도 1 내지 도 16을 참조하여, 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템을 이용한 딥러닝 기반 학습 데이터 생성 방법에 대해 상세히 설명한다.Hereinafter, a deep learning-based learning data generation method using a deep learning-based learning data generation system according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 16.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법을 나타내는 흐름도이고, 도 3은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 제공되는 플랜트 도면을 나타낸 예시도이고, 도 4는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 계층 폴더의 구조를 개략적으로 나타낸 예시도이고, 도 5 및 도 6은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 심볼 객체를 탐지하는 과정을 설명하기위한 예시도이고, 도 7은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 주석 파일을 나타낸 예시도이고, 도 8은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 리스트 파일을 나타낸 예시도이고, 도 9는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 분류된 심볼 객체의 이미지를 나타낸 예시도이고, 도 10은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고, 도 11은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고, 도 12는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 문자 객체를 탐지하는 과정을 설명하기 위한 예시도이고, 도 13은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 주석 파일을 나타낸 예시도이고, 도 14는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 리스트 파일을 나타낸 예시도이고, 도 15는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 배관 객체를 탐지하는 과정을 설명하기 위한 예시도이고, 도 16은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 배관 학습 데이터의 배관 주석 파일을 나타낸 예시도이다.FIG. 2 is a flowchart showing a method of generating learning data based on deep learning according to an embodiment of the present invention, and FIG. 3 is an exemplary view showing a plant diagram provided in a method of generating learning data based on deep learning according to an embodiment of the present invention. 4 is an exemplary diagram schematically showing the structure of a hierarchical folder created according to a deep learning-based learning data generation method according to an embodiment of the present invention, and FIGS. 5 and 6 are deep learning-based learning according to an embodiment of the present invention. An exemplary diagram for explaining a process of detecting a symbol object on a plant drawing according to the data generation method, and FIG. 7 is a diagram of symbol learning data generated on the plant drawing according to the deep learning-based learning data generation method according to an embodiment of the present invention. An exemplary diagram showing a symbol annotation file, and FIG. 8 is an exemplary diagram showing a symbol list file of symbol learning data generated on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention. An exemplary diagram showing an image of a symbol object classified on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention, and FIG. 10 is a plant according to a deep learning-based learning data generation method according to an embodiment of the present invention. An exemplary diagram showing a hierarchical folder of symbol classification training data generated on a drawing, and FIG. 11 is a hierarchical folder of symbol classification training data generated on a plant drawing generated according to a deep learning-based training data generation method according to an embodiment of the present invention Is an exemplary diagram, and FIG. 12 is an exemplary diagram for explaining a process of detecting a text object on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention, and FIG. 13 is an embodiment of the present invention An exemplary diagram showing a text annotation file of text learning data generated on a plant drawing according to a deep learning-based learning data generation method according to, and FIG. 14 is a plant diagram according to a deep learning-based learning data generation method according to an embodiment of the present invention. Is an exemplary diagram showing the character list file of the character learning data generated on the screen. 15 is an exemplary diagram for explaining a process of detecting a pipe object on a plant drawing according to a deep learning-based learning data generation method according to an embodiment of the present invention, and FIG. 16 is a deep learning-based learning data according to an embodiment of the present invention. It is an exemplary diagram showing a pipe annotation file of pipe learning data generated on a plant drawing according to the generation method.
우선, 도 2를 참조하면, 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법은 계층 폴더 생성 단계(S10), 심볼 학습 데이터 생성 단계(S20), 심볼 분류 학습 데이터 생성 단계(S30), 문자 학습 데이터 생성 단계(S40) 및 배관 학습 데이터 생성 단계(S50)를 포함할 수 있다.First, referring to Figure 2, the deep learning-based learning data generation method according to an embodiment of the present invention includes a hierarchical folder generation step (S10), a symbol learning data generation step (S20), a symbol classification learning data generation step (S30), It may include a character learning data generation step (S40) and a pipe learning data generation step (S50).
여기서, 플랜트 도면은 2D 플랜트 도면과 3D 플랜트 도면을 포함할 수 있다.Here, the plant drawing may include a 2D plant drawing and a 3D plant drawing.
이하에서는 플랜트 도면을 P&ID로 예를 들어 설명한다.Hereinafter, a plant drawing will be described as an example as a P&ID.
도 3을 참조하면, 딥러닝 기반 학습 데이터 생성 방법에 제공되는 플랜트 도면(1)은 도형으로 표현되는 심볼 객체(2), 문자 또는 순자로 표현되는 문자 객체(3) 및 라인(line)으로 표현되는 배관 객체(4)를 포함할 수 있다.Referring to FIG. 3, the plant drawing (1) provided for the deep learning-based learning data generation method is represented by a symbol object (2) represented by a figure, a text object (3) represented by a letter or sequence, and a line. It may include a pipe object (4).
도 4를 참조하면, 계층 폴더 생성 단계(S10)에서는 계층 폴더 생성부(120)에서 수행될 수 있으며, 계층 별로 제1계층 폴더(11), 제2계층 폴더(12), 제3계층 폴더(13) 및 제4계층 폴더(14)를 생성할 수 있다.Referring to FIG. 4, in the hierarchical folder generation step (S10), the hierarchical
여기서, 제1계층 폴더(11)는 계층 폴더 생성부(120)에서 생성하는 최상위 계층 폴더로, 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)에서 각각 생성된 학습 데이터의 리스트 파일이 저장될 수 있다.Here, the
제2계층 폴더(12)는 제1계층 폴더(11) 내부에 위치하며, 플랜트 도면을 제공하는 기업 별 폴더로 정의될 수 있으며, 이미지 파일(jpg)로 제공되는 도면 파일 및 도면 파일 리스트 파일이 저장될 수 있다.The
제3계층 폴더(13, 14, 15, 16)는 제2계층 폴더(12) 내부에 각각에 위치하며, 심볼 학습 데이터 폴더(13), 심볼 분류 학습 데이터 폴더(14), 문자 학습 데이터 폴더(15) 및 배관 학습 데이터 폴더(16)를 포함할 수 있다.The
심볼 학습 데이터 폴더(13)에는 심볼 학습 데이터 생성부(120)에서 생성되는 심볼 학습 데이터의 주석 파일 및 이미지 파일이 저장될 수 있다.An annotation file and an image file of symbol learning data generated by the symbol learning
문자 학습 데이터 폴더(15)에는 문자 학습 데이터 생성부(150)에서 생성되는 문자 학습 데이터의 주석 파일 및 이미지 파일이 저장될 수 있다.An annotation file and an image file of the text learning data generated by the text learning
배관 학습 데이터 폴더(16)에는 배관 학습 데이터 생성부(160)에서 생성되는 배관 학습 데이터의 주석 파일 및 이미지 파일이 저장될 수 있다.The pipe
제4계층 폴더(14-1)는 심볼 분류 학습 데이터 폴더(14)의 내부에 배치되며, 에는 심볼 분류 학습 데이터 생성부(140)에서 생성되는 심볼 분류 학습 데이터의 이미지 파일이 저장될 수 있다.The fourth layer folder 14-1 is disposed inside the symbol classification learning
여기서, 심볼 분류 학습 데이터의 이미지 파일은 저장부(110)에 기 저장된 심볼 객체의 이미지 파일일 수 있다.Here, the image file of the symbol classification learning data may be an image file of a symbol object previously stored in the
도 5 및 도 6을 참조하면, 심볼 학습 데이터 생성 단계(S20)에서는 심볼 학습 데이터 생성부(130)에서 수행될 수 있으며, 플랜트 도면(1)에서 각 심볼 객체(2)를 대상으로 바운딩 박스(2a)를 투영하여, 심볼 객체(2)를 탐지할 수 있다.5 and 6, the symbol learning data generation step (S20) may be performed by the symbol learning
예컨대, 심볼 학습 데이터 생성 단계(S20)에서는 플랜트 도면(1) 상에서 각 심볼 객체(2)에 가상의 바운딩 박스(2a)(사각형 또는, 다각형, 원)을 투영한 후, 가상의 바운딩 박스(2a)의 크기를 조절하여 심볼 객체(2)에 가상의 바운딩 박스(2a)의 네 변이 모두 맞닿으면, 가상의 바운딩 박스(2a)의 크기 조절을 중지하고 해당 가상의 바운딩 박스(2a)가 배치된 영역의 심볼 객체(2)의 위치 정보, 크기 정보, 형상 정보 및 배향 정보를 추출할 수 있다.For example, in the symbol learning data generation step (S20), after projecting a
여기서, 심볼 학습 데이터 생성 단계(S20)에서는 플랜트 도면(1)의 모서리 중 하나를 원점(0,0)으로 설정하고, X축 및 Y축 좌표에서 바운딩 박스(2a)의 각 모서리의 좌표값(x, y)을 통해 바운딩 박스(2a)의 크기 정보 및 위치 정보를 획득할 수 있다.Here, in the symbol learning data generation step (S20), one of the corners of the plant drawing 1 is set as the origin (0, 0), and the coordinate values of each corner of the
한편, 심볼 학습 데이터 생성 단계(S20)에서는 위치 및 크기 조절이 완료된 가상의 바운딩 박스(2a)의 중심점 좌표를 탐지된 심볼 객체의 배치 위치 좌표로 정의할 수 있다.Meanwhile, in the symbol learning data generation step S20, the coordinates of the center point of the
즉, 심볼 학습 데이터 생성 단계(S20)에서는 입력된 플랜트 도면 상에 가상의 원점(0, 0) 및 가상의 바운딩 박스(2a)(사각형 또는, 다각형, 원)을 투영함으로써 심볼 객체(2)의 좌표 정보를 명확하고 신속하게 구분하여 인식할 수 있다.That is, in the symbol learning data generation step (S20), the
도 7을 참조하면, 이를 통해, 심볼 학습 데이터 생성 단계(S20)에서는 심볼 객체(2)의 위치 정보, 크기 정보, 형상 정보, 배향 정보 및 색상 정보가 정의되는 주석 파일을 생성할 수 있다.Referring to FIG. 7, through this, in the symbol learning data generation step S20, an annotation file in which position information, size information, shape information, orientation information, and color information of the
여기서, 심볼 객체(2)의 색상 정보는 도면 파일에서 제공되는 색상 채널의 깊이(depth) 정보 기반으로 정의될 수 있다.Here, the color information of the
도 8을 참조하면, 또한, 심볼 학습 데이터 생성 단계(S20)에서는 이미지 파일과 주석 파일을 포함하는 학습 데이터의 리스트 파일을 생성할 수 있다.Referring to FIG. 8, in the symbol learning data generation step (S20 ), a list file of training data including an image file and an annotation file may be generated.
여기서, 리스트 파일은 심볼 객체의 순서(id) 및 클래스 정보와 배향 정보를 포함하는 파일명(name)을 기록할 수 있다.Here, the list file may record an order (id) of symbol objects and a file name including class information and orientation information.
도 9를 참조하면, 심볼 분류 학습 데이터 생성 단계(S30)에서는 심볼 분류 학습 데이터 생성부(140)에서 수행되며, 바운딩 박스(2a)에 의해 구분되는 심볼 객체(2)의 형상 정보 및 배향 정보를 기반으로 저장부(110)에 기 저장된 심볼 객체 데이터와 플랜트 도면(1)의 심볼 객체(2)를 매칭시켜, 심볼 분류 학습 데이터를 생성할 수 있다.Referring to FIG. 9, in the symbol classification learning data generation step (S30), the symbol classification learning
심볼 분류 학습 데이터 생성 단계(S30)에서는 플랜트 도면(1)에서 형상 정보 및 배향 정보가 동일한 심볼 객체(2)와 매칭되는 기 저장된 심볼 객체 데이터를 그룹핑한 후, 그룹핑된 심볼 분류 학습 데이터를 생성할 수 있다.In the symbol classification learning data generation step (S30), the previously stored symbol object data matching the
도 10을 참조하면, 심볼 분류 학습 데이터 생성 단계(S30)에서 생성된 심볼 분류 학습 데이터는 저장부(110)에 기 저장된 심볼 객체의 이미지 파일(2c)을 포함할 수 있으며, 심볼 분류 학습 데이터의 이미지 파일(2c)은 제4계층 폴더(14-1)에 저장될 수 있다.Referring to FIG. 10, the symbol classification learning data generated in the symbol classification learning data generation step (S30) may include an
여기서, 심볼 분류 학습 데이터 생성 단계(S30)에서는 바운딩 박스(2a)에 의해 구분되는 심볼 객체(2)의 형상 정보 및 배향 정보가 동일한 이미지 파일(2c)을 그룹핑하여, 각각의 제4계층 폴더(14-1)에 저장할 수 있다.Here, in the symbol classification learning data generation step (S30), image files 2c having the same shape information and orientation information of the
도 11을 참조하면, 심볼 분류 학습 데이터 생성 단계(S30)에서는 이미지 파일과 주석 파일을 포함하는 학습 데이터의 리스트 파일을 생성할 수 있다.Referring to FIG. 11, in the symbol classification learning data generation step (S30 ), a list file of training data including an image file and an annotation file may be generated.
여기서, 리스트 파일은 심볼 객체의 순서(id) 및 클래스 정보와 배향 정보를 포함하는 파일명(name)을 기록할 수 있다.Here, the list file may record an order (id) of symbol objects and a file name including class information and orientation information.
도 12를 참조하면, 문자 학습 데이터 생성 단계(S40)에서는 문자 학습 데이터 생성부(150)에서 수행될 수 있으며, 플랜트 도면(1)에서 각 문자 객체(3)를 대상으로 바운딩 박스(3a)를 투영하여, 문자 객체(3)를 탐지할 수 있다.Referring to FIG. 12, in the character learning data generation step (S40), it may be performed by the character learning
예컨대, 문자 학습 데이터 생성 단계(S40)에서는 플랜트 도면(1) 상에서 각 문자 객체(3)에 가상의 바운딩 박스(3a)(사각형 또는, 다각형, 원)을 투영한 후, 가상의 바운딩 박스(3a)의 크기를 조절하여 문자 객체(3)에 가상의 바운딩 박스(3a)의 네 변이 모두 맞닿으면, 가상의 바운딩 박스(3a)의 크기 조절을 중지하고 해당 가상의 바운딩 박스(3a)가 배치된 영역의 문자 객체(3)의 위치 정보, 크기 정보, 형상 정보 및 배향 정보를 추출할 수 있다.For example, in the character learning data generation step (S40), after projecting a
여기서, 문자 학습 데이터 생성 단계(S40)에서는 광학 문자 판독(OCR) 방법을 통해, 플랜트 도면(1) 상에서 문자 객체(3)를 탐지할 수 있다.Here, in the character learning data generation step (S40), the
한편, 문자 학습 데이터 생성 단계(S40)에서는 플랜트 도면(1)의 모서리 중 하나를 원점(0,0)으로 설정하고, X축 및 Y축 좌표에서 바운딩 박스(3a)의 각 모서리의 좌표값(x, y)을 통해 바운딩 박스(3a)의 크기 정보 및 위치 정보를 획득할 수 있다.On the other hand, in the character learning data generation step (S40), one of the corners of the plant drawing 1 is set as the origin (0, 0), and the coordinate values of each corner of the
한편, 문자 학습 데이터 생성 단계(S40)에서는 위치 및 크기 조절이 완료된 가상의 바운딩 박스(3a)의 중심점 좌표를 탐지된 문자 객체의 배치 위치 좌표로 정의할 수 있다.Meanwhile, in the character learning data generation step (S40), the coordinates of the center point of the
즉, 문자 학습 데이터 생성 단계(S40)에서는 입력된 플랜트 도면 상에 가상의 원점(0, 0) 및 가상의 바운딩 박스(3a)(사각형 또는, 다각형, 원)을 투영함으로써 문자 객체(3)의 좌표 정보를 명확하고 신속하게 구분하여 인식할 수 있다.That is, in the character learning data generation step (S40), the
도 13을 참조하면, 이를 통해, 문자 학습 데이터 생성 단계(S40)에서는 문자 객체(3)의 위치 정보, 크기 정보, 형상 정보, 배향 정보 및 색상 정보가 정의되는 주석 파일을 포함하는 문자 학습 데이터를 생성할 수 있다.Referring to FIG. 13, through this, in the character learning data generation step (S40), character learning data including an annotation file in which position information, size information, shape information, orientation information, and color information of the
여기서, 문자 학습 데이터는 배향 정보를 기반으로 문자 타입 정보를 포함할 수 있다. 문자 타입 정보는 영문자 타입 정보 및 국문자 타입 정보를 포함하고, 영문자 타입 정보는 대문자 타입 정보 및 소문자 타입 정보를 포함할 수 있다.Here, the text learning data may include text type information based on orientation information. The character type information may include English character type information and Korean character type information, and the English character type information may include upper case type information and lower case type information.
이를 통해, 문자 학습 데이터 생성 단계(S40)에서는 배향 정보를 기반으로 탐지된 문자 객체(3)를 판단할 수 있어, 보다 정밀하게 문자 객체(3)를 탐지할 수 있다.Through this, in the character learning data generation step (S40), the detected
여기서, 문자 객체(3)의 색상 정보는 도면 파일에서 제공되는 색상 채널의 깊이(depth) 정보 기반으로 정의될 수 있다.Here, the color information of the
도 14를 참조하면, 또한, 문자 학습 데이터 생성 단계(S40)에서는 이미지 파일과 주석 파일을 포함하는 학습 데이터의 리스트 파일을 생성할 수 있다.Referring to FIG. 14, in the character learning data generation step S40, a list file of training data including an image file and an annotation file may be generated.
여기서, 리스트 파일은 문자 객체의 순서(id) 및 클래스 정보와 배향 정보를 포함하는 파일명(name)을 기록할 수 있다.Here, the list file may record an order (id) of a character object and a file name including class information and orientation information.
한편, 문자 학습 데이터 생성 단계(S40)에서는 복수의 문자 객체 중 배치 위치가 인접하고, 동일한 배열 값(X값 동일, 또는 Y값 동일)을 갖는 문자 객체를 조합하여 텍스트 객체로 그룹화해서, 텍스트 객체의 형상 데이터를 추출할 수 있다.On the other hand, in the character learning data generation step (S40), character objects having the same arrangement value (the same X value or the same Y value) are grouped into a text object by combining the character objects having the same arrangement position and the same arrangement position among the plurality of character objects. The shape data of can be extracted.
도 15를 참조하면, 배관 학습 데이터 생성 단계(S50)에서는 배관 학습 데이터 생성부(160)에서 수행될 수 있으며, 플랜트 도면(1)에서 각 배관 객체(4)를 탐지하고, 배관 객체(4)의 정보를 포함한 배관 학습 데이터를 생성할 수 있다.Referring to FIG. 15, the pipe learning data generation step (S50) may be performed by the pipe learning
예컨대, 배관 학습 데이터 생성 단계(S50)에서는 플랜트 도면(1) 상에서 직선 또는 파선을 포함하는 라인(line)(4)을 배관으로 인식하고, 해당 라인의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 배관 학습 데이터를 생성할 수 있다.For example, in the pipe learning data generation step (S50), a
여기서, 배관 학습 데이터 생성 단계(S50)에서는 플랜트 도면(1)의 모서리 중 하나를 원점(0,0)으로 설정하고, X축 및 Y축 좌표에서 배관 객체(4)의 선단 및 말단의 좌표값(x, y)을 통해 배관 객체(4)의 크기 정보 및 위치 정보를 획득할 수 있다.Here, in the pipe learning data generation step (S50), one of the corners of the plant drawing (1) is set as the origin (0, 0), and the coordinate values of the tip and end of the
또한, 배관 학습 데이터 생성 단계(S50)에서는 배관 객체(4) 상에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함하는 배관 학습 데이터를 생성할 수 있다.In addition, in the pipe learning data generation step (S50), the pipe learning data including flow information may be generated by detecting a flow symbol located on the
여기서, 배관 학습 데이터 생성 단계(S50)에서는 흐름 기호 객체를 대상으로 바운딩 박스(미도시)를 투영하여, 흐름 기호를 탐지할 수 있다.Here, in the pipe learning data generation step (S50), a bounding box (not shown) is projected on the flow sign object to detect the flow sign.
예컨대, 배관 학습 데이터 생성 단계(S50)에서는 플랜트 도면(1) 상에서 각 흐름 기호 객체에 가상의 바운딩 박스를 투영한 후, 가상의 바운딩 박스의 크기를 조절하여 흐름 기호 객체에 가상의 바운딩 박스의 네 변이 모두 맞닿으면, 가상의 바운딩 박스의 크기 조절을 중지하고 해당 가상의 바운딩 박스가 배치된 영역의 흐름 기호 객체의 위치 정보, 크기 정보, 형상 정보 및 배향 정보를 추출할 수 있다.For example, in the piping learning data generation step (S50), after projecting a virtual bounding box to each flow symbol object on the plant drawing (1), the size of the virtual bounding box is adjusted to reduce the number of virtual bounding boxes to the flow symbol object. When all sides are in contact, it is possible to stop adjusting the size of the virtual bounding box and extract position information, size information, shape information, and orientation information of the flow symbol object in the area where the virtual bounding box is arranged.
여기서, 배관 학습 데이터 생성 단계(S50)에서는 위치 및 크기 조절이 완료된 가상의 바운딩 박스의 중심점 좌표를 탐지된 흐름 기호 객체의 배치 위치 좌표로 정의할 수 있다.Here, in the pipe learning data generation step (S50), the coordinates of the center point of the virtual bounding box in which the position and size are adjusted may be defined as the coordinates of the arrangement position of the detected flow symbol object.
한편, 배관 학습 데이터 생성 단계(S50)에서 생성된 배관 학습 데이터는 배관 객체(4)에서 이웃하는 심볼 객체를 연결하는 정보를 추출하여 심볼 객체 연결 관계 정보를 포함할 수 있다.Meanwhile, the pipe learning data generated in the pipe learning data generation step S50 may include symbol object connection relationship information by extracting information connecting a neighboring symbol object from the
또한, 배관 학습 데이터 생성 단계(S50)에서는 배관 객체(4)의 선단 또는 말단에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함하는 배관 학습 데이터를 생성할 수 있다.In addition, in the pipe learning data generation step (S50), pipe learning data including flow information may be generated by detecting a flow symbol located at the tip or end of the
여기서, 배관 객체(4)의 선단 또는 말단에 위치한 흐름 기호는 화살표(arrow) 기호 또는 없음 기호(none)로 정의될 수 있다.Here, the flow symbol located at the tip or end of the
즉, 배관 학습 데이터에 포함된 배관 객체(4)의 선단 또는 말단에 위치한 흐름 기호를 통해 배관의 흐름 정보를 확인할 수 있으며, 이웃하는 심볼을 연결하는 정보를 추출하여 심볼 객체 연결 관계 정보를 확인할 수 있다.That is, the flow information of the pipe can be checked through the flow symbol located at the tip or end of the
도 16을 참조하면, 이를 통해, 배관 학습 데이터 생성 단계(S50)에서는 배관 객체(2)의 위치 정보, 크기 정보, 형상 정보, 배향 정보 및 색상 정보가 정의되는 주석 파일을 생성할 수 있다.Referring to FIG. 16, through this, in the pipe learning data generation step (S50 ), an annotation file in which position information, size information, shape information, orientation information, and color information of the
여기서, 배관 객체(2)의 색상 정보는 도면 파일에서 제공되는 색상 채널의 깊이(depth) 정보 기반으로 정의될 수 있다. Here, the color information of the
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.On the other hand, the present invention can also be implemented as a computer-readable code on a computer-readable recording medium.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, optical data storage devices, etc., and also implemented in the form of carrier waves (for example, transmission through the Internet). Include. In addition, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.
이상에서 설명한 것은 본 발명에 따른 딥러닝 기반 학습 데이터 생성 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing the deep learning-based learning data generation method according to the present invention, the present invention is not limited to one embodiment, the present invention as claimed in the claims below. Without departing from the gist of the present invention, anyone of ordinary skill in the field to which the present invention pertains will have the technical spirit of the present invention to the extent that various changes can be implemented.
Claims (17)
상기 플랜트 도면 및 상기 객체에 대한 학습 데이터가 저장되는 폴더를 계층 별로 분류하여 생성하는 계층 폴더 생성 단계;
상기 플랜트 도면에서 심볼 객체를 탐지하고, 탐지된 상기 심볼 객체에 대한 심볼 학습 데이터를 생성하는 심볼 학습 데이터 생성 단계;
상기 플랜트 도면에서 상기 심볼 객체에 대한 분류 학습 데이터를 생성하는 심볼 분류 학습 데이터 생성 단계;
상기 플랜트 도면에서 문자 객체를 탐지하고, 탐지된 문자 객체에 대한 문자 학습 데이터를 생성하는 문자 학습 데이터 생성 단계; 및
상기 플랜트 도면에서 배관 객체를 탐지하고, 탐지된 배관 객체에 대한 배관 학습 데이터를 생성하는 배관 학습 데이터 생성 단계; 를 포함하는 딥러닝 기반 학습 데이터 생성 방법.
In the training data generation method for generating deep learning-based training data for an object of a plant drawing,
A hierarchical folder creation step of classifying and generating a folder in which the plant drawing and the learning data for the object are stored by hierarchical level;
A symbol learning data generation step of detecting a symbol object in the plant drawing and generating symbol learning data for the detected symbol object;
A symbol classification learning data generation step of generating classification learning data for the symbol object in the plant drawing;
A text learning data generation step of detecting text objects in the plant drawing and generating text learning data for the detected text objects; And
A pipe learning data generation step of detecting a pipe object in the plant drawing and generating pipe learning data for the detected pipe object; Deep learning-based training data generation method comprising a.
상기 계층 폴더 생성 단계에서는
제1계층 폴더,
상기 제1계층 폴더 내에 위치하며 적어도 하나의 플랜트 도면이 저장되는 제2계층 폴더 및
상기 제2계층 폴더 내에 위치하며, 상기 심볼 학습 데이터, 상기 심볼 분류 학습 데이터, 상기 문자 학습 데이터 및 상기 배관 학습 데이터 각각이 구분되어 저장되는 제3계층 폴더를 생성하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 1,
In the hierarchical folder creation step
First layer folder,
A second layer folder located within the first layer folder and storing at least one plant drawing; and
Deep learning-based learning data generation method that is located in the second layer folder and generates a third layer folder in which the symbol training data, the symbol classification training data, the character training data, and the pipe training data are separately stored.
상기 제3계층 폴더는
상기 심볼 학습 데이터가 저장되는 심볼 학습 데이터 폴더,
상기 심볼 분류 학습 데이터가 저장되는 심볼 분류 학습 데이터 폴더,
상기 문자 학습 데이터가 저장되는 문자 학습 데이터 폴더 및
상기 배관 학습 데이터가 저장되는 배관 학습 데이터 폴더를 포함하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 2,
The third layer folder
A symbol learning data folder in which the symbol learning data is stored,
A symbol classification learning data folder in which the symbol classification learning data is stored,
A text learning data folder in which the text learning data is stored, and
Deep learning-based learning data generation method comprising a pipe learning data folder in which the pipe learning data is stored.
상기 계층 폴더 생성 단계에서는
상기 심볼 분류 학습 데이터 폴더에 위치하며, 심볼 객체의 형상 정보 및 배향 정보가 동일한 데이터가 그룹핑된 심볼 분류 학습 데이터가 저장되는 적어도 하나의 제4계층 폴더를 생성하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 3,
In the hierarchical folder creation step
Deep learning-based learning data generation method of generating at least one fourth layer folder located in the symbol classification learning data folder and storing symbol classification learning data in which data having the same shape information and orientation information of a symbol object are grouped.
상기 심볼 학습 데이터 생성 단계에서는 플랜트 도면 상에서의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 상기 심볼 학습 데이터를 생성하고,
상기 문자 학습 데이터 생성 단계에서는 플랜트 도면 상에서의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 상기 문자 학습 데이터를 생성하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 3,
In the symbol learning data generation step, the symbol learning data including location information, size information, shape information, color information, and orientation information on the plant drawing is generated,
In the step of generating the text learning data, a deep learning-based learning data generation method for generating the text learning data including position information, size information, shape information, color information, and orientation information on a plant drawing.
상기 심볼 학습 데이터 생성 단계 및 상기 문자 학습 데이터 생성 단계에서는
상기 플랜트 도면 상에 바운딩 박스를 투영하고,
상기 심볼 객체 또는 상기 문자 객체에 매칭되는 바운딩 박스의 크기 및 위치를 심볼 객체 또는 문자 객체의 위치 정보 및 크기 정보로 반영하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 5,
In the symbol learning data generation step and the character learning data generation step,
Project a bounding box on the plant drawing,
Deep learning-based learning data generation method in which the size and position of the bounding box matched with the symbol object or the text object are reflected as position information and size information of the symbol object or text object.
상기 심볼 학습 데이터 생성 단계 및 상기 문자 학습 데이터 생성 단계에서는
상기 플랜트 도면의 모서리 중 하나를 원점으로 설정하고,
상기 바운딩 박스의 각 모서리의 좌표값을 통해 바운딩 박스의 크기 정보 및 위치 정보를 획득하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 6,
In the symbol learning data generation step and the character learning data generation step,
Set one of the corners of the plant drawing as the origin,
Deep learning-based training data generation method for obtaining size information and location information of a bounding box through coordinate values of each corner of the bounding box.
상기 심볼 분류 학습 데이터 생성 단계에서는
심볼 객체의 형상 정보 및 배향 정보를 기반으로 저장부에 기 저장된 심볼 객체 데이터와 상기 플랜트 도면의 심볼 객체를 매칭시킨 후,
상기 플랜트 도면에서 형상 정보 및 배향 정보가 동일한 심볼 객체와 매칭되는 기 저장된 심볼 객체 데이터를 그룹핑한 후,
그룹핑된 심볼 분류 학습 데이터를 생성하여 상기 제4계층 폴더에 저장하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 4,
In the symbol classification learning data generation step
After matching the symbol object data previously stored in the storage unit with the symbol object of the plant drawing based on the shape information and orientation information of the symbol object,
After grouping the previously stored symbol object data in which shape information and orientation information match the same symbol object in the plant drawing,
Deep learning-based training data generation method for generating grouped symbol classification training data and storing it in the fourth layer folder.
상기 문자 학습 데이터 생성 단계에서는
플랜트 도면에서 상기 심볼 객체 내부에 배치된 문자 및 상기 심볼 객체 외부에 배치된 문자를 함께 탐지하고,
탐지된 문자 객체에 대한 상기 문자 학습 데이터를 생성하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 7,
In the character learning data generation step
In the plant drawing, a character placed inside the symbol object and a character placed outside the symbol object are detected together,
Deep learning-based learning data generation method for generating the text learning data for the detected text object.
상기 문자 학습 데이터 생성 단계에서는
타입 정보를 포함하는 상기 문자 학습 데이터를 생성하고,
상기 타입 정보는 문자 타입 정보 및 숫자 타입 정보를 포함하고,
상기 문자 타입 정보는 영문자 타입 정보 및 국문자 타입 정보를 포함하고,
영문자 타입 정보는 대문자 타입 정보 및 소문자 타입 정보를 포함하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 9,
In the character learning data generation step
Generating the character learning data including type information,
The type information includes character type information and number type information,
The character type information includes English character type information and Korean character type information,
The English character type information is a deep learning-based learning data generation method including upper case type information and lower case type information.
상기 배관 학습 데이터 생성 단계에서는
상기 플랜트 도면 상에서 심볼 객체 및 문자 객체를 제외하며, 실선 또는 파선을 포함하는 라인(line)을 탐지하여,
탐지된 상기 라인에 대응되는 배관의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 배관 학습 데이터를 생성하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 3,
In the pipe learning data generation step
Excluding the symbol object and the text object on the plant drawing, detecting a line including a solid line or a broken line,
Deep learning-based learning data generation method for generating pipe learning data including location information, size information, shape information, color information, and orientation information of the pipe corresponding to the detected line.
상기 배관 학습 데이터 생성 단계에서는
상기 플랜트 도면의 모서리 중 하나를 원점으로 설정하고,
상기 라인의 선단 및 말단의 좌표값을 통해 배관의 위치 정보, 크기 정보 및 배향 정보를 획득하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 11,
In the pipe learning data generation step
Set one of the corners of the plant drawing as the origin,
Deep learning-based learning data generation method for acquiring pipe location information, size information, and orientation information through coordinate values of the tip and end of the line.
상기 배관 학습 데이터 생성 단계에서는
상기 라인 상에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함하는 배관 학습 데이터를 생성하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 12,
In the pipe learning data generation step
Deep learning-based training data generation method for generating pipe training data including flow information by detecting a flow symbol located on the line.
상기 배관 학습 데이터 생성 단계에서는
상기 라인의 선단 또는 말단에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함하는 배관 학습 데이터를 생성하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 13,
In the pipe learning data generation step
Deep learning-based training data generation method for generating pipe training data including flow information by detecting a flow symbol located at the tip or end of the line.
상기 심볼 학습 데이터는 심볼 이미지 파일, 심볼 주석 파일 및 심볼 리스트 파일을 포함하고,
상기 심볼 분류 학습 데이터는 저장부에 기 저장된 심볼 이미지 파일 및 저장부에 기 저장된 심볼 리스트 파일을 포함하고,
상기 문자 학습 데이터는 문자 이미지 파일, 문자 주석 파일 및 문자 리스트 파일을 포함하고,
상기 배관 학습 데이터는 배관 이미지 파일, 배관 주석 파일 및 배관 리스트 파일을 포함하는 딥러닝 기반 학습 데이터 생성 방법.
The method of claim 1,
The symbol learning data includes a symbol image file, a symbol annotation file, and a symbol list file,
The symbol classification learning data includes a symbol image file previously stored in the storage unit and a symbol list file previously stored in the storage unit,
The character learning data includes a character image file, a character annotation file, and a character list file,
The pipe learning data is a deep learning-based learning data generation method including a pipe image file, a pipe annotation file, and a pipe list file.
제1항 내지 제15항 중 어느 한 항에 따른 딥러닝 기반 학습 데이터 생성 방법을 구현하기 위한 프로그램이 기록된 기록 매체.
In a computer-readable recording medium,
A recording medium in which a program for implementing the method for generating learning data based on deep learning according to any one of claims 1 to 15 is recorded.
상기 플랜트 도면 및 상기 객체에 대한 학습 데이터가 저장되는 폴더를 계층 별로 분류하여 생성하는 계층 폴더 생성부;
상기 플랜트 도면에서 심볼 객체를 탐지하고, 탐지된 상기 심볼 객체에 대한 학습 데이터를 생성하는 심볼 학습 데이터 생성부;
상기 플랜트 도면에서 상기 심볼 객체에 대한 분류 학습 데이터를 생성하는 심볼 분류 학습 데이터 생성부;
상기 플랜트 도면에서 문자 객체를 탐지하고, 탐지된 문자 객체에 대한 학습 데이터를 생성하는 문자 학습 데이터 생성부; 및
상기 플랜트 도면에서 배관 객체를 탐지하고, 탐지된 배관 객체에 대한 학습 데이터를 생성하는 배관 학습 데이터 생성부; 를 포함하는 딥러닝 기반 학습 데이터 생성 시스템.In the training data generation system for generating deep learning-based training data for an object of a plant drawing,
A hierarchical folder generation unit for classifying and generating a folder in which the plant drawing and learning data for the object are stored by hierarchies;
A symbol learning data generator configured to detect a symbol object in the plant drawing and generate learning data for the detected symbol object;
A symbol classification learning data generation unit that generates classification learning data for the symbol object in the plant drawing;
A text learning data generator configured to detect text objects in the plant drawing and generate learning data for the detected text objects; And
A pipe learning data generator configured to detect a pipe object in the plant drawing and generate learning data on the detected pipe object; Deep learning-based training data generation system comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020146A KR102315854B1 (en) | 2019-02-20 | 2019-02-20 | Deep learning-based learning data generation method and learning data generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020146A KR102315854B1 (en) | 2019-02-20 | 2019-02-20 | Deep learning-based learning data generation method and learning data generation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200103204A true KR20200103204A (en) | 2020-09-02 |
| KR102315854B1 KR102315854B1 (en) | 2021-10-20 |
Family
ID=72450003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190020146A KR102315854B1 (en) | 2019-02-20 | 2019-02-20 | Deep learning-based learning data generation method and learning data generation system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102315854B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102274081B1 (en) * | 2021-04-12 | 2021-07-07 | 사단법인 한국선급 | Cognition system of object in ship's drawing using a deep-learning |
| KR20220090262A (en) * | 2020-12-22 | 2022-06-29 | 주식회사 드림비트 | Trademarks searching model and method of learning trademarks searching model |
| KR20220163579A (en) * | 2021-06-03 | 2022-12-12 | 고려대학교 산학협력단 | Object recognition system, object recognition method and computer program stored in a recording medium to execute the method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63204469A (en) * | 1987-02-20 | 1988-08-24 | Mitsubishi Electric Corp | Drawing processing system |
| JPH06259004A (en) * | 1993-03-08 | 1994-09-16 | Toshiba Corp | Plant operating device |
| KR20060065839A (en) * | 2004-12-10 | 2006-06-14 | 주식회사 디디알소프트 | Method for transforming object handle represented in cad drawings into facility identifier and method for managing facility using the facility identifier |
| KR20150080789A (en) * | 2014-01-02 | 2015-07-10 | 주식회사 싸이픽소프트 | An apparatus and method for error detecting of drawing information |
| JP2016525251A (en) * | 2013-07-15 | 2016-08-22 | アーベーベー・アーゲーＡｂｂ Ａｇ | How to generate plant topology model data |
| KR20180065856A (en) * | 2016-12-07 | 2018-06-18 | 삼성전자주식회사 | Apparatus and method of object detection using a region-based deep learning model and method for manufacturing a chipset |
| KR20180092494A (en) * | 2017-02-09 | 2018-08-20 | 한국전자통신연구원 | System and method for refining training image |
| KR101932009B1 (en) * | 2017-12-29 | 2018-12-24 | (주)제이엘케이인스펙션 | Image processing apparatus and method for multiple object detection |
-
2019
- 2019-02-20 KR KR1020190020146A patent/KR102315854B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63204469A (en) * | 1987-02-20 | 1988-08-24 | Mitsubishi Electric Corp | Drawing processing system |
| JPH06259004A (en) * | 1993-03-08 | 1994-09-16 | Toshiba Corp | Plant operating device |
| KR20060065839A (en) * | 2004-12-10 | 2006-06-14 | 주식회사 디디알소프트 | Method for transforming object handle represented in cad drawings into facility identifier and method for managing facility using the facility identifier |
| JP2016525251A (en) * | 2013-07-15 | 2016-08-22 | アーベーベー・アーゲーＡｂｂ Ａｇ | How to generate plant topology model data |
| KR20150080789A (en) * | 2014-01-02 | 2015-07-10 | 주식회사 싸이픽소프트 | An apparatus and method for error detecting of drawing information |
| KR20180065856A (en) * | 2016-12-07 | 2018-06-18 | 삼성전자주식회사 | Apparatus and method of object detection using a region-based deep learning model and method for manufacturing a chipset |
| KR20180092494A (en) * | 2017-02-09 | 2018-08-20 | 한국전자통신연구원 | System and method for refining training image |
| KR101932009B1 (en) * | 2017-12-29 | 2018-12-24 | (주)제이엘케이인스펙션 | Image processing apparatus and method for multiple object detection |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220090262A (en) * | 2020-12-22 | 2022-06-29 | 주식회사 드림비트 | Trademarks searching model and method of learning trademarks searching model |
| KR102274081B1 (en) * | 2021-04-12 | 2021-07-07 | 사단법인 한국선급 | Cognition system of object in ship's drawing using a deep-learning |
| KR20220163579A (en) * | 2021-06-03 | 2022-12-12 | 고려대학교 산학협력단 | Object recognition system, object recognition method and computer program stored in a recording medium to execute the method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102315854B1 (en) | 2021-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805170B (en) | Forming data sets for fully supervised learning | |
| CN114641753A (en) | Composite data generation and Building Information Model (BIM) element extraction from floor plan drawings using machine learning | |
| KR102315854B1 (en) | Deep learning-based learning data generation method and learning data generation system | |
| US20200387553A1 (en) | Digitization of technical documentation driven by machine learning | |
| CN109685870B (en) | Information labeling method and device, labeling equipment and storage medium | |
| US20160116911A1 (en) | Assembly order generation device and assembly order generation method | |
| JP6924604B2 (en) | Robust method for tracking table lines | |
| JP4834351B2 (en) | Character recognition device and character recognition method | |
| JP2020140450A (en) | Structured data generation method and structured data generation device | |
| CN111241897A (en) | Industrial checklist digitization by inferring visual relationships | |
| KR20200038006A (en) | Method for providing digital drawing and digital drawing providing device | |
| CN112084103B (en) | Interface test method, device, equipment and medium | |
| KR102193403B1 (en) | Deep learning-based learning data generation method including an outline and a caption elimination method in a drawing and learning data generation system | |
| CN112750065B (en) | Carrier object processing and watermark embedding method, device and electronic equipment | |
| Ferreira et al. | Automatically Generating Websites from Hand-drawn Mockups | |
| WO2023093850A1 (en) | Component identification method and apparatus, electronic device, and storage medium | |
| Sermuga Pandian et al. | Synz: Enhanced synthetic dataset for training ui element detectors | |
| US11663761B2 (en) | Hand-drawn diagram recognition using visual arrow-relation detection | |
| KR102236625B1 (en) | Apparatus and method for generating training data for deep learning to recognize the design information of symbol-based engineering drawings | |
| CN115147858A (en) | Method, device, equipment and medium for generating image data of handwritten form | |
| Delalandre et al. | Performance evaluation of symbol recognition and spotting systems: An overview | |
| JP7165970B2 (en) | LEARNING DATA GENERATOR AND LEARNING DATA GENERATION METHOD | |
| Tombre et al. | Interpretation of engineering drawings | |
| Fang et al. | Automatic GUI test by using SIFT matching | |
| KR102572130B1 (en) | Method and system for extracting document form from document image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |