KR102598210B1 - Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor - Google Patents

Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor Download PDF

Info

Publication number
KR102598210B1
KR102598210B1 KR1020230059837A KR20230059837A KR102598210B1 KR 102598210 B1 KR102598210 B1 KR 102598210B1 KR 1020230059837 A KR1020230059837 A KR 1020230059837A KR 20230059837 A KR20230059837 A KR 20230059837A KR 102598210 B1 KR102598210 B1 KR 102598210B1
Authority
KR
South Korea
Prior art keywords
image
symbol
text
recognized
modified
Prior art date
Application number
KR1020230059837A
Other languages
Korean (ko)
Inventor
오윤석
현우성
김철원
정현우
김대우
배금준
서덕기
신재문
Original Assignee
주식회사 위엠비
한전케이디엔주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위엠비, 한전케이디엔주식회사 filed Critical 주식회사 위엠비
Priority to KR1020230059837A priority Critical patent/KR102598210B1/en
Application granted granted Critical
Publication of KR102598210B1 publication Critical patent/KR102598210B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/155Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables

Abstract

본 발명은 엔지니어링 도면의 도면 정보 인식방법, 도면 정보 인식시스템, 컴퓨터 프로그램에 관한 것이다.
본 발명의 일측면에 따르면, 이미지 파일 형태로 관리되는 엔지니어링 도면(예, P&ID)에 포함된 심볼, 라인, 텍스트 등의 도면 정보를 자동으로 인식하여 정보를 관리할 수 있도록 함으로써, 엔지니어링 도면의 디지털화 작업을 용이하게 처리할 수 있도록 하는 엔지니어링 도면의 도면 정보 인식방법, 도면 정보 인식시스템, 컴퓨터 프로그램이 개시된다.
The present invention relates to a drawing information recognition method of engineering drawings, a drawing information recognition system, and a computer program.
According to one aspect of the present invention, the digitalization of engineering drawings is achieved by automatically recognizing and managing drawing information such as symbols, lines, and text included in engineering drawings (e.g., P&ID) managed in the form of image files. A drawing information recognition method of engineering drawings, a drawing information recognition system, and a computer program that enable work to be easily processed are disclosed.

Description

엔지니어링 도면의 도면 정보 인식방법, 도면 정보 인식시스템, 컴퓨터 프로그램 {Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor}Drawing information recognition method of engineering drawings, drawing information recognition system, computer program {Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor}

본 발명은 엔지니어링 도면의 도면 정보 인식방법, 도면 정보 인식시스템, 컴퓨터 프로그램에 관한 것으로서, 이미지 파일 형태로 관리되는 엔지니어링 도면(예, P&ID)에 포함된 심볼, 라인, 텍스트 등의 도면 정보를 자동으로 인식하여 정보를 관리할 수 있도록 함으로써, 엔지니어링 도면의 디지털화 작업을 용이하게 처리할 수 있도록 하는 엔지니어링 도면의 도면 정보 인식방법, 도면 정보 인식시스템, 컴퓨터 프로그램에 관한 것이다. The present invention relates to a drawing information recognition method of engineering drawings, a drawing information recognition system, and a computer program, which automatically recognize drawing information such as symbols, lines, and text contained in engineering drawings (e.g., P&ID) managed in the form of image files. It relates to a drawing information recognition method of engineering drawings, a drawing information recognition system, and a computer program that facilitates the digitization of engineering drawings by recognizing and managing the information.

P&ID(Piping and instrumentation diagram)와 같은 엔지니어링 도면은 캐드 프로그램을 이용하여 디지털 도면으로 작성하는 것이 일반적이지만, 기술 유출 등의 우려로 인해 작성자가 외부 사용자에게 원본 캐드 파일을 직접 제공하기 어려운 측면이 있다. Engineering drawings such as P&ID (Piping and instrumentation diagram) are generally created as digital drawings using CAD programs, but it is difficult for creators to directly provide original CAD files to external users due to concerns about technology leakage.

이로 인해, 원본 캐드 파일을 PDF 파일 또는 이미지 파일(예, JPG, PNG) 등으로 변환하여 외부 사용자에게 제공하는 경우가 많다. For this reason, the original CAD file is often converted to a PDF file or image file (e.g., JPG, PNG) and provided to external users.

한편, 캐드 프로그램을 사용하기 이전에 수작업으로 제작된 엔지니어링 도면은 일반적으로 종이 도면 또는 청사진의 형태로 관리되므로, 원본 캐드 파일 자체가 존재하지 않는 경우도 있다. Meanwhile, engineering drawings created manually before using CAD programs are generally managed in the form of paper drawings or blueprints, so there are cases where the original CAD file itself does not exist.

그런데, 엔지니어링 도면을 효과적으로 활용하기 위해서 도면의 디지털화 작업이 필요한 경우가 있으므로, 엔지니어링 도면에 포함된 심볼, 라인, 텍스트 등의 도면 정보를 자동으로 인식하여 정보를 관리할 수 있는 기술의 개발이 필요한 실정이었다. However, in order to effectively utilize engineering drawings, digitization of drawings is sometimes necessary, so there is a need to develop technology that can automatically recognize drawing information such as symbols, lines, and text contained in engineering drawings and manage the information. It was.

대한민국 공개특허 10-2014-0046333 (2014.04.18)Republic of Korea Public Patent No. 10-2014-0046333 (2014.04.18) 대한민국 등록특허 10-2117323 (2020.05.26)Republic of Korea registered patent 10-2117323 (2020.05.26) 대한민국 등록특허 10-2454886 (2022.10.11)Republic of Korea registered patent 10-2454886 (2022.10.11)

본 발명은 상기와 같은 문제점을 감안하여 안출한 것으로서, 이미지 파일 형태로 관리되는 엔지니어링 도면(예, P&ID)에 포함된 심볼, 라인, 텍스트 등의 도면 정보를 자동으로 인식하여 정보를 관리할 수 있도록 함으로써, 엔지니어링 도면의 디지털화 작업을 용이하게 처리할 수 있도록 하는 엔지니어링 도면의 도면 정보 인식방법, 도면 정보 인식시스템, 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. The present invention was developed in consideration of the above problems, and is designed to automatically recognize and manage drawing information such as symbols, lines, and text included in engineering drawings (e.g., P&ID) managed in the form of image files. By doing so, the purpose is to provide a drawing information recognition method of engineering drawings, a drawing information recognition system, and a computer program that facilitate the digitization of engineering drawings.

상기 목적을 감안한 본 발명의 일 측면에 따르면, 도면 정보 인식시스템에서 실행하는 도면 정보 인식방법으로서, 1) 엔지니어링 도면의 도면 이미지를 입력받는 단계- 상기 도면 이미지는 심볼, 라인, 텍스트를 도면 정보로서 포함함-; 2) 상기 도면 이미지에 포함된 심볼을 인식하고, 인식된 심볼에 대한 심볼 이미지를 생성하는 단계; 3) 상기 도면 이미지에서 인식된 심볼을 제거한 제1 수정도면 이미지를 생성하고, 상기 제1 수정도면 이미지에 포함된 도면 라인을 인식하는 단계; 4) 상기 심볼 이미지에서 심볼 라인을 제거한 제1 수정심볼 이미지를 생성하고, 상기 제1 수정심볼 이미지에 포함된 심볼 텍스트를 인식하는 단계; 및 5) 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하고, 상기 제2 수정도면 이미지에 기초하여 도면 텍스트를 인식하는 단계;를 포함하여 구성된 엔지니어링 도면의 도면 정보 인식방법이 개시된다.According to one aspect of the present invention in consideration of the above purpose, a drawing information recognition method executed in a drawing information recognition system, 1) receiving a drawing image of an engineering drawing - the drawing image includes symbols, lines, and text as drawing information. Contains-; 2) recognizing symbols included in the drawing image and generating a symbol image for the recognized symbol; 3) generating a first modified drawing image by removing the recognized symbols from the drawing image, and recognizing drawing lines included in the first modified drawing image; 4) generating a first modified symbol image by removing the symbol line from the symbol image, and recognizing symbol text included in the first modified symbol image; and 5) generating a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image, and recognizing drawing text based on the second revised drawing image. An engineering drawing comprising a. A drawing information recognition method is disclosed.

본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고, 상기 프로세서는, 엔지니어링 도면의 도면 이미지를 입력받으며- 상기 도면 이미지는 심볼, 라인, 텍스트를 도면 정보로서 포함함-; 상기 도면 이미지에 포함된 심볼을 인식하고, 인식된 심볼에 대한 심볼 이미지를 생성하고; 상기 도면 이미지에서 인식된 심볼을 제거한 제1 수정도면 이미지를 생성하고, 상기 제1 수정도면 이미지에 포함된 도면 라인을 인식하며; 상기 심볼 이미지에서 심볼 라인을 제거한 제1 수정심볼 이미지를 생성하고, 상기 제1 수정심볼 이미지에 포함된 심볼 텍스트를 인식하고; 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하고, 상기 제2 수정도면 이미지에 기초하여 도면 텍스트를 인식하는 것;을 특징으로 하는 엔지니어링 도면의 도면 정보 인식시스템이 개시된다. According to another aspect of the present invention, a memory storing one or more instructions; and a processor executing the one or more commands stored in the memory, wherein the processor receives a drawing image of an engineering drawing, wherein the drawing image includes symbols, lines, and text as drawing information; Recognize symbols included in the drawing image and generate a symbol image for the recognized symbol; generating a first revised drawing image by removing the recognized symbols from the drawing image, and recognizing drawing lines included in the first revised drawing image; Generating a first modified symbol image by removing a symbol line from the symbol image, and recognizing symbol text included in the first modified symbol image; Drawing information of an engineering drawing, characterized in that: generating a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image, and recognizing drawing text based on the second revised drawing image; The recognition system is launched.

본 발명의 또다른 일 측면에 따르면, 도면 정보 인식시스템에서 도면 정보 인식방법을 실행하도록 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 도면 정보 인식방법은, 1) 엔지니어링 도면의 도면 이미지를 입력받는 단계- 상기 도면 이미지는 심볼, 라인, 텍스트를 도면 정보로서 포함함-; 2) 상기 도면 이미지에 포함된 심볼을 인식하고, 인식된 심볼에 대한 심볼 이미지를 생성하는 단계; 3) 상기 도면 이미지에서 인식된 심볼을 제거한 제1 수정도면 이미지를 생성하고, 상기 제1 수정도면 이미지에 포함된 도면 라인을 인식하는 단계; 4) 상기 심볼 이미지에서 심볼 라인을 제거한 제1 수정심볼 이미지를 생성하고, 상기 제1 수정심볼 이미지에 포함된 심볼 텍스트를 인식하는 단계; 및 5) 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하고, 상기 제2 수정도면 이미지에 기초하여 도면 텍스트를 인식하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 프로그램이 개시된다. According to another aspect of the present invention, there is a computer program stored in a computer-readable medium to execute a drawing information recognition method in a drawing information recognition system, the drawing information recognition method comprising: 1) receiving a drawing image of an engineering drawing; - The drawing image includes symbols, lines, and text as drawing information; 2) recognizing symbols included in the drawing image and generating a symbol image for the recognized symbol; 3) generating a first modified drawing image by removing the recognized symbols from the drawing image, and recognizing drawing lines included in the first modified drawing image; 4) generating a first modified symbol image by removing the symbol line from the symbol image, and recognizing symbol text included in the first modified symbol image; and 5) generating a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image, and recognizing drawing text based on the second revised drawing image. A computer program is disclosed.

이와 같은 본 발명은, 이미지 파일 형태로 관리되는 엔지니어링 도면(예, P&ID)에 포함된 심볼, 라인, 텍스트 등의 도면 정보를 자동으로 인식하여 정보를 관리할 수 있도록 함으로써, 엔지니어링 도면의 디지털화 작업을 용이하게 처리할 수 있도록 하는 장점이 있다. The present invention allows the digitalization of engineering drawings by automatically recognizing and managing drawing information such as symbols, lines, and text included in engineering drawings (e.g., P&ID) managed in the form of image files. It has the advantage of being easy to process.

특히 본 발명은 인식된 심볼, 도면 라인, 심볼 텍스트 및 도면 텍스트에 관한 도면 정보를 표준화된 데이터 포맷(예, JSON)의 파일로 저장 관리하므로, 도면 저작도구에서 인식된 도면 정보를 활용하여 작업할 수 있다는 장점이 있다. In particular, the present invention stores and manages drawing information about recognized symbols, drawing lines, symbol text, and drawing text as files in a standardized data format (e.g., JSON), so you can work using drawing information recognized in a drawing authoring tool. There is an advantage in that it can be done.

도 1은 본 발명의 실시예에 따른 도면 정보 인식시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 도면 정보 인식시스템의 하드웨어 관점의 구성도이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 도면 정보 인식방법의 흐름도이다.
도 5 내지 도 15는 본 발명의 실시예에 따른 도면 정보 인식방법을 설명하기 위한 모식도이다.
1 is a configuration diagram of a drawing information recognition system according to an embodiment of the present invention.
Figure 2 is a configuration diagram from a hardware perspective of a drawing information recognition system according to an embodiment of the present invention.
3 to 4 are flowcharts of a drawing information recognition method according to an embodiment of the present invention.
5 to 15 are schematic diagrams for explaining a drawing information recognition method according to an embodiment of the present invention.

본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.The present invention can be implemented in various other forms without departing from its technical spirit or main features. Accordingly, the embodiments of the present invention are merely examples in all respects and should not be construed as limited.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. Terms such as first, second, etc. are used only for the purpose of distinguishing one component from another component. For example, a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. When a component is referred to as being “connected” or “connected” to another component, it may be directly connected to or connected to the other component, but other components may also exist in between.

본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다. As used in this application, singular expressions include plural expressions, unless the context clearly dictates otherwise. In this application, terms such as “comprise”, “provide”, “have”, etc. are intended to express the presence of the components described in the specification or a combination thereof, but do not indicate the possibility that other components or features may be present or added. It is not excluded in advance.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 실시예에 따른 도면 정보 인식시스템의 구성도, 도 2는 본 발명의 실시예에 따른 도면 정보 인식시스템의 하드웨어 관점의 구성도이다. FIG. 1 is a configuration diagram of a drawing information recognition system according to an embodiment of the present invention, and FIG. 2 is a configuration diagram from a hardware perspective of a drawing information recognition system according to an embodiment of the present invention.

본 실시예의 도면 정보 인식시스템(100)은 이미지 파일 형태로 관리되는 엔지니어링 도면에 포함된 심볼, 라인, 텍스트 등의 도면 정보를 자동으로 인식하여 정보를 관리할 수 있도록 한다. The drawing information recognition system 100 of this embodiment automatically recognizes drawing information such as symbols, lines, and text included in engineering drawings managed in the form of image files and enables information management.

일예로, 본 실시예의 엔지니어링 도면은 P&ID와 같이 기계 설비, 배관, 전기계장에 관한 심볼, 라인(배관 라인, 계장 라인), 텍스트(심볼 또는 라인에 관한 식별 문자)를 포함하는 도면일 수 있다. For example, the engineering drawing of this embodiment may be a drawing that includes symbols, lines (piping lines, instrumentation lines), and text (identification characters for symbols or lines) related to mechanical equipment, piping, and electrical instrumentation, such as a P&ID.

일예로, 도면 정보 인식시스템(100)의 데이터 입출력 인터페이스(6)를 통해 입력된 도면 이미지 파일은 종이 또는 PDF 형식으로 되어 있는 엔지니어링 도면(예, P&ID)을 스캔 등의 방식으로 이미지 파일(예, JPG, PNG)화한 것일 수 있다. As an example, the drawing image file input through the data input/output interface 6 of the drawing information recognition system 100 is an image file (e.g., by scanning an engineering drawing (e.g., P&ID) in paper or PDF format. It may be converted to JPG or PNG).

본 실시예의 도면 정보 인식시스템(100)은 기능적 관점에서, 엔지니어링 도면의 도면 이미지를 입력 및 저장 관리하는 도면 이미지 관리 모듈(101); 도면 이미지에 포함된 심볼을 인식하고 심볼 이미지를 추출하며 심볼 관련 정보를 생성 및 저장 관리하는 심볼 정보 관리 모듈(102); 도면 이미지에 포함된 도면 라인을 인식하고 도면 라인 관련 정보를 저장 관리하는 도면 라인 정보 관리 모듈(103); 심볼 이미지 및 도면 이미지에 포함된 텍스트를 인식하고 텍스트 관련 정보를 저장 관리하는 텍스트 정보 관리 모듈(104); 도면 정보 인식 프로세스와 관련된 각종 정보의 입력/출력 처리 기능을 제공하고 관리자 모드를 포함하여 전반적인 시스템 관리 기능을 제공하는 운영 모듈(105);을 포함한다. From a functional standpoint, the drawing information recognition system 100 of this embodiment includes a drawing image management module 101 that inputs, stores, and manages drawing images of engineering drawings; A symbol information management module 102 that recognizes symbols included in drawing images, extracts symbol images, and generates, stores, and manages symbol-related information; a drawing line information management module 103 that recognizes drawing lines included in a drawing image and stores and manages drawing line-related information; a text information management module 104 that recognizes text included in symbol images and drawing images and stores and manages text-related information; It includes an operation module 105 that provides input/output processing functions for various information related to the drawing information recognition process and provides overall system management functions, including an administrator mode.

일예로, 심볼 정보 관리 모듈(102)는 심볼 인식을 위해 딥러닝 기반 객체 인식 기법이 적용된 인공신경망 모델을 포함할 수 있다. 이러한 인공신경망 모델로서 예를 들어 YOLO(You Only Look Once) 모델이 사용될 수 있으며, 이에 한정되지는 않는다. As an example, the symbol information management module 102 may include an artificial neural network model to which a deep learning-based object recognition technique is applied for symbol recognition. As such an artificial neural network model, for example, the YOLO (You Only Look Once) model may be used, but is not limited thereto.

또한 본 실시예의 도면 정보 인식시스템(100)은, 테이터 입출력 인터페이스를 통해 입력된 도면 이미지를 저장 관리하는 도면 이미지 저장소(111); 도면 이미지로부터 추출한 심볼 이미지를 저장 관리하는 심볼 이미지 저장소(112); 도면 이미지 및/또는 심볼 이미지로부터 인식한 심볼, 라인, 텍스트에 관한 도면 정보를 저장 관리하는 도면 정보 저장소(113);를 포함한다. In addition, the drawing information recognition system 100 of this embodiment includes a drawing image storage 111 that stores and manages drawing images input through a data input/output interface; a symbol image storage 112 that stores and manages symbol images extracted from drawing images; It includes a drawing information storage 113 that stores and manages drawing information about symbols, lines, and text recognized from drawing images and/or symbol images.

도 2를 참조하면 하드웨어적 관점에서, 본 실시예의 도면 정보 인식시스템(100)은 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 엔지니어링 도면의 도면 정보 인식방법을 실행하도록 매체에 저장된 컴퓨터 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 도면 정보 인식시스템(100)은 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 포함할 수 있다. Referring to FIG. 2, from a hardware perspective, the drawing information recognition system 100 of this embodiment includes a memory 2 that stores one or more instructions and a processor 4 that executes the one or more instructions stored in the memory 2. It is a computing device on which a computer program stored in a medium is executed to execute a drawing information recognition method of an engineering drawing. The drawing information recognition system 100 of this embodiment may include a data input/output interface 6, a communication interface 8, a data display means 3, and a data storage means 5.

도 3 내지 도 4는 본 발명의 실시예에 따른 도면 정보 인식방법의 흐름도, 도 5 내지 도 15는 본 발명의 실시예에 따른 도면 정보 인식방법을 설명하기 위한 모식도이다. 3 to 4 are flowcharts of a drawing information recognition method according to an embodiment of the present invention, and FIGS. 5 to 15 are schematic diagrams for explaining a drawing information recognition method according to an embodiment of the present invention.

1)단계에서 도면 정보 인식시스템(100)은, 엔지니어링 도면의 도면 이미지를 입력받는다. 상기 도면 이미지는 심볼, 라인, 텍스트를 도면 정보로서 포함한다. In step 1), the drawing information recognition system 100 receives a drawing image of an engineering drawing. The drawing image includes symbols, lines, and text as drawing information.

일예로, 도면 이미지는 종이 또는 PDF 형식으로 되어 있는 엔지니어링 도면(예, P&ID)을 스캔 등의 방식으로 이미지 파일(예, JPG, PNG)화한 것일 수 있다. For example, the drawing image may be an engineering drawing (e.g., P&ID) in paper or PDF format converted into an image file (e.g., JPG, PNG) by scanning.

입력된 도면 이미지에 대해서는 심볼, 라인, 텍스트의 인식이 용이하게 이뤄질 수 있도록 다양한 전처리(Normalization, Resize, Threshold, Blurr, Morphological Transformation 등)가 이뤄질 수 있다. Various preprocessing (Normalization, Resize, Threshold, Blurr, Morphological Transformation, etc.) can be performed on the input drawing image to facilitate recognition of symbols, lines, and text.

2)단계에서 도면 정보 인식시스템(100)은, 상기 도면 이미지에 포함된 심볼을 인식하고, 인식된 심볼에 대한 심볼 이미지를 생성한다. In step 2), the drawing information recognition system 100 recognizes symbols included in the drawing image and generates a symbol image for the recognized symbol.

바람직하게, 상기 2)단계에서, 상기 도면 이미지에 포함된 심볼은 딥러닝 기반 객체 인식 기법에 기초하여 인식한다. Preferably, in step 2), symbols included in the drawing image are recognized based on a deep learning-based object recognition technique.

딥러닝 기반 객체 인식 기법의 일예로, YOLO 모델을 이용한 객체 인식 기법이 사용될 수 있다. YOLO는 인공신경망을 사용하여 실시간 객체 감지를 제공하는 알고리즘이다. As an example of a deep learning-based object recognition technique, an object recognition technique using the YOLO model can be used. YOLO is an algorithm that provides real-time object detection using artificial neural networks.

일예로, YOLO 모델은 도면 정보 인식시스템(100)의 학습 서버를 통해 다음과 같이 미리 학습될 수 있다. 도 6은 본 실시예의 모델 학습 및 학습된 모델의 실행 과정을 예시한다. For example, the YOLO model can be learned in advance through the learning server of the drawing information recognition system 100 as follows. Figure 6 illustrates the process of model learning and execution of the learned model in this embodiment.

심볼이 포함된 엔지니어링 도면의 도면 이미지를 학습 데이터로 사용하도록 입력받는다. 입력된 도면 이미지에 대해서는 심볼 인식이 용이하게 이뤄질 수 있도록 다양한 전처리가 이뤄질 수 있다. Drawing images of engineering drawings containing symbols are input to be used as learning data. Various preprocessing can be performed on the input drawing image to facilitate symbol recognition.

도면 이미지에 포함된 각각의 심볼에 대해 주석(annotation)을 할당 처리한다. 주석은 각각의 심볼에 대한 클래스 레이블(class label)과 바운더리 박스(boundary-box)를 포함하여 구성된다. 주석 할당에는 다양한 공지의 프로그램이 사용될 수 있다. 각각의 심볼에 대해 할당된 주석 관련 정보는 주석 문서(예, annotation xml 문서)의 형태로 저장 관리될 수 있다. An annotation is assigned to each symbol included in the drawing image. The annotation consists of a class label and boundary-box for each symbol. Various well-known programs can be used for annotation assignment. Annotation-related information assigned to each symbol may be stored and managed in the form of an annotation document (e.g., annotation xml document).

주석이 할당된 각각의 심볼을 학습 데이터로 하여 YOLO 모델을 학습시킨다. 일예로, YOLO 모델의 학습 및 실행에는 공지의 딥러닝용 프레임워크(예, Darknet framework)가 사용될 수 있으며 이에 한정되지는 않는다. The YOLO model is trained using each annotated symbol as training data. For example, a known deep learning framework (e.g., Darknet framework) may be used to learn and execute the YOLO model, but is not limited thereto.

도면 이미지에 포함된 심볼의 인식은 상기와 같이 학습된 YOLO 모델을 이용하여 수행될 수 있으며, 딥러닝 기반 객체 인식 기법을 이용한 인공신경망 모델이라면 다른 공지의 모델이 사용될 수도 있다. Recognition of symbols included in drawing images can be performed using the YOLO model learned as above, and other known models may be used as long as they are artificial neural network models using deep learning-based object recognition techniques.

바람직하게, 생성한 심볼 이미지에서 불필요한 라인을 제거할 수도 있다. 도 8은 심볼 이미지에서 불필요한 라인을 제거하는 경우를 예시한다. 일예로, 불필요한 라인 제거는 후술하는 도면 라인 인식 과정과 유사한 방식으로 형태학적 변환 기법을 이용하여 심볼을 구성하는 라인이 아닌 부분을 노이즈로서 제거하는 방식으로 이뤄질 수 있다. Preferably, unnecessary lines may be removed from the generated symbol image. Figure 8 illustrates a case of removing unnecessary lines from a symbol image. For example, removal of unnecessary lines can be accomplished by removing non-line parts constituting the symbol as noise using a morphological transformation technique in a manner similar to the drawing line recognition process described later.

상기 2)단계에서, 상기 도면 이미지에 포함된 심볼의 인식은 심볼의 종류, 위치, 크기를 인식하는 것이다. 도 7은 도면 이미지 내 심볼 객체를 인식한 결과를 시각화 상태를 예시한다. In step 2), recognition of symbols included in the drawing image involves recognizing the type, location, and size of the symbol. Figure 7 illustrates a visualization state of the result of recognizing a symbol object in a drawing image.

일예로, 상기 2)단계에서 심볼의 방향 각도를 인식할 필요가 있는 경우, 상하 및 좌우 방향이 대칭인 심볼은 심볼의 가로 및 세로 길이에 기초하여 심볼의 방향 각도를 인식하고, 상하 또는 좌우가 비대칭인 심볼은 심볼에 포함된 비대칭적 기하 특징에 기초하여 방향 각도를 인식할 수 있다. 일예로, 심볼에 포함된 비대칭적 기하 특징은 비대칭적으로 배치된 심볼의 꼭지점의 개수, 심볼내 다각형의 위치, 형상 등이 될 수 있다. For example, if it is necessary to recognize the direction angle of the symbol in step 2) above, for a symbol with symmetrical up-down and left-right directions, the direction angle of the symbol is recognized based on the horizontal and vertical length of the symbol, and the up-down or left-right For asymmetric symbols, the direction angle can be recognized based on the asymmetrical geometric features included in the symbol. For example, asymmetrical geometric features included in a symbol may be the number of asymmetrically arranged vertices of the symbol, the location and shape of polygons within the symbol, etc.

딥러닝 기반 객체 인식 기법에 기초하여 도면 이미지에 포함된 심볼을 인식하면, 심볼의 종류를 알 수 있다. 심볼의 종류별로 대칭형 심볼인지 또는 비대칭형 심볼인지에 관한 정보를 미리 저장해두고, 각각의 대칭형 심볼의 종류별로 가로/세로 비율을 미리 저장해두고, 각각의 비대칭형 심볼의 종류별로 비대칭적으로 배치된 꼭지점 위치, 꼭지점 개수, 다각형 위치, 다각형 형상 등에 관한 정보를 미리 저장해두면, 저장된 정보에 기초하여 심볼의 방향 각도를 판별할 수 있다. By recognizing symbols included in drawing images based on deep learning-based object recognition techniques, the type of symbol can be known. For each type of symbol, information about whether it is a symmetrical symbol or an asymmetrical symbol is stored in advance, the horizontal/vertical ratio is stored in advance for each type of symmetrical symbol, and the vertices are asymmetrically arranged for each type of asymmetrical symbol. If information on location, number of vertices, polygon location, polygon shape, etc. is stored in advance, the direction angle of the symbol can be determined based on the stored information.

3)단계에서 도면 정보 인식시스템(100)은, 상기 도면 이미지에서 인식된 심볼을 제거한 제1 수정도면 이미지를 생성하고, 상기 제1 수정도면 이미지에 포함된 도면 라인을 인식한다. In step 3), the drawing information recognition system 100 generates a first revised drawing image from which the recognized symbols in the drawing image are removed, and recognizes drawing lines included in the first revised drawing image.

도면 라인은 심볼을 구성하는 라인이 아닌 도면 내의 라인을 말하는 것으로서, 예를 들어, 배관 라인, 계장 라인, 거리 표시선 등이 포함된다. Drawing lines refer to lines in a drawing rather than lines constituting symbols, and include, for example, piping lines, instrumentation lines, distance marking lines, etc.

심볼을 구성하는 선이 도면 라인으로 인식되는 것을 방지하기 위하여, 3)단계에서는 심볼 인식 과정에서 인식된 심볼을 도면 이미지에서 제거한 후 도면 라인 인식 과정을 수행한다. 도 9는 인식된 심볼을 원본 도면 이미지에서 제거하여 제1 수정도면 이미지를 생성하는 과정을 예시한다. In order to prevent the lines constituting the symbol from being recognized as drawing lines, in step 3), the symbols recognized in the symbol recognition process are removed from the drawing image and then the drawing line recognition process is performed. Figure 9 illustrates a process for generating a first revised drawing image by removing a recognized symbol from the original drawing image.

바람직하게, 상기 3)단계에서, 상기 제1 수정도면 이미지에 포함된 도면 라인은 형태학적 변환 기법(morphological transformation)을 이용하여 인식한다. Preferably, in step 3), the drawing lines included in the first revised drawing image are recognized using a morphological transformation technique.

이미지는 일반적으로 래스터 이미지로 구성된다. 래스터 이미지에는 많은 노이즈가 포함되어 있으며, 노이즈는 객체의 검출을 방해하는 주 요소이기 때문에 노이즈를 최소화하거나 제거할 필요가 있다. 일예로, 검출하고자 하는 객체(예, 도면 라인) 이외의 도면 요소는 노이즈로 볼 수 있으므로, 도면 라인의 검출을 방해하는 노이즈를 최소화하거나 제거하기 위해 형태학적 변환 기법을 이용한다. Images typically consist of raster images. Raster images contain a lot of noise, and since noise is a major factor that interferes with object detection, it is necessary to minimize or remove noise. For example, since drawing elements other than the object to be detected (e.g., drawing lines) can be viewed as noise, a morphological transformation technique is used to minimize or remove noise that interferes with the detection of drawing lines.

형태학적 변환은 이미지를 형태학적 관점에서 접근하는 기법이다. 이진화한 이미지에서는 같은 값을 가진 픽셀이 이웃하여 있으면 이를 형태학적 영역(morphological region)으로 생각할 수 있다. 이미지의 형태학적 변환은 이미지 필터링을 사용하여 영역을 변화시키는 방법이다. 이미지의 전처리 또는 후처리 과정에서 널리 사용되며, 노이즈 제거, 그라디언트(gradient) 정의, 요소 결합 및 분리, 강도 피크(peaks) 검출 등에 이용한다. 형태학적 변환은 팽창(dilation), 침식(erosion)의 기본 연산을 포함한다. 팽창 연산과 침식 연산은 이미지와 커널(kernel) 간의 컨볼루션(convolution) 연산이며, 이들 기본 연산을 기반으로 복잡하고 다양한 형태학적 변환 기법을 구현할 수 있다. 커널은 이미지에서 X,Y 픽셀과 해당 픽셀 주변을 포함한 작은 크기의 공간을 말한다. Morphological transformation is a technique that approaches images from a morphological perspective. In a binarized image, if pixels with the same value are adjacent, this can be considered a morphological region. Morphological transformation of an image is a method of changing a region using image filtering. It is widely used in the pre- or post-processing process of images, and is used to remove noise, define gradients, combine and separate elements, and detect intensity peaks. Morphological transformations include the basic operations of dilation and erosion. The dilation operation and the erosion operation are convolution operations between the image and the kernel, and complex and diverse morphological transformation techniques can be implemented based on these basic operations. The kernel is a small space in the image that includes the X and Y pixels and the surroundings of those pixels.

팽창 연산은 커널 영역 안에 존재하는 모든 픽셀 값을 커널 내부의 극대값(local maximum)으로 대체하는 연산으로서, 팽창 연산을 적용하면 어두운 영역은 줄어들고 밝은 영역은 늘어난다. 팽창 연산은 노이즈 제거 후 줄어든 크기를 복구하고자 할 때 주로 사용한다. The dilation operation is an operation that replaces all pixel values within the kernel area with the local maximum inside the kernel. When the dilation operation is applied, the dark area decreases and the bright area increases. The dilation operation is mainly used when trying to restore the reduced size after noise removal.

침식 연산은 커널 영역 안에 존재하는 모든 픽셀의 값을 커널 내부의 극소값(local minimum)으로 대체하는 연산으로서, 침식 연산을 적용하면 밝은 영역은 줄어들고 어두운 영역은 늘어난다. 침식 연산은 노이즈 제거에 주로 사용한다. The erosion operation is an operation that replaces the values of all pixels within the kernel area with the local minimum inside the kernel. When the erosion operation is applied, the bright area decreases and the dark area increases. The erosion operation is mainly used for noise removal.

구조 요소(element)를 사용해 커널의 형태(shape)를 다양하게 설정하고, 상술한 기본 연산을 기반으로 다양한 변환 연산을 적용하면, 노이즈에 해당하는 도면 요소를 제거하고 검출하고자 하는 도면 요소(예, 도면 라인)를 검출할 수 있다. By setting various shapes of the kernel using structural elements and applying various transformation operations based on the basic operations described above, drawing elements corresponding to noise are removed and drawing elements to be detected (e.g. drawing line) can be detected.

이와 같이 형태학적 변환 기법을 이용하여 제1 수정도면 이미지 내의 노이즈를 제거하고 도면 라인을 검출할 수 있다. 일예로, 검출된 도면 라인은 Open CV의 외곽선 추출 라이브러리를 이용하여 도면 라인의 외곽선을 추출하고 이를 이용하여 도면 라인의 외곽선을 구성하는 각각의 꼭지점의 좌표, 라인의 두께 등을 추출할 수 있다. 도 10은 도면 이미지 내 도면 라인을 인식한 결과를 시각화 상태를 예시한다. In this way, using the morphological transformation technique, noise in the first revised drawing image can be removed and drawing lines can be detected. For example, the outline of the detected drawing line can be extracted using Open CV's outline extraction library, and the coordinates of each vertex constituting the outline of the drawing line, the thickness of the line, etc. can be extracted using this. Figure 10 illustrates a visualization state of the result of recognizing a drawing line in a drawing image.

일예로, 상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 수평선 도면 라인 및 수직선 도면 라인 중 어느 하나의 종류를 먼저 인식하고, 이후 다른 종류를 인식하도록 구성된다. 예를 들어, 수평선 도면 라인을 먼저 인식하는 경우, 형태학적 변환 기법을 이용하여 수평선 도면 라인 이외의 도면 요소를 노이즈로서 제거하고 수평선 도면 라인의 시작점 좌표, 끝점 좌표, 두께를 인식할 수 있다. 이후 동일한 방식으로 수직선 도면 라인을 인식할 수 있다. For example, the recognition of drawing lines included in the first modified drawing image is configured to first recognize one type of horizontal drawing line and vertical drawing line, and then recognize the other type. For example, when the horizon drawing line is first recognized, a morphological transformation technique can be used to remove drawing elements other than the horizon drawing line as noise and recognize the start point coordinates, end point coordinates, and thickness of the horizon drawing line. Afterwards, vertical drawing lines can be recognized in the same way.

일예로, 상기 3)단계에서, 상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 도면 라인의 시작점 좌표, 끝점 좌표, 두께를 인식하는 것이다. 좌표는 제1 수정도면 이미지 내의 X, Y 좌표이다. For example, in step 3), the drawing line included in the first revised drawing image is recognized by recognizing the start point coordinates, end point coordinates, and thickness of the drawing line. The coordinates are the X, Y coordinates in the first modified drawing image.

바람직하게, 상기 3)단계에서, 상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 미리 설정된 기준치 이상의 픽셀을 갖는 라인만 도면 라인으로 인식하도록 구성된다. 예를 들어, 현재 학습되지 않은 심볼, 텍스트의 '-'(대시), '1'(숫자), 'l'(소문자) 등과 도면 라인 간의 혼동을 피하기 위해 상기 제1 수정도면 이미지에서 n 픽셀(예, 50 픽셀) 이상의 라인만 감지하도록 구성할 수 있다. Preferably, in step 3), the recognition of drawing lines included in the first modified drawing image is configured to recognize only lines having pixels greater than a preset reference value as drawing lines. For example, n pixels ( Yes, it can be configured to detect only lines of 50 pixels or longer.

한편, 상기 3)단계에서, 상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 인식된 라인의 각각의 끝점 정보에 기초하여 끝점 주변 영역의 다각형을 감지하고 상기 다각형에 기초하여 화살표인지 또는 일반 직선인지 여부를 구분 인식하도록 구성된다. 예를 들어, 인식된 라인의 끝점 주변 영역의 다각형이 삼각형이라면 화살표로 인식하고, 사각형이라면 일반 직선으로 인식할 수 있다. 일예로, 도면 라인을 둘러싸는 외곽선의 각각의 끝점 정보는 Open CV의 외곽선 추출 라이브러리를 이용하여 도면 라인의 외곽선을 추출하고 이를 이용하여 얻을 수 있다. Meanwhile, in step 3), the recognition of the drawing line included in the first revised drawing image detects a polygon in the area around the end point based on information on each end point of the recognized line, and determines whether it is an arrow or an arrow based on the polygon. It is configured to recognize whether it is a general straight line or not. For example, if the polygon in the area around the end point of the recognized line is a triangle, it can be recognized as an arrow, and if it is a square, it can be recognized as a regular straight line. For example, information on each end point of the outline surrounding a drawing line can be obtained by extracting the outline of the drawing line using Open CV's outline extraction library.

4)단계에서 도면 정보 인식시스템(100)은, 상기 심볼 이미지에서 심볼 라인을 제거한 제1 수정심볼 이미지를 생성하고, 상기 제1 수정심볼 이미지에 포함된 심볼 텍스트를 인식한다. 도 11은 심볼 이미지 내에서 심볼 텍스트를 인식하는 과정을 예시한다. In step 4), the drawing information recognition system 100 generates a first modified symbol image by removing the symbol line from the symbol image and recognizes the symbol text included in the first modified symbol image. Figure 11 illustrates the process of recognizing symbol text within a symbol image.

바람직하게, 상기 4)단계에서, 상기 심볼 텍스트의 인식은, 심볼 라인을 제거한 제1 수정심볼 이미지에서 텍스트를 탐지(detection)하고, 탐지된 텍스트를 미리 설정된 포맷으로 재배치한 상태에서 텍스트를 인식(recognition)하는 방식으로 수행한다. Preferably, in step 4), the recognition of the symbol text is performed by detecting the text in the first modified symbol image from which the symbol line has been removed, and recognizing the text while rearranging the detected text into a preset format ( recognition).

심볼 내에 텍스트가 포함된 심볼의 경우, 심볼의 라인이 텍스트 인식에 방해가 될 수 있으므로, 먼저 심볼의 라인을 전처리 과정으로 제거하고 이후 심볼 텍스트의 탐지를 수행한다. In the case of symbols containing text within the symbol, the lines of the symbol may interfere with text recognition, so the lines of the symbol are first removed through preprocessing, and then detection of the symbol text is performed.

심볼 내의 텍스트 배열이 불규칙함으로 인해 발생하는 인식률 및 인식속도 저하를 방지하기 위하여 심볼 내 텍스트를 정형적인 포맷으로 재배치 후 심볼 텍스트의 인식을 수행한다. 일예로, 정형적인 포맷은 텍스트의 OCR 인식이 용이하도록 횡방향으로 텍스트를 배치하는 방식으로 이뤄질 수 있다. In order to prevent a decrease in recognition rate and recognition speed caused by irregular text arrangement within the symbol, the text within the symbol is rearranged into a standard format and then the symbol text is recognized. For example, formal formatting can be done by arranging text horizontally to facilitate OCR recognition of the text.

텍스트 인식 완료 후 이전 텍스트 위치 정보와 텍스트 내용을 취합하여 텍스트의 위치, 크기, 내용, 소속 심볼 정보를 추출한다. After text recognition is complete, the previous text location information and text content are collected to extract the text's location, size, content, and symbol affiliation information.

5)단계에서 도면 정보 인식시스템(100)은, 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하고, 상기 제2 수정도면 이미지에 기초하여 도면 텍스트를 인식한다. 도 12는 도면 이미지에서 인식된 심볼과 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하는 과정을 예시한다. In step 5), the drawing information recognition system 100 generates a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image, and creates drawing text based on the second revised drawing image. recognize Figure 12 illustrates a process of generating a second revised drawing image by removing recognized symbols and recognized drawing lines from the drawing image.

바람직하게, 상기 5)단계는 다음과 같은 상세 구성으로 이뤄질 수 있다. 도 13은 상세 구성의 이해를 위한 도면이다. Preferably, step 5) may have the following detailed configuration. Figure 13 is a diagram for understanding the detailed configuration.

51)단계에서 도면 정보 인식시스템(100)은, 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성한다. (도 13의 a)In step 51), the drawing information recognition system 100 generates a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image. (a in Figure 13)

52)단계에서 도면 정보 인식시스템(100)은, 상기 제2 수정도면 이미지에서 문자단위 텍스트를 탐지(detection)하고 가로쓰기 이외의 텍스트, 라인, 심볼을 제거한 제2-1 수정도면 이미지를 생성한다. (도 13의 b)In step 52), the drawing information recognition system 100 detects character-by-character text in the second modified drawing image and generates a 2-1 modified drawing image from which text, lines, and symbols other than horizontal writing are removed. . (b in Figure 13)

53)단계에서 도면 정보 인식시스템(100)은, 상기 제2-1 수정도면 이미지에서 단어단위 텍스트를 탐지한다. (도 13의 c)In step 53), the drawing information recognition system 100 detects word-by-word text in the 2-1 revised drawing image. (c in Figure 13)

54)단계에서 도면 정보 인식시스템(100)은, 상기 제2 수정도면 이미지에서 상기 53)단계에서 단어단위 텍스트로서 탐지된 가로쓰기 텍스트를 제거하고 90도 회전시킨 제3 수정도면 이미지를 생성한다. In step 54), the drawing information recognition system 100 removes the horizontal text detected as word-by-word text in step 53) from the second revised drawing image and generates a third revised drawing image rotated by 90 degrees.

55)단계에서 도면 정보 인식시스템(100)은, 상기 제3 수정도면 이미지에서 문자단위 텍스트를 탐지하고 가로쓰기 이외의 텍스트, 라인, 심볼을 제거한 제3-1 수정도면 이미지를 생성한다. 55)단계에서 가로쓰기 텍스트는 원본 도면 이미지를 기준으로는 세로쓰기 텍스트에 해당하는 것이다. In step 55), the drawing information recognition system 100 detects character-by-character text in the third modified drawing image and generates a 3-1 modified drawing image from which text, lines, and symbols other than horizontal writing are removed. In step 55), the horizontally written text corresponds to the vertically written text based on the original drawing image.

56)단계에서 도면 정보 인식시스템(100)은, 상기 제3-1 수정도면 이미지에서 단어단위 텍스트를 탐지한다. In step 56), the drawing information recognition system 100 detects word-by-word text in the 3-1 revised drawing image.

57)단계에서 도면 정보 인식시스템(100)은, 상기 53)단계 및 상기 56)단계에서 각각 탐지된 단어단위 텍스트에 기초하여 도면 텍스트를 인식한다. 도면 텍스트의 인식은 OCR 프로그램을 이용하여 수행할 수 있다. In step 57), the drawing information recognition system 100 recognizes the drawing text based on the word-unit text detected in steps 53) and 56), respectively. Recognition of drawing text can be performed using an OCR program.

일예로, 상기 57)단계에서, 상기 도면 텍스트의 인식은, 탐지된 단어단위 텍스트를 미리 설정된 포맷으로 재배치한 상태에서 텍스트를 인식하는 방식으로 수행한다. 일예로, 텍스트 재배치는 OCR 인식이 용이하도록 횡방향으로 텍스트를 배치하는 방식으로 이뤄질 수 있다. For example, in step 57), the drawing text is recognized by rearranging the detected word-by-word text into a preset format and then recognizing the text. For example, text rearrangement can be accomplished by arranging text horizontally to facilitate OCR recognition.

일예로, 도면 텍스트의 인식 시에는, 이전 과정에서 감지한 도면 텍스트의 위치(X, Y, Width, Height)에 해당하는 텍스트 이미지를 추출하여 인식을 수행한다. 또한, 도면 텍스트의 인식 시에는, 각각의 텍스트 이미지를 인식률과 인식속도 향상을 위하여 정형의 형태로 재배치하고 OCR 엔진을 이용하여 텍스트 인식을 수행하고, 이후 원래 위치의 좌표정보로 텍스트 정보를 추출한다. For example, when recognizing drawing text, recognition is performed by extracting a text image corresponding to the location (X, Y, Width, Height) of the drawing text detected in the previous process. In addition, when recognizing drawing text, each text image is rearranged in a regular form to improve recognition rate and recognition speed, and text recognition is performed using an OCR engine, and then text information is extracted using the coordinate information of the original location. .

도 14는 심볼 텍스트와 도면 텍스트를 인식하는 과정을 전체적으로 예시한다. Figure 14 overall illustrates the process of recognizing symbol text and drawing text.

상기 과정을 통해 다음과 같은 인식 결과를 얻을 수 있다. Through the above process, the following recognition results can be obtained.

인식한 심볼에 대한 X, Y 좌표, Width, Height, 심볼 종류, 방향 각도 등의 정보를 추출할 수 있다. 인식한 텍스트(심볼 텍스트, 도면 텍스트)에 대한 X, Y좌표, 텍스트 크기, 텍스트 내용 등의 정보를 추출할 수 있다. 인식한 도면 라인의 시작 X, Y좌표, 종료 X, Y좌표, 굵기, 화살표 등의 라인 정보를 추출할 수 있다. Information such as X and Y coordinates, Width, Height, symbol type, and direction angle for the recognized symbol can be extracted. Information such as X and Y coordinates, text size, and text content about recognized text (symbol text, drawing text) can be extracted. You can extract line information such as start X and Y coordinates, end X and Y coordinates, thickness, and arrows of a recognized drawing line.

또한, 이와 같이 추출된 정보를 재구성하여 JSON 형식으로 구조화된 텍스트 파일을 생성할 수 있다. Additionally, the extracted information can be reconstructed to create a structured text file in JSON format.

JSON 형식으로 구조화된 텍스트 파일은 컨버터를 통해 JSON 파일로 변환되어 저장 관리할 수 있다. JSON 파일은 상기 과정을 통해 인식된 심볼, 도면 라인, 심볼 텍스트 및 도면 텍스트에 관한 도면 정보를 저장 관리할 수 있다. Text files structured in JSON format can be converted to JSON files through a converter and stored. The JSON file can store and manage drawing information about symbols, drawing lines, symbol text, and drawing text recognized through the above process.

일예로, 도면 저작도구에서는 JSON 파일을 불러오기 하여 도면 정보의 수정/편집 작업을 할 수 있다. 또한, 도면 저작도구를 통해 여러 장의 도면을 배치작업을 수행하여 DB화 할 수도 있다. For example, in a drawing authoring tool, you can load a JSON file and modify/edit drawing information. Additionally, it is possible to create a database by batching multiple drawings using a drawing authoring tool.

도 15는 도면 이미지로부터 심볼, 도면 라인, 텍스트 정보를 추출하여 구조화된 도면 정보 파일을 생성하는 과정을 예시한다. Figure 15 illustrates a process for generating a structured drawing information file by extracting symbols, drawing lines, and text information from a drawing image.

본 발명의 실시예들은 다양한 컴퓨터에서 실행하기 위한 프로그램과 이를 기록한 컴퓨터 판독 가능 기록 매체를 포함한다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include programs for execution on various computers and computer-readable recording media recording the programs. The computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination. The media may be those specifically designed and constructed for the present invention or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and USB drives, magneto-optical media such as floptical disks, and ROM, RAM, It includes hardware devices specifically configured to store and execute program instructions, such as flash memory. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

100: 도면 정보 인식시스템100: Drawing information recognition system

Claims (16)

도면 정보 인식시스템에서 실행하는 도면 정보 인식방법으로서,
1) 엔지니어링 도면의 도면 이미지를 입력받는 단계- 상기 도면 이미지는 심볼, 라인, 텍스트를 도면 정보로서 포함함-;
2) 상기 도면 이미지에 포함된 심볼을 인식하고, 인식된 심볼에 대한 심볼 이미지를 생성하는 단계;
3) 상기 도면 이미지에서 인식된 심볼을 제거한 제1 수정도면 이미지를 생성하고, 상기 제1 수정도면 이미지에 포함된 도면 라인을 인식하는 단계;
4) 상기 심볼 이미지에서 심볼 라인을 제거한 제1 수정심볼 이미지를 생성하고, 상기 제1 수정심볼 이미지에 포함된 심볼 텍스트를 인식하는 단계- 상기 제1 수정심볼 이미지를 생성하는 심볼 이미지는 심볼 내에 텍스트가 포함된 심볼의 이미지임-; 및
5) 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하고, 상기 제2 수정도면 이미지에 기초하여 도면 텍스트를 인식하는 단계;를 포함하여 구성된 엔지니어링 도면의 도면 정보 인식방법.
As a drawing information recognition method implemented in a drawing information recognition system,
1) Step of receiving a drawing image of an engineering drawing - the drawing image includes symbols, lines, and text as drawing information -;
2) recognizing symbols included in the drawing image and generating a symbol image for the recognized symbol;
3) generating a first modified drawing image by removing the recognized symbols from the drawing image, and recognizing drawing lines included in the first modified drawing image;
4) Creating a first modified symbol image by removing the symbol line from the symbol image, and recognizing the symbol text included in the first modified symbol image - The symbol image for generating the first modified symbol image includes text within the symbol It is an image of a symbol containing -; and
5) generating a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image, and recognizing drawing text based on the second revised drawing image; of an engineering drawing configured including; How to recognize drawing information.
제1항에 있어서,
상기 2)단계에서,
상기 도면 이미지에 포함된 심볼은 딥러닝 기반 객체 인식 기법에 기초하여 인식하는 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
In step 2) above,
A drawing information recognition method of an engineering drawing, characterized in that symbols included in the drawing image are recognized based on a deep learning-based object recognition technique.
제1항에 있어서,
상기 2)단계에서,
상기 도면 이미지에 포함된 심볼의 인식은 심볼의 종류, 위치, 크기를 인식하는 것임을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
In step 2) above,
A drawing information recognition method of an engineering drawing, characterized in that recognition of symbols included in the drawing image recognizes the type, location, and size of the symbol.
제3항에 있어서,
상기 2)단계에서 심볼의 방향 각도를 인식할 필요가 있는 경우,
상하 및 좌우 방향이 대칭인 심볼은 심볼의 가로 및 세로 길이에 기초하여 심볼의 방향 각도를 인식하고,
상하 또는 좌우가 비대칭인 심볼은 심볼에 포함된 비대칭적 기하 특징에 기초하여 방향 각도를 인식하는 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 3,
If it is necessary to recognize the direction angle of the symbol in step 2) above,
For symbols that are symmetrical in the top-bottom and left-right directions, the direction angle of the symbol is recognized based on the horizontal and vertical length of the symbol.
A method for recognizing drawing information in engineering drawings, characterized in that the direction angle of a symbol that is asymmetrical up and down or left and right is recognized based on the asymmetrical geometric features included in the symbol.
제1항에 있어서,
상기 3)단계에서,
상기 제1 수정도면 이미지에 포함된 도면 라인은 형태학적 변환 기법을 이용하여 인식하는 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
In step 3) above,
A drawing information recognition method of an engineering drawing, characterized in that the drawing lines included in the first revised drawing image are recognized using a morphological transformation technique.
제5항에 있어서,
상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 수평선 도면 라인 및 수직선 도면 라인 중 어느 하나의 종류를 먼저 인식하고, 이후 다른 종류를 인식하도록 구성된 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to clause 5,
A drawing information recognition method of an engineering drawing, characterized in that the recognition of the drawing line included in the first revised drawing image is configured to first recognize one type of a horizontal drawing line and a vertical drawing line, and then recognize the other type. .
제1항에 있어서,
상기 3)단계에서,
상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 도면 라인의 시작점 좌표, 끝점 좌표, 두께를 인식하는 것임을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
In step 3) above,
A drawing information recognition method of an engineering drawing, characterized in that the recognition of the drawing line included in the first revised drawing image recognizes the start point coordinates, end point coordinates, and thickness of the drawing line.
제7항에 있어서,
상기 3)단계에서,
상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 미리 설정된 기준치 이상의 픽셀을 갖는 라인만 도면 라인으로 인식하도록 구성된 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
In clause 7,
In step 3) above,
A drawing information recognition method of an engineering drawing, characterized in that the recognition of drawing lines included in the first revised drawing image is configured to recognize only lines having pixels greater than a preset reference value as drawing lines.
제7항에 있어서,
상기 3)단계에서,
상기 제1 수정도면 이미지에 포함된 도면 라인의 인식은, 인식된 라인의 각각의 끝점 정보에 기초하여 끝점 주변 영역의 다각형을 감지하고 상기 다각형에 기초하여 화살표인지 또는 일반 직선인지 여부를 구분 인식하도록 구성된 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
In clause 7,
In step 3) above,
Recognition of the drawing line included in the first revised drawing image detects a polygon in the area around the end point based on information on each end point of the recognized line, and distinguishes whether it is an arrow or a general straight line based on the polygon. A drawing information recognition method of an engineering drawing, characterized in that:
제1항에 있어서,
상기 4)단계에서,
상기 심볼 텍스트의 인식은,
심볼 라인을 제거한 제1 수정심볼 이미지에서 텍스트를 탐지(detection)하고,
탐지된 텍스트를 미리 설정된 포맷으로 재배치한 상태에서 텍스트를 인식(recognition)하는 방식으로 수행하는 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
In step 4) above,
Recognition of the symbol text is,
Detect text in the first modified symbol image from which the symbol line has been removed,
A drawing information recognition method for engineering drawings, characterized in that the text is recognized while the detected text is rearranged in a preset format.
제1항에 있어서,
상기 5)단계는,
51) 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하는 단계;
52) 상기 제2 수정도면 이미지에서 문자단위 텍스트를 탐지(detection)하고 가로쓰기 이외의 텍스트, 라인, 심볼을 제거한 제2-1 수정도면 이미지를 생성하는 단계;
53) 상기 제2-1 수정도면 이미지에서 단어단위 텍스트를 탐지하는 단계;
54) 상기 제2 수정도면 이미지에서 상기 53)단계에서 단어단위 텍스트로서 탐지된 가로쓰기 텍스트를 제거하고 90도 회전시킨 제3 수정도면 이미지를 생성하는 단계;
55) 상기 제3 수정도면 이미지에서 문자단위 텍스트를 탐지하고 가로쓰기 이외의 텍스트, 라인, 심볼을 제거한 제3-1 수정도면 이미지를 생성하는 단계;
56) 상기 제3-1 수정도면 이미지에서 단어단위 텍스트를 탐지하는 단계; 및
57) 상기 53)단계 및 상기 56)단계에서 각각 탐지된 단어단위 텍스트에 기초하여 도면 텍스트를 인식하는 단계;를 포함하여 구성된 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
In step 5) above,
51) generating a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image;
52) detecting character-by-character text in the second modified drawing image and generating a 2-1 modified drawing image by removing text, lines, and symbols other than horizontal writing;
53) detecting word-level text in the 2-1 modified drawing image;
54) removing the horizontally written text detected as word-by-word text in step 53) from the second revised drawing image and generating a third revised drawing image rotated by 90 degrees;
55) detecting character-by-character text in the third modified drawing image and generating a 3-1 modified drawing image by removing text, lines, and symbols other than horizontal writing;
56) detecting word-level text in the 3-1 modified drawing image; and
57) Recognizing drawing text based on word-unit text detected in steps 53) and 56), respectively. A drawing information recognition method of an engineering drawing, comprising:
제11항에 있어서,
상기 57)단계에서,
상기 도면 텍스트의 인식은,
탐지된 단어단위 텍스트를 미리 설정된 포맷으로 재배치한 상태에서 텍스트를 인식하는 방식으로 수행하는 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to clause 11,
In step 57) above,
Recognition of the drawing text is,
A drawing information recognition method for engineering drawings, characterized in that the text is recognized while the detected word-unit text is rearranged in a preset format.
제1항에 있어서,
상기 인식된 심볼, 인식된 도면 라인, 인식된 심볼 텍스트 및 인식된 도면 텍스트에 관한 도면 정보는 JSON 파일로 변환되어 저장 관리하는 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
A drawing information recognition method of an engineering drawing, characterized in that drawing information about the recognized symbol, recognized drawing line, recognized symbol text, and recognized drawing text are converted into a JSON file and stored and managed.
제1항에 있어서,
상기 엔지니어링 도면은 P&ID(Piping and instrumentation diagram)인 것을 특징으로 하는 엔지니어링 도면의 도면 정보 인식방법.
According to paragraph 1,
A method of recognizing drawing information of an engineering drawing, characterized in that the engineering drawing is a P&ID (Piping and instrumentation diagram).
하나 이상의 명령을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고,
상기 프로세서는,
엔지니어링 도면의 도면 이미지를 입력받으며- 상기 도면 이미지는 심볼, 라인, 텍스트를 도면 정보로서 포함함-;
상기 도면 이미지에 포함된 심볼을 인식하고, 인식된 심볼에 대한 심볼 이미지를 생성하고;
상기 도면 이미지에서 인식된 심볼을 제거한 제1 수정도면 이미지를 생성하고, 상기 제1 수정도면 이미지에 포함된 도면 라인을 인식하며;
상기 심볼 이미지에서 심볼 라인을 제거한 제1 수정심볼 이미지를 생성하고, 상기 제1 수정심볼 이미지에 포함된 심볼 텍스트를 인식하고- 상기 제1 수정심볼 이미지를 생성하는 심볼 이미지는 심볼 내에 텍스트가 포함된 심볼의 이미지임-;
상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하고, 상기 제2 수정도면 이미지에 기초하여 도면 텍스트를 인식하는 것;을 특징으로 하는 엔지니어링 도면의 도면 정보 인식시스템.
Memory that stores one or more instructions; and
a processor executing the one or more instructions stored in the memory,
The processor,
Receives a drawing image of an engineering drawing - the drawing image includes symbols, lines, and text as drawing information -;
Recognize symbols included in the drawing image and generate a symbol image for the recognized symbol;
generating a first revised drawing image by removing the recognized symbols from the drawing image, and recognizing drawing lines included in the first revised drawing image;
Create a first modified symbol image by removing the symbol line from the symbol image, recognize the symbol text included in the first modified symbol image, and - the symbol image for generating the first modified symbol image includes text in the symbol It is an image of a symbol-;
Drawing information of an engineering drawing, characterized in that: generating a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image, and recognizing drawing text based on the second revised drawing image; Recognition system.
도면 정보 인식시스템에서 도면 정보 인식방법을 실행하도록 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램으로서,
상기 도면 정보 인식방법은,
1) 엔지니어링 도면의 도면 이미지를 입력받는 단계- 상기 도면 이미지는 심볼, 라인, 텍스트를 도면 정보로서 포함함-;
2) 상기 도면 이미지에 포함된 심볼을 인식하고, 인식된 심볼에 대한 심볼 이미지를 생성하는 단계;
3) 상기 도면 이미지에서 인식된 심볼을 제거한 제1 수정도면 이미지를 생성하고, 상기 제1 수정도면 이미지에 포함된 도면 라인을 인식하는 단계;
4) 상기 심볼 이미지에서 심볼 라인을 제거한 제1 수정심볼 이미지를 생성하고, 상기 제1 수정심볼 이미지에 포함된 심볼 텍스트를 인식하는 단계- 상기 제1 수정심볼 이미지를 생성하는 심볼 이미지는 심볼 내에 텍스트가 포함된 심볼의 이미지임-; 및
5) 상기 도면 이미지에서 상기 인식된 심볼과 상기 인식된 도면 라인을 제거한 제2 수정도면 이미지를 생성하고, 상기 제2 수정도면 이미지에 기초하여 도면 텍스트를 인식하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 프로그램.
A computer program stored in a computer-readable medium to execute a drawing information recognition method in a drawing information recognition system,
The drawing information recognition method is,
1) Step of receiving a drawing image of an engineering drawing - the drawing image includes symbols, lines, and text as drawing information -;
2) recognizing symbols included in the drawing image and generating a symbol image for the recognized symbol;
3) generating a first modified drawing image by removing the recognized symbols from the drawing image, and recognizing drawing lines included in the first modified drawing image;
4) Creating a first modified symbol image by removing the symbol line from the symbol image, and recognizing the symbol text included in the first modified symbol image - The symbol image for generating the first modified symbol image includes text within the symbol It is an image of a symbol containing -; and
5) generating a second revised drawing image by removing the recognized symbol and the recognized drawing line from the drawing image, and recognizing drawing text based on the second revised drawing image; A computer program that does.
KR1020230059837A 2023-05-09 2023-05-09 Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor KR102598210B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230059837A KR102598210B1 (en) 2023-05-09 2023-05-09 Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230059837A KR102598210B1 (en) 2023-05-09 2023-05-09 Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor

Publications (1)

Publication Number Publication Date
KR102598210B1 true KR102598210B1 (en) 2023-11-02

Family

ID=88747603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230059837A KR102598210B1 (en) 2023-05-09 2023-05-09 Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor

Country Status (1)

Country Link
KR (1) KR102598210B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689271A (en) * 2024-02-02 2024-03-12 深圳市崇禧精密金属制品有限公司 Quality management method and device for product, terminal equipment and storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202403A (en) * 1999-11-24 2001-07-27 Solidworks Corp Electronic drawing data conversion
KR20140046333A (en) 2012-10-10 2014-04-18 삼성테크윈 주식회사 Apparatus and method for providing digital drawing
EP3104302A1 (en) * 2015-06-09 2016-12-14 ABB Technology Ltd A method of digitalising engineering documents
KR20200065613A (en) * 2018-11-30 2020-06-09 도프텍(주) Method of automatically recognizing and classifying information of design in imaged PID drawings
KR102117323B1 (en) 2018-10-02 2020-06-09 경북대학교 산학협력단 Method for providing digital drawing and digital drawing providing device
KR102150204B1 (en) * 2019-07-03 2020-08-31 경성대학교 산학협력단 Performance Improvement of Optical Character Recognition for Parts Book Using Pre-processing of Modified VGG Model
KR20220060162A (en) * 2020-11-04 2022-05-11 고등기술연구원연구조합 Automatic recognition system of text information based on deep learning model and automatic recognition method
KR102454886B1 (en) 2021-12-15 2022-10-14 주식회사 스위트케이 Digital drawing data generating method and drawing data generating server executing the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202403A (en) * 1999-11-24 2001-07-27 Solidworks Corp Electronic drawing data conversion
KR20140046333A (en) 2012-10-10 2014-04-18 삼성테크윈 주식회사 Apparatus and method for providing digital drawing
EP3104302A1 (en) * 2015-06-09 2016-12-14 ABB Technology Ltd A method of digitalising engineering documents
KR102117323B1 (en) 2018-10-02 2020-06-09 경북대학교 산학협력단 Method for providing digital drawing and digital drawing providing device
KR20200065613A (en) * 2018-11-30 2020-06-09 도프텍(주) Method of automatically recognizing and classifying information of design in imaged PID drawings
KR102150204B1 (en) * 2019-07-03 2020-08-31 경성대학교 산학협력단 Performance Improvement of Optical Character Recognition for Parts Book Using Pre-processing of Modified VGG Model
KR20220060162A (en) * 2020-11-04 2022-05-11 고등기술연구원연구조합 Automatic recognition system of text information based on deep learning model and automatic recognition method
KR102454886B1 (en) 2021-12-15 2022-10-14 주식회사 스위트케이 Digital drawing data generating method and drawing data generating server executing the same

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2020-0065613호(2020.06.09.) 1부.*
한국 공개특허공보 제10-2022-0060162호(2022.05.11.) 1부.*
한국 등록특허공보 제10-2150204호(2020.08.31.) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689271A (en) * 2024-02-02 2024-03-12 深圳市崇禧精密金属制品有限公司 Quality management method and device for product, terminal equipment and storage medium

Similar Documents

Publication Publication Date Title
US8634644B2 (en) System and method for identifying pictures in documents
US8718364B2 (en) Apparatus and method for digitizing documents with extracted region data
JP4676225B2 (en) Method and apparatus for capturing electronic forms from scanned documents
US7555711B2 (en) Generating a text layout boundary from a text block in an electronic document
CA2598686C (en) Intelligent importation of information from foreign application user interface using artificial intelligence
EP0543598B1 (en) Method and apparatus for document image processing
JPH08305803A (en) Operating method of learning machine of character template set
JP5121599B2 (en) Image processing apparatus, image processing method, program thereof, and storage medium
KR20160132842A (en) Detecting and extracting image document components to create flow document
JP7244223B2 (en) Identifying emphasized text in electronic documents
KR102598210B1 (en) Drawing information recognition method of engineering drawings, drawing information recognition system, computer program therefor
WO2024041032A1 (en) Method and device for generating editable document based on non-editable graphics-text image
US11914951B2 (en) Semantically-guided template generation from image content
CN104809099A (en) Document file generating device and document file generation method
JP2003259112A (en) Watermark information extracting device and its control method
Akinbade et al. An adaptive thresholding algorithm-based optical character recognition system for information extraction in complex images
US9741142B2 (en) Method and apparatus for enabling text editing in a scanned document while maintaining fidelity of the appearance of the text
JP5950700B2 (en) Image processing apparatus, image processing method, and program
US9684844B1 (en) Method and apparatus for normalizing character included in an image
Nazemi et al. Practical segmentation methods for logical and geometric layout analysis to improve scanned PDF accessibility to Vision Impaired
CN111488870A (en) Character recognition method and character recognition device
JP6201838B2 (en) Information processing apparatus and information processing program
JP2010258627A (en) Image processor, image processing method, program, and storage medium
JP6575116B2 (en) Character recognition device, character recognition processing system, and program
JP2009193170A (en) Character recognition device and character recognition method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant