KR102361118B1

KR102361118B1 - 딥러닝 기반 지능형 엔지니어링 도면 생성방법 및 장치

Info

Publication number: KR102361118B1
Application number: KR1020190144678A
Authority: KR
Inventors: 김병철
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2019-11-13
Filing date: 2019-11-13
Publication date: 2022-02-09
Also published as: KR20210057907A

Abstract

딥러닝 기반 지능형 도면 생성방법 및 장치를 개시한다.
본 실시예는, 딥러닝 및 영상처리 기술을 기반으로 이미지 도면(image drawings)으로부터 도면의 객체를 인식하고, 독립적으로 인식된 객체 간을 연결하여 컴퓨터가 처리 가능한 구조화된 형태로 디지털화함으로써, 지능형 엔지니어링 도면(intelligent engineering drawings)을 자동으로 생성하는 지능형 도면 생성방법 및 장치를 제공한다.

Description

딥러닝 기반 지능형 엔지니어링 도면 생성방법 및 장치{Method and Apparatus for Generating Intelligent Engineering Drawings Based on Deep Learning}

본 발명은 딥러닝 기반 지능형 도면 생성방법 및 장치에 관한 것이다.

이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.

지능형 엔지니어링 도면(intelligent engineering drawings, 이하 '지능형 도면') 생성 기술은 이미지 형식 엔지니어링 도면(image-formatted engineering drawings, 이하 '이미지 도면')으로부터 설계 정보를 얻기 위해, 먼저 딥러닝(deep learning) 기술, 영상처리(image processing) 기술 및 CAD(Computer-Aided Design) 기술을 기반으로 이미지 도면의 객체를 인식한다. 다음, 인식한 객체들을 연결하여 컴퓨터가 처리 가능한 구조화된 형태로 디지털화함으로써, 지능형 도면을 생성한다.

이미지 도면은 속성(attributes) 및 사양(specifications) 정보를 포함하지 않으므로 도면의 활용도가 낮다. 반면, 지능형 엔지니어링 도면은 상호 연결된 다양한 속성 및 사양 정보를 포함하기 때문에, 설계 변경 및 검사, 기기 및 배관 관련 보고서 산출, 운영 및 유지보수 정보 제공 등 플랜트 건설 프로젝트 전반에 걸쳐 다양한 용도로 사용될 수 있다.

신규 플랜트 건설 프로젝트 수행 시, 발주자는 지능형 도면의 제출을 요구하나, EPC(Engineering Procurement Construction)사가 하청 또는 외주 제작사로부터 제출받는 도면은 이미지 형식인 경우가 대부분이다. 따라서 수작업으로 필요한 지능형 도면이 재작성되고 있는 현실이다. 그뿐만 아니라, 과거에 작성된 대부분의 도면은 이미지 형식이므로, 이들을 지능형 도면으로 변환해야 하는 필요성도 증대되고 있다.

국내에서는 건축 분야에서 건축 도면을 자동 인식하여 철골 및 부재 등의 물량을 산출한 사례들이 있다. 이러한 사례의 경우 도면 상의 선분을 인식하는 수준이며, 도면에 포함된 다양한 설계 정보에 대한 인식을 기반으로 지능형 도면으로 변환하는 기술에 대한 개발예는 찾아보기 어렵다.

또한 도면 인식과 관련하여, 배전 설비 도면으로부터 전주 및 전선을 인식하는 연구가 시도된 사례가 있으나, 역시 선분과 같은 간단한 기하학적 특징을 인식하는 수준에 머물어 있다.

한편, 도면 인식에 응용이 가능한 핵심 기술인 딥러닝 기반 객체 검출 기술이 최근 빠르게 발전하고 있다. 이미지 처리를 위한 콘볼루션(convolution)을 이용하여 신경망을 구성한 CNN(Convolutional Neural Network)이 도입된 이후, 딥러닝 기반 객체 인식 기술이 지속적으로 발전 중이다. CNN을 기반으로 하여, RPN(Region Proposal Network)을 이용하는 R-CNN(Region-based CNN)이 개발된 바 있다. 이어서 R-CNN의 속도 및 정확도를 보완한 Faster R-CNN, YOLO(You Only Look Once), SSD(Single Shot Detection) 등이 개발되고 있으나, 딥러닝 기반 기술이 P&ID(Piping and Instrumentation Diagram)와 같은 플랜트 엔지니어링 도면의 객체 인식에 응용된 사례는 현재까지 보고된 바 없다.

따라서, 딥러닝 기반 객체 검출 방법을 이용하여 이미지 도면을 지능형 도면으로 변환하는 방법이 요구된다.

비특허문헌 1: Shaoqing Ren et al., "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," Advances in Neural Information Processing Systems 28 (NIPS 2015). 비특허문헌 2: Zhi Tian et al., "Detecting Text in Natural Image with Connectionist Text Proposal Network," European Conference on Computer Vision(ECCV 2016), pp 56-72.

본 개시는, 딥러닝 및 영상처리 기술을 기반으로 이미지 도면(image drawings)으로부터 도면의 객체를 인식하고, 독립적으로 인식된 객체 간을 연결하여 컴퓨터가 처리 가능한 구조화된 형태로 디지털화함으로써, 지능형 엔지니어링 도면(intelligent engineering drawings)을 자동으로 생성하는 지능형 도면 생성방법 및 장치를 제공하는 데 주된 목적이 있다.

본 발명의 실시예에 따르면, 지능형 도면(intelligent drawing) 생성장치의 지능형 도면 생성방법에 있어서, 이미지 도면(image drawing)을 획득하는 과정; 딥러닝(deep learning) 및 영상처리(image processing) 기술을 기반으로 상기 이미지 도면으로부터 객체를 검출하여 복수의 심볼(symbols), 복수의 문자열(text sequences) 및 복수의 라인(lines)을 독립적으로 인식(recognition)하는 과정; 및 상기 객체에 대한 속성(attributes) 및 사양(specifications) 정보를 추가하고, 상기 객체 간의 상호 위치를 기반으로 상기 객체 간을 연결하는 과정을 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법을 제공한다.

본 발명의 다른 실시예에 따르면, 이미지 도면(image drawing)으로부터 지능형 도면(intelligent drawing)을 생성하는 장치에 있어서, 상기 이미지 도면을 획득하는 입력부; 상기 이미지 도면으로부터 객체를 인식하되, 사전에 트레이닝된 딥러닝 기반의 객체 검출 모델(object detection models)을 이용하여 복수의 심볼(symbols) 및 복수의 문자열(text sequences)을 인식하고, 영상처리(image processing) 기술을 기반으로 복수의 라인(lines)을 인식하는 객체인식부; 및 상기 객체에 대한 속성(attributes) 및 사양(specifications) 정보를 추가하고, 상기 객체 간의 상호 위치를 기반으로 상기 객체 간을 연결하는 객체연결부를 포함하는 것을 특징으로 하는 지능형 도면 생성장치를 제공한다.

본 발명의 다른 실시예에 따르면, 지능형 도면 생성방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다.

이상에서 설명한 바와 같이 본 실시예에 따르면, 딥러닝 및 영상처리 기술을 기반으로 이미지 도면(image drawings)으로부터 도면의 객체를 인식하고, 독립적으로 인식된 객체 간을 연결하여 지능형 엔지니어링 도면(intelligent engineering drawings)을 자동으로 생성하는 지능형 도면 생성방법 및 장치를 제공함으로써 지능형 도면 생성을 위한 시간 단축이 가능해지는 효과가 있다.

또한 본 실시예에 따르면, 이미지 도면으로부터 객체 간 연결, 속성(attributes) 및 사양(specifications) 정보가 포함된 지능형 엔지니어링 도면을 자동으로 생성하는 지능형 도면 생성방법 및 장치를 제공함으로써, 지능형 도면에 포함된 설계 정보를 기반으로 다양한 물량 산출(quantity estimation)이 가능해지는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 지능형 도면 생성장치에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 지능형 도면 생성방법에 대한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 심볼과 문자열의 연결에 대한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 라인과 문자열의 연결에 대한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 라인과 라인의 연결에 대한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 심볼과 라인의 연결에 대한 예시도이다.

이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 실시예들의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

본 실시예는 딥러닝 기반 지능형 도면 생성방법 및 장치에 대한 내용을 개시한다. 보다 자세하게는, 딥러닝 및 영상처리 기술을 기반으로 이미지 도면(image drawings)으로부터 도면의 객체를 인식하고, 독립적으로 인식된 객체 간을 연결하여 컴퓨터가 처리 가능한 구조화된 형태로 디지털화함으로써, 지능형 엔지니어링 도면(intelligent engineering drawings)을 자동으로 생성하는 지능형 도면 생성방법 및 장치를 제공한다.

이하, 이미지 도면(image drawing)은 픽셀(pixel)로 구성된 2차원 이미지 파일을 지칭하고, 지능형 도면(intelligent drawing)은 XML(Extensible Markup Language)등의 파일 형식을 이용하여 구조화된 도면 정보를 저장하는 데이터 파일을 지칭한다.

도 1은 본 발명이 실시예에 따른 지능형 도면 생성장치에 대한 개념도이다.

본 발명의 실시예에 있어서, 지능형 도면 생성장치(100)는 이미지 도면으로부터 객체를 인식(recognition)하고, 독립적으로 인식된 객체 간을 연결하여 컴퓨터가 처리 가능한 구조화된 형태로 디지털화함으로써, 지능형 엔지니어링 도면을 생성한다. 지능형 도면 생성장치(100)는 객체인식부(101) 및 객체연결부(102)의 전부 또는 일부를 포함한다. 여기서, 본 실시예에 따른 지능형 도면 생성장치(100)에 포함되는 구성요소가 반드시 이에 한정되는 것은 아니다. 예컨대, 지능형 도면 생성장치(100) 상에 객체 인식 모델의 트레이닝을 위한 트레이닝부(미도시)를 추가로 구비하거나, 외부의 트레이닝부와 연동되는 형태로 구현될 수 있다.

본 실시예에 따른 객체인식부(101)는 이미지 도면으로부터 심볼(symbols), 문자열(text sequences), 라인(lines) 등의 객체를 인식한다. 객체인식부(101)는 딥러닝(deep learning) 및 영상처리(image processing)를 기반으로 이미지 형식으로 작성된 도면의 객체를 인식할 수 있다.

객체인식부(101)는 심볼 인식을 위하여 딥러닝 기반의 객체 검출 모델(object detection model)을 이용한다. 본 실시예에서는 Faster R-CNN(비특허문헌 1 참조) 기반의 객체 검출 모델을 이용한다. Faster R-CNN은 2단 검출 방식에 기반하는 객체 검출 모델로서 RPN(Regional Proposal Network)을 이용하여 객체 프로포절 풀(object proposal pool)을 생성하고, 검출기(detector)를 이용하여 정확한 객체의 위치 및 종류를 추론한다. 객체 검출 모델은 학습용 데이터를 기반으로 트레이닝부에 의하여 사전에 트레이닝될 수 있다.

객체인식부(101)는 문자열 인식을 위하여 딥러닝 기반의 텍스트 인식 모델을 이용한다. 본 실시예에서는 CTPN(Connectionist Text Proposal Network, 비특허문헌 2 참조)을 텍스트 인식 모델로 이용한다. CTPN은 CNN(Convolutional Neural Network) 및 BLSTM(Bi-directional Long Short-Term Memory) 모델에 기반하는 텍스트 인식 모델이다. 텍스트 인식 모델은 학습용 데이터를 기반으로 트레이닝부에 의하여 사전에 트레이닝될 수 있다.

객체인식부(101)는 라인 인식을 위하여 허프 변환(Hough transform)을 이용한다. 허프 변환은 이미지로부터 직선을 검출할 수 있는 영상처리 알고리즘의 일종이다.

본 실시예에 따른 객체연결부(102)는 서로 독립적으로 인식된 심볼, 문자열 또는 라인 간을 상호 연결하여 컴퓨터가 처리 가능한 구조화된 형태로 디지털화한다.

심볼, 문자열, 라인 등의 객체는 객체인식부(101)에 의하여 서로 독립적으로 인식되었으므로, 도면 상의 객체의 위치, 속성(attributes), 사양(specifications) 또는 객체 간의 관계 등을 고려하여 서로 관계가 맺어져야 한다. 객체연결부(102)가 객체 간 관계를 찾아 주는 과정을 '객체 간을 연결(connection)한다'라고 표현한다. 따라서 연결은 객체 간의 물리적 연결 외에 객체의 속성 및 사양을 추가하는 과정을 포함할 수 있다. 객체의 속성 및 사양 정보를 추가함으로써, 컴퓨터가 처리 가능한 구조화된 형태로 디지털화된 지능형 도면을 생성할 수 있다.

본 실시예에 따른 지능형 도면 생성장치(100)가 탑재되는 디바이스(미도시)는 프로그램가능 컴퓨터일 수 있으며, 서버(미도시)와 연결이 가능한 적어도 한 개의 통신 인터페이스를 포함한다.

전술한 바와 같은 객체 검출 모델 및 텍스트 인식 모델에 대한 트레이닝은, 지능형 도면 생성장치(100)가 탑재되는 디바이스의 컴퓨팅 파워를 이용하여 디바이스에서 진행될 수 있다.

전술한 바와 같은 객체 검출 모델 및 텍스트 인식 모델에 대한 트레이닝은 서버에서 진행될 수도 있다. 디바이스 상에 탑재된 지능형 도면 생성장치(100)의 구성요소인 객체 검출 모델 및 텍스트 인식 모델과 동일한 구조의 딥러닝 모델에 대하여 서버의 트레이닝부는 트레이닝을 수행할 수 있다. 디바이스와 연결되는 통신 인터페이스를 이용하여 서버는 파라미터를 디바이스로 전달하고, 전달받은 파라미터를 이용하여 지능형 도면 생성장치(100)는 객체 검출 모델 및 텍스트 인식 모델의 파라미터를 업데이트할 수 있다. 또한 디바이스 출하 시점 또는 지능형 도면 생성장치(100)가 디바이스에 탑재되는 시점에, 객체 검출 모델 및 텍스트 인식 모델의 파라미터가 설정될 수 있다.

도 2는 본 발명의 일 실시예에 따른 지능형 도면 생성방법에 대한 순서도이다.

도면 생성장치(100)는 이미지 도면을 획득한 후(S201), 이미지 도면으로부터 심볼, 문자열, 라인 등의 객체를 인식한다(S202).

심볼 인식을 위하여 도면 생성장치(100)는 딥러닝 기반의 객체 검출 모델을 이용한다. 객체 검출 모델은 인식된 심볼에 대하여, 심볼의 ID(identification) 및 심볼을 포함하는 바운딩 박스(bounding box)를 제공한다.

문자열 인식을 위하여 도면 생성장치(100)는 딥러닝 기반의 텍스트 인식 모델을 이용한다. 텍스트 인식 모델은 인식된 문자열에 대하여 문자열의 ID 및 문자열을 포함하는 바운딩 박스(bounding box)를 제공한다.

라인 인식을 위하여 도면 생성장치(100)는 허프 변환을 이용한다. 허프 변환은 인식된 라인에 대하여 라인의 양 끝 점의 좌표를 제공한다.

심볼, 문자열, 라인 등의 객체는 서로 독립적으로 인식되었으므로, 도면 상의 객체의 위치, 속성, 사양 또는 객체 간의 관계 등을 기반으로 서로 연결되어야 한다.

이하 도 3 내지 도 6을 참조하여 객체 간 연결 방법에 대하여 설명한다.

도면 생성장치(100)는 심볼과 문자열을 연결한다(S203). 도면 생성장치(100)는 인식된 심볼과 문자열 중에서 상호 연결이 필요한 심볼-문자열 간에 짝을 맺어 준다.

이하 도 3을 참조하여, 심볼과 문자열을 연결하는 방법을 설명한다. 도 3은 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 심볼과 문자열의 연결에 대한 예시도이다.

도 3의 (a)의 예시와 같이 도면 생성장치(100)는 심볼의 바운딩 박스 내에 포함되는 문자열의 바운딩 박스를 찾는다. 도면 생성장치(100)는 문자열의 바운딩 박스가 포함되는 심볼과 문자열을 서로 연결시킨다.

도 3의 (b) 또는 도 3의 (c)의 예시와 같이 도면 생성장치(100)는 심볼의 바운딩 박스와 교차되는 모든 문자열의 바운딩 박스를 검색한다. 도면 생성장치(100)는 찾아진 바운딩 박스의 문자열을 심볼과 연결시킨다.

하나의 문자열에 대한 바운딩 박스가 두 개 이상의 심볼 바운딩 박스와 겹치는 경우, 표 1을 기반으로 문자열이 의미하는 심볼을 찾을 수 있다.

엔지니어링 도면에 나타나는 문자열은 표 1에 표현된 바와 같은 일정한 형식을 가지므로, 기 설정된 규칙(rules)을 이용하여 표 1의 내용을 표현하는 것이 가능하다. 따라서, 표 1을 표현한 기 설정된 규칙을 기반으로 인식된 문자열이 의미하는 심볼의 종류를 추론할 수 있다. 문자열을 이용하여 추론된 심볼의 종류와 바운딩 박스가 겹치는 두 개 이상의 심볼을 비교하여, 최종적으로 심볼을 결정하고, 인식된 문자열과 결정된 심볼을 연결한다.

도면 생성장치(100)는 라인과 문자열을 연결한다(S204). 도면 생성장치(100)는 인식된 라인과 심볼과 연결된 문자열을 제외한 나머지 문자열을 이용하여, 서로 연결이 필요한 라인-문자열 간에 짝을 맺어 준다.

이하 도 4를 참조하여, 라인과 문자열을 연결하는 방법을 설명한다. 도 4는 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 라인과 문자열의 연결에 대한 예시도이다.

도 4의 (a)의 예시와 같이 문자열의 바운딩 박스와 교차하는 라인의 경우, 도면 생성장치(100)는 교차하는 라인과 문자열을 연결시킨다. 문자열의 바운딩 박스가 라인과 교차하지 않는 경우, 도면 생성장치(100)는 문자열의 바운딩 박스와 거리가 가장 가까운 라인을 찾는다. 가장 가까운 라인과의 거리가 기 설정된 임계치보다 작으면, 도면 생성장치(100)는 찾아진 가장 가까운 라인과 문자열을 연결시킨다.

도 4의 (b)의 예시와 같이 하나의 문자열에 대한 바운딩 박스와 교차하는 라인이 두 개 이상인 경우, 바운딩 박스의 긴 모서리 방향과 일치하는 방향을 보유한 라인을 선택한다. 또한 바운딩 박스의 긴 모서리 방향과 일치된 채로 교차하는 라인이 두 개 이상인 경우, 바운딩 박스의 중심에서 더 가까운 라인이 선택될 수 있다.

도면 생성장치(100)는 라인과 라인을 연결한다(S205). 도면 생성장치(100)는 복수의 라인의 끝이 근접하여 위치하는 경우, 라인과 라인을 연결할 수 있다.

이하 도 5를 참조하여, 라인과 라인을 연결하는 방법을 설명한다. 도 5는 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 라인과 라인의 연결에 대한 예시도이다.

도 5의 (a)의 예시와 같이 두 라인의 끝 점이 근접하여 위치하는 경우, 두 라인의 끝 점 간의 거리가 기 설정된 임계치보다 작으면, 도면 생성장치(100)는 두 라인을 연결한다. 도 5의 (b)의 예시와 같이 세 라인의 끝 점이 근접하여 위치하는 경우, 세 라인의 끝 점 간의 각각의 거리가 기 설정된 임계치보다 작으면, 배관(piping)의 티 분기(tee branch)로 판단하여 도면 생성장치(100)는 세 라인을 연결한다.

도 5의 (c)의 예시와 같이, 두 라인의 끝 점 간의 거리가 기 설정된 임계치보다 작고, 두 라인이 일직선 상에 존재하며, 두 라인을 연결할 때, 교차하는 다른 라인이 존재한다면, 도면 생성장치(100)는 두 라인을 하나의 라인으로 연결한다.

도면 생성장치(100)는 심볼과 라인을 연결함으로써(S206), 지능형 도면을 생성한다(S207). 도면 생성장치(100)는 심볼과 심볼 근처의 라인을 연결할 수 있다.

이하 도 6을 참조하여, 심볼과 라인을 연결하는 방법을 설명한다. 도 6은 본 발명의 일 실시예에 따른 지능형 도면 생성방법 중 심볼과 라인의 연결에 대한 예시도이다.

도 6의 (a)의 예시와 같이 라인의 끝 점이 심볼의 바운딩 박스 내에 있는 경우, 도면 생성장치(100)는 심볼과 라인을 연결한다. 도 6의 (b)의 예시와 같이 라인의 끝 점과 심볼의 바운딩 박스 간의 거리가 기 설정된 임계치보다 작다면, 도면 생성장치(100)는 심볼과 라인을 연결한다.

본 실시예에 따른 각 순서도에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 순서도에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것이 적용 가능할 것이므로, 순서도는 시계열적인 순서로 한정되는 것은 아니다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는　기록매체"에 저장된다.

컴퓨터가 읽을 수 있는　기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있다. 또한 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 지능형 도면 생성장치 101: 객체인식부
102: 객체연결부

Claims

지능형 도면(intelligent drawing) 생성장치가 수행하는 지능형 도면 생성방법에 있어서,
이미지 도면(image drawing)을 획득하는 과정;
딥러닝(deep learning) 및 영상처리(image processing) 기술을 기반으로 상기 이미지 도면으로부터 객체를 검출하여 복수의 심볼(symbols), 복수의 문자열(text sequences) 및 복수의 라인(lines)을 독립적으로 인식(recognition)하는 과정, 여기서, 상기 복수의 심볼 및 복수의 문자열 각각은 바운딩 박스(bounding boxes)에 포함되어 인식됨; 및
상기 객체에 대한 속성(attributes) 및 사양(specifications) 정보를 추가하고, 상기 객체 간의 상호 위치를 기반으로 상기 객체 간을 연결하는 과정
을 포함하되,
상기 연결하는 과정은,
상기 문자열의 바운딩 박스가 상기 심볼의 바운딩 박스에 포함되거나 상기 심볼의 바운딩 박스와 교차하는 경우, 상기 문자열과 상기 심볼을 연결하고, 상기 문자열의 바운딩 박스가 두 개 이상의 심볼 바운딩 박스와 겹치는 경우, 기 설정된 규칙을 이용하여 상기 문자열이 의미하는 심볼을 추론하여 상기 문자열과 상기 심볼을 연결하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법.
제1항에 있어서,
사전에 트레이닝된 딥러닝 기반의 객체 검출 모델(object detection models)을 이용하여 상기 심볼 및 상기 문자열을 인식하되, 상기 객체 검출 모델은 상기 심볼 및 상기 문자열에 대한 ID(identifications) 및 바운딩 박스(bounding boxes)를 생성하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법.
제2항에 있어서,
상기 영상처리(image processing) 기술을 기반으로 상기 라인을 인식하여 상기 라인에 대한 양 끝 점의 좌표를 생성하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법.
삭제
제2항에 있어서,
상기 연결하는 과정은,
상기 문자열의 바운딩 박스와 교차하는 라인의 경우, 상기 문자열과 상기 교차하는 라인을 연결시키고, 상기 문자열의 바운딩 박스가 상기 라인과 교차하지 않는 경우, 상기 라인과의 거리를 기반으로 상기 문자열과 상기 라인 간의 연결 여부를 결정하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법.
제3항에 있어서,
상기 연결하는 과정은,
하나의 문자열에 대한 바운딩 박스와 교차하는 라인이 두 개 이상인 경우, 상기 바운딩 박스의 긴 모서리 방향, 상기 라인의 방향 및 상기 라인과의 거리를 기반으로 하나의 라인을 선택하여 상기 문자열과 상기 선택된 라인을 연결하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법.
제3항에 있어서,
상기 연결하는 과정은,
복수의 라인의 끝 점이 근접하여 위치하는 경우, 상기 복수의 라인의 끝 점 간의 거리가 기 설정된 임계치보다 작으면, 상기 복수의 라인을 서로 연결하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법.
제3항에 있어서,
상기 연결하는 과정은,
상기 라인의 끝 점이 상기 심볼의 바운딩 박스 내에 있거나, 상기 라인의 끝 점과 상기 심볼의 바운딩 박스 간의 거리가 기 설정된 임계치보다 작은 경우, 상기 심볼과 상기 라인을 연결하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 지능형 도면 생성방법.
이미지 도면(image drawing)으로부터 지능형 도면(intelligent drawing)을 생성하는 장치에 있어서,
상기 이미지 도면을 획득하는 입력부;
상기 이미지 도면으로부터 객체를 인식하되, 사전에 트레이닝된 딥러닝 기반의 객체 검출 모델(object detection models)을 이용하여 복수의 심볼(symbols) 및 복수의 문자열(text sequences)을 인식하고, 영상처리(image processing) 기술을 기반으로 복수의 라인(lines)을 인식하는 객체인식부, 여기서, 상기 복수의 심볼 및 복수의 문자열 각각은 바운딩 박스(bounding boxes)에 포함되어 인식됨; 및
상기 객체에 대한 속성(attributes) 및 사양(specifications) 정보를 추가하고, 상기 객체 간의 상호 위치를 기반으로 상기 객체 간을 연결하는 객체연결부
를 포함하되,
상기 객체연결부는,
상기 문자열의 바운딩 박스가 상기 심볼의 바운딩 박스에 포함되거나 상기 심볼의 바운딩 박스와 교차하는 경우, 상기 문자열과 상기 심볼을 연결하고, 상기 문자열의 바운딩 박스가 두 개 이상의 심볼 바운딩 박스와 겹치는 경우, 기 설정된 규칙을 이용하여 상기 문자열이 의미하는 심볼을 추론하여 상기 문자열과 상기 심볼을 연결하는 것을 특징으로 하는 지능형 도면 생성장치.
제1항 내지 제3항, 제5항 내지 제8항 중 어느 한 항에 따른 지능형 도면 생성방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.