KR102193403B1 - 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템 - Google Patents

도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템 Download PDF

Info

Publication number
KR102193403B1
KR102193403B1 KR1020190020147A KR20190020147A KR102193403B1 KR 102193403 B1 KR102193403 B1 KR 102193403B1 KR 1020190020147 A KR1020190020147 A KR 1020190020147A KR 20190020147 A KR20190020147 A KR 20190020147A KR 102193403 B1 KR102193403 B1 KR 102193403B1
Authority
KR
South Korea
Prior art keywords
pixel
pixels
learning data
recognizing
data generation
Prior art date
Application number
KR1020190020147A
Other languages
English (en)
Other versions
KR20200103205A (ko
Inventor
문두환
유은섭
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190020147A priority Critical patent/KR102193403B1/ko
Publication of KR20200103205A publication Critical patent/KR20200103205A/ko
Application granted granted Critical
Publication of KR102193403B1 publication Critical patent/KR102193403B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 플랜트 도면 입력 단계; 입력된 플랜트 도면을 바이너리 이미지로 변환하는 단계; 바이너리 이미지의 최외각에서부터 검은색 픽셀을 인식하는 단계; 인식된 검은색 픽셀에 연결된 픽셀을 모두 인식하는 단계; 인식된 검은색 픽셀들을 통해 표제 영역을 검출하는 단계; 및 검출된 표제 영역과 외곽선 영역을 제거하는 단계; 를 포함하는 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템을 개시한다.

Description

도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템{DEEP LEARNING-BASED LEARNING DATA GENERATION METHOD INCLUDING AN OUTLINE AND A CAPTION ELIMINATION METHOD IN A DRAWING AND LEARNING DATA GENERATION SYSTEM}
본 발명은 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템에 관한 것이다.
인공지능의 발전으로 인해, 딥러닝(deep learning) 기술의 활용 분야는 점점 넓어지고 있으며, 활용 목적에 따라 요구되는 데이터의 종류는 달라진다.
플랜트 엔지니어링(plant engineering) 분야에서의 딥러닝 기술은 플랜트 기본사양 추정, 기기 고장 진단/예측, 플랜트 운전상태 모니터링, 플랜트 운영실적 데이터 분석 등의 목적으로 사용되고 있다.
플랜트 엔지니어링 분야에서의 딥러닝 기술의 성공적인 수행을 위해서는 목적과 부합한 대량의 학습용 데이터가 필요하다. 하지만 대량의 학습용 데이터를 수작업으로 구축하는 것은 수많은 시간이 요구된다.
또한, 휴먼 에러의 발생으로 인해, 플랜트 모델의 기본 설계 정보와의 불일치 등의 정확성에 문제가 생길 수 있다.
한편, 기존에 제공되는 플랜트 도면은 학습용 데이터를 생성하는 과정에서 불필요한 외각선 및 표제 영역을 포함하고, 표제 영역의 문자는 인식 또는 식별되는데 문제가 발생할 수 있다.
본 발명은 플랜트 도면에서 딥러닝 기술에 필요한 학습용 데이터를 자동으로 추출하여 학습에 필요한 형식으로 변환하는 과정에서 불필요한 외곽선 및 표제 영역을 제거함으로써, 학습용 데이터 생성 과정의 신뢰성을 향상 시킬 수 있는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템을 제공하는 것을 목적으로 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 도면 상에서 외곽선 및 표제를 제거하는 방법은 플랜트 도면 입력 단계; 입력된 플랜트 도면을 바이너리 이미지로 변환하는 단계; 바이너리 이미지의 최외각에서부터 검은색 픽셀을 인식하는 단계; 인식된 검은색 픽셀에 연결된 픽셀을 모두 인식하는 단계; 인식된 검은색 픽셀들을 통해 표제 영역을 검출하는 단계; 및 검출된 표제 영역과 외곽선 영역을 제거하는 단계; 를 포함할 수 있다.
상기 표제 영역을 검출하는 단계는 모폴로지(morpology) 연산을 수행하여, 인식된 검은색 픽셀 영역에서 표제 영역을 검출할 수 있다.
상기 표제 영역을 검출하는 단계는 모폴로지(morpology) 연산의 침식 및 팽창 연산을 수행하여, 인식된 검은색 픽셀 영역에서 표제 영역을 검출할 수 있다.
상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는 바이너리 이미지의 최외각 픽셀 중 적어도 하나를 시작 포인트를 설정하고, 상기 시작 포인트에서 중심 영역으로 픽셀을 이동하면서, 명도값이 기 설정된 임계치 값을 만족하는 제1픽셀을 인식하면 픽셀의 이동을 중지하고, 제1픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식할 수 있다.
상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는 상기 시작 포인트를 바이너리 이미지의 좌측 중심부로 설정할 수 있다.
상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는 상기 제1픽셀의 좌표 정보를 추출할 수 있다.
상기 인식된 검은색 픽셀에 연결된 픽셀을 모두 인식하는 단계에서는 상기 제1픽셀의 좌표 정보를 기반으로 상기 제1픽셀의 주변 좌표의 픽셀을 추출하고, 상기 제1픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제2픽셀을 인식하면, 상기 제1픽셀 및 상기 제2픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식할 수 있다.
상기 인식된 검은색 픽셀에 연결된 픽셀을 모두 인식하는 단계에서는 제n픽셀의 좌표 정보를 기반으로 상기 제n픽셀의 주변 좌표의 픽셀을 추출하고, 상기 제n픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제n+1픽셀을 인식하면, 상기 제n픽셀 및 상기 제n+1픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식하고, 상기 제n+1픽셀의 좌표 정보를 기반으로 상기 제n픽셀의 주변 좌표의 픽셀을 추출하고, 상기 제n+1픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제n+2픽셀을 인식하면, 상기 제n픽셀, 상기 제n+1픽셀 및 상기 제n+2픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식할 수 있다.
상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는 상기 최외각에서부터 검은색 픽셀을 인식하기 전에 좌측, 우측, 상측 및 하측의 최외각을 이루는 픽셀들을 흰색으로 보정할 수 있다.
상기 검출된 표제 영역과 외곽선 영역을 제거하는 단계는 외곽선 및 표제를 이루는 것으로 인식된 픽셀들을 흰색으로 보정할 수 있다.
본 발명의 실시예에 따르면, 플랜트 도면에서 딥러닝 기술에 필요한 학습용 데이터를 자동으로 추출하여 학습에 필요한 형식으로 변환하는 과정에서 불필요한 외곽선 및 표제 영역을 제거함으로써, 학습용 데이터 생성 과정의 신뢰성을 향상 시킬 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템의 구성을 나타낸 예시도이고,
도 2는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법을 나타내는 흐름도이고,
도 3은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에서 외곽선 및 표제 영역 제거 방법을 설명하기 위한 흐름도이고,
도 4 내지 도 17은 본 발명의 실시예에 따른 외곽선 및 표제 영역 제거 방법을 수행 과정을 순차적으로 나타낸 예시도이고,
도 18은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 제공되는 플랜트 도면을 나타낸 예시도이고,
도 19는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 계층 폴더의 구조를 개략적으로 나타낸 예시도이고,
도 20 및 도 21은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 심볼 객체를 탐지하는 과정을 설명하기위한 예시도이고,
도 22는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 주석 파일을 나타낸 예시도이고,
도 23은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 리스트 파일을 나타낸 예시도이고,
도 24는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 분류된 심볼 객체의 이미지를 나타낸 예시도이고,
도 25는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고,
도 26은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고,
도 27은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 문자 객체를 탐지하는 과정을 설명하기 위한 예시도이고,
도 28은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 주석 파일을 나타낸 예시도이고,
도 29는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 리스트 파일을 나타낸 예시도이고,
도 30은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 배관 객체를 탐지하는 과정을 설명하기 위한 예시도이고,
도 31은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 배관 학습 데이터의 배관 주석 파일을 나타낸 예시도이다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 이하의 도면에서 각 구성은 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면 상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는" 는 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다.
본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1을 참조하여, 플랜트 도면에서 딥러닝 기반 학습 데이터 생성 시스템을 설명한다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템의 구성을 나타낸 예시도이다.
우선, 도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템은 저장부(110), 외곽선 및 표제 영역 제거부(10), 계층 폴더 생성부(120), 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)를 포함할 수 있다.
저장부(110)는 계층 폴더 생성부(120)에서 생성된 폴더와, 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)에서 생성된 학습 데이터 각각을 저장할 수 있다.
외곽선 및 표제 영역 제거부(10)는 제공되는 플랜트 도면에서 불필요한 외곽선 및 표제 영역을 제거하고, 외곽선 및 표제 영역이 제거된 플랜트 도면을 출력할 수 있다.
계층 폴더 생성부(120)는 저장부(110)에 계층에 따른 폴더를 각각 생성할 수 있다.
계층에 따른 각각의 폴더에는 외곽선 및 표제 영역이 제거된 플랜트 도면, 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)에서 생성된 학습 데이터 각각이 저장될 수 있다.
심볼 학습 데이터 생성부(130)는 제공되는 플랜트 도면에서 심볼 객체를 탐지하고, 이에 대한 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.
심볼 분류 학습 데이터 생성부(140)는 제공되는 플랜트 도면의 심볼 객체를 심볼 객체의 형상 정보 및 배향 정보를 기반으로 분류하고, 저장부(110)에 기 저장된 심볼 객체 데이터와 매칭 시킨 후, 형상 정보 및 배향 정보가 동일한 심볼 객체와 매칭되는 기 저장된 심볼 객체 데이터를 그룹핑한 후, 그룹핑된 심볼 분류 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.
문자 학습 데이터 생성부(150)는 제공되는 플랜트 도면에서 문자 객체를 탐지하고, 이에 대한 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.
배관 학습 데이터 생성부(160)는 제공되는 플랜트 도면에서 문자 객체를 탐지하고, 이에 대한 학습 데이터를 생성하여, 계층 폴더 생성부(120)에서 생성된 폴더에 구분되어 저장될 수 있다.
이하에서는 도 1 내지 도 31을 참조하여, 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 시스템을 이용한 딥러닝 기반 학습 데이터 생성 방법에 대해 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법을 나타내는 흐름도이고, 도 4 내지 도 17은 본 발명의 실시예에 따른 외곽선 및 표제 영역 제거 방법을 수행 과정을 순차적으로 나타낸 예시도이고, 도 18은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 제공되는 플랜트 도면을 나타낸 예시도이고, 도 19는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 계층 폴더의 구조를 개략적으로 나타낸 예시도이고, 도 20 및 도 21은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 심볼 객체를 탐지하는 과정을 설명하기위한 예시도이고, 도 22은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 주석 파일을 나타낸 예시도이고, 도 23은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 학습 데이터의 심볼 리스트 파일을 나타낸 예시도이고, 도 24는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 분류된 심볼 객체의 이미지를 나타낸 예시도이고, 도 25은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고, 도 26은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 생성된 플랜트 도면 상에서 생성된 심볼 분류 학습 데이터의 계층 폴더를 나타낸 예시도이고, 도 27는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 문자 객체를 탐지하는 과정을 설명하기 위한 예시도이고, 도 28은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 주석 파일을 나타낸 예시도이고, 도 29는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 문자 학습 데이터의 문자 리스트 파일을 나타낸 예시도이고, 도 30는 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 배관 객체를 탐지하는 과정을 설명하기 위한 예시도이고, 도 31은 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법에 따라 플랜트 도면 상에서 생성된 배관 학습 데이터의 배관 주석 파일을 나타낸 예시도이다.
우선, 도 2를 참조하면, 본 발명의 실시예에 따른 딥러닝 기반 학습 데이터 생성 방법은 외곽선 및 표제 영역 제거 단계(S10), 계층 폴더 생성 단계(S20), 심볼 학습 데이터 생성 단계(S30), 심볼 분류 학습 데이터 생성 단계(S40), 문자 학습 데이터 생성 단계(S50) 및 배관 학습 데이터 생성 단계(S60)를 포함할 수 있다.
여기서, 플랜트 도면은 2D 플랜트 도면과 3D 플랜트 도면을 포함할 수 있다.
이하에서는 플랜트 도면을 P&ID로 예를 들어 설명한다.
외곽선 및 표제 영역 제거 단계(S10)는 제공되는 플랜트 도면에서 불필요한 외곽선 및 표제 영역을 제거하고, 외곽선 및 표제 영역이 제거된 플랜트 도면을 출력할 수 있다.
도 3을 참조하면, 외곽선 및 표제 영역 제거 단계(S10)는 도면 입력 단계(S11), 바이너리 이미지로 변환 단계(S12), 최외각에서부터 검은색 픽셀 인식 단계(S13), 연결된 픽셀을 모두 인식하는 단계(S14), 표제 영역을 검출하는 단계(S15) 및 외곽선 및 표제 영역을 제거하는 단계(S16)를 포함할 수 있다.
도 4를 참조하면, 도면 입력 단계(S11)에서는 제공되는 플랜트 도면(A)이 저장된 주소를 찾아, 외곽선(B)과 표제 영역(C)을 포함하는 플랜트 도면(A)을 입력할 수 있다.
도 5를 참조하면, 바이너리 이미지로 변환 단계(S12)에서는 입력 받은 플랜트 도면(A)을 '1'과 '0'으로 이루어진 이진 이미지(binary image)로 변환할 수 있다.
바이너리 이미지로 변환 단계(S12)에서는 기 설정된 임계치를 초과하는지 여부에 따라 이진화 연산을 수행할 수 있다.
한편, 바이너리 이미지로 변환 단계(S12)에서는 입력 받은 플랜트 도면(A)을 명도값으로 구분되는 그레이스케일(gray-scale)의 흑백 이미지로 변환할 수 있다.
여기서, 도 6을 참조하면, 정수 타입의 xy 좌표(예를 들어, y=123, x=45)를 문자열 타입의 좌표(예를 들어, "0123 0045")로 보정할 수 있다.
이후, 도 7을 참조하면, 최외각에서부터 검은색 픽셀 인식 단계(S13)에서는 바이너리 이미지의 최외각 픽셀 중 적어도 하나를 시작 포인트를 설정하고, 시작 포인트에서 중심 영역으로 픽셀을 이동하면서, 명도값이 기 설정된 임계치 값을 만족하는 제1픽셀을 인식하면 픽셀의 이동을 중지하고, 제1픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식할 수 있다.
여기서, 기 설정된 임계치 값은 그레이 스케일에서 검은색을 의미하는 "0"에 근접한 것으로, 대략 0 내지 50 범위에서 특정 값으로 설정될 수 있다.
여기서, 시작 포인트에서 중심 영역으로 픽셀을 이동하는 과정은 x축 또는 y축과 평행하게 픽셀의 좌표를 하나씩 변경하면서 이동할 수 있다.
예컨대, 최외각에서부터 검은색 픽셀 인식 단계(S13)에서는 "0123 0000"을 시작 포인트로 설정한 경우, "0123 0001", "0123 0002", "0123 0003"순으로 픽셀을 이동하면서, 해당 픽셀의 명도값을 기 설정된 임계치와 비교할 수 있다.
한편, 일반적으로 표제 영역(C)은 플랜트 도면(A)에서 우측 하단에 위치하므로, 최외각에서부터 검은색 픽셀 인식 단계(S13)에서는 시작 포인트를 좌측 중심부로 설정할 수 있다.
즉, 도 8에 도시된 바와 같이, y좌표는 높이의 절반인 지점으로 설정하고, x좌표는 0 또는 -1로 설정할 수 있다.
이후, 도 8 및 도 9를 참조하면, 연결된 픽셀을 모두 인식하는 단계(S14)에서는 제1픽셀의 좌표 정보를 기반으로 제1픽셀의 주변 좌표의 픽셀을 추출하고, 제1픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제2픽셀을 인식하면, 제1픽셀 및 제2픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식할 수 있다.
또한, 연결된 픽셀을 모두 인식하는 단계(S14)에서는 좌표 범위를 확장함으로써, 제n픽셀의 좌표 정보를 기반으로 제n픽셀의 주변 좌표의 픽셀을 추출하고, 제n픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제n+1픽셀을 인식하면, 제n픽셀 및 제n+1픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식하고, 제n+1픽셀의 좌표 정보를 기반으로 제n픽셀의 주변 좌표의 픽셀을 추출하고, 제n+1픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제n+2픽셀을 인식하면, 제n픽셀, 제n+1픽셀 및 제n+2픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식할 수 있다.
여기서, n은 자연수이다.
한편, 도 10에서, dic은 딕셔너리 타입 변수로 계산된 모든 픽셀로 정의되며, stack은 스택 타입 변수로 계산이 필요한 픽셀로 정의되며, pos는 주변 픽셀의 상대 좌표로 제1픽셀에서 y좌표 값을 +1, -1하고, x좌표 값을 +1, -1한 것으로 정의될 수 있다.
이후, stack에서 최근에 들어온 좌표를 꺼낸 후, 꺼낸 픽셀이 계산된 적이 없으면 좌표와 값을 dic에 추가하고, stack에서 꺼낸 픽셀의 값이 기 설정된 임계치 이상이면 주변 픽셀의 좌표를 stack에 추가하고, dic에 저장된 픽셀 중 값이 임계치 이상인 픽셀만 outerLine(플랜트 도면의 외곽선 및 표제를 이루는 픽셀의 집합)에 추가될 수 있다.
도 11 및 도 12를 참조하면, 표제 영역을 검출하는 단계(S15)에서는 연결된 픽셀을 모두 인식하는 단계(S14)에서 인식된 픽셀들의 좌표 정보를 기반으로, 표제 영역을 검출할 수 있다.
여기서, 표제 영역을 검출하는 단계(S15)에서는 모폴로지(morpology) 연산의 침식 및 팽창 연산을 수행하여, 인식된 검은색 픽셀 영역에서 표제 영역을 검출할 수 있다.
예컨대, 입력 이미지의 너비 길이의 ¼를 한 변의 길이로 하는 정사각형 커널을 생성하고, 모폴로지 연산(Morphological Operation)의 침식(erosion)과 팽창(dilation)을 사용하여, 커널의 크기를 보정함으로써 표제 영역을 검출할 수 있다.
이후, 도 13 및 도 14를 참조하면, 외곽선 및 표제 영역을 제거하는 단계(S16)에서는 도면 이미지에서 외곽선(B) 및 표제 영역(C)으로 인식된 좌표의 픽셀에 흰색의 명도값(255)을 반영하여, 해당 좌표의 명도값이(255)가 되도록 보정하여, 외곽선(B) 및 표제 영역(C)이 제거된 도면(A)을 얻을 수 있다.
예컨대, shape(이미지의 높이, 너비를 나타내는 1차원 배열)에 따라 배열을 생성 후 명도값을 "255"(흰색)로 채우고, "255"로 채워진 배열에 외곽선의 좌표(key)와 색상(value) 값을 덮어씌우고, img에서 mask의 값이 0(검은색)인 부분의 값을 255(흰색)로 변경함으로써, 외곽선(B) 및 표제 영역(C)을 제거할 수 있다.
한편, 도 15을 참조하면, 제공되는 도면 PDF파일을 이미지 파일(JPG, PNG) 변환하는 과정에서 이미지 테두리에 검은 선(E)이 생성될 수 있다.
이에 본 발명의 실시예에서는 최외각에서부터 검은색 픽셀 인식 단계(S13)에서는 시작 포인트를 설정하기 이전에, 해당 검은 선(E)을 제거하여 제1픽셀의 인식 오류를 해결하는 것이 바람직하다.
도 15 및 도 16을 참조하면, 이미지 테두리의 검은색 선은 1픽셀을 차지하기 때문에 테두리(D) 안쪽 1픽셀을 전부 흰색으로 변경하는 것이 바람직하다.
또한, 도 17을 참조하면, 최외각에서부터 검은색 픽셀 인식 단계(S13)에서는 시작 포인트를 설정한 후, 제1픽셀을 인식하는 과정에서 인식된 제1픽셀이 외곽선(B)의 구역을 구분하는 구획 기호(F)에 포함된 픽셀인 경우 이를 통해, 외곽선(B) 및 표제 영역(C)을 검출하지 못할 수 있다.
따라서, 본 발명의 실시예에서는 최외각에서부터 검은색 픽셀 인식 단계(S13)에서 제1픽셀을 인식한 후, 제1픽셀에 연결된 픽셀을 모두 인식하는 단계(S14)에서 인식이 종료된 픽셀들의 좌표 정보(개수)가 플랜트 도면의 이미지 크기와 비교하여 비율이 제1값(예를 들어, 1%) 이하인 경우, 제1픽셀에 연결된 픽셀을 모두 인식하는 단계(S14)에서는 이를 오류로 판단하고 최외각에서부터 검은색 픽셀 인식 단계(S13)에서 시작 포인트 설정을 변경할 수 있다.
한편, 도 18을 참조하면, 딥러닝 기반 학습 데이터 생성 방법에 제공되는 플랜트 도면(1)은 도형으로 표현되는 심볼 객체(2), 문자 또는 순자로 표현되는 문자 객체(3) 및 라인(line)으로 표현되는 배관 객체(4)를 포함할 수 있다.
도 19를 참조하면, 계층 폴더 생성 단계(S20)는 계층 폴더 생성부(120)에서 수행될 수 있으며, 계층 별로 제1계층 폴더(11), 제2계층 폴더(12), 제3계층 폴더(13) 및 제4계층 폴더(14)를 생성할 수 있다.
여기서, 제1계층 폴더(11)는 계층 폴더 생성부(120)에서 생성하는 최상위 계층 폴더로, 심볼 학습 데이터 생성부(130), 심볼 분류 학습 데이터 생성부(140), 문자 학습 데이터 생성부(150) 및 배관 학습 데이터 생성부(160)에서 각각 생성된 학습 데이터의 리스트 파일이 저장될 수 있다.
제2계층 폴더(12)는 제1계층 폴더(11) 내부에 위치하며, 플랜트 도면을 제공하는 기업 별 폴더로 정의될 수 있으며, 이미지 파일(jpg)로 제공되는 도면 파일 및 도면 파일 리스트 파일이 저장될 수 있다.
제3계층 폴더(13, 14, 15, 16)는 제2계층 폴더(12) 내부에 각각에 위치하며, 심볼 학습 데이터 폴더(13), 심볼 분류 학습 데이터 폴더(14), 문자 학습 데이터 폴더(15) 및 배관 학습 데이터 폴더(16)를 포함할 수 있다.
심볼 학습 데이터 폴더(13)에는 심볼 학습 데이터 생성부(120)에서 생성되는 심볼 학습 데이터의 주석 파일 및 이미지 파일이 저장될 수 있다.
문자 학습 데이터 폴더(15)에는 문자 학습 데이터 생성부(150)에서 생성되는 문자 학습 데이터의 주석 파일 및 이미지 파일이 저장될 수 있다.
배관 학습 데이터 폴더(16)에는 배관 학습 데이터 생성부(160)에서 생성되는 배관 학습 데이터의 주석 파일 및 이미지 파일이 저장될 수 있다.
제4계층 폴더(14-1)는 심볼 분류 학습 데이터 폴더(14)의 내부에 배치되며, 에는 심볼 분류 학습 데이터 생성부(140)에서 생성되는 심볼 분류 학습 데이터의 이미지 파일이 저장될 수 있다.
여기서, 심볼 분류 학습 데이터의 이미지 파일은 저장부(110)에 기 저장된 심볼 객체의 이미지 파일일 수 있다.
도 20 및 도 21을 참조하면, 심볼 학습 데이터 생성 단계(S30)는 심볼 학습 데이터 생성부(130)에서 수행될 수 있으며, 플랜트 도면(1)에서 각 심볼 객체(2)를 대상으로 바운딩 박스(2a)를 투영하여, 심볼 객체(2)를 탐지할 수 있다.
예컨대, 심볼 학습 데이터 생성 단계(S30)에서는 플랜트 도면(1) 상에서 각 심볼 객체(2)에 가상의 바운딩 박스(2a)(사각형 또는, 다각형, 원)을 투영한 후, 가상의 바운딩 박스(2a)의 크기를 조절하여 심볼 객체(2)에 가상의 바운딩 박스(2a)의 네 변이 모두 맞닿으면, 가상의 바운딩 박스(2a)의 크기 조절을 중지하고 해당 가상의 바운딩 박스(2a)가 배치된 영역의 심볼 객체(2)의 위치 정보, 크기 정보, 형상 정보 및 배향 정보를 추출할 수 있다.
여기서, 심볼 학습 데이터 생성 단계(S30)에서는 플랜트 도면(1)의 모서리 중 하나를 원점(0,0)으로 설정하고, X축 및 Y축 좌표에서 바운딩 박스(2a)의 각 모서리의 좌표값(x, y)을 통해 바운딩 박스(2a)의 크기 정보 및 위치 정보를 획득할 수 있다.
한편, 심볼 학습 데이터 생성 단계(S30)에서는 위치 및 크기 조절이 완료된 가상의 바운딩 박스(2a)의 중심점 좌표를 탐지된 심볼 객체의 배치 위치 좌표로 정의할 수 있다.
즉, 심볼 학습 데이터 생성 단계(S30)에서는 입력된 플랜트 도면 상에 가상의 원점(0, 0) 및 가상의 바운딩 박스(2a)(사각형 또는, 다각형, 원)을 투영함으로써 심볼 객체(2)의 좌표 정보를 명확하고 신속하게 구분하여 인식할 수 있다.
도 22을 참조하면, 이를 통해, 심볼 학습 데이터 생성 단계(S30)에서는 심볼 객체(2)의 위치 정보, 크기 정보, 형상 정보, 배향 정보 및 색상 정보가 정의되는 주석 파일을 생성할 수 있다.
여기서, 심볼 객체(2)의 색상 정보는 도면 파일에서 제공되는 색상 채널의 깊이(depth) 정보 기반으로 정의될 수 있다.
도 23을 참조하면, 또한, 심볼 학습 데이터 생성 단계(S30)에서는 이미지 파일과 주석 파일을 포함하는 학습 데이터의 리스트 파일을 생성할 수 있다.
여기서, 리스트 파일은 심볼 객체의 순서(id) 및 클래스 정보와 배향 정보를 포함하는 파일명(name)을 기록할 수 있다.
도 24를 참조하면, 심볼 분류 학습 데이터 생성 단계(S40)는 심볼 분류 학습 데이터 생성부(140)에서 수행되며, 바운딩 박스(2a)에 의해 구분되는 심볼 객체(2)의 형상 정보 및 배향 정보를 기반으로 저장부(110)에 기 저장된 심볼 객체 데이터와 플랜트 도면(1)의 심볼 객체(2)를 매칭시켜, 심볼 분류 학습 데이터를 생성할 수 있다.
심볼 분류 학습 데이터 생성 단계(S40)에서는 플랜트 도면(1)에서 형상 정보 및 배향 정보가 동일한 심볼 객체(2)와 매칭되는 기 저장된 심볼 객체 데이터를 그룹핑한 후, 그룹핑된 심볼 분류 학습 데이터를 생성할 수 있다.
도 25을 참조하면, 심볼 분류 학습 데이터 생성 단계(S40)에서 생성된 심볼 분류 학습 데이터는 저장부(110)에 기 저장된 심볼 객체의 이미지 파일(2c)을 포함할 수 있으며, 심볼 분류 학습 데이터의 이미지 파일(2c)은 제4계층 폴더(14-1)에 저장될 수 있다.
여기서, 심볼 분류 학습 데이터 생성 단계(S40)에서는 바운딩 박스(2a)에 의해 구분되는 심볼 객체(2)의 형상 정보 및 배향 정보가 동일한 이미지 파일(2c)을 그룹핑하여, 각각의 제4계층 폴더(14-1)에 저장할 수 있다.
도 26을 참조하면, 심볼 분류 학습 데이터 생성 단계(S40)에서는 이미지 파일과 주석 파일을 포함하는 학습 데이터의 리스트 파일을 생성할 수 있다.
여기서, 리스트 파일은 심볼 객체의 순서(id) 및 클래스 정보와 배향 정보를 포함하는 파일명(name)을 기록할 수 있다.
도 27를 참조하면, 문자 학습 데이터 생성 단계(S50)는 문자 학습 데이터 생성부(150)에서 수행될 수 있으며, 플랜트 도면(1)에서 각 문자 객체(3)를 대상으로 바운딩 박스(3a)를 투영하여, 문자 객체(3)를 탐지할 수 있다.
예컨대, 문자 학습 데이터 생성 단계(S50)에서는 플랜트 도면(1) 상에서 각 문자 객체(3)에 가상의 바운딩 박스(3a)(사각형 또는, 다각형, 원)을 투영한 후, 가상의 바운딩 박스(3a)의 크기를 조절하여 문자 객체(3)에 가상의 바운딩 박스(3a)의 네 변이 모두 맞닿으면, 가상의 바운딩 박스(3a)의 크기 조절을 중지하고 해당 가상의 바운딩 박스(3a)가 배치된 영역의 문자 객체(3)의 위치 정보, 크기 정보, 형상 정보 및 배향 정보를 추출할 수 있다.
여기서, 문자 학습 데이터 생성 단계(S50)에서는 광학 문자 판독(OCR) 방법을 통해, 플랜트 도면(1) 상에서 문자 객체(3)를 탐지할 수 있다.
한편, 문자 학습 데이터 생성 단계(S50)에서는 플랜트 도면(1)의 모서리 중 하나를 원점(0,0)으로 설정하고, X축 및 Y축 좌표에서 바운딩 박스(3a)의 각 모서리의 좌표값(x, y)을 통해 바운딩 박스(3a)의 크기 정보 및 위치 정보를 획득할 수 있다.
한편, 문자 학습 데이터 생성 단계(S50)에서는 위치 및 크기 조절이 완료된 가상의 바운딩 박스(3a)의 중심점 좌표를 탐지된 문자 객체의 배치 위치 좌표로 정의할 수 있다.
즉, 문자 학습 데이터 생성 단계(S50)에서는 입력된 플랜트 도면 상에 가상의 원점(0, 0) 및 가상의 바운딩 박스(3a)(사각형 또는, 다각형, 원)을 투영함으로써 문자 객체(3)의 좌표 정보를 명확하고 신속하게 구분하여 인식할 수 있다.
도 28을 참조하면, 이를 통해, 문자 학습 데이터 생성 단계(S50)에서는 문자 객체(3)의 위치 정보, 크기 정보, 형상 정보, 배향 정보 및 색상 정보가 정의되는 주석 파일을 포함하는 문자 학습 데이터를 생성할 수 있다.
여기서, 문자 학습 데이터는 배향 정보를 기반으로 문자 타입 정보를 포함할 수 있다. 문자 타입 정보는 영문자 타입 정보 및 국문자 타입 정보를 포함하고, 영문자 타입 정보는 대문자 타입 정보 및 소문자 타입 정보를 포함할 수 있다.
이를 통해, 문자 학습 데이터 생성 단계(S50)에서는 배향 정보를 기반으로 탐지된 문자 객체(3)를 판단할 수 있어, 보다 정밀하게 문자 객체(3)를 탐지할 수 있다.
여기서, 문자 객체(3)의 색상 정보는 도면 파일에서 제공되는 색상 채널의 깊이(depth) 정보 기반으로 정의될 수 있다.
도 29를 참조하면, 또한, 문자 학습 데이터 생성 단계(S50)에서는 이미지 파일과 주석 파일을 포함하는 학습 데이터의 리스트 파일을 생성할 수 있다.
여기서, 리스트 파일은 문자 객체의 순서(id) 및 클래스 정보와 배향 정보를 포함하는 파일명(name)을 기록할 수 있다.
한편, 문자 학습 데이터 생성 단계(S50)에서는 복수의 문자 객체 중 배치 위치가 인접하고, 동일한 배열 값(X값 동일, 또는 Y값 동일)을 갖는 문자 객체를 조합하여 텍스트 객체로 그룹화해서, 텍스트 객체의 형상 데이터를 추출할 수 있다.
도 30를 참조하면, 배관 학습 데이터 생성 단계(S60)는 배관 학습 데이터 생성부(160)에서 수행될 수 있으며, 플랜트 도면(1)에서 각 배관 객체(4)를 탐지하고, 배관 객체(4)의 정보를 포함한 배관 학습 데이터를 생성할 수 있다.
예컨대, 배관 학습 데이터 생성 단계(S60)에서는 플랜트 도면(1) 상에서 직선 또는 파선을 포함하는 라인(line)(4)을 배관으로 인식하고, 해당 라인의 위치 정보, 크기 정보, 형상 정보, 색상 정보 및 배향 정보를 포함하는 배관 학습 데이터를 생성할 수 있다.
여기서, 배관 학습 데이터 생성 단계(S60)에서는 플랜트 도면(1)의 모서리 중 하나를 원점(0,0)으로 설정하고, X축 및 Y축 좌표에서 배관 객체(4)의 선단 및 말단의 좌표값(x, y)을 통해 배관 객체(4)의 크기 정보 및 위치 정보를 획득할 수 있다.
또한, 배관 학습 데이터 생성 단계(S60)에서는 배관 객체(4) 상에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함하는 배관 학습 데이터를 생성할 수 있다.
여기서, 배관 학습 데이터 생성 단계(S60)에서는 흐름 기호 객체를 대상으로 바운딩 박스(미도시)를 투영하여, 흐름 기호를 탐지할 수 있다.
예컨대, 배관 학습 데이터 생성 단계(S60)에서는 플랜트 도면(1) 상에서 각 흐름 기호 객체에 가상의 바운딩 박스를 투영한 후, 가상의 바운딩 박스의 크기를 조절하여 흐름 기호 객체에 가상의 바운딩 박스의 네 변이 모두 맞닿으면, 가상의 바운딩 박스의 크기 조절을 중지하고 해당 가상의 바운딩 박스가 배치된 영역의 흐름 기호 객체의 위치 정보, 크기 정보, 형상 정보 및 배향 정보를 추출할 수 있다.
여기서, 배관 학습 데이터 생성 단계(S60)에서는 위치 및 크기 조절이 완료된 가상의 바운딩 박스의 중심점 좌표를 탐지된 흐름 기호 객체의 배치 위치 좌표로 정의할 수 있다.
한편, 배관 학습 데이터 생성 단계(S60)에서 생성된 배관 학습 데이터는 배관 객체(4)에서 이웃하는 심볼 객체를 연결하는 정보를 추출하여 심볼 객체 연결 관계 정보를 포함할 수 있다.
또한, 배관 학습 데이터 생성 단계(S60)에서는 배관 객체(4)의 선단 또는 말단에 위치한 흐름 기호를 탐지하여, 흐름 정보를 포함하는 배관 학습 데이터를 생성할 수 있다.
여기서, 배관 객체(4)의 선단 또는 말단에 위치한 흐름 기호는 화살표(arrow) 기호 또는 없음 기호(none)로 정의될 수 있다.
즉, 배관 학습 데이터에 포함된 배관 객체(4)의 선단 또는 말단에 위치한 흐름 기호를 통해 배관의 흐름 정보를 확인할 수 있으며, 이웃하는 심볼을 연결하는 정보를 추출하여 심볼 객체 연결 관계 정보를 확인할 수 있다.
도 31을 참조하면, 이를 통해, 배관 학습 데이터 생성 단계(S60)에서는 배관 객체(2)의 위치 정보, 크기 정보, 형상 정보, 배향 정보 및 색상 정보가 정의되는 주석 파일을 생성할 수 있다.
여기서, 배관 객체(2)의 색상 정보는 도면 파일에서 제공되는 색상 채널의 깊이(depth) 정보 기반으로 정의될 수 있다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 설명한 것은 본 발명에 따른 딥러닝 기반 학습 데이터 생성 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (11)

  1. 플랜트 도면 입력 단계;
    입력된 플랜트 도면을 바이너리 이미지로 변환하는 단계;
    바이너리 이미지의 최외각에서부터 검은색 픽셀을 인식하는 단계;
    인식된 검은색 픽셀에 연결된 픽셀을 모두 인식하는 단계;
    인식된 검은색 픽셀들을 통해 표제 영역을 검출하는 단계; 및
    검출된 표제 영역과 외곽선 영역을 제거하는 단계; 를 포함하고,
    상기 표제 영역을 검출하는 단계는
    모폴로지(morpology) 연산을 수행하여, 인식된 검은색 픽셀 영역에서 표제 영역을 검출하고,
    상기 표제 영역을 검출하는 단계는
    모폴로지(morpology) 연산의 침식 및 팽창 연산을 수행하여, 인식된 검은색 픽셀 영역에서 표제 영역을 검출하고,
    상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는
    바이너리 이미지의 최외각 픽셀 중 적어도 하나를 시작 포인트를 설정하고,
    상기 시작 포인트에서 중심 영역으로 픽셀을 이동하면서, 명도값이 기 설정된 임계치 값을 만족하는 제1픽셀을 인식하면 픽셀의 이동을 중지하고,
    제1픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식하는 도면 상에서 외곽선 및 표제를 제거하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는
    상기 시작 포인트를 바이너리 이미지의 좌측 중심부로 설정하는 도면 상에서 외곽선 및 표제를 제거하는 방법.
  6. 제1항에 있어서,
    상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는
    상기 제1픽셀의 좌표 정보를 추출하는 도면 상에서 외곽선 및 표제를 제거하는 방법.
  7. 제6항에 있어서,
    상기 인식된 검은색 픽셀에 연결된 픽셀을 모두 인식하는 단계에서는
    상기 제1픽셀의 좌표 정보를 기반으로 상기 제1픽셀의 주변 좌표의 픽셀을 추출하고,
    상기 제1픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제2픽셀을 인식하면,
    상기 제1픽셀 및 상기 제2픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식하는 도면 상에서 외곽선 및 표제를 제거하는 방법.
  8. 제7항에 있어서,
    상기 인식된 검은색 픽셀에 연결된 픽셀을 모두 인식하는 단계에서는
    제n픽셀의 좌표 정보를 기반으로 상기 제n픽셀의 주변 좌표의 픽셀을 추출하고,
    상기 제n픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제n+1픽셀을 인식하면,
    상기 제n픽셀 및 상기 제n+1픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식하고,
    상기 제n+1픽셀의 좌표 정보를 기반으로 상기 제n픽셀의 주변 좌표의 픽셀을 추출하고,
    상기 제n+1픽셀의 주변 좌표의 픽셀 중 명도값이 기 설정된 임계치 값을 만족하는 적어도 하나의 제n+2픽셀을 인식하면,
    상기 제n픽셀, 상기 제n+1픽셀 및 상기 제n+2픽셀이 플랜트 도면의 외곽선 및 표제를 이루는 픽셀 중 하나인 것으로 인식하는 도면 상에서 외곽선 및 표제를 제거하는 방법. (여기서, n은 자연수)
  9. 제6항에 있어서,
    상기 최외각에서부터 검은색 픽셀을 인식하는 단계에서는
    상기 최외각에서부터 검은색 픽셀을 인식하기 전에 좌측, 우측, 상측 및 하측의 최외각을 이루는 픽셀들을 흰색으로 보정하는 도면 상에서 외곽선 및 표제를 제거하는 방법.
  10. 제9항에 있어서,
    상기 검출된 표제 영역과 외곽선 영역을 제거하는 단계는
    외곽선 및 표제를 이루는 것으로 인식된 픽셀들을 흰색으로 보정하는 도면 상에서 외곽선 및 표제를 제거하는 방법.
  11. 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    제1항, 제5항 내지 제10항 중 어느 한 항에 따른 도면 상에서 외곽선 및 표제를 제거하는 방법을 구현하기 위한 프로그램이 기록된 기록 매체.
KR1020190020147A 2019-02-20 2019-02-20 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템 KR102193403B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190020147A KR102193403B1 (ko) 2019-02-20 2019-02-20 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190020147A KR102193403B1 (ko) 2019-02-20 2019-02-20 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템

Publications (2)

Publication Number Publication Date
KR20200103205A KR20200103205A (ko) 2020-09-02
KR102193403B1 true KR102193403B1 (ko) 2020-12-21

Family

ID=72469289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190020147A KR102193403B1 (ko) 2019-02-20 2019-02-20 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템

Country Status (1)

Country Link
KR (1) KR102193403B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102488049B1 (ko) * 2020-11-04 2023-01-12 고등기술연구원연구조합 딥러닝 모델 기반 문자정보 자동인식 시스템 및 자동인식 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024836A (ja) 2000-03-29 2002-01-25 Matsushita Electric Ind Co Ltd ディジタルイメージから表題を抽出する方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892843A (en) * 1997-01-21 1999-04-06 Matsushita Electric Industrial Co., Ltd. Title, caption and photo extraction from scanned document images
US8596541B2 (en) * 2008-02-22 2013-12-03 Qualcomm Incorporated Image capture device with integrated barcode scanning
KR20130124659A (ko) * 2012-05-07 2013-11-15 순천대학교 산학협력단 객체 분리 시스템 및 방법
KR101396678B1 (ko) * 2014-01-22 2014-05-30 가천대학교 산학협력단 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시시스템 및 방법
KR101617948B1 (ko) * 2014-07-01 2016-05-18 네이버 주식회사 Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
KR101665396B1 (ko) * 2015-01-08 2016-10-13 이주성 파일의 도면화 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024836A (ja) 2000-03-29 2002-01-25 Matsushita Electric Ind Co Ltd ディジタルイメージから表題を抽出する方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이태경, 류승필, "건축도면 내의 영역정보추출", 한국정보과학회 학술발표논문집, 제27권 제2호(2000)*

Also Published As

Publication number Publication date
KR20200103205A (ko) 2020-09-02

Similar Documents

Publication Publication Date Title
US5201011A (en) Method and apparatus for image hand markup detection using morphological techniques
US5410611A (en) Method for identifying word bounding boxes in text
US5402504A (en) Segmentation of text styles
CA2077565C (en) Methods and apparatus for automatic modification of semantically significant portions of a document without document image decoding
JP3086702B2 (ja) テキスト又は線図形を識別する方法及びデジタル処理システム
Das et al. A fast algorithm for skew detection of document images using morphology
JPH04233676A (ja) セルフクロッキング記号形状コードのビットマップ画像空間表現を復号する方法
US8483499B2 (en) Image processing apparatus, image processing method, computer-readable medium and computer data signal
JPS61267177A (ja) 文書画像追加情報の蓄積方法
JPH04104324A (ja) プログラム作成装置
JP4904175B2 (ja) 低解像度のグリフ・イメージから高忠実度のグリフ・プロトタイプを作成するための方法および装置
JPH04233683A (ja) セルフクロッキング記号形状コードを使用した記録方法
KR0129505B1 (ko) 문자 데이터, 로고·삽화 데이터 입력출력장치와 입력출력방법
JP6924604B2 (ja) 表の線を追跡するためのロバスト法
CN114005123A (zh) 一种印刷体文本版面数字化重建系统及方法
CN112200117A (zh) 表格识别方法及装置
KR102315854B1 (ko) 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템
KR102193403B1 (ko) 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템
Shanjana et al. Offline recognition of malayalam handwritten text
Tran et al. A deep learning-based system for document layout analysis
JP3121466B2 (ja) 画像修正装置
CN114511853A (zh) 一种文字图像书写轨迹恢复效果判别方法
JP4698308B2 (ja) 文字入力装置、文字入力プログラム、および文字入力プログラムを記録する記録媒体
Tombre et al. Interpretation of engineering drawings
JP4930288B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant