KR102274081B1 - 딥러닝을 이용한 선박 도면 내 객체 인식 시스템 - Google Patents

Abstract

본 발명은 딥러닝을 이용한 선박 도면 내 객체 인식 시스템에 관한 것이다.
구체적으로는, 도면 내의 특정 객체(이미지 및 텍스트)에 대한 인식을 진행하여 목표 객체의 위치 및 수량 등에 대한 정보를 도면 내 가시화해주는 기능을 수행함으로써, 조선소, 선급 등 조선 해양 분야에서 선반 도면 관련 업무를 수행 시 도면 내 요소에 대한 검토 절차의 효율성을 높여주는, 딥러닝을 이용한 선박 도면 내 객체 인식 시스템에 관한 것이다.

Description

딥러닝을 이용한 선박 도면 내 객체 인식 시스템{COGNITION SYSTEM OF OBJECT IN SHIP'S DRAWING USING A DEEP-LEARNING}

본 발명은 딥러닝을 이용한 선박 도면 내 객체 인식 시스템에 관한 것이다.

구체적으로는, 도면 내의 특정 객체(이미지 및 텍스트)에 대한 인식을 진행하여 목표 객체의 위치 및 수량 등에 대한 정보를 도면 내 가시화해주는 기능을 수행함으로써, 조선소, 선급 등 조선 해양 분야에서 선반 도면 관련 업무를 수행 시 도면 내 요소에 대한 검토 절차의 효율성을 높여주는, 딥러닝을 이용한 선박 도면 내 객체 인식 시스템에 관한 것이다.

일반적으로 선박의 안전 규제 등의 충족 여부를 확인하기 위하여 선급은 선박 내에 각종 안전 및 구명 장비의 설치 위치와 수량을 살펴보아야 한다.

조선사는 최초에 도면을 제작할 때, 각종 장비를 IMO(International Maritime Organization)에서 정한 기준에 따라 알맞은 객체로 바꾸어 도면 내에 삽입한다.

선급은 이러한 정보가 담겨있는 도면을 선주나 조선소로부터 전달받게 되는데, 이 도면은 주로 PDF(Portable Document Format)나 JPEG(Joint Photograph Experts Group), PNG(Portable Network Graphics) 등의 형식으로 이루어져 있으며, 해당 형식으로 전달되면서 도면 제작 시에 입력했던 객체의 정보(위치, 수량, 종류 등)가 소실된다.

따라서, 선급은 각 장비(객체)가 명시된 설치 위치와 수량이 실제로 도면에 배치되어 있는지 다시 한 번 수작업으로 검사해야 하는 불편함을 감수해야 한다.

기존에는 각 객체의 위치와 수량을 검수자가 수작업으로 검토해왔다. 하지만 선박의 특성상, 이러한 도면은 크기가 방대하며 복잡하므로 업무의 단순성 대비 큰 노동력이 필요하며, 많은 시간이 소요된다.

특히, 도면 내 객체는 평균적으로 전체 도면 크기의 0.003% 이하로 매우 작을 뿐만 아니라 개수는 최소 800개 이상으로, 검토 업무의 효율을 떨어트린다.

또한, 검수자의 숙련도에 따라서 결과물의 차이가 존재하기 때문에 각 검수자들의 결과물을 수합하여 최종 검토를 다시 하는 등 다양한 추가 업무가 필요한 경우도 있다.

따라서, 상기 문제의 해결 방안으로 본 발명을 통하여 기존의 도면 검토 절차를 자동화하고자 하였다. 검수자가 도면을 소프트웨어에 입력하면 자동으로 도면 내 각 객체의 위치와 개수를 찾아 표의 형태로 출력해 제공하며, 추가적인 검토를 위해 사용자 편의성을 고려한 가시화 창을 구현하였다.

이를 통하면, 기존의 수작업 검토 방식의 번거로움을 개선하고 검수자의 업무 효율 향상을 이끌어 낼 수 있다.

시중에는 다양한 객체 인식 소프트웨어가 존재하고, 실제로도 객체 인식 딥 러닝 분야에 많은 연구가 이루어지고 있다. 하지만 이를 실제 업무에 사용하기 위해서는 딥 러닝 모델을 적절하게 학습해야 할 뿐만 아니라 이를 통해 결과를 가시화하는 방법에 대한 부분에서는 업무 종사자에 대한 편의가 크게 고려되지 않고 있는 것이 실상이다.

이에 본 출원인은, 객체 인식 도구만을 제공하는 타 프로그램과는 달리, 사용자가 직접 학습용 데이터를 생성하고 이를 통해 딥 러닝 모델을 학습 및 관리가 가능하기 때문에 각 업무에 알맞은 특화 인식 모델을 자체적으로 구성할 수 있는 기술을 제안한다.

더불어, 실제 도면 검토 업무를 맡고 있는 부서와의 긴밀한 협력을 통하여 도면 검토 시에 필요한 기능을 GUI 상에 구현하여 업무의 편의성을 증대하였다.

관련된 기술로서, 등록특허공보 제10-1655011호에는 가시화된 가변 스케일의 조선해양 구조물 건조공정의 계획 및 실행정보 비교분석 시스템이 기재되어 있다.

상기 기술은 선박 도면에 대한 정보 가공에 직접적으로 관련되지는 않지만, 가시화된 가변 스케일의 조선해양 구조물 건조공정의 계획 및 실행정보 비교분석 시스템으로서, 보다 상세하게는 조선해양 구조물의 건조공정 관리에서 기존의 텍스트로만 분류되던 공간자료 및 속성자료를 탈피하고, 디바이스에 출력되는 도면의 축척에 따라 단위 작업을 인식하고 단위 작업별로 구분되는 색상으로 작업진행률을 가시화하여 추가적인 조작없이도 진행률을 용이하게 파악할 수 있으며, 전체적인 공정정보와 각 블록별 세부 작업정보를 일목 요연하게 파악할 수 있고, 당초의 일정계획과의 전반적인 비교, 분석이 가능할 뿐만 아니라, 일정계획과 현재 작업진행률 상호간의 피드백이 가능한 가시화된 가변 스케일의 조선해양 구조물 건조공정의 계획 및 실행정보 비교분석 시스템에 관한 것이다.

반면, 일반적으로 딥 러닝 모델을 학습하기 위하여 다수의 학습용 데이터가 필요하다. 하지만 선박 도면은 그 자체의 크기가 매우 방대하며, 도면 내 객체의 수는 수백 개에 이른다.

또한 식별해야 할 객체의 클래스 역시 100종이 넘기 때문에 이를 학습용 데이터로 사용하기 위해 수작업으로 라벨링하는 과정은 많은 시간과 노동력을 낭비하게 된다.

따라서, 본 발명에서는 이러한 학습용 데이터를 실제 도면으로부터 직접 라벨링하지 않고, 임의 생성하여 학습용 데이터로 활용할 수 있는 기능을 제공한다.

실제 도면과 유사한 환경을 제공하기 위하여 생성 이미지에 객체의 밀집도, 스케일링, 노이즈 등을 적용하였고, 배치한 객체에 대한 라벨링 데이터를 생성하여 학습용 데이터를 생성할 수 있다. 사용자는 이러한 학습용 데이터를 직접 생성, 편집할 수 있으며 이를 통해 딥 러닝 모델을 학습하고 로그 기능을 통해 사용자 특화 모델을 저장 및 사용할 수 있다.

등록특허공보 제10-1655011호(2016.08.31. 등록) 공개특허공보 제10-2018-0106546호(2018.10.01.) 등록특허공보 제10-2006915호(2017.07.29. 등록) 공개특허공보 제10-2018-0107707호(2018.10.02.)

본 발명의 목적은 도면 내의 특정 객체(이미지 및 텍스트)에 대한 인식을 진행하여 목표 객체의 위치 및 수량 등에 대한 정보를 도면 내 가시화해주는 기능을 수행함으로써, 조선소, 선급 등 조선 해양 분야에서 선반 도면 관련 업무를 수행 시 도면 내 요소에 대한 검토 절차의 효율성을 높여주는, 딥러닝을 이용한 선박 도면 내 객체 인식 시스템을 제공하는데 있다.

상술된 목적을 달성하기 위하여 안출된 것으로, 본 발명에 따른 딥러닝을 이용한 선박 도면 내 객체 인식 시스템은, 사용자 플랫폼 및 도면분석 플랫폼;을 포함하되, 상기 도면분석 플랫폼은, 실제 선박도면에 기반한 학습데이터를 직접 생성하여 학습하는 것을 특징으로 한다.

이때, 상기 도면분석 플랫폼은,

학습데이터를 생성하는 학습데이터 생성부와; 상기 학습데이터 생성부를 통해 생성된 학습데이터를 Faster R-CNN의 Object Detection Model을 이용하여 학습하는 딥러닝부와; 학습데이터 생성을 위한 도면정보 혹은 실제 분석을 진행할 도면정보를 입력받는 도면입력부와; 상기 도면입력부로부터 입력된 도면정보와 딥러닝부에서 학습된 정보를 기반으로 도면의 객체인식과 텍스트인식을 수행하는 분석부와; 상기 분석부를 통해 분석된 도면정보를 사용자 플랫폼에서 가시화되도록 하는 가시화부;를 포함하여 구성된 것을 특징으로 한다.

또한, 상기 학습데이터 생성부는,

실제 도면으로부터 데이터를 취득하고, 취득된 도면데이터로부터 객체에 해당하는 객체정보를 도면이 가지는 객체테이블에서 추출하고, 객체정보를 제외한 베이스정보를 추출한 후, 상기 객체정보와 베이스정보를 무작위로 선정하여 병합함으로써 임의데이터를 생성하되,

임의데이터 상의 객체에 대한 라벨링을 적용하여 라벨링데이터를 생성한 후, 관리자의 최종 검토 및 편집을 통해 학습데이터로 생성하는 것을 특징으로 한다.

또한, 상기 도면입력부를 통해 도면정보를 입력받을 때 사용자 플랫폼은 도면의 배율을 지정할 수 있는 인터페이스를 제공하는 것을 특징으로 한다.

또한, 상기 객체인식은,

슬라이딩 윈도우(Sliding-window) 기법으로 분석될 도면정보 상의 객체를 인식한 후, NMS(Non-Maximum Suppression) 기법으로 인식된 객체의 중복확인 및 객체가 중복되지 않도록 제거하는 과정으로 이루어지는 것을 특징으로 한다.

또한, 상기 텍스트인식은,

OCR(Optical Character Recognition) 라이브러리인 Tesseract를 이용하되,

도면정보 상에서 Threshold값을 기준으로 픽셀을 분류하여 텍스트를 인식하고, LSTM(Long Short-Term Memory)를 이용하여 인식된 텍스트의 연결 관계를 분석한 후, 외곽선 추출 및 선, 단어 인식의 처리과정을 통해 인식된 텍스트의 특징을 추출하여 단어를 분류한 뒤, 딥러닝된 정보를 기반으로 분류된 텍스트가 유사한 단어정보를 비교하고, 최종적으로 단어를 결정하는 순서로 이루어지는 것을 특징으로 한다.

본 발명에 따른 딥러닝을 이용한 선박 도면 내 객체 인식 시스템에 의하면,

첫째, 도면 내의 특정 객체(이미지 및 텍스트)에 대한 인식을 진행하여 목표 객체의 위치 및 수량 등에 대한 정보를 도면 내 가시화해주는 기능을 수행함으로써, 조선소, 선급 등 조선 해양 분야에서 선반 도면 관련 업무를 수행 시 도면 내 요소에 대한 검토 절차의 효율성을 높일 수 있다.

둘째, 도면 검토 분야에서 객체 인식 딥 러닝 모델을 사용한 유일한 상용 소프트웨어로서, 딥 러닝 모델을 통해 도면 내의 객체를 단 시간 내에 높은 정확도로 인식할 수 있다.

부연하면, 본 발명에 따른 시스템을 사용하여 도면 15장(도면 내 평균 약 60종 클래스의 800개의 객체 존재)에 대한 정확도를 산출한 결과, 평균 정확도 약 85%의 정확도를 달성할 수 있었다(정확도 최대 93%). 또한 이 결과를 관련 업무에 특화된 GUI로 가시화하여 결과를 검토하거나 수정할 수 있는 등, 사용의 편의성도 확보하고 있다.

셋째, 학습용 데이터를 직접 사용자가 원하는 형식으로 생성하여 딥 러닝 모델을 학습시킬 수 있는 통합 관리 프로그램을 제공한다. 따라서 사용자가 능동적으로 인식 모델을 구성할 수 있으며 구성한 모델들을 별도로 관리하는 창을 구현하여 실용적으로 인식 모델을 활용할 수 있다. 이러한 소프트웨어의 범용성 덕분에 타 분야로의 확장도 가능한 장점도 가지고 있다.

부연하면, 개별 장비를 의미하는 도면 내 객체는 IMO에서 규정한 표현법을 따른다. 하지만 도면을 작성하는 조선사에 따라, 또는 직접 업무를 수행하는 사용자에 따라서 이러한 표현 방식은 크기가 바뀌거나 모양이 조금씩 변형되는 등의 같은 객체라도 무수히 많은 차이가 있다. 사람의 눈으로는 이러한 표현 방식 간의 차이를 인지할 수 있지만, 딥 러닝 모델은 위와 같은 변형의 요소를 학습시켜야 한다. 또한, IMO 규정의 개정에 따라 객체 표현 방법의 추가, 수정 등의 변경 사안이 발생하면 이전에 사용하던 인식 프로그램을 그대로 사용할 수 없어진다. 반면, 본 발명은 이러한 문제를 극복할 수 있다.

넷째, 본 발명은 객체 인식 딥 러닝 모델을 활용한 도면 인식 프로그램이며 학습용 데이터를 생성하여 딥 러닝 모델을 학습시키고, 해당 모델을 이용하여 도면 내 객체들을 인식하여 결과를 가시화해주는 일련의 기능들을 모두 제공한다. 상용 프로그램 중, 핵심 모듈을 개별 사용자가 직접 수정 및 관리할 수 있는 기능을 제공하는 소프트웨어는 드물며, 인식 관련 업무에 있어 최적화된 가시화 기능을 제공하고 있으므로 다양한 분야에서 널리 활용될 수 있을 것으로 예상된다.

도 1은 본 발명에 따른 딥러닝을 이용한 선박 도면 내 객체 인식 시스템을 블록도로 표현한 것이다.
도 2는 본 발명에 따른 딥러닝을 이용한 선박 도면 내 객체 인식 시스템의 가시화부를 이용해 사용자 플랫폼에 가시화되는 일예를 나타낸 것이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.

본 발명은 딥러닝을 이용한 선박 도면 내 객체 인식 시스템에 관한 것이다.

구체적으로는, 도면 내의 특정 객체(이미지 및 텍스트)에 대한 인식을 진행하여 목표 객체의 위치 및 수량 등에 대한 정보를 도면 내 가시화해주는 기능을 수행함으로써, 조선소, 선급 등 조선 해양 분야에서 선반 도면 관련 업무를 수행 시 도면 내 요소에 대한 검토 절차의 효율성을 높여주는, 딥러닝을 이용한 선박 도면 내 객체 인식 시스템에 관한 것이다.

도 1은 본 발명에 따른 딥러닝을 이용한 선박 도면 내 객체 인식 시스템을 블록도로 표현한 것이다.

첨부된 도면의 도 1에 따른 딥러닝을 이용한 선박 도면 내 객체 인식 시스템은, 사용자 접속 전용의 사용자 플랫폼과; 선박 도면의 딥러닝과 도면입력, 그리고 분석을 수행하는 도면분석 플랫폼;을 포함하여 구성된다.

이때, 플랫폼의 의미는 전용 S/W, H/W, 서버, 클라우드, 단말기, 단말기용 저장매체 등 다양하게 적용될 수 있다.

그리고 도면분석 플랫폼은, 학습데이터 생성부; 딥러닝부; 도면입력부; 분석부; 및 가시화부;를 포함하여 구성된다.

학습데이터 생성부는, 도면분석 플랫폼이 딥러닝 학습을 위해 사용할 학습데이터를 생성하는 기능을 한다.

이때, 일반적으로 딥러닝 모델을 학습하기 위하여 다수의 학습용 데이터가 필요하다. 하지만 선박 도면은 그 자체의 크기가 매우 방대하며, 도면 내 객체의 수는 수백 개에 이른다. 또한, 식별해야 할 객체의 클래스 역시 100종이 넘기 때문에 이를 학습용 데이터로 사용하기 위해 수작업으로 라벨링하는 과정은 많은 시간과 노동력을 낭비하게 된다.

따라서, 본 발명에서는 이러한 학습용 데이터를 실제 도면으로부터 직접 라벨링하지 않고, 임의 생성하여 학습용 데이터로 활용할 수 있는 기능을 제공한다. 실제 도면과 유사한 환경을 제공하기 위하여 생성 이미지에 객체의 밀집도, 스케일링, 노이즈 등을 적용하였고, 배치한 객체에 대한 라벨링 데이터를 생성하여 학습용 데이터를 생성할 수 있다. 사용자는 이러한 학습용 데이터를 직접 생성, 편집할 수 있으며 이를 통해 딥 러닝 모델을 학습하고 로그 기능을 통해 사용자 특화 모델을 저장 및 사용할 수 있다.

즉, 상기 학습데이터 생성부는, 실제 도면으로부터 데이터를 취득하고, 해당 도면데이터로부터 객체에 해당하는 객체정보를 도면이 가지는 객체테이블에서 추출하고, 객체정보를 제외한 베이스정보를 추출한 후, 상기 객체정보와 베이스정보를 무작위로 선정하여 병합함으로써 임의데이터를 생성한다.

그리고, 임의데이터 상의 객체에 대한 라벨링을 적용하여 라벨링데이터를 생성한 후, 관리자의 최종 검토 및 편집을 통해 학습데이터로 생성된다.

이를 위해, 상기 학습데이터 생성부는, 임의데이터 생성유닛과; 객체라벨링 생성유닛과; 임의데이터 편집유닛;을 포함하여 구성된다.

상술된 바와 같이, 학습데이터 생성부를 통해 생성된 학습데이터는 상기 딥러닝부를 통해 도면분석 플랫폼에 학습된다.

이때, 상기 딥러닝부는 학습데이터를 Faster R-CNN의 Object Detection Model을 이용하여 학습한다.

이러한 Faster R-CNN의 Object Detection Model은, 학습데이터에 포함된 객체정보의 위치를 탐색하여 판단하고, 해당 객체정보의 클래스가 어디에 속하는지 판단하는 방법이다.

또한, 도면입력부는, 상술된 학습데이터 생성부의 학습데이터 생성을 위한 도면정보 혹은 실제 분석을 진행할 도면정보를 입력받는 기능을 하며, 이러한 입력은 사용자 플랫폼과 연동하여 수행된다.

이때, 도면정보 입력시 사용자플랫폼은 도면의 배율을 지정하기 위한 인터페이스를 제공한다.

즉, 딥 러닝 모델은 학습 환경에 따라 인식 성능이 크게 좌우된다.

본 발명에서는 학습데이터를 입력할 때 딥 러닝 모델이 최적의 성능을 발휘할 수 있게 학습 환경을 제공하나, 실제 도면 내 객체의 크기가 학습용 데이터 내의 객체보다 훨씬 크거나 작을 경우엔 인식 정확도가 떨어지는 문제를 야기한다.

따라서, 이를 고려해주기 위하여 본 소프트웨어는 인식 과정에서 사용자가 직접 도면의 배율을 지정할 수 있게 해주는 간단한 GUI를 제공함으로써 업무의 부담을 최소한으로 줄이며 도면 인식 정확도를 향상시킬 수 있을 것으로 기대된다.

상기 분석부는, 도면입력부로부터 입력된 도면정보와 딥러닝부에서 학습된 정보를 기반으로 도면의 객체인식과 텍스트인식을 수행한다.

이때, 객체인식은 슬라이딩 윈도우(Sliding-window) 기법으로 분석될 도면정보 상의 객체를 인식하고, NMS(Non-Maximum Suppression) 기법으로 인식된 객체의 중복확인 및 객체가 중복되지 않도록 제거하는 과정으로 이루어진다.

이때, 슬라이딩 윈도우 기법이란, 도면정보를 일정한 픽셀크기(416px X 416 px)로 나누어 객체인식창이 이동할 간격을 결정하고, 객체인식창(윈도우)이 간격을 이동하면서, 객체를 탐지하는 것이다.

또한, 중복확인은 각 객체별로 객체인식창에 포함된 픽셀을 분석하여 중복을 확인하도록 한다.

또한, 텍스트인식은 OCR(Optical Character Recognition) 라이브러리인 Tesseract를 이용해 인식할 수 있다.

구체적으로는, 도면정보 상에서 Threshold값을 기준으로 픽셀을 분류하여 텍스트를 인식하고, LSTM(Long Short-Term Memory)를 이용하여 인식된 텍스트의 연결 관계를 분석한 후, 외곽선 추출 및 선, 단어 인식의 처리과정을 통해 인식된 텍스트의 특징을 추출하여 단어를 분류한 뒤, 딥러닝된 정보를 기반으로 분류된 텍스트가 유사한 단어정보를 비교하고, 최종적으로 단어를 결정하는 순서로 이루어진다.

이러한 상기 분석부를 통해 분석된 도면정보를 가시화부를 통해 사용자 플랫폼에서 가시화될 수 있다.

상기 가시화부를 통해 제공되는 GUI는 첨부된 도면의 도 2를 참조할 수 있다.

도 2는 본 발명에 따른 딥러닝을 이용한 선박 도면 내 객체 인식 시스템의 가시화부를 이용해 사용자 플랫폼에 가시화되는 일예를 나타낸 것이다.

먼저, 가시화부는, 딥러닝을 위한 학습데이터의 분석결과를 가시화하는 탭과; 실제 선박의 도면정보에 대한 분석결과를 가시화하는 탭;을 제공하는 가시화종류 선택 인터페이스①를 포함한다.

그리고, 도면정보에 대한 상세정보와 도면정보의 가시화를 각각 출력하는 도면정보 가시화종류 선택 인터페이스②를 더 포함한다.

아울러, 학습데이터 또는 실제 선박 도면정보를 분석한 객체들의 정보(클래스, 수량, 위치 등)를 리스트로 제공하며, 클릭시 해당 객체로 빠른 이동이 가능하도록 하는 객체정보 테이블 인터페이스③를 더 포함한다.

또한, 상기 객체정보 테이블 인터페이스의 일측으로는 결과를 도면정보 위에 가시화하며 클래스별로 각 객체에 번호를 부여하는 등 색인화 작업을 수행하여 가시화하는 도면 가시화 인터페이스④와; 상기 도면 가시화 인터페이스에서 가시화된 객체의 정보를 편집하는 기능을 제공하는 편집 인터페이스⑤와; 원하는 객체정보만 도면 가시화 인터페이스에서 가시화할 수 있도록 기능하는 레이어 선택 인터페이스⑥;를 더 포함할 수 있다.

또한, 도면에 도시되지 않았지만, 입력된 도면정보가 PDF 등인 경우, 분석부는 PDF 상에서 객체를 인식하고 텍스트를 인식할 수 있으므로, PDF에 기반한 도면정보를 이미지정보로 변환한 후 도면 이미지를 가시화할 수 있다. 이는 가시화부를 통해 수행된다.

이때, PDF를 JPG 등의 이미지정보로 변환하는 경우, DPI(Dots per Inch) 값을 입력할 수 있도록 인터페이스를 제공함으로써, 도면의 품질을 사용자가 직접 조절하도록 할 수 있다.

또한, 딥러닝부를 통해 학습되는 정보는 로그(log)로 저장되어 실시간 학습 그래프 및 진행상황을 가시화할 수 있다. 이는 가시화부를 통해 수행된다.

상기에서 도면을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도면의 구성에 한정되는 것이 아님은 자명하다.

Claims (6)

1. 사용자 플랫폼 및 도면분석 플랫폼;을 포함하되,
   상기 도면분석 플랫폼은,
   실제 선박도면에 기반한 학습데이터를 직접 생성하여 학습하되,
   학습데이터를 생성하는 학습데이터 생성부와;
   상기 학습데이터 생성부를 통해 생성된 학습데이터를 Faster R-CNN의 Object Detection Model을 이용하여 학습하는 딥러닝부와;
   학습데이터 생성을 위한 도면정보 혹은 실제 분석을 진행할 도면정보를 입력받는 도면입력부와;
   상기 도면입력부로부터 입력된 도면정보와 딥러닝부에서 학습된 정보를 기반으로 도면의 객체인식과 텍스트인식을 수행하는 분석부와;
   상기 분석부를 통해 분석된 도면정보를 사용자 플랫폼에서 가시화되도록 하는 가시화부;를 포함하여 구성되고,
   상기 학습데이터 생성부는,
   실제 도면으로부터 데이터를 취득하고, 취득된 도면데이터로부터 객체에 해당하는 객체정보를 도면이 가지는 객체테이블에서 추출하고, 객체정보를 제외한 베이스정보를 추출한 후, 상기 객체정보와 베이스정보를 무작위로 선정하여 병합함으로써 임의데이터를 생성하되,
   임의데이터 상의 객체에 대한 라벨링을 적용하여 라벨링데이터를 생성한 후, 관리자의 최종 검토 및 편집을 통해 학습데이터로 생성하며,
   상기 도면입력부를 통해 도면정보를 입력받을 때 사용자 플랫폼은 도면의 배율을 지정할 수 있는 인터페이스를 제공하는 것을 특징으로 하는, 딥러닝을 이용한 선박 도면 내 객체 인식 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 객체인식은,
   슬라이딩 윈도우(Sliding-window) 기법으로 분석될 도면정보 상의 객체를 인식한 후, NMS(Non-Maximum Suppression) 기법으로 인식된 객체의 중복확인 및 객체가 중복되지 않도록 제거하는 과정으로 이루어지는 것을 특징으로 하는, 딥러닝을 이용한 선박 도면 내 객체 인식 시스템.
   
6. 청구항 1에 있어서,
   상기 텍스트인식은,
   OCR(Optical Character Recognition) 라이브러리인 Tesseract를 이용하되,
   도면정보 상에서 Threshold값을 기준으로 픽셀을 분류하여 텍스트를 인식하고, LSTM(Long Short-Term Memory)를 이용하여 인식된 텍스트의 연결 관계를 분석한 후, 외곽선 추출 및 선, 단어 인식의 처리과정을 통해 인식된 텍스트의 특징을 추출하여 단어를 분류한 뒤, 딥러닝된 정보를 기반으로 분류된 텍스트가 유사한 단어정보를 비교하고, 최종적으로 단어를 결정하는 순서로 이루어지는 것을 특징으로 하는, 딥러닝을 이용한 선박 도면 내 객체 인식 시스템.

Images