KR102111667B1 - 3d 설계도면 데이터 처리를 통한 딥러닝용 2d 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템 - Google Patents
3d 설계도면 데이터 처리를 통한 딥러닝용 2d 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템 Download PDFInfo
- Publication number
- KR102111667B1 KR102111667B1 KR1020190090236A KR20190090236A KR102111667B1 KR 102111667 B1 KR102111667 B1 KR 102111667B1 KR 1020190090236 A KR1020190090236 A KR 1020190090236A KR 20190090236 A KR20190090236 A KR 20190090236A KR 102111667 B1 KR102111667 B1 KR 102111667B1
- Authority
- KR
- South Korea
- Prior art keywords
- design drawing
- data
- shape
- image data
- deep learning
- Prior art date
Links
- 238000013461 design Methods 0.000 title claims abstract description 278
- 238000013135 deep learning Methods 0.000 title claims abstract description 94
- 238000012545 processing Methods 0.000 title abstract description 3
- 238000007781 pre-processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 39
- 238000013136 deep learning model Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 10
- 230000001419 dependent effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/0031—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
3D 설계도면 데이터 처리를 통한 딥러닝용 2D 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템에 관한 것이며, 딥러닝용 2D 이미지 데이터셋 생성 장치는 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받는 데이터 입력부, 상기 입력 받은 3D 설계도면 데이터에 포함된 상기 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 상기 3D 설계도면 데이터를 전처리하는 데이터 전처리부 및 상기 전처리된 3D 설계도면 데이터를 이용하여 딥러닝용 2D 이미지 데이터셋을 생성하는 데이터셋 생성부를 포함할 수 있다.
Description
본원은 3D 설계도면 데이터 처리를 통한 딥러닝용 2D 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템에 관한 것이다.
일반적으로, 사물 판별을 위한 딥러닝 모형은 2D 이미지 데이터를 입력 데이터로 이용한다. 반면, 설계도면은 다양한 형식의 3D 파일로서, 이러한 설계도면의 인식과 판별을 위해서 딥러닝 모형을 이용하는 경우에는 2D 이미지 파일로의 변환이 필요하다.
다만, 단순 화면 캡처 방식을 이용하는 경우, 기준점을 포함한 형상 인식에 불필요한 점과 선으로 인해 설계도면상에서 형상의 위치가 정중앙에 맞지 않거나, 형상이 가려져서 정상적인 2D 이미지 데이터를 얻기 어렵다. 따라서, 딥러닝 모형에 이용 가능한 2D 이미지 데이터를 얻기 위해, 3D 설계도면 데이터에 대한 적절한 처리가 필요하다.
또한, 종래의 딥러닝 모형의 학습 이미지는 설계도면 이미지와는 상이한 일반적인 이미지이기 때문에 설계도면에 대한 인식 및 판별 성능이 떨어진다는 문제점이 있다. 따라서, 딥러닝 학습 효과를 향상시킬 수 있는 고품질 및 다량의 설계도면 이미지 학습 데이터 셋의 확보가 중요하다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2005-0058084호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 3D 설계도면 데이터로부터 형상을 명확하게 인식 및 판별할 수 있는 딥러닝용 2D 이미지 데이터셋을 생성하는 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 다각도의 3D 설계도면을 인식 및 판별할 수 있는 딥러닝용 2D 이미지 데이터셋 생성 장치 및 방법을 제공하려는 것을 목적으로 한다.
또한, 본원은 새롭게 입력되는 3D 설계도면 데이터에 대해 보다 유사성이 높은 유사설계도면 데이터를 제공할 수 있는 유사설계도면 검색 시스템을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치는 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받는 데이터 입력부; 상기 입력 받은 3D 설계도면 데이터에 포함된 상기 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 상기 3D 설계도면 데이터를 전처리하는 데이터 전처리부; 및 상기 전처리된 3D 설계도면 데이터를 이용하여 딥러닝용 2D 이미지 데이터셋을 생성하는 데이터셋 생성부를 포함할 수 있다.
또한, 상기 데이터 전처리부는, 상기 3D 설계도면 데이터에 포함된 상기 형상의 개수를 획득하는 형상 개수 획득부; 상기 획득된 형상의 개수가 복수개인 경우, 상기 형상 간의 독립 여부를 판단하는 독립 여부 판단부; 및 상기 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 상기 3D 설계도면 데이터로부터 상기 객체를 구성하지 않는 형상을 제거하는 형상 제거부를 포함할 수 있다.
또한, 상기 데이터셋 생성부는, 상기 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하는 캡처부; 및 상기 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 병합부를 포함할 수 있다.
또한, 상기 데이터셋 생성부는, 상기 복수의 2D 이미지 데이터의 순서를 조합하는 조합부를 더 포함하고, 상기 병합부는, 상기 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합할 수 있다.
한편, 본원의 일 실시예에 따른 유사설계도면 검색 시스템은, 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받는 데이터 입력부; 상기 입력 받은 3D 설계도면 데이터에 포함된 상기 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 상기 3D 설계도면 데이터를 전처리하는 데이터 전처리부; 상기 전처리된 3D 설계도면 데이터를 이용하여 딥러닝용 2D 이미지 데이터를 생성하는 데이터 생성부; 상기 생성된 2D 이미지 데이터를 이용하여 딥러닝 기반의 3D 설계도면 판별 모델을 추가 학습시키는 모델 학습부; 및 상기 추가 학습된 3D 설계도면 판별 모델을 이용하여, 새롭게 입력되는 3D 설계도면 데이터에 대한 유사설계도면 데이터를 제공하는 유사설계도면 제공부를 포함할 수 있다.
또한, 상기 데이터 전처리부는, 상기 3D 설계도면 데이터에 포함된 상기 형상의 개수를 획득하는 형상 개수 획득부; 상기 획득된 형상의 개수가 복수개인 경우, 상기 형상 간의 독립 여부를 판단하는 독립 여부 판단부; 및 상기 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 상기 3D 설계도면 데이터로부터 상기 객체를 구성하지 않는 형상을 제거하는 형상 제거부를 포함할 수 있다.
또한, 상기 데이터 생성부는, 상기 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하는 캡처부; 및 상기 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 병합부를 포함할 수 있다.
또한, 상기 데이터 생성부는, 상기 복수의 2D 이미지 데이터의 순서를 조합하는 조합부를 더 포함하고, 상기 병합부는, 상기 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합할 수 있다.
또한, 상기 3D 설계도면 판별 모델은 복수의 딥러닝 모델을 결합한 것일 수 있다.
한편, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법은, (a) 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받는 단계; (b) 상기 입력 받은 3D 설계도면 데이터로부터 상기 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 상기 3D 설계도면 데이터를 전처리하는 단계; 및 (c) 상기 전처리된 3D 설계도면 데이터를 이용하여 딥러닝용 2D 이미지 데이터셋을 생성하는 단계를 포함할 수 있다.
또한, 상기 (b) 단계는, (b1) 상기 3D 설계도면 데이터에 포함된 상기 형상의 개수를 획득하는 단계; (b2) 상기 획득된 형상의 개수가 복수개인 경우, 상기 형상 간의 독립 여부를 판단하는 단계; 및 (b3) 상기 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 상기 객체를 구성하지 않는 형상을 제거하는 단계를 포함할 수 있다.
또한, 상기 (c) 단계는, (c1) 상기 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하는 단계; (c2) 상기 복수의 2D 이미지 데이터의 순서를 조합하는 단계; 및 (c3) 상기 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 3D 설계도면 데이터를 전처리함으로써, 3D 설계도면 데이터로부터 형상을 명확하게 인식 및 판별할 수 있는 딥러닝용 2D 이미지 데이터 셋을 생성할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 2D 이미지 데이터로 병합 생성함으로써, 다각도의 3D 설계도면을 인식 및 판별할 수 있는 딥러닝용 2D 이미지 데이터 셋을 생성할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 전처리된 3D 설계도면 데이터를 기반으로 생성된 딥러닝용 2D 이미지 데이터셋을 추가 학습시킨 3D 설계도면 판별 모델을 이용함으로써, 새롭게 입력되는 3D 설계도면 데이터에 대해 보다 유사성이 높은 유사설계도면 데이터를 제공할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치의 구성을 나타내는 개략적인 블록도이다.
도 2는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 3D 설계도면 데이터가 전처리되기 전과 후의 윈도우의 예를 도시한 도면이다.
도 3은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 3D 설계도면 데이터가 전처리되기 전과 후의 윈도우의 다른 예를 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상이 복수의 방향에서 캡처된 복수의 2D 이미지 데이터의 예 및 이러한 복수의 2D 이미지 데이터가 병합되어 생성된 하나의 2D 이미지 데이터의 예를 도시한 도면이다.
도 5는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 복수의 2D 이미지 데이터가 병합되는 과정에서 각 2D 이미지 데이터의 순서가 달리 조합되는 예를 도시한 개념도이다.
도 6은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 복수의 2D 이미지 데이터가 병합되는 과정에서 각 2D 이미지 데이터의 순서가 달리 조합되어 생성된 2D 이미지 데이터셋의 예를 도시한 도면이다.
도 7은 본원의 일 실시예에 따른 유사설계도면 검색 시스템의 구성을 나타내는 개략적인 블록도이다.
도 8은 본원의 일 실시예에 따른 유사설계도면 검색 시스템이 작동되는 흐름을 개략적으로 도시한 흐름도이다.
도 9는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법에 대한 개략적인 동작 흐름도이다.
도 10은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법에 있어서, 3D 설계도면 데이터를 전처리하여 딥러닝용 2D 이미지 데이터셋을 생성하는 알고리즘을 개략적으로 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 3D 설계도면 데이터가 전처리되기 전과 후의 윈도우의 예를 도시한 도면이다.
도 3은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 3D 설계도면 데이터가 전처리되기 전과 후의 윈도우의 다른 예를 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상이 복수의 방향에서 캡처된 복수의 2D 이미지 데이터의 예 및 이러한 복수의 2D 이미지 데이터가 병합되어 생성된 하나의 2D 이미지 데이터의 예를 도시한 도면이다.
도 5는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 복수의 2D 이미지 데이터가 병합되는 과정에서 각 2D 이미지 데이터의 순서가 달리 조합되는 예를 도시한 개념도이다.
도 6은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 복수의 2D 이미지 데이터가 병합되는 과정에서 각 2D 이미지 데이터의 순서가 달리 조합되어 생성된 2D 이미지 데이터셋의 예를 도시한 도면이다.
도 7은 본원의 일 실시예에 따른 유사설계도면 검색 시스템의 구성을 나타내는 개략적인 블록도이다.
도 8은 본원의 일 실시예에 따른 유사설계도면 검색 시스템이 작동되는 흐름을 개략적으로 도시한 흐름도이다.
도 9는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법에 대한 개략적인 동작 흐름도이다.
도 10은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법에 있어서, 3D 설계도면 데이터를 전처리하여 딥러닝용 2D 이미지 데이터셋을 생성하는 알고리즘을 개략적으로 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 딥러닝 모델(모형)을 기반으로 3D 설계도면을 인식하고 판별함에 있어서, 딥러닝 모델(모형)의 입력 데이터로서 3D 설계도면 데이터를 직접 활용하기 어렵고, 3D 설계도면 데이터에 대한 학습용 데이터의 확보가 어려운 점을 해결하기 위해 3D 설계도면 데이터로부터 딥러닝 모델(모형)의 입력 데이터로서 활용할 수 있는 2D 이미지 데이터를 생성하는 기술에 관한 것이다.
도 1은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치의 구성을 나타내는 개략적인 블록도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치(100)는 데이터 입력부(110), 데이터 전처리부(120) 및 데이터셋 생성부(130)을 포함할 수 있다.
데이터 입력부(110)는 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받을 수 있다. 3D 설계도면 데이터(파일)는 형상, 형상 간의 연결관계, 형상 간의 상대적 위치관계 등에 관한 정보를 포함할 수 있다. 보다 구체적으로, 3D 설계도면 데이터는 형상의 정의 정보, 모양 정보, 치수 정보, 색깔 정보, 연결(종속) 정보(연결된 다른 형상의 정보, 연결된 위치 정보 등), 좌표 정보 등을 포함할 수 있다. 여기에서, 형상은 객체를 구성하는 형상 또는 기준점을 나타내는 형상을 포함할 수 있으나, 이에 제한되는 것은 아니고, 점, 선, 면 등으로 이루어지며 3D 설계도면 데이터가 윈도우(창, 화면)에 출력될 때 시각적으로 형태 또는 모양 중 적어도 하나를 갖는 것으로 인식되는 넓은 개념으로 이해할 수 있다.
데이터 전처리부(120)는 입력 받은 3D 설계도면 데이터에 포함된 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 3D 설계도면 데이터를 전처리할 수 있다. 여기에서, 객체는 장치, 부품 등을 의미할 수 있다. 3D 설계도면 데이터(3D 설계도면)는 3D 설계도면 데이터를 읽을 수 있는 프로그램 등을 통해 윈도우에 시각적으로 출력될 수 있고, 여기에서, 윈도우(창, 화면)는 3D 설계도면 데이터가 출력되는 시각적인 영역을 의미할 수 있다. 이 때, 3D 설계도면 데이터에 포함된 형상에 따라 객체를 구성하는 형상의 전체 또는 일부가 윈도우 상에 보이지 않을 수 있다. 예를 들어, 3D 설계도면 데이터에 기준점을 나타내는 형상이 포함되는 경우일 수 있으나, 이에 제한되는 것은 아니다. 기준점은 3D 설계도면 데이터에서 원점, 중앙점을 의미할 수 있고, 전체 형상에서 각 형상이 어느 위치에 있는지 표시하는 기준이 되는 점을 의미할 수 있다. 또한, 기준점은, 예를 들어, 원점과 x축, y축, z축을 표시한 선을 포함한 것일 수 있다. 3D 설계도면 데이터의 형상에 기준점을 나타내는 형상이 존재하는 경우, 원하는 형상(객체를 구성하는 형상)이 윈도우의 중앙에 위치하지 않을 수 있다. 이와 관련하여서는 도 2의 (a)를 참조하면 보다 쉽게 이해할 수 있다.
도 2는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 3D 설계도면 데이터가 전처리되기 전과 후의 윈도우의 예를 도시한 도면이다
보다 구체적으로, 도 2의 (a)는 데이터 전처리부(120)에 의해 3D 설계도면 데이터가 전처리되기 전의 윈도우의 일 예를 도시한 도면으로서, 윈도우의 좌측단에는 기준점을 나타내는 형상이 도시되어 있고, 윈도우의 우측단에는 객체를 구성하는 형상이 도시되어 있다. 도 2의 (a)를 참조하면, 3D 설계도면에 기준점이 존재하는 경우, 객체를 구성하는 형상이 윈도우의 중앙에 위치하지 않고, 일측(도 2의 (a)에서는 우측)에 치우칠 수 있다. 따라서, 객체를 구성하는 형상이 명확하게 보이지 않게 된다. 이러한 상태에서, 후술할 데이터셋 생성부(130)에 의해 2D 이미지 데이터(2D 이미지)가 생성되는 경우, 2D 이미지 데이터로부터 객체를 인식하거나 판별하기 어려울 수 있다. 예를 들어, 후술할 데이터셋 생성부(130)는 3D 설계도면 데이터가 출력되는 윈도우를 캡처하는 방식으로 2D 이미지 데이터를 생성할 수 있다. 따라서, 윈도우 상에서 중앙에 위치하지 않아 명확하게 보이지 않는 형상은 2D 이미지 상에서도 불명확하게 보이게 되어, 이러한 2D 이미지 데이터는 객체를 인식하거나 판별함에 있어서 활용도가 감소할 수 있다.
데이터 전처리부(120)는 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 3D 설계도면 데이터를 전처리할 수 있다. 도 2의 (b)는 데이터 전처리부(120)에 의해 3D 설계도면 데이터가 전처리된 후의 윈도우의 일 예를 도시한 도면으로서, 보다 구체적으로, 데이터 전처리부(120)에 의해 3D 설계도면 데이터에서 기준점을 나타내는 형상이 제거됨으로써 객체를 구성하는 형상이 윈도우의 중앙에 위치하게 된 경우를 도시하고 있다. 따라서, 객체를 구성하는 형상이 명확하게 보이게 되고, 이 경우, 후술할 데이터셋 생성부(130)에 의해 윈도우를 캡처하는 방식으로 생성된 2D 이미지 데이터로부터 객체를 인식하거나 판별하기 용이해진다.
이하에서는, 데이터 전처리부(120)의 구체적인 구성에 대해 상세히 설명하기로 한다.
본원의 일 실시예에 따르면, 데이터 전처리부(120)는 3D 설계도면 데이터에 포함된 형상의 개수를 획득하는 형상 개수 획득부(미도시)를 포함할 수 있다. 또한, 데이터 전처리부(120)는 획득된 형상의 개수가 복수개인 경우, 형상 간의 독립 여부를 판단하는 독립 여부 판단부(미도시)를 포함할 수 있다. 또한, 데이터 전처리부(120)는 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 3D 설계도면 데이터로부터 객체를 구성하지 않는 형상을 제거하는 형상 제거부(미도시)를 포함할 수 있다.
형상 개수 획득부는 3D 설계도면 데이터에 포함된 형상의 총 개수를 획득할 수 있다. 형상 개수 획득부는, 예를 들어, 3D 설계도면 데이터에서 형상을 정의하는 항목의 개수를 계산함으로써 형상의 개수를 획득할 수 있다. 예를 들어, 형상의 개수가 1개인 경우, 객체를 구성하는 형상이 1개 존재함을 의미할 수 있고, 형상의 개수가 2개인 경우, 객체를 구성하는 형상이 2개 존재함을 의미할 수도 있고, 객체를 구성하는 형상 1개와 객체를 구성하지 않는 형상 1개가 존재함을 의미할 수도 있으나, 이에 한정되는 것은 아니다. 즉, 형상의 개수가 단수인 경우, 3D 설계도면 데이터에 객체를 구성하는 형상만이 존재하므로, 후술할 형상 제거부에 의해 제거될 형상은 없게 되고, 형상의 개수가 복수인 경우, 3D 설계도면 데이터에 객체를 구성하지 않는 형상이 존재할 가능성이 있기 때문에, 후술할 독립 여부 판단부에 의해 추가 판단이 필요하게 된다.
독립 여부 판단부는 형상 개수 획득부에 의해 획득된 형상의 개수가 복수개인 경우, 형상 간의 독립 여부를 판단할 수 있다. 3D 설계도면 데이터에서 복수개의 형상은 서로 종속되어 있거나, 독립되어 있을 수 있다. 독립 여부 판단부는, 예를 들어, 3D 설계도면 데이터에서 각 형상에 관한 항목 중에 종속임을 나타내는 항목이 포함되어있는지 여부에 따라 형상 간의 종속 및 독립 여부를 판단할 수 있으나, 이에 한정되는 것은 아니다. 이 때, 종속되어 있는 형상은 다른 형상과 연결되어 하나의 형상을 이루는 것을 의미할 수 있다. 예를 들어, 하나의 장치가 여러 부품으로 이루어져 있는 경우, 각 부품을 나타내는 형상은 그와 연결되는 다른 부품을 나타내는 형상과 종속되어 있는 것으로 판단될 수 있으나, 이에 한정되는 것은 아니다. 반면, 독립되어 있는 형상은 다른 형상과 연결되어 있지 않은 것을 의미할 수 있다. 객체를 구성하지 않는 형상, 예를 들어, 기준점, 도면 작성 시 참고선(가선) 등을 나타내는 형상은 다른 형상과 연결되어 있지 않으므로, 독립되어 있는 것으로 판단될 수 있다. 다시 말해, 독립이라고 판단된 형상에는 기준점, 참고선(가선) 등의 객체를 구성하지 않는 형상이 포함될 수 있다.
형상 제거부는 3D 설계도면 데이터에 포함된 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 3D 설계도면 데이터로부터 객체를 구성하지 않는 형상을 제거할 수 있다. 여기에서, 객체를 구성하지 않는 형상은 객체의 형상을 인식함에 있어서 불필요한 점과 선을 의미할 수 있다. 따라서, 형상 제거부는 독립 여부 판단부에 의해 독립이라고 판단된 형상 중에 그 모양이 점 또는 선인 형상을 제거할 수 있다. 형상 제거부는, 예를 들어, 3D 설계도면 데이터에서 독립이라고 판단된 형상의 모양에 관한 항목이 점 항목 또는 선 항목인 경우, 해당 형상에 관한 항목을 삭제함으로써 3D 설계도면에서 기준점을 제거할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 도 2를 참조하면, 3D 설계도면 데이터에 객체를 구성하는 형상 외에 기준점을 나타내는 형상이 더 포함되는 경우, 형상 개수 획득부에 의해 획득된 형상의 개수가 복수이고, 독립 여부 판단부에 의해 기준점을 나타내는 형상이 독립이라고 판단되면, 형상 제거부는 독립이라고 판단된 형상 중 그 모양이 점인 형상에 해당하는 기준점을 나타내는 형상을 3D 설계도면 데이터로부터 제거할 수 있다. 그 결과, 기준점의 존재로 인해 윈도우의 중앙에 위치하지 못하던 객체의 형상이 기준점이 제거된 후, 윈도우의 중앙에 위치할 수 있게 된다.
도 3은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 3D 설계도면 데이터가 전처리되기 전과 후의 윈도우의 다른 예를 도시한 도면이다.
보다 구체적으로, 도 3의 (a)는 데이터 전처리부(120)에 의해 3D 설계도면 데이터가 전처리되기 전의 윈도우의 일 예를 도시한 도면으로서, 3D 설계도면 데이터에 객체의 형상 인식에 불필요한 노란색 선 형상이 포함되어 있는 것을 확인할 수 있다. 또한, 도 3의 (b)는 데이터 전처리부(120)에 의해 3D 설계도면 데이터가 전처리된 후의 윈도우의의 일 예를 도시한 도면으로서, 3D 설계도면 데이터로부터 노란색 선 형상이 제거된 것을 확인할 수 있다.
도 3을 참조하면, 3D 설계도면 데이터에 객체를 구성하는 형상 외에 객체의 형상 인식에 불필요한 노란색의 선 형상이 더 포함되는 경우, 형상 개수 획득부에 의해 획득된 형상의 개수가 복수이고, 독립 여부 판단부에 기준점을 나타내는 형상이 독립이라고 판단되면, 형상 제거부는 독립이라고 판단된 형상 중 그 모양이 선인 형상에 해당하는 노란색 선을 나타내는 형상을 3D 설계도면 데이터로부터 제거할 수 있다. 그 결과, 윈도우 상에 객체의 형상이 보다 명확하게 출력될 수 있다.
본원의 일 실시예에 따르면, 데이터 전처리부(120)는 3D 설계도면 데이터를 전술한 형상 개수 획득부, 독립 여부 판단부, 형상 제거부 등에 의해 전처리할 수 있고, 후술할 데이터셋 생성부(130)는 전처리된 3D 설계도면 데이터를 이용함으로써, 데이터 품질이 향상된(객체의 형상이 2D 이미지의 중앙에 명확하게 보이는) 딥러닝용 2D 이미지 데이터셋을 생성할 수 있다.
한편, 데이터 입력부(110)에 의해 입력되는 3D 설계도면 데이터는 3D 설계도면 파일을 의미할 수 있다. 데이터 전처리부(120)는 3D 설계도면 파일의 확장자(형식)를 소정의 확장자(형식)로 변경한 후에 3D 설계도면 파일을 전처리할 수 있다. 확장자는, 예를 들어, stp(step), stl, iges, sat, skp, dxf등의 3D 파일의 확장자를 넓게 포함할 수 있다. 소정의 확장자는 step일 수 있으나, 이에 제한되는 것은 아니다. 본원의 일 실시예에 따르면, 데이터 전처리부(120)는 입력된 3D 설계도면 파일의 확장자를 소정의 확장자로 통일시킴으로써, 각 확장자에 맞는 데이터 전처리를 할 필요 없이, 하나의 확장자에 대한 데이터 전처리를 일괄적으로 수행할 수 있어, 작업(데이터 전처리) 효율이 향상된다.
데이터셋 생성부(130)는 전처리된 3D 설계도면 데이터를 이용하여 딥러닝용 2D 이미지 데이터셋을 생성할 수 있다. 데이터셋 생성부(130)는, 예를 들어, 3D 설계도면 데이터가 시각적으로 출력되는 윈도우를 캡처하여 2D 이미지 데이터를 생성할 수 있으나, 이에 한정되는 것은 아니다. 데이터셋 생성부는 생성된 2D 이미지 데이터를 저장하여 복수의 2D 이미지 데이터로 이루어진 딥러닝용 2D 이미지 데이터셋을 생성할 수 있다. 데이터셋 생성부(130)에 의해 생성된 딥러닝용 2D 이미지 데이터셋은, 예를 들어, 딥러닝 기반의 3D 설계도면 판별(예측) 모델을 학습시키는 데에 활용될 수 있다. 여기에서, 3D 설계도면 판별 모델은 3D 설계도면의 2D 이미지 데이터로부터 객체를 인식 및 판별할 수 있다. 이 경우, 데이터셋 생성부(130)는 전처리된 3D 설계도면 데이터를 이용하여 2D 이미지 데이터 및 2D 이미지 데이터셋을 생성하기 때문에, 2D 이미지 상에서 객체의 형상이 보다 명확하게 인식될 수 있고, 나아가, 이러한 2D 이미지 데이터셋을 이용하여 학습된 딥러닝 기반의 3D 설계도면 판별 모델은, 3D 설계도면의 2D 이미지 데이터로부터 객체를 보다 정확하게 인식하고 판별할 수 있다.
본원의 일 실시예에 따르면, 데이터셋 생성부(130)는 캡처부(미도시) 및 병합부(미도시)를 포함할 수 있다.
캡처부는 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성할 수 있다. 캡처부는 전처리된 3D 설계도면 데이터가 출력되는 윈도우를 캡처할 수 있다. 이 때, 윈도우에는 객체를 구성하는 형상이 중앙에 위치할 수 있다. 따라서, 캡처부는 윈도우의 중앙에 위치한 객체를 구성하는 형상을 복수의 방향으로 회전시켜 캡처하여 복수의 2D 이미지 데이터를 생성할 수 있다. 여기에서, 복수의 방향은 x축의 양의 방향, y축의 양의 방향, z축의 양의 방향, x축의 음의 방향, y축의 음의 방향, z축의 음의 방향, y=x의 음의 방향을 포함할 수 있다.
병합부는 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합할 수 있다. 병합부는, 예를 들어, 복수의 2D 이미지 데이터를 일렬로 연결하여 하나의 2D 이미지 데이터로 병합할 수 있으나, 이에 한정되는 것은 아니다. 다른 예로, 병합부는, 복수의 2D 이미지 데이터를 바둑판식(행렬식)으로 배열하여 하나의 2D 이미지 데이터로 병합할 수도 있다.
3D 설계도면 데이터로부터 생성된 2D 이미지 데이터는 3D 형태의 일부분만이 표현되는 것이므로, 3D 상에서 같은 객체에 대해서도 바라보는 각도가 달라짐에 따라 2D로 인식되는 객체의 형상이 달라질 수 있다. 따라서, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 하나의 3D 설계도면 데이터에 대해 다양한 각도에서 캡처된 2D 이미지 데이터를 병합하여 딥러닝용 2D 이미지 데이터셋이 생성됨으로써, 이러한 데이터셋을 이용하여 학습된 딥러닝 기반의 3D 설계도면 판별 모델은 3D 설계도면의 임의의 일 각도의 2D 이미지 데이터가 입력되더라도 객체를 인식하고 판별할 수 있다.
도 4는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상이 복수의 방향에서 캡처된 복수의 2D 이미지 데이터의 예 및 이러한 복수의 2D 이미지 데이터가 병합되어 생성된 하나의 2D 이미지 데이터의 예를 도시한 도면이다.
도 4의 (a)를 참조하면, 캡처부는, 예를 들어, 7가지의 방향(각도)에서 캡처하여 복수의 2D 이미지 데이터를 생성할 수 있다. 도 4의 (b)를 참조하면, 병합부는, 예를 들어, 도4의 (a)에 도시된 복수의 2D 이미지 데이터를 일렬로 병합하여 하나의 2D 이미지 데이터를 생성할 수 있다.
또한, 본원의 일 실시예에 따르면, 데이터셋 생성부(130)는 조합부(미도시)를 더 포함할 수 있다. 조합부는 캡처부에 의해 생성된 복수의 2D 이미지 데이터의 순서를 조합할 수 있다. 또한, 병합부는 조합부에 의해 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합할 수 있다. 이와 관련하여서는 도 5 및 도 6을 참조하면 보다 쉽게 이해할 수 있다.
도 5는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 복수의 2D 이미지 데이터가 병합되는 과정에서 각 2D 이미지 데이터의 순서가 달리 조합되는 예를 도시한 개념도이다.
도 6은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치에 의해 복수의 2D 이미지 데이터가 병합되는 과정에서 각 2D 이미지 데이터의 순서가 달리 조합되어 생성된 2D 이미지 데이터셋의 예를 도시한 도면이다.
도 5를 참조하면, 조합부는, 예를 들어, 캡처부에 의해 제 1, 2, 3, 4, 5, 6, 7 방향에서 캡처된 2D 이미지 데이터를 각각 1, 2, 3, 4, 5, 6, 7이라고 할 경우, 7개의 2D 이미지 데이터를 화살표 아래에 도시된 6가지의 경우와 같이 조합할 수 있으나, 이에 한정되는 것은 아니다. 7개의 2D 이미지 데이터의 순서를 조합하는 경우, 그 경우의 수는 5040(7!)개로서, 본원의 일 실시예에 따르면, 하나의 3D 설계도면 데이터로부터 5040개의 딥러닝용 2D 이미지 데이터셋이 생성될 수 있다.
따라서, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치는, 딥러닝 모델을 학습시킴에 있어서 데이터의 품질뿐만 아니라, 데이터의 양도 중요하다는 측면에서, 충분한 양의 학습 데이터를 제공할 수 있다는 장점이 있다. 또한, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치는 다른 각도의 복수의 2D 이미지 데이터의 순서를 조합하여 하나의 2D 이미지 데이터로 병합한 2D 이미지 데이터셋을 생성할 수 있고, 이러한 2D 이미지 데이터셋을 이용하여 학습된 딥러닝 기반의 3D 설계도면 판별 모델은 학습 2D 이미지와 동일한 방식으로 생성되되, 각도의 순서가 다르게 병합된 2D 이미지 데이터가 입력되더라도 객체를 보다 효과적으로 인식하고 판별할 수 있다.
도 7은 본원의 일 실시예에 따른 유사설계도면 검색 시스템의 구성을 나타내는 개략적인 블록도이다.
본원의 일 실시예에 따른 유사설계도면 검색 시스템(10)은, 데이터 입력부(11), 데이터 전처리부(12), 데이터 생성부(13), 모델 학습부(14) 및 유사설계도면 제공부(15)를 포함할 수 있다.
데이터 입력부(11)는 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받을 수 있다.
데이터 전처리부(12)는 입력 받은 3D 설계도면 데이터에 포함된 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 3D 설계도면 데이터를 전처리할 수 있다. 데이터 전처리부(12)는 3D 설계도면 데이터에 포함된 형상의 개수를 획득하는 형상 개수 획득부(미도시)를 포함할 수 있다. 또한, 데이터 전처리부(12)는 획득된 형상의 개수가 복수개인 경우, 형상 간의 독립 여부를 판단하는 독립 여부 판단부(미도시)를 포함할 수 있다. 또한, 데이터 전처리부(12)는 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 3D 설계도면 데이터로부터 객체를 구성하지 않는 형상을 제거하는 형상 제거부를 포함할 수 있다.
데이터 생성부(13)는 전처리된 3D 설계도면 데이터를 이용하여 딥러닝용 2D 이미지 데이터를 생성할 수 있다. 데이터 생성부(13)는 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하는 캡처부(미도시)를 포함할 수 있다. 또한, 데이터 생성부(13)는 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 병합부(미도시)를 포함할 수 있다. 또한, 데이터 생성부(13)는, 복수의 2D 이미지 데이터의 순서를 조합하는 조합부(미도시)를 더 포함하고, 병합부는 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합할 수 있다.
유사설계도면 검색 시스템(10)의 데이터 입력부(11), 데이터 전처리부(12), 데이터 생성부(13)는 각각 딥러닝용 2D 이미지 데이터셋 생성 장치의 데이터 입력부(110), 데이터 전처리부(120), 데이터셋 생성부(130)에 대응되는 구성으로서, 데이터 입력부(110), 데이터 전처리부(120), 데이터셋 생성부(130)에 대해 앞서 자세히 설명된 내용이 유사설계도면 검색 시스템(10)에 대한 설명에도 동일하게 적용될 수 있으므로, 유사설계도면 검색 시스템(10)의 데이터 입력부(11), 데이터 전처리부(12), 데이터 생성부(13)에 대한 자세한 설명은 생략하기로 한다.
모델 학습부(14)는 생성된 2D 이미지 데이터를 이용하여 딥러닝 기반의 3D 설계도면 판별 모델을 추가 학습시킬 수 있다.
딥러닝 기반의 3D 설계도면 판별 모델은 3D 설계도면 데이터로부터 생성된 2D 이미지 데이터를 입력 받아, 딥러닝(Deel Learning) 알고리즘을 이용하여 3D 설계도면(구체적으로, 3D 설계도면에 포함된 객체)을 판별하는 모델을 의미한다. 딥러닝 알고리즘은 다층구조의 신경망(Neural Network)을 기반으로, 변수의 패턴이 미치는 영향을 가중치로 조절하며 학습하는 알고리즘이다. 신경망은 R-CNN, fast R-CNN, faster R-CNN 등을 사용할 수 있으나, 이에 한정되는 것은 아니다. 또한, 3D 설계도면 판별 모델은 사전에 학습된(Pre-trained) 모델을 활용할 수 있다. 다만, 사전에 학습된 이미지는 3D 설계도면 이미지가 아니므로, 모델 학습부(14)는 생성된 2D 이미지 데이터를 기초로 사전에 학습된 모델의 가중치를 이용하여 3D 설계도면 판별 모델을 추가 학습시킬 수 있다. 이는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 장치(100)에 의해 생성된 딥러닝용 2D 이미지 데이터셋을 이용하여 다량의 데이터를 학습시키는 것을 의미할 수 있다. 사전에 학습된 모델은, 예를 들어, VGGNet, ResNet, GoogleNet 등일 수 있으나, 이에 한정되는 것은 아니다. 각종 인공지능 알고리즘 경연대회에서 성능이 검증된 모델의 가중치를 적용하여 추가 학습시킴으로써, 추후 모델을 신속하게 최적화할 수 있다.
또한, 본원의 일 실시예에 따르면, 3D 설계도면 판별 모델은 복수의 딥러닝 모델을 결합한 것일 수 있다. 3D 설계도면 판별 모델은, 예를 들어, 앙상블 기법(Ensemble method)을 이용하여 복수의 딥러닝 모델을 결합할 수 있다. 앙상블 기법은 딥러닝 등의 여러 머신러닝 모델들을 결합하여 보다 강력한 모델을 만드는 기법이다. 일 예로, 3D 설계도면 판별 모델은, AutoEncoder 모델과 VGGNet 모델을 결합한 것일 수 있으나, 이에 한정되는 것은 아니다. AutoEncoder 모델은 입력 이미지의 특징을 추출하여 축소하고, 추출한 특징을 기반으로 입력 이미지를 재현 또는 복원하여 출력하는 모델이다. VggNet 모델은 컨볼루션 레이어(Convolutional layer)를 여러 층 쌓아 신경망의 깊이를 깊게 형성한 모델이다.
유사설계도면 제공부(15)는 추가 학습된 3D 설계도면 판별 모델을 이용하여, 새롭게 입력되는 3D 설계도면 데이터에 대한 유사설계도면 데이터를 제공할 수 있다. 데이터 입력부(11)는 새로운 3D 설계도면 데이터를 입력 받을 수 있다. 데이터 전처리부(12)는 입력 받은 3D 설계도면 데이터에 포함된 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 전처리할 수 있다. 또한, 데이터 전처리부(12)는 3D 설계도면 데이터에 포함된 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 객체를 구성하지 않는 형상을 제거할 수 있다. 여기에서, 객체를 구성하지 않는 형상은 객체의 형상을 인식함에 있어서 불필요한 점과 선을 의미할 수 있다. 객체를 구성하지 않는 형상은, 예를 들어, 기준점 또는 참고선(가선)일 수 있으나, 이에 한정되는 것은 아니다. 데이터 생성부(13)는 전술한 바와 같이 전처리된 3D 설계도면 데이터로부터 딥러닝용 2D 이미지를 생성할 수 있다. 데이터셋 생성부(13)는, 예를 들어, 3D 설계도면 데이터가 시각적으로 출력되는 윈도우를 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하고, 복수의 2D 이미지 데이터의 순서를 조합하여 하나의 2D 이미지 데이터를 생성할 수 있다. 유사설계도면 제공부(15)는 추가 학습된 3D 설계도면 판별 모델에 새롭게 입력 받은 3D 설계도면 데이터로부터 생성된 2D 이미지 데이터를 인가하고, 3D 설계도면 판별 모델을 통해 2D 이미지 데이터로부터 추출된 특징벡터와 기존에 학습된 2D 이미지 데이터셋으로부터 추출된 특징 벡터를 비교하여 유사도를 산출할 수 있다. 특징 벡터는 Sobel edge detection, Canny edge detection 등의 엣지 추출 알고리즘과 Harris corner detection, Shi&Tomasi corner detection 등의 코너(점) 추출 알고리즘이 사용될 수 있으나, 이에 제한되는 것은 아니다. 이 때, 유사도는 cos 유사도가 사용될 수 있으나, 이에 한정되는 것은 아니다. 또한, 유사설계도면 제공부(15)는 산출된 유사도가 높은 순으로 소정의 개수의 유사설계도면 데이터를 제공할 수 있다. 유사설계도면 데이터는 3D 설계도면 판별 모델에 학습되어 있는 3D 설계도면의 2D 이미지 데이터, 그와 매칭되는 3D 설계도면 데이터 등일 수 있으나, 이에 한정되는 것은 아니다. 유사설계도면 제공부(15)는 예를 들어, 소정의 유사도 순위를 갖는 학습된 2D 이미지 데이터를 윈도우에 출력하면서, 3D 설계도면의 분류된 카테고리명, 3D 설계도면 데이터의 파일명 등도 함께 출력할 수 있다. 또한, 유사설계도면 제공부(15)는 소정의 유사도 순위를 갖는 학습된 2D 이미지 데이터와 매칭되는 3D 설계도면 데이터를 다운로드 받거나, 3D viewer 등의 프로그램을 통해 3D 상태로 확인할 수 있는 형태로 제공할 수 있다.
본원의 일 실시예에 따른 유사설계도면 검색 시스템(10)은, 3D 설계도면 판별 모델을 학습시키는 딥러닝용 2D 이미지 데이터(데이터셋)를 저장하는 저장부를 더 포함할 수 있다. 딥러닝용 2D 이미지 데이터는 학습 과정에서 2D 이미지 데이터로부터 추출된 특징 벡터와 연계되어 저장될 수 있다. 또한, 딥러닝용 2D 이미지 데이터는 딥러닝용 2D 이미지 데이터가 생성된 기반이 되는 3D 설계도면 데이터와 연계되어 저장될 수 있다. 유사설계도면 제공부(15)는 저장부에 저장된 2D 이미지 데이터 또는 그와 연계되는 특징 벡터 및 3D 설계도면 데이터를 이용하여 유사설계도면 데이터를 제공할 수 있다.
도 8은 본원의 일 실시예에 따른 유사설계도면 검색 시스템이 작동되는 흐름을 개략적으로 도시한 흐름도이다.
도 8을 참조하면, 예를 들어, 본원의 일 실시예에 따른 유사설계도면 검색 시스템은 다음과 같이 작동할 수 있다. 먼저 데이터 입력부(11)를 통해 입력된 3D 설계도면 데이터는 데이터 전처리부(12)에 의해 불필요한 점 또는 선이 제거될 수 있다. 불필요한 점 또는 선은 기준점 등의 3D 설계도면의 객체의 형상을 인식하는 데에 불필요한 점 또는 선을 의미할 수 있다. 이후, 데이터 생성부(13)는 전처리된 3D 설계도면으로부터 7개의 이미지의 순서가 변경되며 이어붙여진 이미지셋(deepset, 딥러닝용 2D 이미지 데이터셋)을 생성할 수 있다. 여기에서, 7개의 이미지는 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 7개의 방향에서 캡처하여 생성된 2D 이미지 데이터를 의미할 수 있다. 7개의2D 이미지 데이터의 순서를 변경하여 하나의 2D 이미지 데이터 병합하는 경우, 이미지셋(deepset)은 하나의 3D 설계도면 데이터에 대해 총 5040(7!)개의 2D 이미지 데이터를 포함할 수 있게 된다. 모델 학습부(14)는 생성된 이미지셋(deepset)을 이용하여 사전에 학습된 모델의 가중치를 활용하여 3D 설계도면 판별 모델을 추가 학습시킬 수 있다. 이로 인해, 3D 설계도면 판별 모델이 업데이트되어 생성될 수 있다. 또한, 3D 설계도면 판별 모델을 학습시킨 이미지셋(deepset)으로부터 특징 벡터가 추출될 수 있다. 한편, 데이터 입력부(11)를 통해 새로운 3D 도면이 입력될 수 있다. 새로운 3D 도면 데이터에도 전술한 과정과 마찬가지로 데이터 전처리부(12)에 의해 불필요한 점 또는 선을 제거하는 과정이 적용된 후, 데이터 생성부(13)에 의해 전처리된 3D 설계도면 데이터로부터 이미지셋(deepset)이 생성될 수 있다. 이에 대한 설명은 전술하였으므로 생략한다. 전술한 과정에서 업데이트되어 생성된 3D 설계도면 판별 모델을 이미지셋(deepset)에 적용하면, 새로운 3D 도면에 대한 특징 벡터가 추출될 수 있다. 특징 벡터는 엄밀히 말하면, 이미지셋(deepset)으로부터 추출된 것이다. 유사설계도면 제공부(15)는 새로운 3D 도면으로부터 추출된 특징 벡터와 학습 시에 추출된 특징 벡터의 유사도를 산출하여 비교할 수 있다. 유사설계도면 제공부(15)는, 예를 들어, 유사도 상위 5개의 3D 설계도면을 추천(제공)할 수 있다. 이 때, 유사설계도면은 유사도 상위 5개의 3D 설계도면의 2D 이미지 데이터 또는 3D 설계도면 데이터를 제공할 수 있다.
이하에서는 상기에 딥러닝용 2D 이미지 데이터셋 생성 장치에 대해 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 9는 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법에 대한 개략적인 동작 흐름도이다.
도 9에 도시된 딥러닝용 2D 이미지 데이터셋 생성 방법은 앞서 설명된 딥러닝용 2D 이미지 데이터셋 생성 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 딥러닝용 2D 이미지 데이터셋 생성 장치(100)에 대하여 설명된 내용은 딥러닝용 2D 이미지 데이터셋 생성 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 9를 참조하면, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법은, 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받는 단계(S110), 입력 받은 3D 설계도면 데이터로부터 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 3D 설계도면 데이터를 전처리하는 단계(S120) 및 전처리된 3D 설계도면 데이터를 이용하여 딥러닝용 2D 이미지 데이터셋을 생성하는 단계(S130)를 포함할 수 있다.
3D 설계도면 데이터는 3D 설계도면 데이터(파일)는 형상, 형상 간의 연결관계, 형상 간의 상대적 위치관계 등에 관한 정보를 포함할 수 있다. 여기에서, 형상은 객체를 구성하는 형상 또는 기준점을 나타내는 형상을 포함할 수 있으나, 이에 제한되는 것은 아니고, 점, 선, 면 등으로 이루어지며 3D 설계도면 데이터가 윈도우(창, 화면)에 출력될 때 시각적으로 형태 또는 모양 중 적어도 하나를 갖는 것으로 인식되는 넓은 개념으로 이해할 수 있다.
단계 S120에서, 딥러닝용 2D 이미지 데이터셋 생성 장치(10)는, 입력 받은 3D 설계도면 데이터로부터 형상 중 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 3D 설계도면 데이터를 전처리할 수 있다. 여기에서, 객체는 장치, 부품 등을 의미할 수 있다. 3D 설계도면 데이터(3D 설계도면)는 3D 설계도면 데이터를 읽을 수 있는 프로그램 등을 통해 윈도우에 시각적으로 출력될 수 있고, 여기에서, 윈도우(창, 화면)는 3D 설계도면 데이터가 출력되는 시각적인 영역을 의미할 수 있다. 이 때, 3D 설계도면 데이터에 포함된 형상에 따라 객체를 구성하는 형상의 전체 또는 일부가 윈도우 상에 보이지 않을 수 있다. 예를 들어, 3D 설계도면 데이터에 기준점을 나타내는 형상이 포함되는 경우일 수 있으나, 이에 제한되는 것은 아니다.
단계 S120는 3D 설계도면 데이터에 포함된 형상의 개수를 획득하는 단계, 획득된 형상의 개수가 복수개인 경우, 형상 간의 독립 여부를 판단하는 단계 및 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 객체를 구성하지 않는 형상을 제거하는 단계를 포함할 수 있다.
예를 들어, 단계 S120 에서, 3D 설계도면 데이터에 객체를 구성하는 형상 외에 기준점을 나타내는 형상이 더 포함되는 경우, 획득된 형상의 개수는 복수이고, 기준점을 나타내는 형상은 독립이라고 판단된다. 따라서, 독립이라고 판단된 형상 중 그 모양이 점인 형상에 해당하는 기준점을 나타내는 형상은 3D 설계도면 데이터로부터 제거될 수 있다. 그 결과, 기준점의 존재로 인해 윈도우의 중앙에 위치하지 못하던 객체의 형상이 기준점이 제거된 후, 윈도우의 중앙에 위치할 수 있게 된다. 다른 예로, 3D 설계도면 데이터에 객체의 형상 인식에 불필요한 선이 더 포함되어 있는 경우, 객체의 형상 인식에 불필요한 선은 전술한 기준점을 제거하는 과정과 마찬가지로 제거될 수 있다. 이로 인해, 윈도우 상에 객체의 형상이 보다 명확하게 출력될 수 있다.
한편, 단계 S120에서, 딥러닝용 2D 이미지 데이터셋 생성 장치(10)는, 3D 설계도면 파일의 확장자(형식)를 소정의 확장자(형식)로 변경한 후에 3D 설계도면 파일을 전처리할 수 있다. 여기에서, 3D 설계도면 파일은 딥러닝용 2D 이미지 데이터셋 생성 장치(10)로 입력되는 3D 설계도면 데이터를 의미할 수 있다. 소정의 확장자는, 예를 들어, stp(step)일 수 있으나, 이에 한정되는 것은 아니다.
단계 S130는 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하는 단계를 포함할 수 있다. 또한, 단계 S130는 복수의 2D 이미지 데이터의 순서를 조합하는 단계를 포함할 수 있다. 또한, 단계 S130는 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 단계를 포함할 수 있다.
단계 S130에서 딥러닝용 2D 이미지 데이터셋 생성 장치(10)는, 예를 들어, 전처리된 3D 설계도면 데이터가 시각적으로 출력되는 윈도우를 캡처하여 2D 이미지 데이터를 생성할 수 있으나, 이에 한정되는 것은 아니다. 이 때, 윈도우에는 객체를 구성하는 형상이 중앙에 위치할 수 있다. 따라서, 딥러닝용 2D 이미지 데이터셋 생성 장치(10)는 윈도우의 중앙에 위치한 객체를 구성하는 형상을 복수의 방향으로 회전시켜 캡처하여 복수의 2D 이미지 데이터를 생성할 수 있다. 또한, 딥러닝용 2D 이미지 데이터셋 생성 장치(10)는, 예를 들어, 복수의 2D 이미지 데이터를 일렬로 연결하여 하나의 2D 이미지 데이터로 병합할 수 있으나, 이에 한정되는 것은 아니다. 또한, 딥러닝용 2D 이미지 데이터셋 생성 장치(10)는, 예를 들어, 7개의 방향(각도)에서 캡처된 복수의 2D 이미지 데이터를 일려로 배열하는 순서를 조합할 수 있다. 이 때, 그 경우의 수는 5040(7!)개로서, 하나의 3D 설계도면 데이터로부터 5040개의 딥러닝용 2D 이미지 데이터셋이 생성될 수 있다.
상술한 설명에서, 단계 S110 내지 S130은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 10은 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법에 있어서, 3D 설계도면 데이터를 전처리하여 딥러닝용 2D 이미지 데이터셋을 생성하는 알고리즘을 개략적으로 도시한 도면이다.
도 10을 참조하면, 본원의 일 실시예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법은, 예를 들어, 입력되는 3D 설계도면 파일의 형식(확장자)을 stp 형식으로 통일하고, 통일된 형식의 3D 설계도면 파일(데이터)에 대해 객체의 형상 인식에 불필요한 점 및 선을 제거하고, 3D 설계도면 데이터에 포함된 형상(shape)의 개수를 파악하고, 형상의 독립 여부를 판단하고, 형상의 개수가 2개 이상이면서 독립된 형상이 존재하는 것으로 판단된 경우, 객체의 형상 인식에 불필요한 점 및 선을 3D 설계도면 데이터로부터 제거하고, 제거된 3D 설계도면에 대해 7개의 각도로 캡처해 2D 이미지 데이터를 생성하고, 생성된 7개의 2D 이미지의 순서를 변경해 가며 이어붙인 이미지셋을 생성하는 것일 수 있다. 형상의 개수가 1개인 경우, 1개의 형상은 객체를 구성하는 형상일 것이므로, 객체를 구성하지 않는 형상은 존재하지 않고, 객체의 형상은 중앙에 위치할 것으로 판단되어, 이 경우, 3D 설계도면 데이터는 별도의 데이터 전처리 과정을 거치지 않을 수 있다. 또한, 독립인 형상이 없다고 판단되는 경우, 3D 설계도면 데이터에 포함된 모든 형상이 서로 연결되어 하나의 객체를 구성하게 되는 것을 의미할 수 있다. 이 때, 3D 설계도면 데이터 내에 객체의 형상 인식에 불필요한 점 및 선은 존재하지 않는 것으로 판단되어, 3D 설계도면 데이터는 별도의 전처리 과정을 거치지 않을 수 있다.
본원의 일 실시 예에 따른 딥러닝용 2D 이미지 데이터셋 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 딥러닝용 2D 이미지 데이터셋 생성 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 딥러닝용 2D 이미지 데이터셋 생성 장치
110: 데이터 입력부
120: 데이터 전처리부
130: 데이터셋 생성부
10: 유사설계도면 검색 시스템
11: 데이터 입력부
12: 데이터 전처리부
13: 데이터 생성부
14: 모델 학습부
15: 유사설계도면 제공부
110: 데이터 입력부
120: 데이터 전처리부
130: 데이터셋 생성부
10: 유사설계도면 검색 시스템
11: 데이터 입력부
12: 데이터 전처리부
13: 데이터 생성부
14: 모델 학습부
15: 유사설계도면 제공부
Claims (13)
- 유사설계도면 검색 시스템에 있어서,
적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받는 데이터 입력부;
상기 입력 받은 3D 설계도면 데이터에 포함된 상기 형상 중 객체를 구성하지 않는 형상을 제거함으로써 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 상기 3D 설계도면 데이터를 전처리하는 데이터 전처리부;
상기 전처리된 3D 설계도면 데이터를 이용하여 딥러닝 기반의 3D 설계도면 판별 모델을 학습시키기 위한 딥러닝용 2D 이미지 데이터셋을 생성하는 데이터셋 생성부;
상기 생성된 딥러닝용 2D 이미지 데이터셋을 기초로, 사전에 학습된 딥러닝 기반의 3D 설계도면 판별 모델의 가중치를 적용하여 상기 사전에 학습된 3D 설계도면 판별 모델을 추가 학습시키는 모델 학습부; 및
상기 추가 학습된 3D 설계도면 판별 모델을 이용하여, 새롭게 입력되는 3D 설계도면 데이터에 대한 유사설계도면 데이터를 제공하는 유사설계도면 제공부를 포함하되,
상기 객체를 구성하지 않는 형상은,
상기 객체의 형상을 인식함에 있어서 불필요한 점과 선을 의미하고,
상기 데이터셋 생성부는,
상기 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하는 캡처부; 및
상기 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 병합부,
를 포함하는 것인, 유사설계도면 검색 시스템. - 제1항에 있어서,
상기 데이터 전처리부는,
상기 3D 설계도면 데이터에 포함된 상기 형상의 개수를 획득하는 형상 개수 획득부;
상기 획득된 형상의 개수가 복수개인 경우, 상기 형상 간의 독립 여부를 판단하는 독립 여부 판단부; 및
상기 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 상기 3D 설계도면 데이터로부터 상기 객체를 구성하지 않는 형상을 제거하는 형상 제거부,
를 포함하는, 유사설계도면 검색 시스템. - 삭제
- 제1항에 있어서,
상기 데이터셋 생성부는,
상기 복수의 2D 이미지 데이터의 순서를 조합하는 조합부를 더 포함하고,
상기 병합부는,
상기 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 것인, 유사설계도면 검색 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 3D 설계도면 판별 모델은 복수의 딥러닝 모델을 결합한 것인, 유사설계도면 검색 시스템. - 유사설계도면 검색 시스템에 의해 수행되는 유사설계도면 검색 방법에 있어서,
(a) 적어도 하나의 형상을 포함하는 3D 설계도면 데이터를 입력 받는 단계;
(b) 상기 입력 받은 3D 설계도면 데이터로부터 상기 형상 중 객체를 구성하지 않는 형상을 제거함으로써 객체를 구성하는 형상이 윈도우의 중앙에 위치하도록 상기 3D 설계도면 데이터를 전처리하는 단계;
(c) 상기 전처리된 3D 설계도면 데이터를 이용하여 딥러닝 기반의 3D 설계도면 판별 모델을 학습시키기 위한 딥러닝용 2D 이미지 데이터셋을 생성하는 단계;
(d) 상기 생성된 딥러닝용 2D 이미지 데이터셋을 기초로, 사전에 학습된 딥러닝 기반의 3D 설계도면 판별 모델의 가중치를 적용하여 상기 사전에 학습된 3D 설계도면 판별 모델을 추가 학습시키는 단계; 및
(e) 상기 추가 학습된 3D 설계도면 판별 모델을 이용하여, 새롭게 입력되는 3D 설계도면 데이터에 대한 유사설계도면 데이터를 제공하는 단계를 포함하되,
상기 객체를 구성하지 않는 형상은,
상기 객체의 형상을 인식함에 있어서 불필요한 점과 선을 의미하고,
상기 (c) 단계는,
(c1) 상기 전처리된 3D 설계도면 데이터에 포함된 객체를 구성하는 형상을 복수의 방향에서 캡처하여 복수의 2D 이미지 데이터를 생성하는 단계;
(c2) 상기 복수의 2D 이미지 데이터의 순서를 조합하는 단계; 및
(c3) 상기 순서가 조합된 복수의 2D 이미지 데이터를 하나의 2D 이미지 데이터로 병합하는 단계,
를 포함하는 것인, 유사설계도면 검색 방법. - 제10항에 있어서,
상기 (b) 단계는,
(b1) 상기 3D 설계도면 데이터에 포함된 상기 형상의 개수를 획득하는 단계;
(b2) 상기 획득된 형상의 개수가 복수개인 경우, 상기 형상 간의 독립 여부를 판단하는 단계; 및
(b3) 상기 복수개의 형상 중 독립이라고 판단된 형상이 존재하는 경우, 상기 객체를 구성하지 않는 형상을 제거하는 단계,
를 포함하는 것인, 유사설계도면 검색 방법. - 삭제
- 제10항 또는 제11항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190090236A KR102111667B1 (ko) | 2019-07-25 | 2019-07-25 | 3d 설계도면 데이터 처리를 통한 딥러닝용 2d 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190090236A KR102111667B1 (ko) | 2019-07-25 | 2019-07-25 | 3d 설계도면 데이터 처리를 통한 딥러닝용 2d 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102111667B1 true KR102111667B1 (ko) | 2020-05-15 |
Family
ID=70678781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190090236A KR102111667B1 (ko) | 2019-07-25 | 2019-07-25 | 3d 설계도면 데이터 처리를 통한 딥러닝용 2d 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102111667B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102355934B1 (ko) * | 2021-06-24 | 2022-01-25 | 정기영 | 지능형 금형 가공 모니터링 장치 및 방법 |
| KR20220078286A (ko) | 2020-12-03 | 2022-06-10 | 김정수 | 건축물 관련 설계 도면 정보 제공 방법 및 디바이스 |
| KR102437917B1 (ko) * | 2021-05-28 | 2022-08-29 | 사단법인 한국금형산업진흥회 | 장비 운영 시스템 |
| KR20220149096A (ko) * | 2021-04-30 | 2022-11-08 | 주식회사 서연이화 | 자동차 부품의 성능 검증 결과를 예측하는 인공지능 모델의 학습 데이터를 생성하는 방법 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012043419A (ja) * | 2010-08-13 | 2012-03-01 | Fujitsu Ltd | 三次元モデル検索装置、三次元モデル検索方法、モデルライブラリ生成装置及びモデルライブラリ生成方法 |
| KR20150022158A (ko) * | 2013-08-22 | 2015-03-04 | (주)토탈소프트뱅크 | 기계제도 학습장치 및 학습방법 |
| KR101665396B1 (ko) * | 2015-01-08 | 2016-10-13 | 이주성 | 파일의 도면화 방법 |
| KR101879735B1 (ko) * | 2017-03-15 | 2018-07-18 | (주)넥셀 | 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법 |
-
2019
- 2019-07-25 KR KR1020190090236A patent/KR102111667B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012043419A (ja) * | 2010-08-13 | 2012-03-01 | Fujitsu Ltd | 三次元モデル検索装置、三次元モデル検索方法、モデルライブラリ生成装置及びモデルライブラリ生成方法 |
| KR20150022158A (ko) * | 2013-08-22 | 2015-03-04 | (주)토탈소프트뱅크 | 기계제도 학습장치 및 학습방법 |
| KR101665396B1 (ko) * | 2015-01-08 | 2016-10-13 | 이주성 | 파일의 도면화 방법 |
| KR101879735B1 (ko) * | 2017-03-15 | 2018-07-18 | (주)넥셀 | 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220078286A (ko) | 2020-12-03 | 2022-06-10 | 김정수 | 건축물 관련 설계 도면 정보 제공 방법 및 디바이스 |
| KR20220149096A (ko) * | 2021-04-30 | 2022-11-08 | 주식회사 서연이화 | 자동차 부품의 성능 검증 결과를 예측하는 인공지능 모델의 학습 데이터를 생성하는 방법 및 장치 |
| KR102557870B1 (ko) * | 2021-04-30 | 2023-07-21 | 주식회사 서연이화 | 자동차 부품의 성능 검증 결과를 예측하는 인공지능 모델의 학습 데이터를 생성하는 방법 및 장치 |
| KR102437917B1 (ko) * | 2021-05-28 | 2022-08-29 | 사단법인 한국금형산업진흥회 | 장비 운영 시스템 |
| KR102355934B1 (ko) * | 2021-06-24 | 2022-01-25 | 정기영 | 지능형 금형 가공 모니터링 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102111667B1 (ko) | 3d 설계도면 데이터 처리를 통한 딥러닝용 2d 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템 | |
| US20230045519A1 (en) | Target Detection Method and Apparatus | |
| Colombo et al. | 3D face detection using curvature analysis | |
| Dino et al. | Facial expression recognition based on hybrid feature extraction techniques with different classifiers | |
| CN108491848B (zh) | 基于深度信息的图像显著性检测方法和装置 | |
| CN111950424B (zh) | 一种视频数据处理方法、装置、计算机及可读存储介质 | |
| CN110705566B (zh) | 一种基于空间金字塔池的多模态融合显著性检测方法 | |
| CN111860414A (zh) | 一种基于多特征融合检测Deepfake视频方法 | |
| EP3885979A1 (en) | Method and apparatus for detecting liveness based on phase difference | |
| JP3914864B2 (ja) | パターン認識装置及びその方法 | |
| Käse et al. | Multi-view human activity recognition using motion frequency | |
| KR20220056707A (ko) | 얼굴의 정렬 형태에 강인한 얼굴 인식 방법 및 그 장치 | |
| CN110674685A (zh) | 一种基于边缘信息增强的人体解析分割模型及方法 | |
| TW201434010A (zh) | 具有在預處理層及一或多個更高層之間之多通道介面之影像處理器 | |
| JP5777390B2 (ja) | 情報処理方法及び装置、パターン識別方法及び装置 | |
| KR102068489B1 (ko) | 3차원 객체 생성 장치 | |
| EP3043315A1 (en) | Method and apparatus for generating superpixels for multi-view images | |
| JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
| Tonchev et al. | Comparative analysis of 3d face recognition algorithms using range image and curvature-based representations | |
| KR102112033B1 (ko) | 얼굴 군집화 기법을 이용한 영상 추출 장치 | |
| CN112258575B (zh) | 一种同步定位和地图构建中物体的快速识别方法 | |
| CN111353353A (zh) | 跨姿态的人脸识别方法及装置 | |
| Penate-Sanchez et al. | LETHA: Learning from high quality inputs for 3D pose estimation in low quality images | |
| Nousias et al. | $ H $-RANSAC, an algorithmic variant for Homography image transform from featureless point sets: application to video-based football analytics | |
| KR102643593B1 (ko) | 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |