KR20220052798A

KR20220052798A - 기계 학습용 이미지 데이터 생성 방법 및 그 장치

Info

Publication number: KR20220052798A
Application number: KR1020200163840A
Authority: KR
Inventors: 이규홍
Original assignee: 주식회사 팀솔루션
Priority date: 2020-10-21
Filing date: 2020-11-30
Publication date: 2022-04-28
Also published as: WO2022085859A1; KR102520133B9; US20230326121A1; KR102520133B1

Abstract

기계 학습용 이미지 데이터 생성 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따르면, 상기 방법은, 제조물에 대한 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 단계와 상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 단계와 상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계와 상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 포함할 수 있다.

Description

기계 학습용 이미지 데이터 생성 방법 및 그 장치{METHOD FOR GENERATING IMAGE DATA FOR MACHINE LEARNING AND APPARATUS THEREOF}

본 발명은 기계 학습용 이미지 데이터 생성 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 3차원 CAD 기반의 기계 학습용 이미지 데이터 생성 방법 및 그 장치에 관한 것이다.

최근, 기계 학습 기술이 인공지능 기반의 다양한 ICT 서비스 분야에 적극 활용되고 있으며, 그 적용 분야가 다양한 산업 분야로 확대되고 있다. 이러한 기계 학습 기술의 결과물 품질은 학습 대상에 대한 학습량에 의해 결정되므로, 기계 학습의 대상이 되는 빅 데이터의 확보는 결과물 품질 담보를 위한 중요 과제이다.

이 같은 기계 학습을 위한 빅 데이터는, 대중을 대상으로 하는 서비스업 분야의 경우, 이미지 확보가 용이한 편이다. 반면, 제조업의 경우, 보안 이슈로 신제품 출시 전 이미지 확보가 어렵고, 특히 그 제조 공정 과정의 이미지를 확보하는 것은 불가능하다.

특히, 선박과 같은 주문형 제조물의 경우, 선주의 주문에 따라 형상이 모두 제각각이어서 기존의 선박 이미지로 기계 학습하는 경우, 신규 건조 중인 선박의 제조와 무용한 데이터를 생산하게 된다. 나아가, 기존 선박의 이미지는 건조가 완료된 최종 상태의 정보만을 제공할 뿐, 선박의 제조 과정의 데이터를 반영하지 못하는 한계를 노출한다.

이 같은 문제점은, 제조업을 기계 학습 적용 분야에서 소외시키고, 제조 현장의 혁신을 저해한다.

한국공개특허 제 10-2020-0027885 호

본 발명이 해결하고자 하는 기술적 과제는, 기성품이 존재하지 않는 주문형 제조물의 제조 과정을 반영하는 학습용 이미지 데이터를 대량 생성하는 방법 및 그 장치를 제공하는 것이다. 구체적으로, 본 발명은 대형 블록이 적용되는 선박 건조 공정의 각 단계에서 산출되는 중간 산출물의 공정 진행상황을 식별하기 위한 기계 학습용 이미지 데이터를 생성하는 방법 및 그 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 3차원 CAD 기반의 기계 학습용 이미지 데이터를 대량 생성하는 방법 및 그 장치를 제공하는 것이다. 구체적으로, 본 발명은, 주문형 대형 제조물의 고유 속성이 반영된 3차원 CAD 데이터를 경량화하고, 경량화된 3차원 CAD 데이터를 기반으로 학습용 이미지 데이터를 생성하는 방법 및 그 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 제조물의 실제 공정을 모니터링하는 방법 및 그 장치를 제공하는 것이다. 구체적으로, 실제 공정의 세부 단계의 촬영 영상과, 생성된 3차원 CAD 기반 학습용 이미지 데이터에 대한 기계 학습 결과를 비교하여, 현재 실제 공정의 진행률을 모니터링할 수 있는 방법 및 그 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 기계 학습용 이미지 데이터 생성 방법은, 제조물에 대한 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 단계와 상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 단계와 상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계와 상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 이미지 데이터를 추출하는 단계는, 상기 제조물에 대한 3차원 CAD 데이터를, 상기 제조물의 식별정보와 상기 제조물을 포함하는 완성품에 대한 식별정보 및 상기 제조 공정의 각 단계에 대한 정보를 포함하는 제1 데이터 그룹에 매칭시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 이미지 데이터를 추출하는 단계는, 상기 제1 이미지 데이터를, 상기 제조물의 식별정보와 상기 제조물을 구성하는 중간 산출물에 대한 식별정보 및 상기 제조 공정의 복수의 단계 대비 상기 제1 단계의 공정 진척도에 대한 정보를 포함하는 제2 데이터 그룹에 매칭시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 복수의 자세 변환 이미지 셋을 생성하는 단계는, 상기 제1 이미지 데이터에 대하여, 미리 설정된 시점 변환을 수행하는 단계와 상기 시점 변환된 제1 이미지 데이터를 캡처링하는 단계를 포함할 수 있다.

일 실시예에서, 상기 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는, 상기 제1 단계에 대응되는 현장 정보를 저장하는 기간망 데이터베이스로부터, 상기 제1 단계에 대응되는 물리 값 정보, 환경 값 정보 및 노이즈 정보를 수신하는 단계와 상기 수신된 정보를 기초로, 상기 실사 데이터를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는, 상기 복수의 자세 변환 이미지 셋 및 상기 실사 데이터를 기초로, 렌더링 모델을 결정하는 단계와 상기 결정된 렌더링 모델을 기초로 상기 이미지 프로세싱을 수행하는 단계와 상기 적용된 실사 데이터 및 상기 결정된 렌더링 모델에 대한 정보를 포함하는 제3 데이터 그룹을 생성하는 단계와 상기 제3 데이터 그룹을 상기 제1 이미지 데이터에 대한 학습용 데이터 셋에 매칭시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 현장 정보는, 상기 제1 단계에 대응되는 공정 정보를 포함하고, 상기 방법은, 상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계와 상기 필터링된 현장 정보를 바탕으로, 상기 학습용 데이터 셋에 대한 강화 학습을 수행하는 단계를 포함하되, 상기 강화 학습을 수행하는 단계는, 상기 필터링된 현장 정보를 바탕으로 미리 등록된 강화 학습 모델을 통해 학습용 데이터에 적용할 모사 데이터를 생성하는 단계와 상기 모사 데이터를 상기 학습용 데이터 셋에 적용하는 단계를 포함할 수 있다.

일 실시예에서, 상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계는, 상기 공정 정보 중 공정 종류 및 공정의 진행 방향 중 적어도 하나를 기초로 미리 매칭된 노이즈 정보를 추출하는 단계와 상기 미리 매칭된 노이즈 정보를 기초로 상기 현장 정보를 필터링하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 이미지 데이터를 추출하는 단계는, 제조물에 대한 3차원 CAD 모델의 계층구조를 식별하는 단계와 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계와 상기 CAD 경량화 프로세스를 수행함에 따라, 상기 제조물에 대한 3차원 CAD 데이터를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계는, 상기 제조물의 제조 공정을 기초로, 상기 오브젝트 중 병합대상을 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 방법은, 상기 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제2 단계를 진행한 결과 생성되는 산출물에 대한 제2 이미지 데이터를 추출하는 단계와 상기 제2 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋을 생성하는 단계와 상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계와 상기 이미지 프로세싱을 통해, 상기 제2 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 기계 학습용 이미지 데이터 생성 장치 는, 하나 이상의 프로세서와 제조물에 대한 3차원 CAD 데이터 및 현장 정보를 수신하는 네트워크 인터페이스와 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리와 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 상기 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 오퍼레이션과 상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 오퍼레이션과 상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 오퍼레이션과 상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 오퍼레이션을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 기성품이 존재하지 않고 설계 도면만 존재하는 제조물에 대한 학습용 데이터를 생성함으로써, 기계 학습의 적용 범위를 확대할 수 있는 장점이 있다. 본 발명의 실시예에 따르면, 생산된 적이 없는 주문형 제조물에도 기계 학습의 적용을 가능케 함으로써, 제조 현장의 혁신을 극대화할 수 있게 된다.

또한, 본 발명의 다른 실시예에 따르면, 기계 학습된 이미지 데이터를 통해 제조 공정의 각 단계의 중간 산출물의 완성 정도를 확인함으로써, 공정의 각 단계별 진행률을 분석할 수 있는 효과가 있다.

또한, 본 발명의 또 다른 실시예에 따르면, 많은 컴퓨팅 자원이 요구되는 3차원 CAD 데이터를 경량화함으로써, 적은 자원으로 신속하게 기계 학습용 이미지 데이터를 대량 생성할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 기계 학습용 이미지 데이터 생성 시스템의 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 장치의 블록(Block)도이다.
도 3은 본 발명의 또 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 방법의 순서도이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성 소프트웨어 구조를 설명하기 위한 블록도이다.
도 5는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성을 위한 데이터베이스를 설명하기 위한 예시도이다.
도 6은 본 발명의 몇몇 실시예에서 참조되는, 학습용 이미지 데이터의 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서, 제조물은, 특정 공정을 통해 생산되는 것으로, 예를 들어, 선박에 적용되는 대형 블록일 수 있다. 이 경우, 선박은 완성품으로, 다양한 제조물 간의 조립 또는 결합으로 이뤄질 수 있다.

또한, 본 명세서에서, 중간 산출물은, 제조물을 생산하기 위한 공정의 각 단계가 수행됨에 따라 생산되는 산출물로서, 미완의 상태의 제조물 또는 제조물의 일부 부품일 수 있다. 예를 들어, 제조물이 대형 블록인 경우, 다양한 강판 및 구조물들의 조립 및 용접에 의해 대형 블록이 생산되고, 상기 강판 및 구조물 일부의 조립체는 중간 산출물일 수 있다. 상기 예에서 제조물의 생산에 10 단계의 공정을 거치는 경우, 1단계 내지 9단계 사이의 산출물이 중간 산출물일 수 있다.

이하, 기계 학습용 이미지 데이터 생성 시스템, 장치 및 방법은, 각각 이미지 데이터 생성 시스템, 이미지 데이터 생성 장치 및 이미지 데이터 생성 방법으로 칭해질 수 있다.

도 1은 본 발명의 일 실시예에 따른 기계 학습용 이미지 데이터 생성 시스템의 개념도이다. 도 1을 참조하면, 이미지 데이터 생성 시스템은, 3차원 CAD 데이터부(10), 복수개의 자세 데이터 생성부(20), 실사 데이터 반영 렌더링부(30), 모사 기반 학습부(40) 및 공정 모니터링부(50)를 포함할 수 있다.

시스템의 각 구성요소는 하드웨어 장치 또는 각 기능을 수행하는 소프트웨어를 저장하고 연산하는 하드웨어 장치일 수 있으며, 도 1에서 구분되어 도시된 구성요소들은 하나의 하드웨어 장치로 구성될 수도 있다.

다른 실시예로, 상기 시스템의 각 구성요소는 하나의 하드웨어 컴퓨팅 장치에 통합되어 각 기능을 수행하는 소프트웨어 모듈일 수도 있다.

3차원 CAD 데이터부(10)는, 예를 들어 제조물 또는 완성품의 설계 데이터를 제공하는 장치일 수 있으며, 특히 본 명세서에서 3차원 CAD 데이터는 복수개의 다양한 형상의 대형 블록의 조립에 의해 생산되는 선박의 3차원 설계도면 데이터(11)일 수 있다.

일 실시예에 따르면, 상기 선박의 3차원 설계도면 데이터(11)는 3차원 CAD 경량화 프로세싱된 데이터일 수 있다.

즉, 선박과 같은 제조물의 3차원 CAD 모델은 많은 수의 정점(Vertex), 파트(3D CAD 모델 계층 구조상의 오브젝트), 각 파트를 구성하는 재질(material), 속성정보(property) 등으로 구성되어 있다. 이는, 3차원 CAD 모델이 대부분 제품 생산을 목적으로 만들어진 것이어서, 정점 개수나 오브젝트 계층 구조로 나타나는 정밀도가 일반적으로 영화, 게임 등 엔터테인먼트 산업에서 생산되는 3D CAD 모델과 대비하여 매우 높기 때문이다.

이러한 높은 정밀도와, 각 오브젝트 별로 부여된 속성정보(길이, 직경, 재료 등)로 인한 과도한 데이터는, 3D CAD 모델이 고 사양의 디바이스에서만 구동되거나 저 사양의 디바이스에서는 제한적인 기능만 구현되는 문제를 초래한다.

이에, 본 발명의 일 실시예에 따른 이미지 데이터 생성 장치(100)는 제조물에 대한 3차원 CAD 모델의 계층구조를 식별하고, 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행할 수 있다.

상기 경량화 프로세스를 수행함에 따라, 이미지 데이터 생성 장치(100)는, 제조물에 대한 3차원 CAD 모델로부터 경량화된 선박의 3차원 설계도면 데이터(11)를 생성할 수 있다.

일 실시예에서, 상기 오브젝트 중 병합대상은 상기 제조물에 대한 제조 공정을 기초로 결정될 수도 있다. 즉, 이미지 데이터 생성 장치(100)는 선박의 제조 공정을 반영하기에 최소한 유지되어야 하는 구조물이 반영되도록 경량화를 수행할 수 있다. 상기 경량화 정도는, 이미지 데이터 생성 장치(100)의 사용자에 의해 설정될 수 있다.

3차원 CAD 데이터부(10)는, 선박의 3차원 설계도면 데이터(11)로부터 선박을 구성하는 블록 단위의 3차원 CAD 데이터를 추출할 수 있다.

제조물이 블록인 경우, 3차원 CAD 데이터부(10)는, 각 블록의 제조 공정에 포함된 세부 단계 별로 CAD 이미지 데이터를 추출할 수 있다. 3차원 데이터부(10)에서 A 블록에 대한 CAD 이미지 데이터가 추출된 경우를 예로 들어 설명한다.

3차원 CAD 데이터부(10)는, A 블록 및 A 블록을 구성하는 강판 및 구조물의 조립 과정이 진행되는 것을 CAD 이미지 데이터로 구현할 수 있다.

특히, A 블록의 제조 공정 총 3단계인 경우, 1번 단계에서 받침 강판이 놓이고, 2번 단계에서 좌측 기둥 강판이 받침 강판의 왼쪽에 조립되고, 3번 단계에서 우측 기둥 강판이 받침 강판의 오른쪽에 조립되는 순서로 제조되는 경우를 설명한다. 이 경우, 3차원 CAD 데이터부(10)는, A 블록에 대한 CAD 이미지 데이터로 최초 받침 강판만이 놓여 있는 CAD 이미지 데이터를 추출할 수 있고, 두번째로 받침 강판에 좌측 강판이 조립된 CAD 이미지 데이터를 추출할 수 있다. 3차원 CAD 데이터부(10)는, 마지막으로 받침 강판에 우측 강판까지 조립된 CAD 이미지 데이터를 추출할 수 있다.

추출된 블록 단위의 3차원 CAD 이미지 데이터는 복수개의 자세 데이터 생성부(20)로 제공된다.

블록 제조 공정에서 각 단계에 블록이 회전되거나 놓이는 방향, 작업 방향이 다양해질 수 있는데, 복수개의 자세 데이터 생성부(20)는, 블록에 대한 3차원 CAD 데이터에 대한, 다양한 자세 데이터(21)를 생성할 수 있다. 이때, 다양한 자세 데이터란, 이미지 데이터를 바라보는 시점을 다양하게 변환시키거나, 블록을 다양한 방향으로 회전시키는 경우 보이는 대상체를 3차원으로 표현하는 CAD 이미지 데이터이다. 이를 위해, 복수개의 자세 데이터 생성부(20)는 제조물 또는 중간 산출물의 이미지 데이터를 360도 회전 및 캡쳐하면서, 다양한 방향의 자세 데이터를 생성할 수 있다.

실사 데이터 반영 렌더링부(30)는, 복수의 자세 데이터에, 날씨, 시간대, 용접 불꽃과 같은 환경 정보, 사람, 설비 등의 노이즈 정보, 제조 공정이 진행되는 블록 재질, 도장 색상, 광원의 종류 및 위치 등 물리 정보 등과 같은 실사 데이터를 반영하여 다양한 방향의 자세 데이터에 대한 이미지 렌더링을 수행한다. 실사 데이터 반영 렌더링부(30)는, 현장 정보를 기록 또는 실시간 획득하는 기간망으로부터 실사 데이터를 획득할 수 있다. 여기에서 기간망이란, 현장의 설치된 설비, 카메라 및 광원의 종류와 위치, 공정 정보 등 다양한 현장 정보를 획득할 수 있는 네트워크 인터페이스일 수 있다. 즉, 기간망은 이미지 데이터 생성 시스템과 현장 정보를 연결하는 네트워크 인터페이스이다.

실사 데이터 반영 렌더링부(30)는 다양한 렌더링 모델을 저장하며, 특히, 렌더링 엔진을 통해, 실사 데이터의 속성을 고려하여 최적의 렌더링 모델을 자세 데이터에 적용할 수 있다. 또는 렌더링 엔진을 통해, 최적의 렌더링 모델을 조합하여 이미지 렌더링을 수행할 수도 있다.

모사 기반 학습부(40)는, 각 이미지의 변환된 자세 데이터에 해당하는 중간 산출물에 대하여, 제조 공정의 단계마다 변화를 적용한 이미지 데이터를 생성(41)할 수 있다. 다른 실시예에서, 모사 기반 학습부(40)는, 공정 진척률(43)에 해당하는 다수의 이미지 데이터를 촘촘한 시간 간격으로 생성할 수도 있다. 또 다른 실시예에서, 모사 기반 학습부(40)는, 공정 진척률(43)에 해당하는 이미지 데이터를 공정 특성 기반으로 설정된 시간 간격으로 생성할 수도 있다. 즉, 공정이 진행됨에 따라, 중간 산출물이 많이 발생하고 변화가 많은 이미지를 발생시키는 공정의 경우 이미지 데이터를 빈번하게 생성하고, 변화가 적은 공정의 경우 이미지 데이터를 최소한 생성할 수도 있다. 또 다른 실시예로, 각 이미지의 변환된 자세 데이터 중, 변화가 많은 방향의 이미지 데이터는 공정 진척률(43)에 해당하는 이미지 데이터를 빈번히 생성하되, 동일한 공정의 이미지라도 변환된 자세 데이터의 방향에서 이미지 변화가 적은 데이터의 경우, 이미지 데이터의 생성량을 최적화할 수도 있다.

이미지 생성 장치(100)는 상기 이미지 데이터 생성의 횟수, 생성 시간 간격에 대한 설정을 미리 저장할 수 있다.

모사 기반 학습부(40)는, 특히, 상기 3차원 CAD 데이터부(10)에서 추출된 제조 공정의 각 단계에 해당하는 이미지 데이터마다 상기 실사 데이터 반영 렌더링부(30)에 의해 실사 데이터가 반영된 상태에서, 기간망으로부터 현장의 설정 데이터를 적용할 수 있다. 구체적으로, 기간망의 카메라 센서가 향하는 특정 방향, 작업이 이뤄지는 블록의 면 등 현장의 한정적인 상황이 주석으로 이미지 데이터에 라벨링되고, 이를 기초로 학습될 수 있다.

이로써, 모사 기반 학습부(40)는, 3차원 CAD 데이터부(10)와 실사 데이터 반영 렌더링부(30)에서 추출되고 처리된 결과물인 이미지 데이터에 대하여, 기간망의 데이터베이스에 기반하여, 실제 현장의 데이터 속성을 만족하는 이미지 모사를 수행한다. 따라서, 학습 범위가 좁혀지고, 현장의 실제 이미지에 모사된 이미지 데이터가 생성될 수 있다.

상기 예에서, 각 공정 단계의 실사 데이터에 단계별 현장 정보가 반영될 수도 있다. 즉, 실사 데이터 반영 렌더링부(30)가 제조 공정의 현장에서 X 위치의 광원이 A 블록에 빛을 조사 중인 경우, 모사 기반 학습부(40)는, A 블록의 제조 공정의 각 단계에 X 위치의 광원이 빛을 조사하는 경우를 반영하여 CAD 이미지 데이터가 모사 할 수 있다. 이를 위해, 모사 기반 학습부(40)에, 본 발명이 속한 분야에서 널리 알려진 기계 학습 모델이 적어도 하나 적용될 수 있다.

모사 기반 학습부(40)는 특히, 상기 기계 학습 모델의 모델링 결과물로 실사 데이터에 현장 정보가 실시간 반영되고, 공정 진척률에 해당하는 조립 상태가 반영된 이미지 데이터를 생성할 수 있다. 공정 진척률은 제조 현장의 날씨나 시간대, 즉, 해당 단계가 시작되고 종료되는 상황의 현장 정보에 따라 모사되는 이미지 데이터의 결과가 달라질 수 있으며, 기계 학습 모델을 통해 이 같은 현장 정보가 반영된 이미지 데이터가 생성될 수 있다.

공정 모니터링부(50)는 상기 모사된 제조 공정의 각 단계 별 CAD 이미지 데이터를 현장의 실시간 제조 공정의 단계(51)의 실물 데이터와 비교할 수 있다.

공정 모니터링부(50)는 이로써, 제조 공정의 세부 단계가 수행되는지, 특히, 정해진 스케줄에 맞게 수행되는지, 또한, 실물 데이터가 모사된 제조 공정의 각 단계 별 CAD 이미지 데이터와 미리 설정된 유사도 범위를 유지하는지 판단할 수 있다.

도 2는 본 발명의 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 장치의 블록(Block)도이다.

도 2를 참조하면, 이미지 데이터 생성 장치(100)는 하나 이상의 프로세서(101), 외부 디바이스가 연결되거나, 외부 디바이스로부터 데이터를 수신하는 네트워크 인터페이스(102), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 컴퓨터 프로그램을 저장하는 스토리지(104)를 포함할 수 있다.

프로세서(101)는 이미지 데이터 생성 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), AP(Application Processor), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.

네트워크 인터페이스(102)는 이미지 데이터 생성 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 또한, 네트워크 인터페이스(102)는 외부 디바이스와의 연결을 제공할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈 및 접속 단자 중 적어도 하나를 포함하여 구성될 수 있다. 특히, 본 발명의 실시예에 따르면, 네트워크 인터페이스(102)는 완성품, 제조물 및 중간 산출물 중 적어도 하나의 3차원 CAD 이미지 데이터를 외부 디바이스로부터 획득할 수 있으며, 실사 데이터, 공정 데이터를 수신할 수도 있다.

여기에서 외부 디바이스는, 기간망에 속한 단말로서 현장 정보를 저장하는 서버 장치 및/또는 제조 현장의 각종 센서일 수 있다. 또한, 외부 디바이스는, 도 1의 이미지 데이터 생성 시스템에 포함된 장치 중 적어도 일부 장치일 수도 있다.

예를 들어, 기간망은, 소규모의 "구내 정보 통신망(LAN)" 또는 지선 구내 정보 통신망(branch LAN) 상호 간의 통신량을 전송하는 주요 전송로를 의미할 수 있으며, 본 발명의 실시예에서 특히, 제조 공정을 수행하는 기업의 내부 인트라넷과 상시 또는 비상시 연결되는 네트워크를 의미한다.

본 발명의 실시예에 따른 외부 디바이스는 이에 한정되지 않으며, 외부 디바이스는, 3차원 CAD 이미지 데이터를 제공하는 단말일 수 있다.

메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 방법들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 메모리(103)는 예를 들어 RAM일 수 있다.

스토리지(104)는 상기 하나 이상의 프로그램(105), 3차원 CAD 이미지 데이터(106)를 비임시적으로 저장할 수 있다. 하나 이상의 프로그램은, 3차원 CAD 프로그램을 포함할 수 있으며, PLM(Product Lifecycle Management) 시스템, ERP(Enterprise Resource Planning) 시스템과 데이터를 교환 및/또는 공유하기 위한 프로그램을 포함할 수 있다. 이 같은 프로그램은, 설계 공정을 수행하는 제조기업의 서버로부터 네트워크 인터페이스(102)를 통해 데이터를 공유 받기 위한 인터페이스를 제공할 수 있다.

또한, 도시되지 않았으나, 스토리지(104)는, 선박의 고유 정보, 블록의 호선번호를 저장할 수 있다. 또한, 스토리즈(104)는 선박 및/또는 블록의 공정 단계와 순서에 대한 정보, 예를 들어 세부조립절차서(DAP, Detailed Assembly Procedure)를 저장할 수 있으며, 각 공정 단계 별 실사 데이터를 저장할 수도 있다.

도 3에서 상기 하나 이상의 프로그램(105)의 예시로 이미지 데이터 생성 소프트웨어(105)가 도시되었다. 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 프로그램으로 칭해질 수도 있다.

또한, 도시되지 않았으나, 상기 하나 이상의 프로그램(105)은 3차원 CAD 모델의 경량화 프로세스를 수행하기 위한 프로그램을 포함할 수도 있다.

스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

제1 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 장치(100)에 의해 연산됨으로써, 3차원 CAD 이미지 데이터(106)에 기초하여, 제조물 및/또는 중간 산출물이 다양한 방향으로 시점이 변환된 이미지 데이터가 생성되도록 할 수 있다.

제2 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 장치(100)에 의해 연산됨으로써, 3차원 CAD 이미지 데이터(106)에 기초하여, 제조 공정의 현장 실사 데이터가 적용된 CAD 이미지 데이터가 생성되도록 할 수 있다.

제3 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는, 이미지 데이터 생성 장치(100)에 의해 연산됨으로써, 3차원 CAD 이미지 데이터(106)에 기초하여, 제조물의 제조 공정의 각 단계의 조립 과정이 반영된 CAD 이미지 데이터를 생성할 수 있다.

상기 제1, 제2 및 제3 실시예는, 상호 간 결합될 수 있으며, 3차원 CAD 이미지 데이터는 상기 실시예에서 생성된 이미지 데이터를 저장할 수도 있다.

예를 들어, A 블록에 대응되는 3차원 CAD 이미지 데이터(이하, A 블록 이미지 데이터)가 3차원으로 미리 설정된 각도마다 회전되고, 해당 이미지를 캡처링함으로써, 다양한 자세 데이터가 생성될 수 있다. 상기 회전 각도에 대한 설정은, 예를 들어, 수평방향 360도, 수직방향 180도의 각 1도씩의 회전으로 설정될 수 있다.

상기 예에서, 이미지 데이터 생성 장치(100)는 현장 데이터 중, 실사 데이터 및/또는 공정 데이터가 적용된 이미지 데이터를 생성할 수 있다.

실사 데이터는 예를 들어, 물리 값, 환경 값, 노이즈 정보를 포함할 수 있다. 또한, 실사 데이터는, 3차원 CAD 이미지 데이터가 블록의 이미지 데이터인 경우, 상기 블록의 공정에 적용되는 용접기계 이미지를 노이즈 정보로 포함할 수도 있다.

공정 데이터는, A 블록의 제조 공정의 각 단계의 종류, 스케줄, 중간 산출물의 레벨, 중간 산출물 간의 조립 관계, 조립 순서 중 적어도 하나의 정보를 포함할 수 있다.

이미지 데이터 생성 장치(100)는 상기 실사 데이터 및/또는 공정 데이터가 적용된 이미지 데이터를 생성할 수 있다. 상기 예에서, 실사 데이터와 공정 데이터는 상호 관련 정보가 생성될 수 있다. 일 예로, A블록의 제조 공정이 오른쪽 면의 용접인 경우, 이미지 데이터 생성 장치(100)는 상기 공정의 종류를 식별하고, 실사 데이터의 노이즈 정보인 용접기계 이미지가 상기 A블록의 오른쪽에 배치되도록 렌더링할 수 있다.

이를 위해, 이미지 데이터 생성 장치(100)는 선박 및/또는 블록의 공정에 대한 데이터를 네트워크 인터페이스(102)를 통해 기간망으로부터 획득할 수 있다. 예를 들어, 공정에 대한 데이터는 블록의 세부조립절차서(DAP)일 수 있다. 이미지 데이터 생성 장치(100)는 상기 블록 세부조립절차서에서 A블록의 오른쪽 용접을 공정의 종류를 식별하고, 노이즈 정보인 용접기계 이미지와 매칭하여 저장할 수 있다.

한편, 본 발명의 일 실시예에 따르면, 이미지 데이터 생성 소프트웨어(105)는 상기 제1, 제2 및 제3 실시예 중 적어도 하나에 의한 3차원 이미지 데이터(106)를 생성하기 위한 기계 학습 모델을 포함할 수 있다. 프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 상기 제1, 제2 및 제3 실시예 중 적어도 하나에 의한 3차원 이미지 데이터(106)가 생성될 수도 있다.

본 발명의 다른 실시예에 따르면, 기계 학습 모델은, 상기 이미지 데이터 생성 장치(100)와 분리된 외부 디바이스에 적용되어, 이미지 데이터 생성 장치(100)에서 렌더링된 이미지 데이터에 대한 학습이 외부 디바이스에서 수행될 수도 있다.

여기에서, 기계 학습 모델은, 인공 신경망을 포함할 수 있으며, 컨볼루션 신경망(convolution neural network: CNN), 오토 인코더(auto encoder), 피드포워드 신경망(feedforward neural network), 방사 신경망(radial basis function network), 코헨 자기조직 신경망(kohonen self-organizing network), 순환 신경망(RNN:recurrent neural network) 중 적어도 하나를 포함하여 구성될 수 있다.

예를 들어, 기계 학습 모델이 컨볼루션 신경망에 의한 것일 경우, 프로세서(101)에 의해 기계 학습 모델이 구동됨에 따라, 3차원 CAD 이미지 데이터(106)의 특징 값이 필터링되고, 컨볼루션 계산을 통해 여러 이미지 픽셀 중 특정한 값만 새롭게 취해진다. 이를 반복 학습함으로써, 원하는 특징점이 추출될 수 있다.

일 실시예에서, 상기 특징점은, 블록의 외관 상의 엣지 포인트일 수 있다.

축적된 특징점 추출 결과 데이터는, 기계 학습 모델을 위한 피드(Feed) 데이터로 활용될 수 있다.

본 발명의 실시예에 따르면, 상기와 같은 특징점 추출을 반복함으로써, 특정 방향에서 보이는 제조물 또는 중간 산출물을 제조 공정의 특정 단계와 연관 지을 수 있으며, 이미지 데이터 생성 장치(100)는 특정 중간 산출물의 조립 정도 즉, 공정 진척률을 판단할 수 있다.

이를 통해, 도 1에서 참조된 바와 같이, 공정이 모니터링될 수 있다.

조선소에서 건조된 선박은 제 각각의 크기와 형상으로 설계되며, 먼저 건조된 선박과 추후 건조된 선박의 형상이 동일한 경우는 매우 드물다. 나아가, 각 선박을 구성하는 블록의 크기와 형상 또한 고유의 값을 갖는 경우가 대부분이다. 이처럼, 기성품을 기준으로 대량 생산이 불가한 선박과 같은 제조물의 경우, 제조 공정의 진척률을 현장에서 파악하기가 어려운 경우가 많다. 특히, 선박 블록의 경우, 제조 공정의 단계마다 작업이 이뤄지는 방향과 면이 달라, 블록이 각 단계마다 다른 방향으로 뉘이게 된다.

이 경우, 현장의 관리자는 이 같은 기존의 선박 제조 경험이 많더라도, 신규 사이즈 및 형상의 블록이 특정 방향으로 뉘어 있으면, 세부 조립이 어디까지 이뤄졌는지 파악하기 어려운 문제가 있으나, 이 같은 문제를 해결하기 위해 과거 건조된 선박의 현장 사진을 대비해보더라도, 이 역시 현재 조립 중인 선박의 블록의 특정 방향의 조립 단계와 과거 현장 사진이 매칭되기는 어렵다.

반면, 본 발명의 실시예는, 3차원 CAD 이미지 데이터 기반으로 현장과 비교 가능한 이미지 데이터를 생성함으로써, 제조물의 제조 공정의 각 단계별 진척률을 분석할 수 있다. 특히, 본 발명의 이미지 데이터 생성 장치(100)는 현장의 실사 데이터를 모사하고, 공정 데이터가 반영되어 학습된, 각 단계별 조립 상태가 반영된 이미지 데이터를 생성할 수 있다.

도 3은 본 발명의 또 다른 실시예에 따른 기계 학습용 이미지 데이터 생성 방법의 순서도이다. 이하, 도 3의 각 단계는 이미지 데이터 생성 장치(100)에 의해 수행된다. 구체적으로, 도 2의 프로세서(101)에 의해 이미지 데이터 생성 소프트웨어(105)가 연산됨에 따라 각 단계가 수행된다. 특히, 본 발명의 실시예에 따른 3차원 CAD 이미지 데이터가 선박의 설계도면 데이터인 경우를 예로 들어 설명한다.

도 3을 참조하면, 이미지 데이터 생성 장치(100)는, 선박의 3차원 CAD 이미지 데이터를 획득할 수 있다(S10). 이미지 데이터 생성 장치(100)는, 네트워크 인터페이스(102)로부터 선박의 3차원 CAD 이미지 데이터를 공유 받거나, 외부 디바이스로부터 데이터를 획득 할 수 있다.

이미지 데이터 생성 장치(100)는, 제조 공정 중, 제1 단계의 산출물에 대한 이미지 데이터를 추출할 수 있다(S20). 구체적으로, 기간망의 데이터베이스로부터 선박 및/또는 블록의 세부조립절차서(DAP, Detailed Assembly Procedure)를 획득함으로써, 이미지 데이터 생성 장치(100)는 제1 단계의 산출물에 대응되는 이미지 데이터를 추출할 수 있다.

이미지 데이터 생성 장치(100)는, 추출된 이미지 데이터에 대한 자세 변환 이미지 셋을 생성할 수 있다(S30). 이미지 데이터 생성 장치(100)는 X, Y, Z의 3축 방향으로 제1 단계의 산출물에 대한 이미지 데이터를 회전시킴으로써 상기 자세 변환 이미지 셋을 생성할 수 있다. 이때 미리 설정된 각도 단위로 회전을 불연속적으로 수행하여 이미지 셋을 생성할 수도 있다.

다음으로, 이미지 데이터 생성 장치(100)는 상기 자세 변환 이미지 셋에 포함된 이미지 마다 실사 데이터를 적용하여 이미지 렌더링을 수행한다(S40).

이때, 실사 데이터의 종류는 현장 정보로 한정될 수 있으며, 이에 따라 기계 학습을 수행하기 위한 이미지 데이터 셋이 생성될 수 있다(S50). 이미지 데이터 생성 장치(100)는 기계 학습용 이미지 데이터 셋은, 현장 정보로 한정된 학습을 수행하게 될 수 있으며, 이로써 기계 학습의 범위가 제한되고 신속하게 제조 공정의 각 단계 별 모사 데이터를 생성할 수 있다.

본 발명의 실시예에 따르면, 단계(S40)에서, 이미지 데이터 생성 장치(100)는 공정 정보를 기초로 필터링함으로써 추출된 현장 정보를 바탕으로 생성된 모사 데이터를 생성하고, 자세 변환 이미지 셋에 포함된 이미지 마다 모사 데이터를 적용하여 이미지 렌더링을 수행할 수 있다.

도 4는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성 소프트웨어 구조를 설명하기 위한 블록도이다. 도 5는 본 발명의 몇몇 실시예에서 참조되는, 기계 학습용 이미지 데이터 생성을 위한 데이터베이스를 설명하기 위한 예시도이다.

도 4 및 도 5를 참조하여, 이미지 생성 소프트웨어에 의한 연산 과정 및 이를 위한 데이터베이스를 설명한다.

도 5를 참조하면, 로 캐드 데이터(rawCAD)(501)는, 선박에 대한 3차원 CAD 이미지 데이터일 수 있다. 또는, 특정 블록에 대한 3차원 CAD 이미지 데이터일 수 있다. 로 캐드 데이터(501)의 전부 또는 일부 데이터는, 기간망의 데이터베이스로부터 획득될 수 있으며, 고유 식별정보, 선박 식별정보, 블록 식별정보, 데이터 입력자 정보, 주석, 최종 갱신일 정보 등을 포함할 수 있다. 예를 들어, 고유 식별 정보는, 상기 선박 식별정보 및 블록 식별정보를 매핑하여 생성될 수 있다.

로 캐드 데이터(rawCAD)(501)는 피더 캐드 데이터(feederCAD)(502)에 연동될 수 있다. 피더 캐드 데이터(502)는, 블록의 제조 공정의 진척률 정보, 로 캐드 데이터 정보, 고유 식별정보, 피딩 되는 기계 학습 모델에 대한 정보, 피딩되는 경로에 대한 정보 등을 포함할 수 있다. 일 실시예에서, 피더 캐드 데이터(502)는 제조 공정 중 피더 캐드 데이터가 속하는 세부 단계에 대한 정보를 포함할 수도 있다.

도 4를 참조하면, CAD 데이터(511)는 입력 데이터(410)로서 렌더링 모듈(420)에 입력된다. 이때, CAD 데이터(511)는 피더 캐드 데이터(502)에 매칭되는 이미지 데이터일 수 있다. 이때, 입력 데이터(410)는 실사 데이터(413)를 포함할 수 있다.

실사 데이터(413)는, CAD 이미지 데이터를 실물 데이터에 가깝게 모사하기 위한 정보로서, 일 실시예에 따르면, 실사 데이터(413)은 물리 값(431), 환경 값(432), 노이즈(433) 및 공정 정보(435) 등의 현장 정보(430) 중 적어도 일부 데이터를 포함할 수 있다.

다른 실시예에서, 실사 데이터(413)는 현장 정보(430) 중 특정 데이터에 가중치를 부여하고, 조건에 따라 몇몇 데이터를 필터링하여 생성된 모사 데이터일 수도 있다.

예를 들어, 이미지 데이터 생성 장치(100)는 현장 정보를 수신하고, 이를 공정 정보를 기초로 필터링할 수 있다. 구체적으로, 이미지 데이터 생성 장치(100)는 공정 정보 중 공정 종류 및 공정의 진행 방향 중 적어도 하나를 기초로 미리 매칭된 노이즈 정보를 추출할 수 있으며, 상기 미리 매칭된 노이즈 정보를 기초로 상기 현장 정보를 필터링할 수 있다. 즉, 상술한 예시와 같이, A블록의 제조 공정이 오른쪽 면의 용접인 경우, 이미지 데이터 생성 장치(100)는 노이즈 정보인 오른쪽 배치된 용접기계가 미리 매칭되어 있는 현장 정보를 필터링할 수 있다. 이미지 데이터 생성 장치(100)는 필터링된 현장 정보를 기초로 모사 데이터를 생성할 수 있다.

또 다른 실시예에서, 현장 정보(430)의 특정 데이터에 가중치를 부여하는 가중치 함수 또는 몇몇 데이터에 대한 필터링을 수행하는 필터는 기계 학습을 통해 얻어질 수 있으며, 이러한 기계 학습은 문맥강화 모듈(423)에서 수행될 수 있다. 상기 가중치 값, 상기 필터링 알고리즘은, 상기 기계 학습을 통해 생성된 모사 데이터일 수 있다.

다시 도 5를 참조하면, 렌더 메소드(renderMethod)(503)는, 식별 정보, 피더 캐드 데이터 고유 정보, 적용하는 렌더링 모델에 대한 정보 등을 포함할 수 있다. 렌더 메소드(503)는, 피더 캐드 데이터(502)에 매칭되는 CAD 데이터(411) 및 실사 데이터(413)가 렌더링 모듈(420)에 입력된 후, 렌더링 엔진(421)에 의해 결정되고 입력 데이터(410)에 적용되는 렌더링 모델에 대한 정보를 포함할 수 있다.

이로써, 이미지 데이터 생성 장치(100)는, 기계 학습 모델(450)에 피드되는 이미지 데이터에 대한 CAD 데이터 정보, 실사 데이터 적용 값 및 적용된 렌더링 모델를 추적할 수 있다. 또한, 기계 학습 모델(450)의 강화학습 엔진(451)은, 도 5의 데이터베이스 간의 관계 및 각 테이블의 데이터를 바탕으로, 특정 현장 정보로 제한된 범위의 학습을 수행할 수 있다. 이에 따라, 기계 학습의 시간과 자원 활용을 최적화할 수 있는 장점이 있다. 출력된 이미지 데이터(460)은, 제조 공정의 현장에서, 공정 진척률 모니터링 과정에서 실물과 비교 대상 데이터로 활용될 수 있다.

다시 도 5를 참조하면, 트윈 모델(twinModel)(504)은 식별정보, 렌더링 모델에 대한 정보, 물리 값, 노이즈, 환경 값에 대한 식별정보를 포함할 수 있다. 즉, 트윈 모델(504)는 기계 학습 모델(450)에 입력되는 렌더링 이미지 데이터에 매칭될 수 있다.

도 4에서, CAD 데이터(410)와 함께, 실사 데이터(413)이 렌더링 모듈(420)으로 입력되면, 렌더링 엔진(421)이 이미지 프로세싱을 수행하고, 렌더링된 이미지가 출력된다. 이 과정에서 문맥강화 모듈(423)은 렌더링 엔진에 특정 현장 정보(430)의 데이터를 필터링 또는 가중치 부여함으로써 렌더링 엔진의 이미지 프로세싱에 관여한다.

문맥강화 모듈(423)은 적어도 하나의 기계 학습 모델을 포함하고, 현장 정보, 특히 공정 정보 기반의 학습된 값을 렌더링 엔진(421)의 결과물에 적용시킬 수 있다.

도 6은 본 발명의 몇몇 실시예에서 참조되는, 학습용 이미지 데이터의 예시도이다. 도 6을 참조하면, 이미지 데이터 생성 장치(100)는 블록을 구성하는 특정 구조체에 대한 3차원 CAD 이미지 데이터가 생성할 수 있다. 특히, 자세 변환을 통해, 각기 다른 방향의 이미지 데이터(601, 602, 603, 604)가 생성된 경우가 예로써 도시되었다. 상기 이미지 데이터(601, 602, 603, 604)는 완성되지 않은 조립 단계의 중간 산출물일 수도 있다. 이미지 데이터 생성 장치(100)는 다양한 방향에서 상기 구조체에 대한 이미지 데이터를 확인함으로써 제조 공정의 조립 단계에 대한 진척률을 판단할 수 있다.

지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치를 모두 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims

기계 학습용 이미지 데이터 생성 장치에 의해 수행되는, 기계 학습용 이미지 데이터 생성 방법으로서,
제조물에 대한 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 단계;
상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 단계;
상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계; 및
상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 1 항에 있어서, 상기 제1 이미지 데이터를 추출하는 단계는,
상기 제조물에 대한 3차원 CAD 데이터를, 상기 제조물의 식별정보와 상기 제조물을 포함하는 완성품에 대한 식별정보 및 상기 제조 공정의 각 단계에 대한 정보를 포함하는 제1 데이터 그룹에 매칭시키는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 1 항에 있어서, 상기 제1 이미지 데이터를 추출하는 단계는,
상기 제1 이미지 데이터를, 상기 제조물의 식별정보와 상기 제조물을 구성하는 중간 산출물에 대한 식별정보 및 상기 제조 공정의 복수의 단계 대비 상기 제1 단계의 공정 진척도에 대한 정보를 포함하는 제2 데이터 그룹에 매칭시키는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 1 항에 있어서, 상기 복수의 자세 변환 이미지 셋을 생성하는 단계는,
상기 제1 이미지 데이터에 대하여, 미리 설정된 시점 변환을 수행하는 단계; 및
상기 시점 변환된 제1 이미지 데이터를 캡처링하는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 1 항에 있어서, 상기 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는,
상기 제1 단계에 대응되는 현장 정보를 저장하는 기간망 데이터베이스로부터, 상기 제1 단계에 대응되는 물리 값 정보, 환경 값 정보 및 노이즈 정보를 수신하는 단계; 및
상기 수신된 정보를 기초로, 상기 실사 데이터를 생성하는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 5 항에 있어서, 상기 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계는,
상기 복수의 자세 변환 이미지 셋 및 상기 실사 데이터를 기초로, 렌더링 모델을 결정하는 단계;
상기 결정된 렌더링 모델을 기초로 상기 이미지 프로세싱을 수행하는 단계;
상기 적용된 실사 데이터 및 상기 결정된 렌더링 모델에 대한 정보를 포함하는 제3 데이터 그룹을 생성하는 단계; 및
상기 제3 데이터 그룹을 상기 제1 이미지 데이터에 대한 학습용 데이터 셋에 매칭시키는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 6 항에 있어서, 상기 현장 정보는, 상기 제1 단계에 대응되는 공정 정보를 포함하고,
상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계; 및
상기 필터링된 현장 정보를 바탕으로, 상기 학습용 데이터 셋에 대한 강화 학습을 수행하는 단계를 포함하되,
상기 강화 학습을 수행하는 단계는,
상기 필터링된 현장 정보를 바탕으로 미리 등록된 강화 학습 모델을 통해 학습용 데이터에 적용할 모사 데이터를 생성하는 단계; 및
상기 모사 데이터를 상기 학습용 데이터 셋에 적용하는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 7 항에 있어서, 상기 공정 정보는,
상기 제1 단계에 대응되는 공정의 종류, 공정의 진행 방향 및 상기 중간 산출물의 작업 대상 면에 대한 정보 중 적어도 하나를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 7 항에 있어서, 상기 공정 정보를 기초로, 상기 수신된 현장 정보를 필터링하는 단계는,
상기 공정 정보 중 공정 종류 및 공정의 진행 방향 중 적어도 하나를 기초로 미리 매칭된 노이즈 정보를 추출하는 단계; 및
상기 미리 매칭된 노이즈 정보를 기초로 상기 현장 정보를 필터링하는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 1 항에 있어서, 상기 제1 이미지 데이터를 추출하는 단계는,
제조물에 대한 3차원 CAD 모델의 계층구조를 식별하는 단계;
상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계; 및
상기 CAD 경량화 프로세스를 수행함에 따라, 상기 제조물에 대한 3차원 CAD 데이터를 생성하는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 10 항에 있어서, 상기 계층구조를 구성하는 오브젝트 중 병합대상으로 결정된 오브젝트를 경량화하는 CAD 경량화 프로세스를 수행하는 단계는,
상기 제조물의 제조 공정을 기초로, 상기 오브젝트 중 병합대상을 결정하는 단계를 포함하는,
기계 학습용 이미지 데이터 생성 방법.
제 1 항에 있어서, 상기 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제2 단계를 진행한 결과 생성되는 산출물에 대한 제2 이미지 데이터를 추출하는 단계;
상기 제2 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋을 생성하는 단계;
상기 제2 이미지 데이터의 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 단계; 및
상기 이미지 프로세싱을 통해, 상기 제2 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 단계를 더 포함하는,
기계 학습용 이미지 데이터 생성 방법.
하나 이상의 프로세서;
제조물에 대한 3차원 CAD 데이터 및 현장 정보를 수신하는 네트워크 인터페이스;
상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
상기 컴퓨터 프로그램은,
상기 3차원 CAD 데이터에 기초하여, 복수의 단계를 포함하는 상기 제조물의 제조 공정 중 제1 단계를 진행한 결과 생성되는 산출물에 대한 제1 이미지 데이터를 추출하는 오퍼레이션;
상기 제1 이미지 데이터를 기초로, 상기 산출물에 대한 복수의 자세 각각에 대응되는 복수의 자세 변환 이미지 셋을 생성하는 오퍼레이션;
상기 복수의 자세 변환 이미지 셋의 이미지 각각에 실사 데이터를 적용하여 렌더링 엔진을 통해 이미지 프로세싱을 수행하는 오퍼레이션; 및
상기 이미지 프로세싱을 통해, 상기 제1 이미지 데이터에 대한 학습용 데이터 셋을 생성하는 오퍼레이션을 포함하는,
기계 학습용 이미지 데이터 생성 장치.