KR20230066100A - 용접 시스템, 용접 방법, 용접 지원 장치, 프로그램, 학습 장치 및 학습완료 모델의 생성 방법 - Google Patents

Abstract

용접 시스템은 용접 장치와, 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하는, 서로 다른 종류의 복수의 센서와, 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 용접 장치에 의해 행해지는 용접의 이상도를 추정하는 추정부를 구비한다.

Description

용접 시스템, 용접 방법, 용접 지원 장치, 프로그램, 학습 장치 및 학습완료 모델의 생성 방법

본 발명은 용접 시스템, 용접 방법, 용접 지원 장치, 프로그램, 학습 장치 및 학습완료 모델의 생성 방법에 관한 것이다.

특허문헌 1에는, 카메라가 용접지, 그리고 리플 형상 및 필릿부의 기하 형상의 화상을 촬상하고, 프로세서가 화상을 수신하고, 관련지은 용접의 잠재적 결함을, MOC 용접부의 용융지의 화상 그리고 모크 용접부의 리플 형상 및 필릿부의 기하 형상의 화상과 함께 저장하는 데이터베이스와 통신하고, 데이터베이스 내에서 관련지은 잠재적 결함에 기초하여, 카메라로 촬상한 화상에 대응하는 용접 위치에 결함이 포함되는 집계 확률을 계산하는 기술이 개시되어 있다.

일본 특허공개 2017-106908호 공보

그런데, 용접 결함에는 표층부에 발생하는 것과 내부에 발생하는 것이 있지만, 카메라로 검사 가능한 용접 결함은 주로 표층부에 발생하는 것으로 한정된다. 또한, 아크 용접에서는 아크 광에 의해 용접부가 차폐되는 경우가 있기 때문에, 카메라의 화상만으로는 용접 품질을 고정밀도로 검사하는 것은 어렵다.

또한, 용접음 또는 용접 전원의 전류 혹은 전압의 파형은 용접의 불량에 의해 혼란이 발생하지만, 반드시 용접 결함의 발생과 대응지어지지 않기 때문에, 각각의 계측 데이터만으로도 용접 품질을 고정밀도로 검사하는 것은 어렵다.

본 발명은, 상기 과제를 감안하여 이루어진 것으로, 그 주요 목적은, 용접 품질의 예측 정밀도의 향상을 도모하는 것이 가능한 용접 시스템, 용접 방법, 용접 지원 장치, 프로그램, 학습 장치 및 학습완료 모델의 생성 방법을 제공하는 데 있다.

상기 과제를 해결하기 위해서, 본 발명의 일 양태의 용접 시스템은 용접 장치와, 상기 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하는, 서로 다른 종류의 복수의 센서와, 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정하는 추정부를 구비한다.

또한, 본 발명의 다른 양태의 용접 방법은, 서로 다른 종류의 복수의 센서에 의해, 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하고, 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정한다.

또한, 본 발명의 다른 양태의 용접 지원 장치는, 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하는 서로 다른 종류의 복수의 센서에 의해 생성된 복수의 검출 데이터를 취득하는 취득부와, 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정하는 추정부를 구비한다.

또한, 본 발명의 다른 양태의 프로그램은, 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하는 서로 다른 종류의 복수의 센서에 의해 생성된 복수의 검출 데이터를 취득하는 것 및 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정하는 것을 컴퓨터에 실행시킨다.

또한, 본 발명의 다른 양태의 학습 장치는, 서로 다른 종류의 복수의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터와, 용접이 정상인지 이상인지를 나타내는 라벨을 포함하는 학습용 데이터 세트를 취득하는 취득부와, 상기 복수의 학습용 데이터를 입력 데이터로 하고, 상기 라벨을 교사 데이터로 해서, 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 검출 데이터로부터 용접의 이상도를 추정하기 위한 학습완료 모델을 생성하는 학습부를 구비한다.

또한, 본 발명의 다른 양태의 학습완료 모델의 생성 방법은, 서로 다른 종류의 복수의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터와, 용접이 정상인지 이상인지를 나타내는 라벨을 포함하는 학습용 데이터 세트를 취득하고, 상기 복수의 학습용 데이터를 입력 데이터로 하고, 상기 라벨을 교사 데이터로 해서, 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 검출 데이터로부터 용접의 이상도를 추정하기 위한 학습완료 모델을 생성한다.

본 발명에 따르면, 용접 품질의 예측 정밀도의 향상을 도모하는 것이 가능하게 된다.

도 1은 용접 시스템의 구성예를 도시하는 도면이다.
도 2는 용접 장치에 의한 용접예를 도시하는 도면이다.
도 3은 학습용 데이터 세트를 설명하기 위한 도면이다.
도 4는 용접 중의 용접부를 촬상한 화상의 예를 나타내는 도면이다.
도 5는 용접음의 스펙트로그램의 예를 나타내는 도면이다.
도 6은 용접 전원의 전압 및 전류의 예를 나타내는 도면이다.
도 7은 단위 시간당 단락 횟수의 예를 나타내는 도면이다.
도 8은 학습완료 모델의 예를 나타내는 도면이다.
도 9는 학습 페이즈의 수순예를 도시하는 도면이다.
도 10은 추론 페이즈의 수순예를 도시하는 도면이다.
도 11은 용접 지원 장치의 다른 구성예를 도시하는 도면이다.
도 12는 학습용 데이터 세트의 다른 예를 나타내는 도면이다.
도 13은 학습완료 모델의 다른 예를 나타내는 도면이다.
도 14는 추론 페이즈의 다른 수순예를 도시하는 도면이다.
도 15는 학습 페이즈의 또 다른 수순예를 도시하는 도면이다.
도 16은 용융지 형상의 시간 변화예를 도시하는 도면이다.
도 17은 학습완료 모델의 또 다른 예를 도시하는 도면이다.
도 18은 추론 페이즈의 또 다른 수순예를 도시하는 도면이다.

이하, 본 발명의 실시 형태에 대해서, 도면을 참조하면서 설명한다.

[제1 실시 형태]

(1) 시스템 개요

도 1은 실시 형태에 따른 용접 시스템(100)의 구성예를 도시하는 도면이다. 도 2는 용접 시스템(100)의 용접 장치(3)에 의한 용접예를 도시하는 도면이다.

도 1에 도시한 바와 같이, 용접 시스템(100)은 용접 지원 장치(1), 카메라(21), 마이크(22), 용접 장치(3), 용접 전원(4), 기억 장치(5) 및 학습 장치(6)를 구비하고 있다. 카메라(21), 마이크(22), 용접 장치(3), 용접 전원(4) 및 기억 장치(5)는, 용접 지원 장치(1)와 통신 가능하게 접속되어 있다.

용접 지원 장치(1)는 CPU, GPU, RAM, ROM, 불휘발성 메모리 및 입출력 인터페이스 등을 포함하는 컴퓨터이다. 용접 지원 장치(1)의 CPU는, ROM 또는 불휘발성 메모리로부터 RAM에 로드된 프로그램에 따라서 정보 처리를 실행한다.

용접 지원 장치(1)는 취득부(11), 변환부(12) 및 추정부(13)를 구비하고 있다. 이들 기능부는, 용접 지원 장치(1)의 CPU가 프로그램에 따라서 정보 처리를 실행함으로써 실현된다.

프로그램은, 예를 들어 광 디스크 또는 메모리 카드 등의 정보 기억 매체를 통해서 공급되어도 되고, 예를 들어 인터넷 또는 LAN 등의 통신 네트워크를 통해서 공급되어도 된다.

학습 장치(6)도, 용접 지원 장치(1)와 마찬가지인 컴퓨터이다. 학습 장치(6)는 취득부(61) 및 학습부(62)를 구비하고 있다.

용접 지원 장치(1) 및 학습 장치(6)는, 기억 장치(5)에 액세스 가능하다. 기억 장치(5)에는, 학습 장치(6)에 의해 생성된 학습완료 모델(M)이 보존되어 있어, 용접 지원 장치(1)에 의해 읽어내기 가능하다.

도 2에 도시한 바와 같이, 본 실시 형태에 있어서, 용접 장치(3)는 2개의 피용접 부재(U, L) 사이에 형성된 개선(G)으로 용접 토치(31)를 진행시키면서 아크 용접을 행하는 용접 로봇이다. 아크 용접 중의 용접부에는, 용융지(P)가 형성된다.

도시의 예에서는, 피용접 부재(U, L)가 연직 방향(상하 방향)으로 배열되어 있고, 개선(G)이 수평 방향(전후 방향)으로 연장되어 있다. 이에 한정하지 않고, 피용접 부재(U, L)는 수평 방향으로 배열되어도 된다.

피용접 부재(U, L)간의 간격은, 예를 들어 3 내지 10㎜ 정도이다. 피용접 부재(U, L)에는 뒷댐재가 붙여져 있어도 되고, 붙여져 있지 않아도 된다. 개선(G)의 형상은, 도시의 V형 형상에 한하지 않고, X형 형상 등이어도 된다.

아크 용접은, 예를 들어 TIG(Tungsten Inert Gas) 용접이다. 이에 한정하지 않고, MIG(Metal Inert Gas) 용접 또는 MAG(Metal Active Gas) 용접 등이어도 된다.

용접 장치(3)는 용접 토치(31)를 위빙시키면서 아크 용접을 행한다. 예를 들어 피용접 부재(U, L)가 상하 방향으로 배열되고, 용접 진행 방향이 전 방향인 경우, 용융지(P)의 처짐을 억제하기 위해서, 용접 토치(31)를 전하-후상 방향으로 위빙시킨다.

카메라(21)는 아크 용접 중의 용접부를 촬상해서 화상 데이터를 생성한다. 이하, 카메라(21)에 의해 생성된 화상 데이터를 「카메라 화상」이라고 한다. 카메라(21)는 아크 용접에 수반하는 사상을 검출하는 센서의 일례이며, 카메라 화상은 학습용 데이터 및 검출 데이터의 일례이다.

구체적으로는, 카메라(21)는 용접 토치(31)의 선단 근방에 형성되는 용융지(P)를 촬상한다. 카메라(21)의 촬상 범위에는, 용융지(P)에 더하여, 용접 토치(31)의 선단으로부터 발생하는 아크 및 용융지(P)를 향해서 송출되는 와이어(용가재) 등도 포함된다.

카메라(21)는 용접 토치(31)에 대하여 전 방향 또는 후 방향에 배치되고, 용접 토치(31)와 함께 전 방향으로 이동한다. 카메라(2)의 렌즈에는, 아크 광의 입사를 억제하기 위해서 950㎚ 근방의 근적외광만을 투과하는 대역 통과 필터가 장착된다.

카메라(21)는 시계열의 복수의 정지 화상(프레임)을 포함하는 동화상을 생성하는 비디오 카메라이다. 이에 한정하지 않고, 카메라(21)는 정기적인 촬상에 의해 시계열의 복수의 정지 화상을 생성하는 스틸 카메라여도 된다.

마이크(22)는 아크 용접 중의 용접음을 녹음해서 소리 데이터를 생성한다. 이하, 마이크(22)에 의해 생성되는 용접음의 데이터를, 단순히 「용접음」라고 한다. 마이크(22)는 아크 용접에 수반하는 사상을 검출하는 센서의 일례이며, 용접음은 학습용 데이터 및 검출 데이터의 일례이다.

용접 전원(4)(도 1 참조)은 용접 장치(3)에 아크 용접을 위한 전원을 공급한다. 용접 전원(4)의 출력 특성에는, 예를 들어 정전류 특성 또는 정전압 특성 등이 적용된다. 용접 전원(4)은 전압계 및 전류계를 포함하고 있고, 아크 용접 중의 전압 및 전류를 계측한다.

이하, 용접 전원(4)에서 계측된 아크 용접 중의 전압 및 전류의 데이터를, 단순히 「전압」 및 「전류」라고 한다. 용접 전원(4)에 포함되는 전압계 및 전류계는, 아크 용접에 수반하는 사상을 검출하는 센서의 일례이며, 전압 및 전류는, 학습용 데이터 및 검출 데이터의 일례이다.

본 실시 형태에서는, 센서의 예로서 카메라(21), 마이크(22) 및 용접 전원(4)을 예로 들었지만, 아크 용접에 수반하는 사상을 검출 가능하면, 센서는 이들의 예에 한정되지 않는다.

(2) 학습 페이즈

이하, 학습 장치(6)에 있어서 실현되는, 실시 형태에 따른 학습완료 모델의 생성 방법으로서의 학습 페이즈에 대해서 설명한다. 본 실시 형태에서는, 복수 종류의 데이터를 입력 데이터로서 사용하는, 소위 멀티 모달 학습을 행한다.

도 3은 학습 페이즈에 사용되는 학습용 데이터 세트를 설명하기 위한 도면이다. 학습용 데이터 세트는, 아크 용접 중의 용접부를 촬상한 카메라 화상, 용접음의 스펙트로그램 및 정상/이상을 나타내는 라벨을 포함하고 있다. 카메라 화상 및 용접음의 스펙트로그램은, 복수의 학습용 데이터의 예이며, 입력 데이터로서 사용된다. 라벨은 교사 데이터로서 사용된다.

도 4는 카메라 화상의 예를 나타내는 도면이다. 카메라 화상에는, 용융지, 아크 및 와이어 등이 포함된다. 카메라 화상은 카메라(21)에 의해 예를 들어 100fps(frame per second) 정도의 레이트로 촬상함으로써 생성된다. 동 도면에서는, 설명을 위해, 용융지의 좌단부, 용융지의 우단부, 용융지의 후단부, 아크의 중심 및 와이어의 선단에, 파선 또는 동그라미 표시를 붙이고 있다. 또한, 이들은 후술하는 제2 실시 형태에서 특징점으로서 다루어진다.

도 5는 용접음의 스펙트로그램의 예를 나타내는 도면이다. 스펙트로그램은, 푸리에 변환을 시간적으로 연속해서 행하여, 용접음을 시간, 주파수, 및 강도의 3차원으로 나타낸 그래프이다. 동 도면에서는, 횡축이 시간을 나타내고, 종축이 주파수를 나타내고, 색(또는 명도)이 강도를 나타내고 있다. 용접음은 마이크(22)에 의해 예를 들어 44.1㎑ 정도의 샘플링 레이트로 녹음함으로써 생성된다.

도 3에 도시한 바와 같이, 스펙트로그램은, 카메라 화상의 촬상 타이밍으로부터 소정 시간 거슬러 올라간 기간의 용접음의 데이터를 잘라내서 작성되어, 당해 카메라 화상과 관련지어진다. 예를 들어 a초에 카메라 화상이 촬상된 경우, a-1 내지 a초의 1초간의 용접음의 데이터가 잘라내져서 스펙트로그램이 작성됨과 함께, a초에 촬상된 카메라 화상과 관련지어진다.

본 실시 형태에서는, 입력 데이터로서(즉, 학습용 데이터 및 검출 데이터의 예로서) 카메라 화상 및 용접음을 사용하지만, 입력 데이터는 이것에 한정되지 않는다. 입력 데이터는 카메라 화상, 용접음, 용접 전원의 전압 및 용접 전원의 전류 중 2 이상을 포함해도 되지만, 단, 카메라 화상 및 용접음의 적어도 한쪽을 포함하는 것이 바람직하다. 또한, 용접 전원의 전압 또는 전류를 사용하는 경우, 용접음와 마찬가지로, 스펙트로그램이 작성된다.

라벨은 용접이 정상인지 이상인지를 나타낸다. 예를 들어, 아크 용접 중의 용접부를 촬상한 카메라 화상에 있어서 용락 등의 이상이 보여진 경우에, 카메라 화상에 「이상」의 라벨이 부여된다. 또한, 용접음을 듣고 이상이 있었던 기간에 「이상」의 라벨이 부여되어도 되고, 전압 또는 전류의 파형에 혼란(단락 횟수의 증가나 평균값으로부터의 편차)이 발생한 기간에 「이상」의 라벨이 부여되어도 된다.

용접의 이상은, 아크 용접 후의 검사 등에 의해 판단되어도 된다. 예를 들어, 외관 검사나 용접 조건의 전환 타이밍, 초음파 탐상이나 X선 등의 비파괴 검사 등의 정보로부터 특정된 용접의 이상 위치에 대응하는 용접 중의 기간에 얻어진 카메라 화상 등에 「이상」의 라벨이 부여되어도 된다.

용접의 이상에는, 용접부의 표층부 또는 내부에서의 결함의 발생(피트나 블로우홀, 슬래그 혼입, 융합 불량 등) 외에, 용융지의 용락이나 실드 가스의 불량 등이 있다.

또한, 본 실시 형태에서는, 용접 시스템(100)에 포함되는 카메라(21) 및 마이크(22) 등의 센서에 의해 생성된 카메라 화상 및 용접음 등의 검출 데이터를 학습용 데이터로 했지만, 이에 한정하지 않고, 카메라(21) 및 마이크(22) 등의 센서와 동일 종류의 다른 센서에 의해 생성된 검출 데이터를 학습용 데이터로 해도 된다.

도 6은 용접 전원(4)의 전압 및 전류의 예를 나타내는 도면이다. 동 도면에서는, 횡축이 시간을 나타내고, 종축이 전압 및 전류의 크기를 나타낸다. 도면 중의 실선은 전압을 나타내고, 파선은 전류를 나타낸다. 전압 및 전류는, 용접 전원(4)으로부터 예를 들어 20㎑의 샘플링 레이트(0.05밀리초 피치)로 아날로그-디지털 변환을 함으로써 취득된다.

와이어(용가재)를 사용하는 경우, 단락 이행이라고 불리는 용적 이행의 전류·전압 파형이 관측된다. 즉, 와이어 단부에 생성하는 용적이 용융지에 접촉(단락)하면, 순간적으로 전위차가 급락하고, 전류가 급증하는 파형 변화가 발생한다.

도 7은 단위 시간당 단락 횟수의 예를 나타내는 도면이다. 동 도면에서는, 횡축이 시간을 나타내고, 종축이 단위 시간(T초)당 단락 횟수를 나타낸다. 또한, 상기 도 6의 횡축의 폭은, 단위 시간(T초) 정도에 상당한다.

본 결과를 사용하여, 단락 횟수가 증가한 단락 증가 구간을 이상 구간으로 한다. 또한, 단락 횟수는 증가하지 않고 있지만 결함이 발생하고 있는 구간도 존재하는 등, 전압 또는 전류의 파형만으로는 모든 용접부의 결함을 검지할 수 없는 경우가 있으므로, 단락 증가 구간은, 후술하는 제2 실시 형태에 있어서, 전압 또는 전류의 품질 이상 구간으로서 다루어도 된다.

도 8은 학습 페이즈에 의해 생성되는 학습완료 모델(M)의 예를 나타내는 도면이다. 학습완료 모델(M)은, 예를 들어 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network)이며, 주기적으로 배열한 컨벌루션층, 정규화층 및 풀링층, 그리고 최종단에 마련된 출력층을 포함하고 있다.

구체적으로는, 학습완료 모델(M)은, 복수의 네트워크(M1, M2)를 포함하는 멀티 모달 CNN이다. 복수의 네트워크(M1, M2)는 주기적으로 배열한 컨벌루션층, 정규화층 및 풀링층을 각각 포함하고 있고, 최종단에 마련된 출력층에 결합되어 있다.

본 실시 형태에 있어서, 학습완료 모델(M)은, 제1 네트워크(M1)에 의해 카메라 화상을 컨벌루션해서 특징량을 추출하고, 제2 네트워크(M2)에 의해 용접음의 스펙트로그램을 컨벌루션해서 특징량을 추출하고, 양자의 특징량을 출력층의 직전에 결합하여, 용접 이상도(용접 이상의 확률)를 추정한다.

출력층에는, 용접 이상도에 대응하는 요소가 마련된다. 당해 요소에는, 예를 들어 시그모이드 함수 또는 소프트맥스 함수가 사용되고, 0 이상 1 이하의 값을 출력한다. 출력층의 출력값은, 용접 이상도로서 사용되고, 예를 들어 0에 가까울수록 정상을 나타내고, 1에 가까울수록 이상을 나타낸다.

도 9는 학습 장치(6)에 있어서 실현되는 학습 페이즈의 수순예를 도시하는 도면이다. 학습 장치(6)는, 동 도면에 나타내는 정보 처리를 프로그램에 따라 실행한다.

먼저, 학습 장치(6)는 카메라 화상, 용접음의 스펙트로그램 및 정상/이상의 라벨을 포함하는 학습용 데이터 세트를 취득한다(S11: 취득부(61)로서의 처리).

이어서, 학습 장치(6)는 카메라 화상 및 용접음의 스펙트로그램을 입력 데이터로 해서 모델(미학습의 모델(M))에 입력하고, 모델에 의한 계산을 행하고, 모델로부터 용접 이상도를 출력한다(S12 내지 S14: 학습부(62)로서의 처리).

이어서, 학습 장치(6)는 모델로부터 출력된 출력 데이터로서의 용접 이상도와, 교사 데이터로서의 정상/이상의 라벨과의 오차를 산출하고, 오차가 저감되도록 오차 역전파 계산을 행한다(S15, S16: 학습부(62)로서의 처리).

이상의 처리를 반복함으로써, 카메라 화상 및 용접음의 스펙트로그램으로부터 용접 이상도를 추정하기 위한 학습완료 모델(M)이 생성된다. 학습 장치(6)에 의해 생성된 학습완료 모델(M)은 기억 장치(5)에 저장되고, 하기의 추론 페이즈에 있어서 사용된다.

(3) 추론 페이즈

이하, 용접 지원 장치(1)에 있어서 실현되는 추론 페이즈에 대해서 설명한다. 도 10은 추론 페이즈의 수순예를 도시하는 도면이다. 용접 지원 장치(1)는 동 도면에 나타내는 정보 처리를 프로그램에 따라 실행한다. 추론 페이즈는 용접 장치(3)가 아크 용접을 행하고 있는 사이에 실행된다.

먼저, 용접 지원 장치(1)는 카메라(21)에 의해 아크 용접 중의 용접부를 촬상한 카메라 화상과, 마이크(22)에 의해 녹음된 아크 용접 중의 용접음을 취득한다(S21: 취득부(11)로서의 처리).

이어서, 용접 지원 장치(1)는 취득한 용접음의 스펙트로그램을 생성한다(S22: 변환부(12)로서의 처리).

구체적으로는, 용접 지원 장치(1)는 카메라(21)에 의해 생성된 동화상에 포함되는 시계열의 복수의 정지 화상(프레임)을 카메라 화상으로 해서 순차 취득함과 함께, 카메라 화상의 촬상 타이밍으로부터 소정 시간(예를 들어 1초) 거슬러 오른 기간의 용접음을 잘라내어, 스펙트로그램으로 변환하여, 카메라 화상과 용접음의 스펙트로그램의 조를 생성한다.

이어서, 용접 지원 장치(1)는 상기 학습 페이즈에서 생성되어 기억 장치(5)에 기억된 학습완료 모델(M)을 사용하여, 카메라 화상 및 용접음의 스펙트로그램으로부터 용접 이상도를 추정한다(S23: 추정부(13)로서의 처리).

구체적으로는, 용접 지원 장치(1)는 카메라 화상 및 용접음의 스펙트로그램을 입력 데이터로 해서 학습완료 모델(M)에 입력하고, 학습완료 모델(M)에 의한 계산을 행하고, 학습완료 모델(M)으로부터 용접 이상도를 출력한다.

이어서, 용접 지원 장치(1)는 용접 이상도가 역치 이상인 경우에(S24: 예), 용접의 이상을 용접 장치(3)에 통지한다(S25). 용접 장치(3)는 용접 지원 장치(1)로부터 통지를 받으면, 용접 토치(31)의 진행을 감속 또는 정지하는 등의 소정의 동작을 행한다.

(4) 효과

이상으로 설명한 실시 형태에 따르면, 학습완료 모델(M)을 사용하여, 아크 용접중에 생성된 카메라 화상 및 용접음로부터 용접 이상도를 추정하므로, 용접 품질을 고정밀도로 인라인 검사하는 것이 가능하게 된다.

또한, 실시 형태에 따르면, 학습용 데이터 세트(도 3 참조)을 생성할 때에, 카메라 화상 등의 학습용 데이터에 정상/이상을 나타내는 라벨을 교사 데이터로 해서 관련짓는 것만으로도 되므로, 교사 데이터의 작성 비용을 저감하는 것이 가능하게 된다.

또한, 실시 형태에 따르면, 용접음을 스펙트로그램에 화상화함으로써, 카메라 화상과 마찬가지로 CNN의 입력 데이터로서 취급할 수 있고, 스펙트로그램을 컨벌루션함으로써, 시간, 주파수, 강도의 관계성을 학습하는 것이 가능하게 된다.

또한, 실시 형태에 따르면, 학습완료 모델(M)(도 8 참조)은, 멀티 모달 CNN에 의해 각 네트워크(M1, M2)가 추출한 특징량을 상보적으로 이용할 수 있다. 이 때문에, 화상 단독에 의한 경우에 비하여, 보다 조기에 용접 이상을 검지하는 것이 가능하게 된다.

또한, 복수의 네트워크(M1, M2)의 결합은, 보다 전단의 층에서 행해져도 된다. 또한, 전압 또는 전류의 스펙트로그램용 네트워크도 추가하여, 3 또는 4열의 멀티 모달 CNN으로 해도 된다.

[제2 실시 형태]

이하, 제2 실시 형태에 대해서 설명한다. 상기 실시 형태와 중복된 구성에 대해서는, 동일 번호를 붙이는 것으로 상세한 설명을 생략하는 경우가 있다.

도 11은 제2 실시 형태에 따른 용접 지원 장치(1B)의 구성예를 도시하는 도면이다. 용접 지원 장치(1B)는 취득부(11), 변환부(12) 및 추정부(13)에 더하여, 유사도 산출부(14) 및 신뢰도 판정부(15)를 더 구비하고 있다.

본 실시 형태에 있어서, 추정부(13)는 용접 이상도뿐만 아니라, 검출 데이터의 특징량을 또한 추정한다. 유사도 산출부(14)는, 학습용 데이터로부터 추출된 특징량과, 추정부(13)에 의해 추정된 특징량과의 유사도를 산출한다. 신뢰도 판정부(15)는, 산출된 유사도에 기초하여, 추정부(13)에 의해 추정된 용접 이상도의 신뢰도를 판정한다.

도 12는 학습 페이즈에 사용되는 학습용 데이터 세트의 예를 나타내는 도면이다. 학습용 데이터 세트는, 카메라 화상, 용접음의 스펙트로그램 및 정상/이상을 나타내는 라벨에 더하여, 카메라 화상의 특징점 위치 및 용접음의 품질 이상 구간을 더 포함하고 있다. 특징점의 위치 및 품질 이상 구간은, 특징량의 예이며, 교사 데이터로서 사용된다.

카메라 화상의 특징점은, 상기 도 4에 도시한 바와 같이, 용융지의 좌단부, 용융지의 우단부, 용융지의 후단부, 아크의 중심 및 와이어의 5점을 포함하고 있다. 이 중, 용융지의 좌단부 및 우단부는 x 좌표만으로 표현되고, 용융지의 후단부는 y 좌표만으로 표현되고, 아크의 중심 및 와이어는 x, y 좌표로 표현된다. 즉, 5점의 특징점이 7변수로 표현된다.

용접음의 품질 이상 구간은, 예를 들어 용접음의 파형에 혼란 등이 보이는 기간이다. 품질 이상은, 예를 들어 용접 이상으로까지는 특정할 수 없지만, 파형에 혼란이 보이는 등, 용접음 자체의 품질에 이상이 있는 경우에 부여된다. 또한, 품질 이상 구간은, 스펙트로그램에 있어서 부분적으로 부여되어도 된다.

도 13은 학습 페이즈에 의해 생성되는 학습완료 모델(M)의 예를 나타내는 도면이다. 학습완료 모델(M)은 복수의 네트워크(M1, M2)가 각각 결합된 복수의 출력층을 포함하고 있다. 복수의 출력층 중, 출력층 1은 용접 이상도에 대응하고, 출력층 2는 카메라 화상의 특징점 위치에 대응하고, 출력층 3은 용접음의 품질 이상 구간에 대응한다.

본 실시 형태에 있어서, 학습완료 모델(M)은, 제1 네트워크(M1)에 의해 카메라 화상을 컨벌루션해서 특징량을 추출하고, 제2 네트워크(M2)에 의해 용접음의 스펙트로그램을 컨벌루션해서 특징량을 추출하고, 양자의 특징량을 출력층의 직전에서 결합하여, 용접 이상도, 카메라 화상의 특징점 위치 및 용접음의 품질 이상 구간을 추정한다.

학습 페이즈에서는, 출력층 1로부터 출력되는 용접 이상도와 교사 데이터로서의 정상/이상의 라벨과의 오차뿐만 아니라, 출력층 2로부터 출력되는 특징점의 위치와 교사 데이터로서의 특징점의 위치와의 오차, 그리고 출력층 3으로부터 출력되는 품질 이상 구간과 교사 데이터로서의 품질 이상 구간과의 오차가 산출되어, 이들 오차가 저감하도록 오차 역전파 계산이 행해진다.

도 14는 용접 지원 장치(1)에 있어서 실현되는 추론 페이즈의 수순예를 도시하는 도면이다. 상기 실시 형태와 중복된 스텝에 대해서는, 동일 번호를 붙이는 것으로 상세한 설명을 생략하는 경우가 있다.

먼저, 용접 지원 장치(1)는 카메라(21)에 의해 아크 용접 중의 용접부를 촬상한 카메라 화상과, 마이크(22)에 의해 녹음된 아크 용접 중의 용접음을 취득함과 함께(S21: 취득부(11)로서의 처리), 취득한 용접음의 스펙트로그램을 생성한다(S22: 변환부(12)로서의 처리).

이어서, 용접 지원 장치(1)는 학습완료 모델(M)을 사용하여, 카메라 화상 및 용접음의 스펙트로그램으로부터, 용접 이상도, 카메라 화상의 특징점 위치 및 용접음의 품질 이상 구간을 추정한다(S33: 추정부(13)로서의 처리).

구체적으로는, 용접 지원 장치(1)는 카메라 화상 및 용접음의 스펙트로그램을 입력 데이터로 해서 학습완료 모델(M)에 입력하고, 학습완료 모델(M)에 의한 계산을 행하고, 학습완료 모델(M)으로부터 용접 이상도, 카메라 화상의 특징점 위치 및 용접음의 품질 이상 구간을 출력한다.

이어서, 용접 지원 장치(1)는 학습용 데이터로부터 미리 추출된 특징량과, S33에서 추정된 특징량과의 유사도를 산출하고(S34: 유사도 산출부(14)로서의 처리), 산출된 유사도에 기초하여, S33에서 추정된 용접 이상도의 신뢰도를 판정한다(S35: 신뢰도 판정부(15)로서의 처리).

유사도의 산출에는, 예를 들어 유사도를 벡터 공간에서 측정하는 방법(코사인 유사도) 등이 사용된다. 예를 들어, 추정 데이터의 벡터 d와 학습용 데이터의 벡터 q와의 코사인 유사도를, 하기 수식 (1)로 나타낸다.

여기서, 추정 데이터의 벡터 d는, 추정된 카메라 화상의 특징점 위치 좌표를 나타낸다. 구체적으로는, 추정 데이터의 벡터 d는, (아크 중심 x, 아크 중심 y, 와이어 x, 와이어 y, 용융지-좌 x, 용융지-우 x, 용융지-후단부 y)로 표현된다.

학습용 데이터의 벡터 q는, 학습용 데이터 세트로부터 랜덤하게 추출된 특징점의 위치 좌표를 나타낸다. 구체적으로는, 학습용 데이터의 벡터 q도, (아크 중심 x, 아크 중심 y, 와이어 x, 와이어 y, 용융지-좌 x, 용융지-우 x, 용융지-후단부 y)로 표현된다.

상기 수식 (1)에 의한 코사인 유사도의 값이 1에 가까우면 추정 데이터와 학습용 데이터의 분포는 가까워, 용접 이상도의 신뢰도는 높은 것이 된다. 한편, 코사인 유사도의 값이 예를 들어 0.5보다 작은 경우에는, 추정 데이터는 학습용 데이터의 분포 외일 가능성이 있고, 용접 이상도의 신뢰도는 낮은 것이 된다.

이어서, 용접 지원 장치(1)는 용접 이상도의 신뢰도가 역치 이상이고, 또한 용접 이상도가 역치 이상인 경우에(S35: 예, 또한 S24: 예), 용접의 이상을 용접 장치(3)에 통지한다(S25).

구체적으로는, 유사도=신뢰도라고 해서, S35에 있어서, 용접 지원 장치(1)는 유사도가 역치 이상인지의 여부를 판정한다. 상기 수식 (1)의 코사인 유사도를 사용하는 경우, 역치는 예를 들어 0.5이다.

이상으로 설명한 제2 실시 형태에 따르면, 학습용 데이터로부터 추출된 특징량과, 학습완료 모델(M)에 의해 추정된 특징량과의 유사도를 산출하고, 산출된 유사도에 기초하여 용접 이상도의 신뢰도가 판정되므로, 용접 품질을 보다 고정밀도로 인라인 검사하는 것이 가능하게 된다.

또한, 본 실시 형태에서는, 카메라 화상의 특징점 위치 및 용접음의 품질 이상 구간의 양쪽을 학습·추정했지만, 이에 한정하지 않고, 어느 한쪽의 특징량이 학습·추정되어도 된다. 또한, 용접 전원의 전압 또는 전류를 입력 데이터에 사용하는 경우에는, 전압 또는 전류의 품질 이상 구간을 학습·추정해도 된다.

[제3 실시 형태]

이하, 제3 실시 형태에 대해서 설명한다. 상기 실시 형태와 중복된 구성에 대해서는, 동일 번호를 붙이는 것으로 상세한 설명을 생략하는 경우가 있다.

본 실시 형태에서는, 카메라 화상으로부터 계측한 용융지 형상의 시계열 데이터를 사용해서 용접 품질을 추정하는 멀티 모달 학습을 행한다. 이에 의해, 카메라 화상에서는 정상/이상의 판단이 곤란한 경우라도, 용융지 형상의 시계열 데이터를 사용함으로써 정상/이상을 고정밀도로 판정하는 것이 가능하다.

(1)학습 페이즈

학습 페이즈에 대해서 설명한다. 도 15는 본 실시 형태의 학습 페이즈 중 학습용 데이터 작성의 순서예를 도시하는 도면이다.

먼저, 학습 장치(6)는 용접 장치(3)에 의해 행해지는 학습용 아크 용접 중에 계측된 카메라 화상 및 전류 전압 파형을 취득한다(S41).

이어서, 학습 장치(6)는 특징량 추출용의 학습완료 모델을 사용하고, 카메라 화상으로부터 용융지 형상을 추정한다(S42). 구체적으로는, 학습 장치(6)는 시계열의 복수의 카메라 화상으로부터 용융지 형상을 순차 추정하고, 용융지 형상의 시계열 데이터를 작성한다.

특징량 추출용의 학습완료 모델은, 카메라 화상의 특징점의 위치를 추정하기 위한 학습완료 모델이다. 특징량 추출용의 학습완료 모델은, 카메라 화상을 입력 데이터로 하고, 특징점의 위치를 교사 데이터로 해서 기계 학습에 의해 생성된다. 특징량 추출용의 학습완료 모델은, 상기 제2 실시 형태에서 설명한 학습완료 모델에 포함되는, 특징점의 위치를 출력하기 위한 네트워크와 마찬가지이다(도 13 참조).

카메라 화상의 특징점은, 상기 도 4에 도시한 바와 같이, 용융지의 좌단부, 용융지의 우단부, 용융지의 후단부, 아크의 중심 및 와이어의 선단을 포함하고 있다. 또한, 카메라 화상의 특징점은, 용융지의 전단부를 포함해도 된다.

용융지 형상은, 예를 들어 용융지의 좌우 방향의 폭을 나타내는 용융지 폭이다. 용융지 폭은 특징량 추출용의 학습완료 모델에 의해 추정되는 용융지의 좌단부 위치와 우단부의 위치와의 거리로 표현된다.

또한, 용융지 형상은, 예를 들어 용융지의 전단부가 와이어에 대하여 선행하는 양을 나타내는 용융지 선행량이어도 된다. 용융지 선행량은 특징량 추출용의 학습완료 모델에 의해 추정되는 와이어의 선단 위치와 용융지의 전단부 위치와의 거리로 표현된다.

이어서, 학습 장치(6)는 용융지 형상의 시계열 데이터 및 전류 전압 파형의 시계열 데이터에 이상 위치를 관련짓는다(S43). 구체적으로는, 학습 장치(6)는 시계열 데이터를 소정 시간마다(예를 들어 1초마다) 구획하고, 구간마다 정상/이상의 라벨을 부여한다. 이상과 같이 하여, 학습용 데이터 세트가 작성된다.

도 16은 용융지 형상의 시간 변화예를 도시하는 도면이다. 횡축이 시간을 나타내고, 종축이 용융지 폭을 나타낸다. 실험에서는, 용접부에 팬으로 바람을 맞혀서 실드 가스 불량을 발생시킴으로써, 기공 결함을 의도적으로 발생시키고 있다. 도면 중의 「ON」과 「OFF」는, 팬의 ON/OFF 상태를 나타내고 있다.

동 도면에 나타내는 바와 같이, 팬이 ON 상태의 기간에, 용융지 폭에 혼란이 보인다(이점쇄선의 타원으로 둘러싸인 부분). 즉, 용접의 이상에 따라 용융지 형상에 혼란이 발생하는 것이 확인된다.

도 17은 본 실시 형태의 학습 페이즈에 의해 생성되는 학습완료 모델의 예를 나타내는 도면이다. 학습완료 모델은, 컨벌루션층, RNN(Recurrent Neural Network: 재귀형 뉴럴 네트워크), 풀링층 및 출력층을 포함하고 있다.

구체적으로는, 학습완료 모델은, 복수의 네트워크(M3, M4)를 포함하는 멀티 모달 RNN이다. 복수의 네트워크(M3, M4)는, 컨벌루션층, RNN 및 풀링층을 각각 포함하고 있고, 최종단에 마련된 출력층에 결합되어 있다.

학습완료 모델은, 제1 네트워크(M3)에 의해 전류 전압 파형의 시계열 데이터로부터 특징량을 추출하고, 제2 네트워크(M4)에 의해 용융지 형상의 시계열 데이터로부터 특징량을 추출하고, 양자의 특징량을 출력층의 직전에서 결합하여, 용접 이상도를 추정한다.

본 실시 형태에서는, 입력 데이터로서(즉, 학습용 데이터 및 검출 데이터의 예로서) 전류 전압 파형의 시계열 데이터 및 용융지 형상의 시계열 데이터를 사용하지만, 입력 데이터는 이것에 한정되지 않는다.

(2) 추론 페이즈

추론 페이즈에 대해서 설명한다. 도 18은 본 실시 형태의 추론 페이즈의 수순예를 도시하는 도면이다. 용접 지원 장치(1)는 동 도면에 나타내는 정보 처리를 프로그램에 따라 실행한다. 추론 페이즈는 용접 장치(3)가 아크 용접을 행하고 있는 동안에 실행된다.

먼저, 용접 지원 장치(1)는 카메라(21)에 의해 아크 용접 중의 용접부를 촬상한 카메라 화상과, 용접 전원(4)에 의해 계측된 아크 용접 중의 전류 전압 파형을 취득한다(S51: 취득부(11)로서의 처리).

이어서, 용접 지원 장치(1)는 특징량 추출용의 학습완료 모델을 사용하여, 카메라 화상으로부터 용융지 형상을 추정하여, 용융지 형상의 시계열 데이터를 작성한다(S52). 본 처리는, 학습 페이즈의 S42와 마찬가지 처리이다.

이어서, 용접 지원 장치(1)는 학습 페이즈에서 생성된 이상 판정용 학습완료 모델(도 17 참조)을 사용하여, 용융지 형상의 시계열 데이터 및 전류 전압 파형의 시계열 데이터로부터 용접 이상도를 추정한다(S53: 추정부(13)로서의 처리).

구체적으로는, 용접 지원 장치(1)는 용융지 형상의 시계열 데이터 및 전류 전압 파형의 시계열 데이터를 입력 데이터로 해서 학습완료 모델에 입력하고, 학습완료 모델에 의한 계산을 행하고, 학습완료 모델로부터 용접 이상도를 출력한다.

이어서, 용접 지원 장치(1)는 용접 이상도가 역치 이상인 경우에(S24: 예), 용접의 이상을 용접 장치(3)에 통지한다(S25). 용접 장치(3)는 용접 지원 장치(1)로부터 통지를 받으면, 용접 토치(31)의 진행을 감속 또는 정지하는 등의 소정의 동작을 행한다.

이상으로 설명한 실시 형태에 따르면, 카메라 화상에서는 정상/이상의 판단이 곤란한 경우라도, 용융지 형상의 시계열 데이터를 사용함으로써 용접 품질을 고정밀도로 인라인 검사하는 것이 가능하게 된다.

이상, 본 발명의 실시 형태에 대해서 설명했지만, 본 발명은 이상으로 설명한 실시 형태에 한정되는 것이 아니라, 다양한 변경이 당업자에게 있어서 가능한 것은 물론이다.

이상, 도면을 참조하면서 각종 실시 형태에 대해서 설명했지만, 본 발명은 이러한 예에 한정되지 않는 것은 물론이다. 당업자이면 특허 청구 범위에 기재된 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 그들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다. 또한, 발명의 취지를 일탈하지 않는 범위에 있어서, 상기 실시 형태에 있어서의 각 구성 요소를 임의로 조합해도 된다.

또한, 본 출원은, 2020년 10월 16일 출원의 일본 특허출원(특원 2020-174445)에 기초하는 것이고, 그 내용은 본 출원 중에 참조로서 원용된다.

1: 용접 지원 장치, 11: 취득부, 12: 변환부, 13: 추정부, 14: 유사도 산출부, 15: 신뢰도 판정부, 21: 카메라, 22: 마이크, 3: 용접 장치, 31: 용접 토치, 4: 용접 전원, 5: 기억 장치, 6: 학습 장치, 61: 취득부, 62: 학습부, 100: 용접 시스템, M: 학습완료 모델, U: 피용접 부재, L: 피용접 부재, G: 개선, P: 용융지

Claims (17)

1. 용접 장치와,
   상기 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하는, 서로 다른 종류의 복수의 센서와,
   상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정하는 추정부
   를 구비하는, 용접 시스템.
2. 제1항에 있어서,
   상기 복수의 검출 데이터는, 용접 중의 용접부를 촬상한 화상, 용접음, 용접 전원의 전압 및 용접 전원의 전류 중 2 이상을 포함하며, 또한 상기 화상 및 용접음의 적어도 한쪽을 포함하는, 용접 시스템.
3. 제1항 또는 제2항에 있어서,
   상기 복수의 검출 데이터의 하나는, 용접음, 용접 전원의 전압, 또는 용접 전원의 전류이고,
   상기 용접음, 용접 전원의 전압 또는 용접 전원을, 시간, 주파수 및 강도의 3차원으로 나타내는 스펙트로그램을 생성하는 변환부를 더 구비하고,
   상기 추정부는, 상기 스펙트로그램을 상기 학습완료 모델에 입력하는, 용접 시스템.
4. 제1항에 있어서,
   상기 학습완료 모델은, 상기 복수의 학습용 데이터 중의 적어도 하나의 학습용 데이터의 특징량을 또한 교사 데이터로 하여 생성되고,
   상기 추정부는, 상기 학습완료 모델을 사용하여, 상기 복수의 검출 데이터 중의 적어도 하나의 검출 데이터의 특징량을 또한 추정하는, 용접 시스템.
5. 제4항에 있어서,
   상기 복수의 검출 데이터의 하나는, 용접 중의 용접부를 촬상한 화상이고,
   상기 추정부는, 상기 화상 중의 특징점을 상기 특징량으로서 추정하는, 용접 시스템.
6. 제4항에 있어서,
   상기 복수의 검출 데이터의 하나는, 용접음, 용접 전원의 전압, 또는 용접 전원의 전류이고,
   상기 추정부는, 상기 용접음, 용접 전원의 전압, 또는 용접 전원의 전류의 품질 이상 구간을 상기 특징량으로서 추정하는, 용접 시스템.
7. 제4항 내지 제6항 중 어느 한 항에 있어서,
   상기 학습용 데이터로부터 추출된 특징량과, 상기 추정부에 의해 추정된 특징량과의 유사도를 산출하는 유사도 산출부와,
   상기 유사도에 기초하여, 상기 추정부에 의해 추정된 용접의 이상도의 신뢰도를 판정하는 신뢰도 판정부
   를 더 구비하는, 용접 시스템.
8. 제1항에 있어서,
   상기 복수의 학습용 데이터 및 상기 복수의 검출 데이터는, 시계열 데이터인, 용접 시스템.
9. 제8항에 있어서,
   상기 학습완료 모델은, 재귀형 뉴럴 네트워크를 포함하는, 용접 시스템.
10. 제8항 또는 제9항에 있어서,
    상기 추정부는,
    상기 복수의 학습용 데이터의 적어도 하나의 학습용 데이터를 입력 데이터로 하고, 상기 적어도 하나의 학습용 데이터중의 특징량을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 제2 학습완료 모델을 사용하여, 상기 복수의 검출 데이터의 적어도 하나의 검출 데이터중의 특징량을 추정하고,
    상기 특징량에 기초하는 지표의 시계열 데이터를 상기 학습완료 모델에 입력하는, 용접 시스템.
11. 제10항에 있어서,
    상기 지표의 시계열 데이터는, 용접 중의 용접부를 촬상한 화상 중의 용융지의 형상을 나타내는 지표의 시계열 데이터인, 용접 시스템.
12. 서로 다른 종류의 복수의 센서에 의해, 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하고,
    상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정하는,
    용접 방법.
13. 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하는 서로 다른 종류의 복수의 센서에 의해 생성된 복수의 검출 데이터를 취득하는 취득부와,
    상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정하는 추정부
    를 구비하는, 용접 지원 장치.
14. 용접 장치에 의해 행해지는 용접에 수반하는 사상을 검출하는 서로 다른 종류의 복수의 센서에 의해 생성된 복수의 검출 데이터를 취득하는 것, 및
    상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터를 입력 데이터로 하고, 용접이 정상인지 이상인지를 나타내는 라벨을 교사 데이터로 해서 기계 학습에 의해 미리 생성된 학습완료 모델을 사용하여, 상기 복수의 센서에 의해 생성된 복수의 검출 데이터로부터 상기 용접 장치에 의해 행해지는 용접의 이상도를 추정하는 것,
    을 컴퓨터에 실행시키는 프로그램.
15. 서로 다른 종류의 복수의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터와, 용접이 정상인지 이상인지를 나타내는 라벨을 포함하는 학습용 데이터 세트를 취득하는 취득부와,
    상기 복수의 학습용 데이터를 입력 데이터로 하고, 상기 라벨을 교사 데이터로 해서, 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 검출 데이터로부터 용접의 이상도를 추정하기 위한 학습완료 모델을 생성하는 학습부
    를 구비하는, 학습 장치.
16. 제15항에 있어서,
    상기 학습부는, 상기 복수의 학습용 데이터 중의 적어도 하나의 학습용 데이터의 특징량을 또한 교사 데이터로 해서, 상기 복수의 검출 데이터 중의 적어도 하나의 검출 데이터의 특징량을 또한 추정하기 위한 상기 학습완료 모델을 생성하는, 학습 장치.
17. 서로 다른 종류의 복수의 센서로 용접에 수반하는 사상을 검출한 복수의 학습용 데이터와, 용접이 정상인지 이상인지를 나타내는 라벨을 포함하는 학습용 데이터 세트를 취득하고,
    상기 복수의 학습용 데이터를 입력 데이터로 하고, 상기 라벨을 교사 데이터로 해서, 상기 복수의 센서와 동일 종류의 센서로 용접에 수반하는 사상을 검출한 복수의 검출 데이터로부터 용접의 이상도를 추정하기 위한 학습완료 모델을 생성하는,
    학습완료 모델의 생성 방법.

Images