KR102168264B1

KR102168264B1 - 이동축 이상 부하 경고 기능을 갖는 와이어 방전 가공기

Info

Publication number: KR102168264B1
Application number: KR1020160123750A
Authority: KR
Inventors: 히로유키 아베; 가오루 히라가
Original assignee: 화낙 코퍼레이션
Priority date: 2015-09-29
Filing date: 2016-09-27
Publication date: 2020-10-21
Also published as: CN106552974A; CN106552974B; JP6619192B2; US20170087654A1; EP3151069A3; US10112247B2; KR20170038162A; EP3151069A2; EP3151069B1; JP2017064830A

Abstract

와이어 방전 가공기는, 와이어 방전 가공기의 축 이송 지령의 조정을 학습하는 기계 학습기를 구비한다. 그 기계 학습기는, 축의 이동 상태에 관련된 데이터를 사용하여 축 이송 지령의 조정량을 결정하고, 그 결정된 축 이송 지령의 조정량에 기초하여 축 이송 지령을 조정한다. 그리고, 결정한 축 이송 지령의 조정량과, 축의 이동 상태에 관련된 데이터와, 그 축의 이동 상태에 관련된 데이터에 기초하여 계산한 리워드에 기초하여, 축 이송 지령의 조정을 기계 학습한다.

Description

이동축 이상 부하 경고 기능을 갖는 와이어 방전 가공기{WIRE ELECTRIC DISCHARGE MACHINE HAVING MOVABLE AXIS ABNORMAL LOAD WARNING FUNCTION}

본 발명은 와이어 방전 가공기에 관한 것으로, 특히 이동축의 상태나 기계가 놓여진 환경 상태에 따라 이동축의 이동 지령이나 이상 부하 레벨의 임계값을 조정하는 기능을 갖는 와이어 방전 가공기에 관한 것이다.

와이어 방전 가공기를 사용할 때, 작업자의 오조작으로 와이어 가이드부를 워크나 워크를 고정시키는 지그에 충돌시켜 버리는 경우가 있다. 이와 같은 때, 도 8 에 나타내는 바와 같이, 이동축의 부하량을 감시하여, 이것이 설정된 임계값에 이른 경우에는 이동축을 알람 정지시킴으로써, 와이어 가이드부 등의 이동축의 기구부의 파손을 방지하는 기술이 일본 공개특허공보 2007-72879호 등에 개시되어 있다.

그러나, 일반적으로 와이어 방전 가공기의 와이어 가이드부는, 플라스틱 등의 비교적 파손되기 쉬운 재료로 만들어져 있기 때문에, 상기 일본 공개특허공보 2007-72879호에 개시되어 있는 기술을 사용했다고 하더라도, 상기 임계값을 높게 설정해 버리면, 도 9 에 나타내는 바와 같이, 이동축을 알람 정지시키기 전에 기구부가 파손되어 버리는 경우가 있다. 한편으로, 상기 임계값을 낮게 설정하여 파손되기 전에 이동축을 알람 정지로 하려고 하면, 통상 조작의 사소한 부하 변동으로 알람 정지가 되어, 사용성이 나빠진다.

일반적으로, 저온 상태에서 윤활제의 점도가 높은 경우에는 축 부하도 높아지고, 한편, 고온 상태에서 윤활제의 점도가 낮은 경우에는 축 부하도 낮아진다. 또, 축 이동을 저속으로 실시하는 경우에는 축 부하도 낮아지고, 고속으로 실시하는 경우에는 축 부하도 높아지는데, 이것은 특히, 축 이동 개시시에 현저하다. 저온 상태에서 축 이동시키는 경우에서도, 도 10 에 나타내는 바와 같이, 처음부터 고속으로 축 이동시키면 돌발적으로 축 부하가 증대되어 알람이 발생하지만, 도 11 에 나타내는 바와 같이, 처음에 저속으로 축 이동을 개시하고, 윤활제를 융합시켜 연화시키면, 그 후 고속으로 이동시켜도 돌발적으로 축 부하가 증대되는 경우는 없어 알람이 되지 않는다. 그러나, 이 융합시키는 조작은, 절차 작업 중의 작업자 입장에서 보면 손이 많이 가 역시 사용성이 나쁘다.

상기와 같이, 알람 정지시키는 것에 의한 이동축의 정지를 실시하는 경우에는, 환경의 상태에 따라 알람 정지의 임계값을 적절한 값으로 설정하거나, 이동축의 이동 지령을 조정하거나 할 필요가 있는데, 이와 같은 작업은 작업자에게 있어 큰 부담이 된다는 과제가 있었다.

그래서, 본 발명의 목적은, 이동축의 상태나 기계가 놓여진 환경 상태에 따라 이동축의 이동 지령이나 이상 부하 레벨의 임계값을 조정하는 기능을 구비한 와이어 방전 가공기를 제공하는 것이다.

본 발명에 의한 와이어 방전 가공기는, 프로그램 또는 작업자의 조작에 의한 축 이송 지령에 따라 축을 이동시키고, 상기 축의 이동에 있어서의 축 이송 지령의 조정 대상 파라미터와 그 조정 대상 파라미터의 조정량을 기계 학습하는 기계 학습기를 구비한다. 그리고, 상기 기계 학습기는, 상기 축의 이동에 있어서의 축의 이동 상태를 나타내는 정보인 상태 데이터를 취득하는 상태 관측부와, 리워드 조건을 설정하는 리워드 조건 설정부와, 상기 상태 데이터와 상기 리워드 조건에 기초하여 리워드를 계산하는 리워드 계산부와, 축 이송 지령 조정을 기계 학습하는 축 이송 지령 조정 학습부와, 상기 축 이송 지령 조정 학습부에 의한 축 이송 지령 조정의 기계 학습 결과와, 상기 상태 데이터에 기초하여, 상기 축 이송 지령의 조정 대상 파라미터와 그 조정량을 조정 행동으로서 결정하고, 그 결정한 조정 행동에 기초하여 상기 축 이송 지령을 조정하여 출력하는 축 이송 지령 출력부를 갖는다. 그리고, 상기 축 이송 지령 조정 학습부는, 상기 조정 행동과, 출력된 조정 후의 상기 축 이송 지령에 기초하는 상기 축의 이동 후의 상기 상태 관측부에 의해 취득된 상기 상태 데이터와, 상기 리워드 계산부가 계산한 상기 리워드에 기초하여, 상기 축 이송 지령 조정을 기계 학습하도록 구성되어 있다.

상기 상태 데이터는, 상기 축의 부하, 상기 축의 지령 속도, 상기 축의 속도, 상기 축의 지령 가속도, 상기 축의 가속도, 상기 축의 이상 부하 레벨, 상기 축의 기구부의 파손, 주위의 실온, 습도 중 적어도 어느 것을 포함할 수 있다.

상기 축 이송 지령의 조정 대상 파라미터는, 상기 축의 속도, 상기 축의 가속도, 상기 축의 이상 부하 레벨 중 적어도 어느 것을 포함할 수 있다.

상기 와이어 방전 가공기는, 추가로, 상기 축 이송 지령 조정 학습부가 학습한 결과를 기억하는 학습 결과 기억부를 구비해도 되고, 상기 축 이송 지령 출력부는, 상기 축 이송 지령 조정 학습부가 학습한 축 이송 지령 조정의 학습 결과와, 상기 학습 결과 기억부에 기억된 축 이송 지령 조정의 학습 결과에 기초하여, 상기 축의 축 이송 지령을 조정하도록 구성되어 있어도 된다.

상기 리워드 조건은, 상기 축의 속도가 상기 축의 지령 속도에 빨리 도달하는 경우, 또는 상기 축의 이동 중에 상기 축의 부하가 그 축의 이상 부하 레벨을 초과하지 않은 경우, 또는 이동축이 충돌했을 때에 상기 이동축의 기구부에 파손이 발생하지 않은 경우에 플러스의 리워드를 주고, 한편, 상기 축의 속도가 상기 축의 지령 속도에 늦게 도달하는 경우, 또는 상기 축의 이동 중에 상기 축의 부하가 그 축의 이상 부하 레벨을 초과한 경우, 또는 이동축이 충돌했을 때에 상기 이동축의 기구부에 파손이 발생한 경우에 마이너스의 리워드를 주도록 구성되어 있어도 된다.

상기 방전 가공기는, 적어도 1 개의 다른 와이어 방전 가공기와 접속되어 있으며, 상기 다른 와이어 방전 가공기와의 사이에서 기계 학습의 결과를 서로 교환 또는 공유하도록 해도 된다.

본 발명에 의한 기계 학습기의 제 1 형태는, 와이어 방전 가공기에서의 축의 이동에 있어서의 축 이송 지령의 조정이 기계 학습되어 있는 기계 학습기로서, 상기 축 이송 지령 조정의 기계 학습 결과를 기억하는 학습 결과 기억부와, 상기 축의 이동에 있어서의 축의 이동 상태를 나타내는 정보인 상태 데이터를 취득하는 상태 관측부와, 상기 학습 결과 기억부에 기억된 상기 축 이송 지령 조정의 기계 학습 결과와, 상기 상태 데이터에 기초하여, 상기 축 이송 지령의 조정 대상 파라미터와 그 조정량을 조정 행동으로서 결정하고, 그 결정한 조정 행동에 기초하여 상기 축의 이동에 있어서의 상기 축 이송 지령을 조정하여 출력하도록 구성되어 있는 축 이송 지령 출력부를 구비한다.

본 발명에 의한 기계 학습기의 제 2 형태는, 와이어 방전 가공기에서의 축의 이동에 있어서의 축 이송 지령 조정을 기계 학습하는 기계 학습기로서, 상기 축의 이동에 있어서의 축의 이동 상태를 나타내는 정보인 상태 데이터를 취득하는 상태 관측부와, 리워드 조건을 설정하는 리워드 조건 설정부와, 상기 상태 데이터와 상기 리워드 조건에 기초하여 리워드를 계산하는 리워드 계산부와, 축 이송 지령 조정을 기계 학습하는 축 이송 지령 조정 학습부와, 상기 축 이송 지령 조정 학습부에 의한 축 이송 지령 조정의 기계 학습 결과와, 상기 상태 데이터에 기초하여, 상기 축 이송 지령의 조정 대상 파라미터와 그 조정량을 조정 행동으로서 결정하고, 그 조정 행동에 기초하여 상기 축 이송 지령을 조정하여 출력하는 축 이송 지령 출력부를 구비한다. 그리고, 상기 축 이송 지령 조정 학습부는, 상기 조정 행동과, 출력된 조정 후의 상기 축 이송 지령에 기초하는 상기 축의 이동 후의 상기 상태 관측부에 의해 취득된 상기 상태 데이터와, 상기 리워드 계산부가 계산한 상기 리워드에 기초하여, 상기 축 이송 지령 조정을 기계 학습하도록 구성되어 있다.

상기 축 이송 지령의 조정을 기계 학습하는 기계 학습기는, 추가로, 상기 축 이송 지령 조정 학습부가 학습한 결과를 기억하는 학습 결과 기억부를 구비하고, 상기 축 이송 지령 출력부는, 상기 축 이송 지령 조정 학습부가 학습한 축 이송 지령 조정의 학습 결과와, 상기 학습 결과 기억부에 기억된 축 이송 지령 조정의 학습 결과에 기초하여, 상기 축의 축 이송 지령을 조정하도록 구성되어 있어도 된다.

본 발명에서는, 기계 학습에 의해 이동축의 이동 지령이나 이상 부하 레벨의 임계값의 조정을 실시함으로써, 오조작에 의한 기구부의 파손을 회피하고, 통상 조작시의 사용성을 개선하는 것이 가능해진다.

본 발명의 상기한 그리고 그 밖의 목적 및 특징은, 첨부 도면을 참조한 이하의 실시예의 설명으로부터 분명해질 것이다. 이들 도면 중 :
도 1 은, 강화 학습 알고리즘의 기본적인 개념을 설명하는 도면이다.
도 2 는, 뉴런의 모델을 나타내는 모식도이다.
도 3 은, 3 층의 가중치를 갖는 뉴럴 네트워크를 나타내는 모식도이다.
도 4 는, 본 발명의 일 실시형태에 의한 와이어 방전 가공기의 기계 학습에 관한 이미지도이다.
도 5 는, 도 4 의 와이어 방전 가공기의 축 이송 조정의 개요를 설명하는 도면이다.
도 6 은, 도 4 의 와이어 방전 가공기의 기능 블록도이다.
도 7 은, 도 6 의 와이어 방전 가공기가 구비하는 기계 학습기에 의한 기계 학습의 흐름을 나타내는 플로차트이다.
도 8 은, 이동축의 부하에 기초하는 알람 정지에 대하여 설명하는 도면이다.
도 9 는, 이동축의 기구부가 알람 정지하기 전에 파손되는 예를 설명하는 도면이다.
도 10 은, 이동축을 고속으로 이동 개시시키는 것에 의한 알람 발생을 설명하는 도면이다.
도 11 은, 이동축을 저속으로 이동 개시시키는 것에 의한 알람 발생의 회피에 대하여 설명하는 도면이다.

본 발명에서는, 워크를 가공하는 와이어 방전 가공기에 인공 지능이 되는 기계 학습기를 도입한다. 그리고, 와이어 방전 가공기로부터 이동축의 부하, 이동축의 속도, 이동축의 가속도, 이동축의 동작 시간, 이동축의 이상 부하 레벨, 이동축의 기구부의 파손, 및 실온, 습도 등의 '이동축의 이동 상태에 관련된 데이터' 를 취득하고, 그 '이동축의 이동 상태에 관련된 데이터' 에 대한 이동축의 속도나 가속도, 이동축의 이상 부하 레벨 등의 축 이송 지령의 조정에 관한 기계 학습을 실시한다. 그렇게 함으로써, 이동축의 상태에 따라 축 이송 지령이 최적의 것이 되도록 조정을 실시한다.

이하에서는, 본 발명에서 도입하는 기계 학습에 대해서 간단히 설명한다.

＜1. 기계 학습＞

여기에서, 기계 학습에 대해서 간단히 설명한다. 기계 학습은, 기계 학습을 실시하는 장치 (이하, 기계 학습기) 에 입력되는 데이터의 집합으로부터, 그 중에 있는 유용한 규칙이나 지식 표현, 판단 기준 등을 해석에 의해 추출하고, 그 해석 결과를 출력함과 함께, 지식의 학습을 실시함으로써 실현된다. 기계 학습의 수법은 여러 가지인데, 크게 나누면 「교사가 있는 학습 (supervised learning)」, 「교사가 없는 학습 (unsupervised learning)」, 「강화 학습 (reinforcement learning)」으로 나누어진다. 또한, 이들 수법을 실현하는 데에 있어서, 특징량 그 자체의 추출을 학습하는, 「심층 학습 (deep machine learning)」이라고 불리는 수법이 있다.

「교사가 있는 학습」이란, 어떤 입력과 결과 (라벨) 의 데이터의 세트를 대량으로 기계 학습기에 줌으로써, 이들 데이터 세트에 있는 특징을 학습하여, 입력으로부터 결과를 추정하는 모델을, 즉, 그 관계성을 귀납적으로 획득할 수 있다. 이것은 후술하는 뉴럴 네트워크 등의 알고리즘을 사용하여 실현할 수 있다.

「교사가 없는 학습」이란, 입력 데이터만을 대량으로 학습기에 줌으로써, 입력 데이터가 어떠한 분포를 하고 있는지 학습하여, 대응하는 교사 출력 데이터를 주지 않아도 입력 데이터에 대해 압축, 분류, 정형 등을 실시하는 장치를 학습하는 수법이다. 이들 데이터 세트에 있는 특징을 서로 닮은 것끼리 클러스터링 (clustering) 하는 것 등이 가능하다. 이 결과를 사용하여, 어떠한 기준을 마련하여 그것을 최적으로 하는 출력의 할당을 실시함으로써, 출력의 예측을 실현할 수 있다.

또, 「교사가 없는 학습」과 「교사가 있는 학습」의 중간적인 문제 설정으로서, 「반(半)교사가 있는 학습 (semi-supervised learning)」이라고 불리는 것도 있으며, 이것은 일부만 입력과 출력의 데이터의 세트가 존재하고, 그 이외는 입력만의 데이터인 경우가 이것에 해당한다. 본 실시형태에 있어서는, 실제로 가공기를 동작시키지 않아도 취득할 수 있는 데이터를 교사가 없는 학습에서 이용하여, 학습을 효율적으로 실시할 수 있다.

「강화 학습」이란, 판정이나 분류뿐만이 아니라, 행동을 학습함으로써, 환경에 행동이 미치는 상호 작용에 입각하여 적절한 행동을 학습하는, 즉, 장래적으로 얻어질 리워드를 최대로 하기 위해 학습한다, 고 하는 방법이다. 강화 학습에 있어서는, 기계 학습기는 행동이 일으키는 결과를 전혀 모르는 상태로부터, 또는 불완전하게밖에 알지 못하는 상태로부터 학습을 개시할 수 있다. 또, 인간의 동작을 모방하도록 사전 학습 (전술한 교사가 있는 학습이나, 역강화 학습과 같은 수법) 한 상태를 초기 상태로 하여, 양호한 스타트 지점으로부터 학습을 스타트시킬 수도 있다.

또한, 가공기에 기계 학습을 적용하는 경우, 그 가공기가 실제로 동작해야 비로소 그 결과를 데이터로서 얻을 수 있는 것, 즉, 시행 착오하면서 최적의 행동을 탐색할 필요가 있는 것, 을 고려할 필요가 있다. 그래서, 본 발명에서는, 기계 학습기의 주된 학습 알고리즘으로서 리워드를 줌으로써, 기계 학습기가 목표 도달을 위한 행동을 자동적으로 학습하는 강화 학습의 알고리즘을 채용하고 있다.

도 1 은, 강화 학습 알고리즘의 기본적인 개념을 설명하는 도면이다.

강화 학습에 있어서는, 학습하는 주체가 되는 에이전트 (기계 학습기) 와 제어 대상이 되는 환경 (제어 대상 시스템) 의 주고받음에 의해 에이전트의 학습과 행동이 진행된다. 보다 구체적으로는,

(1) 에이전트는 어떤 시점에 있어서의 환경의 상태 s_t 를 관측하고,

(2) 관측 결과와 과거의 학습에 기초하여 자신이 취할 수 있는 행동 a_t 를 선택하고, 그 선택한 행동 a_t 를 실행하고,

(3) 어떠한 규칙 및 행동 a_t 의 실행에 기초하여 환경의 상태 s_t 가 다음의 상태 s_t+1 로 변화하고,

(4) 행동 a_t 의 결과로서의 상태의 변화에 기초하여 에이전트가 리워드 r_t+1 을 받고,

(5) 에이전트가 상태 s_t, 행동 a_t, 리워드 r_t+1 및 과거의 학습 결과에 기초하여 학습을 진행시키는,

것과 같은 주고받음이 에이전트와 환경 사이에서 이루어진다.

강화 학습의 초기의 단계에서는, 에이전트는 상기 (2) 의 행동 선택에 있어서 환경의 상태 s_t에 대한 최적의 행동 a_t 를 선택하기 위한 가치 판단의 기준을 전혀 알고 있지 않다. 그래서, 에이전트는 어느 상태 s_t하에서 여러 가지 행동 a_t 를 선택하고, 그 때의 행동 a_t 에 대해 주어진 리워드 r_t+1 에 기초하여, 보다 나은 행동의 선택, 즉 올바른 가치 판단의 기준을 학습해 간다.

상기 (5) 에 있어서의 학습에 있어서는, 에이전트는 장래 취득할 수 있는 리워드의 양을 판단하기 위한 기준이 되는 정보로서, 관측된 상태 s_t, 행동 a_t, 리워드 r_t+1 의 매핑을 획득한다. 예를 들어, 각 시각에 있어서 취할 수 있는 상태의 개수를 m 으로 하고, 취할 수 있는 행동의 개수를 n 으로 하면, 행동을 반복함으로써 상태 s_t 와 행동 a_t 의 세트에 대한 리워드 r_t+1 을 기억하는 m×n 의 2 차원 배열이 얻어진다.

그리고, 상기 얻어진 매핑에 기초하여 선택한 상태나 행동이 어느 정도 나은 것인지를 나타내는 함수인 가치 함수 (평가 함수) 를 사용하여, 행동을 반복하는 가운데 가치 함수 (평가 함수) 를 갱신해 감으로써 상태에 대한 최적의 행동을 학습해 간다.

상태 가치 함수는, 어느 상태 s_t 가 어느 정도 나은 상태인지를 나타내는 가치 함수이다. 상태 가치 함수는, 상태를 인수로 하는 함수로서 표현되며, 행동을 반복하던 중에서의 학습에 있어서, 어느 상태에 있어서의 행동에 대해 얻어진 리워드나, 그 행동에 의해 이행할 미래 상태의 가치 등에 기초하여 갱신된다. 상태 가치 함수의 갱신식은 강화 학습의 알고리즘에 따라 정의되어 있으며, 예를 들어, 강화 학습 알고리즘의 하나인 TD 학습에 있어서는, 상태 가치 함수는, 하기 (1) 식에 의해 갱신된다. 또한, (1) 식에 있어서, α 는 학습 계수, γ 는 할인율이라고 불리며, 0 ＜ α ≤ 1, 0 ＜ γ ≤ 1 의 범위에서 정의된다.

......(1)

또, 행동 가치 함수는, 어느 상태 s_t 에 있어서 행동 a_t 가 어느 정도 나은 행동인지를 나타내는 가치 함수이다. 행동 가치 함수는, 상태와 행동을 인수로 하는 함수로서 표현되며, 행동을 반복하던 중에서의 학습에 있어서, 어느 상태에 있어서의 행동에 대해 얻어진 리워드나, 그 행동에 의해 이행할 미래 상태에 있어서의 행동의 가치 등에 기초하여 갱신된다. 행동 가치 함수의 갱신식은 강화 학습의 알고리즘에 따라 정의되어 있으며, 예를 들어, 대표적인 강화 학습 알고리즘의 하나인 Q 학습에 있어서는, 행동 가치 함수는 하기 (2) 식에 의해 갱신된다. 또한, (2) 식에 있어서, α 는 학습 계수, γ 는 할인율이라고 불리며, 0 ＜ α ≤ 1, 0 ＜ γ ≤ 1 의 범위에서 정의된다.

......(2)

상기 (2) 식은, 행동 a_t 의 결과로 돌아온 리워드 r_t+1 을 바탕으로, 상태 s_t 에 있어서의 행동 a_t 의 평가값 Q(s_t, a_t) 를 갱신하는 방법을 나타내고 있다. 상태 s_t 에 있어서의 행동 a_t 의 평가값 Q(s_t, a_t) 보다, 리워드 r_t+1 플러스 행동 a_t 에 의한 다음 상태에 있어서의 최선의 행동 max(a) 의 평가값 Q(s_t+1, max(a)) 쪽이 크면 Q(s_t, a_t) 를 크게 하고, 반대로 작으면 Q(s_t, a_t) 도 작게 하는 것을 나타내고 있다. 요컨대, 어느 상태에 있어서의 어떤 행동의 가치를, 결과로서 즉시 돌아오는 리워드와, 그 행동에 의한 다음 상태에 있어서의 최선의 행동의 가치에 근접하도록 하고 있다.

Q 학습에 있어서는, 이와 같은 갱신을 반복함으로써, 최종적으로 Q(s_t, a_t) 가 기대값 E[Σγ^tr_t] 가 되도록 하는 것을 목표로 한다 (기대값은, 최적의 행동에 따라 상태 변화했을 때에 얻어지는 값이다. 물론, 그것은 모르기 때문에, 탐색하면서 학습해야 한다).

그리고, 상기 (2) 에 있어서의 행동의 선택에 있어서는, 과거의 학습에 의해 작성된 가치 함수 (평가 함수) 를 사용하여 현재의 상태 s_t 에 있어서 장래에 걸친 리워드 (r_t+1＋ r_t+2＋ …) 가 최대가 되는 행동 a_t (상태 가치 함수를 사용하고 있는 경우에는, 가장 가치가 높은 상태로 옮기기 위한 행동, 행동 가치 함수를 사용하고 있는 경우에는, 그 상태에 있어서 가장 가치가 높은 행동) 를 선택한다. 또한, 에이전트의 학습 중에는 학습의 진전을 목적으로 하여 상기 (2) 에 있어서의 행동의 선택에 있어서 일정한 확률로 랜덤한 행동을 선택하는 경우도 있다 (ε 그리디법).

또한, 학습 결과로서의 가치 함수 (평가 함수) 를 기억하는 방법으로는, 모든 상태 행동 페어 (s, a) 에 대해, 그 값을 테이블 (행동 가치 테이블) 로서 유지해 두는 방법이나, 상기 가치 함수를 근사하는 함수를 준비하는 방법이 있다. 후자의 방법에서는, 전술한 갱신식은, 확률 구배 강하법 (method for probabilistic gradient descent) 등의 수법으로 근사 함수의 파라미터를 조정해 감으로써 실현할 수 있다. 근사 함수로는, 뉴럴 네트워크 등의 교사가 있는 학습기를 사용할 수 있다.

뉴럴 네트워크는, 예를 들어 도 2 에 나타내는 바와 같은 뉴런의 모델을 모방한 뉴럴 네트워크를 실현하는 연산 장치 및 메모리 등으로 구성된다. 도 2 는, 뉴런의 모델을 나타내는 모식도이다.

도 2 에 나타내는 바와 같이, 뉴런은, 복수의 입력 x (여기에서는 일례로서, 입력 x₁ ∼ 입력 x₃) 에 대한 출력 y 를 출력하는 것이다. 각 입력 x₁ ∼ x₃ 에는, 이 입력 x 에 대응하는 가중치 w (w₁ ∼ w₃) 가 가해진다. 이로써, 뉴런은, 하기 (3) 식에 의해 표현되는 출력 y 를 출력한다. 또한, (3) 식에 있어서, 입력 x, 출력 y 및 가중치 w 는 모두 벡터이다. 또, θ 는 바이어스이고, f_k 는 활성화 함수 (activation function) 이다.

......(3)

다음으로, 상기 서술한 뉴런을 조합한 3 층의 가중치를 갖는 뉴럴 네트워크에 대하여, 도 3 을 참조하여 설명한다.

도 3 은, D1 ∼ D3 의 3 층의 가중치를 갖는 뉴럴 네트워크를 나타내는 모식도이다. 도 3 에 나타내는 바와 같이, 뉴럴 네트워크의 좌측으로부터 복수의 입력 x (여기에서는 일례로서, 입력 x1 ∼ 입력 x3) 가 입력되고, 우측으로부터 결과 y (여기에서는 일례로서, 결과 y1 ∼ 결과 y3) 가 출력된다.

구체적으로는, 입력 x1 ∼ 입력 x3 은, 3 개의 뉴런 N11 ∼ N13 의 각각에 대해 대응하는 가중치가 가해져 입력된다. 이들 입력에 가해지는 가중치는 일괄하여 w1 이라고 표기되어 있다. 뉴런 N11 ∼ N13 은, 각각 z11 ∼ z13 을 출력한다. 이들 z11 ∼ z13 은 일괄하여 특징 벡터 (feature vector) z1 이라고 표기되며, 입력 벡터의 특징량을 추출한 벡터로 간주할 수 있다. 이 특징 벡터 z1 은, 가중치 w1 과 가중치 w2 사이의 특징 벡터이다.

z11 ∼ z13 은, 2 개의 뉴런 N21, N22 의 각각에 대해 대응하는 가중치가 가해져 입력된다. 이들 특징 벡터에 가해지는 가중치는, 일괄하여 w2 라고 표기되어 있다. 뉴런 N21, N22 는, 각각 z21, z22 를 출력한다. 이들은, 일괄하여 특징 벡터 z2 라고 표기되어 있다. 이 특징 벡터 z2 는, 가중치 w2 와 가중치 w3 사이의 특징 벡터이다.

특징 벡터 z21, z22 는, 3 개의 뉴런 N31 ∼ N33 의 각각에 대해 대응하는 가중치가 가해져 입력된다. 이들 특징 벡터에 가해지는 가중치는, 일괄하여 w3 이라고 표기되어 있다.

마지막으로, 뉴런 N31 ∼ N33 은, 각각 결과 y1 ∼ 결과 y3 을 출력한다.

뉴럴 네트워크의 동작에는, 학습 모드와 가치 예측 모드가 있으며, 학습 모드에 있어서 학습 데이터 세트를 사용하여 가중치 w 를 학습하고, 그 파라미터를 사용하여 예측 모드에 있어서 가공기의 행동 판단을 실시한다 (편의상, 예측이라고 기재하였지만, 검출, 분류, 추론 등 다양한 태스크가 가능하다).

예측 모드에서 실제로 가공기를 움직여 얻어진 데이터를 즉시 학습하여, 다음의 행동에 반영시킬 (온라인 학습) 수도 있고, 또 미리 수집해 둔 데이터군을 사용하여 정리한 학습을 실시하고, 이후에는 쭉 그 파라미터로 검지 모드를 실시 (배치 학습) 할 수도 있다. 그 중간적인, 어느 정도 데이터가 모일 때마다 학습 모드를 사이에 둔다는 것도 가능하다.

가중치 w1 ∼ w3 은, 오차 역전파법 (error back propagation method) 에 의해 학습할 수 있는 것이다. 오차의 정보는, 우측으로부터 들어가 좌측으로 흐른다. 오차 역전파법은, 각 뉴런에 대하여, 입력 x 가 입력되었을 때의 출력 y 와 진정한 출력 y (교사) 의 차분을 작게 하도록, 각각의 가중치를 조정 (학습) 하는 수법이다.

뉴럴 네트워크는, 3 층 이상으로 추가로 층을 늘리는 것도 가능하다 (심층 학습이라고 칭해진다). 입력의 특징 추출을 단계적으로 실시하여, 결과를 회귀하는 연산 장치를, 교사 데이터만으로부터 자동적으로 획득하는 것이 가능하다.

이와 같은 뉴럴 네트워크를 근사 함수로서 사용함으로써, 상기한 강화 학습의 과정에 있어서의 (1) ∼ (5) 를 반복하면서 상기한 가치 함수 (평가 함수) 를 기억하여 학습을 진행시킬 수 있다.

어떤 환경에 있어서 학습이 종료된 후에, 새로운 환경에 놓여진 경우에서도 추가의 학습을 실시함으로써 그 환경에 적응하도록 학습을 진행시킬 수 있다. 따라서, 본 발명과 같이 와이어 방전 가공기에 있어서의 이동축의 속도, 가속도, 이동축의 이상 부하 레벨 등의 축 이송 지령의 조정에 적용함으로써, 새로운 와이어 방전 가공기의 제어에 적용하거나 한 경우라 하더라도, 과거의 축 이송 지령 조정의 학습에, 새로운 환경에 있어서의 추가의 학습을 함으로써, 축 이송 지령 조정의 학습을 단시간에 실시하는 것이 가능해진다.

또, 강화 학습에 있어서는, 복수의 에이전트를 네트워크 등을 통해 접속한 시스템으로 하고, 에이전트 사이에서 상태 s, 행동 a, 리워드 r 등의 정보를 공유하여 각각의 학습에 이용함으로써, 각각의 에이전트가 다른 에이전트의 환경도 고려하여 학습을 하는 분산 강화 학습을 실시함으로써 효율적인 학습을 실시할 수 있다. 본 발명에 있어서도, 복수의 환경 (와이어 방전 가공기) 을 제어하는 복수의 에이전트 (기계 학습기) 가 네트워크 등을 통해 접속된 상태에서 분산 기계 학습을 실시함으로써, 와이어 방전 가공기에 있어서의 축 이송 지령 조정의 학습을 효율적으로 실시하게 할 수 있게 된다.

또한, 강화 학습의 알고리즘으로는, Q 학습, SARSA 법, TD 학습, AC 법 등 여러 가지 수법이 주지되어 있지만, 본 발명에 적용하는 방법으로서 어느 강화 학습 알고리즘을 채용해도 된다. 상기한 각각의 강화 학습 알고리즘은 주지되어 있으므로, 본 명세서에 있어서의 각 알고리즘의 상세한 설명은 생략한다.

이하에서는, 기계 학습기를 도입한 본 발명의 와이어 방전 가공기에 대하여, 구체적인 실시형태에 기초하여 설명한다.

＜2. 실시형태＞

도 4 는, 본 발명의 일 실시형태에 의한 기계 학습기를 도입한 와이어 방전 가공기에 있어서의 이동축의 속도, 가속도, 이동축의 이상 부하 레벨 등의 축 이송 지령 조정의 기계 학습에 관한 이미지를 나타내는 도면이다. 또한, 도 4 는 본 실시형태에 의한 와이어 방전 가공기에서의 기계 학습의 설명에 필요한 구성만을 나타내고 있다.

본 실시형태에 있어서, 기계 학습기 (20) 가 환경 ("＜1. 기계 학습＞" 에서 설명한 상태 s_t) 을 특정하기 위한 정보로서, 와이어 방전 가공기 (1) 의 축의 이동시에 있어서의 이동축의 부하, 이동축의 지령 속도, 이동축의 속도, 이동축의 지령 가속도, 이동축의 가속도, 이동축의 이상 부하 레벨, 이동축의 기구부의 파손, 및 와이어 방전 가공기 (1) 의 주위의 실온, 습도 등의 상태 정보를 기계 학습기 (20) 에 입력하고 있다. 이들 각 값은, 와이어 방전 가공기 (1) 의 각 부 (제어부 (10) 나 환경 측정부 (11), 서보 모터 등의 구동부나 각종 센서류) 로부터 취득된 데이터이다.

본 실시형태에서는, 기계 학습기 (20) 가 환경을 향해 출력하는 것 ("＜1. 기계 학습＞" 에서 설명한 행동 a_t) 으로서, 와이어 방전 가공기 (1) 에서의 축의 이동시에 있어서의 이동축의 속도, 이동축의 가속도, 이동축의 이상 부하 레벨 등의 축 이송 지령의 조정을 출력 데이터로 하고 있다.

도 5 는, 본 실시형태에 의한 와이어 방전 가공기 (1) 의 축의 이동에 관련된 각 데이터에 대하여 설명하는 도면이다.

통상의 와이어 방전 가공기 (1) 는, 축의 이동이 지령되면, 그 축에 대해서 설정되어 있는 시정수로부터 구해지는 가속도로 그 이동 지령에 의해 지시된 이동 속도까지 가속하고, 그 후에 그 이동 지령에 의해 지시된 이동 속도로 축을 이동시킨다. 이에 대해, 본 실시형태의 와이어 방전 가공기 (1) 는, 축의 이동이 지령되면, 기계 학습기 (20) 는 그 동작 주기마다 와이어 방전 가공기 (1) 의 상태 정보를 취득하고, 그 취득한 상태 정보에 기초하여 당해 시각에 있어서의 이동축의 속도, 가속도, 및 이상 부하 레벨의 조정을 결정하고, 그 조정에 의해 결정된 이동축의 속도, 가속도, 및 이상 부하 레벨을 와이어 방전 가공기 (1) 에 출력한다. 예를 들어, 도 5 에 나타내는 바와 같이, 시각 t 에 있어서는, 이동축의 속도는 v_t, 가속도는 ac_t, 및 이상 부하 레벨은 th_t로 조정된다. 기계 학습기 (20) 에 의한 이동축의 속도, 가속도, 및 이상 부하 레벨의 조정은, 축의 이동 속도가 본래의 이동 지령에 의해 지시된 이동 속도에 도달하거나 혹은 축의 이동이 종료될 때까지 행해진다.

또, 본 실시형태에서는, 기계 학습기 (20) 에 주어지는 리워드 ("＜1. 기계 학습＞" 에서 설명한 리워드 r_t) 로서, 이동축의 부하와 이상 부하 레벨의 대소 (마이너스 리워드), 이동축의 속도 (플러스 리워드), 이동축의 기구부의 파손 발생 (마이너스 리워드) 등을 채용한다.

또한, 어느 데이터에 기초하여 리워드를 결정할지에 대해서는, 작업자가 적절히 설정하도록 해도 된다.

또한, 본 실시형태에서는, 기계 학습기 (20) 는, 상기한 입력 데이터, 출력 데이터, 리워드에 기초하여 기계 학습을 실시한다. 이 기계 학습에 있어서는, 어느 시각 t 에 있어서, 입력 데이터의 조합에 의해 상태 s_t 가 정의되고, 그 정의된 상태 s_t 에 대해 행해지는 축 이송 지령의 조정이 행동 a_t 가 된다. 그리고, 그 행동 a_t 에 의해 축 이송 지령의 조정이 이루어진 결과로서 새롭게 얻어진 입력 데이터에 기초하여 평가 계산된 값이 리워드 r_t+1 이 된다. 이것을 "＜1. 기계 학습＞" 에서 설명한 바와 같이, 기계 학습의 알고리즘에 따른 가치 함수 (평가 함수) 의 갱신식에 적용시킴으로써 학습을 진행시킨다.

도 6 은, 본 실시형태의 와이어 방전 가공기의 기능 블록도이다.

본 실시형태의 와이어 방전 가공기 (1) 를 제어하는 제어부 (10) 는, 메모리 (도시 생략) 로부터 판독된 프로그램에 의한 축 이송 지령이나, 조작반 (도시 생략) 의 조작에 기초하는 축 이송 지령을 해석하고, 그 해석 결과로서 얻어진 제어 데이터에 기초하여 와이어 방전 가공기 (1) 의 축 이동을 제어한다. 와이어 방전 가공기 (1) 는, 이동축에 가해지는 부하, 이동축의 속도ㆍ가속도, 이동축의 기구부의 파손 등을 검출하는 기구나 센서 (도시 생략) 를 구비하고 있으며, 제어부 (10) 는 이들 기구나 센서를 통해 와이어 방전 가공기의 상태를 나타내는 정보를 취득할 수 있도록 구성되어 있다.

또, 와이어 방전 가공기 (1) 는, 와이어 방전 가공기의 주위의 실온, 습도 등을 측정하는 환경 측정부 (11) 를 구비하고 있다.

또한, 와이어 방전 가공기 (1), 제어부 (10) 는, 와이어 방전 가공기, 제어 장치의 일반적인 구성을 구비하고 있는 것으로 하고, 본 발명에 있어서의 기계 학습의 동작의 설명에 특별히 필요한 구성 이외에는, 본 명세서에서의 상세한 설명을 생략한다. 도 6 에 나타내는 기계 학습기 (20) 는 도 1 의 「에이전트」에 대응하고, 도 6 에 나타내는, 기계 학습기 (20) 를 제외한 와이어 방전 가공기 (1), 제어부 (10), 및 환경 측정부 (11) 가 구비하는 각 구성은, 도 1 의 「환경」에 대응한다.

기계 학습기 (20) 는, 와이어 방전 가공기 (1) 에 있어서 축의 이동에 관련된 지령이 실행되어, 축에 정 (正) 의 가속이 발생할 때, 축 이송 지령의 조정 동작 및 그 조정 동작의 학습을 실시한다. 축 이송 지령의 조정 동작 및 학습은, 축의 이동 속도가 지령된 본래의 이동 속도에 도달한 시점에서 일단 종료하고, 그 후 다시 축의 이동에 관련된 지령이 실행되어 축에 정의 가속이 발생하면, 기계 학습기 (20) 에 의한 축 이송 지령의 조정 동작 및 그 조정 동작의 학습이 재차 실행된다. 기계 학습기 (20) 의 동작 개시와 종료의 계기는, 후술하는 상태 관측부 (21) 에 의해 관측된 상태 데이터에 기초하여 기계 학습기 (20) 가 자율적으로 실시하도록 해도 되고, 와이어 방전 가공기 (1) 로부터의 신호 등에 기초하여 기계 학습기 (20) 가 동작 개시와 종료를 하도록 해도 된다.

기계 학습을 실시하는 기계 학습기 (20) 는, 상태 관측부 (21), 상태 데이터 기억부 (22), 리워드 조건 설정부 (23), 리워드 계산부 (24), 축 이송 지령 조정 학습부 (25), 학습 결과 기억부 (26), 축 이송 지령 출력부 (27) 를 구비한다. 기계 학습기 (20) 는, 도 6 에 나타내는 바와 같이, 와이어 방전 가공기 (1) 내에 구비해도 되고, 와이어 방전 가공기 (1) 밖의 퍼스널 컴퓨터에 구비하도록 해도 된다.

상태 관측부 (21) 는, 제어부 (10) 로부터 얻어진 와이어 방전 가공기 (1) 의 이동축의 부하, 이동축의 지령 속도, 이동축의 속도, 이동축의 지령 가속도, 이동축의 가속도, 이동축의 이상 부하 레벨, 이동축의 기구부의 파손, 및 환경 측정부 (11) 로부터 얻어진 와이어 방전 가공기 (1) 의 주위의 실온, 습도 등의 상태 정보를, 이동축의 이동 상태에 관련된 데이터로서 관측하여 기계 학습기 (20) 내에 취득한다.

상태 데이터 기억부 (22) 는, 이동축의 이동 상태에 관련된 데이터를 입력하여 기억하고, 그 기억한 이동축의 이동 상태에 관련된 데이터를 리워드 계산부 (24) 나 축 이송 지령 조정 학습부 (25) 에 출력한다. 입력되는 이동축의 이동 상태에 관련된 데이터는, 와이어 방전 가공기 (1) 의 최신의 운전에 의해 취득한 데이터여도 되고, 과거의 운전에 의해 취득한 데이터여도 된다. 또, 다른 와이어 방전 가공기 (40) 나 집중 관리 시스템 (30) 에 기억된 이동축의 이동 상태에 관련된 데이터를 입력하여 기억하거나, 출력하거나 하는 것도 가능하다.

리워드 조건 설정부 (23) 는, 작업자 등에 의해 입력된 기계 학습에 있어서의 리워드를 주는 조건을 설정하여 기억하기 위한 기능 수단이다. 리워드에는 플러스의 리워드와 마이너스의 리워드가 있으며, 적절히 설정이 가능하다. 리워드 조건 설정부 (23) 로의 입력은 집중 관리 시스템 (30) 에서 사용하고 있는 퍼스널 컴퓨터나 태블릿 단말 등으로부터여도 상관없지만, 제어부 (10) 가 구비하는 도시되지 않은 MDI 기기를 통해 입력할 수 있도록 함으로써, 보다 간편하게 설정하는 것이 가능해진다.

리워드 계산부 (24) 는, 리워드 조건 설정부 (23) 에서 설정된 조건에 기초하여 상태 관측부 (21) 또는 상태 데이터 기억부 (22) 로부터 입력된 이동축의 이동 상태에 관련된 데이터를 분석하고, 계산된 리워드를 축 이송 지령 조정 학습부 (25) 에 출력한다.

이하에, 본 실시형태에 의한 리워드 조건 설정부 (23) 에서 설정하는 리워드 조건의 예를 나타낸다.

[리워드 1 : 이동축의 부하와 이상 부하 레벨의 대소]

전회의 축 이송 지령의 조정 (시각 t-1 에 있어서의 축 이송 지령의 조정) 에서부터 이번 관측 시점까지의 동안에, 이동 중의 이동축의 부하가 이상 부하 레벨을 초과한 경우에는, 그 정도에 따라 마이너스의 리워드를 준다. 또, 이동 중의 이동축의 부하가 이상 부하 레벨을 초과하지 않은 경우에는, 그 정도에 따라 플러스의 리워드를 준다.

[리워드 2 : 이동축의 속도]

이동축의 이동 속도가, 이동 지령에 의해 지령되는 지령 속도에 보다 빨리 근접하여 도달할수록, 그 정도에 따라 플러스의 리워드를 준다. 또, 이동축의 이동 속도가, 이동 지령에 의해 지령되는 지령 속도에 보다 느리게 근접하여 도달할수록, 그 정도에 따라 마이너스의 리워드를 준다.

[리워드 3 : 이동축의 기구부의 파손 발생]

와이어 방전 가공기 (1) 가 구비하는 이동축이 워크나 지그에 충돌했을 때, 이동축의 기구부 (와이어 가이드 등) 에 파손이 발생한 경우에 마이너스의 리워드를 준다. 또, 이동축의 기구부 (와이어 가이드 등) 에 파손이 발생하지 않은 경우에 플러스의 리워드를 준다.

축 이송 지령 조정 학습부 (25) 는, 상태 관측부 (21) 또는 상태 데이터 기억부 (22) 로부터 입력된 이동축의 이동 상태에 관련된 데이터와, 자신이 실시한 축 이송 지령의 조정 결과, 및 리워드 계산부 (24) 에서 계산된 리워드에 기초하여 기계 학습 (강화 학습) 을 실시한다.

여기에서, 축 이송 지령 조정 학습부 (25) 가 실시하는 기계 학습에 있어서는, 어느 시각 t 에 있어서의 이동축의 이동 상태에 관련된 데이터의 조합에 의해 상태 s_t 가 정의되고, 정의된 상태 s_t 에 따라 축 이송 지령의 조정량을 결정하는 것이 행동 a_t 가 되어, 후술하는 축 이송 지령 출력부 (27) 에 의해 축 이송 지령의 조정을 실시하여 그 조정 결과가 제어부 (10) 에 출력되고, 그리고, 조정된 축 이송 지령에 기초하여 와이어 방전 가공기 (1) 가 제어되어 축의 이동이 행해지고, 그 결과로서 얻어진 데이터에 기초하여 상기 리워드 계산부 (24) 에서 계산된 값이 리워드 r_t+1 이 된다. 학습에 사용되는 가치 함수에 대해서는, 적용하는 학습 알고리즘에 따라 결정한다. 예를 들어, Q 학습을 사용하는 경우에는, 상기한 수 2 식에 따라 행동 가치 함수 Q(s_t, a_t) 를 갱신함으로써 학습을 진행시키도록 하면 된다.

도 7 의 플로차트를 사용하여, 축 이송 지령 조정 학습부 (25) 가 실시하는 기계 학습의 흐름을 설명한다. 이하, 각 스텝에 따라 설명한다.

[스텝 SA01] 기계 학습이 개시되면, 상태 관측부 (21) 가 와이어 방전 가공기 (1) 의 이동축의 이동 상태에 관련된 데이터를 취득한다.

[스텝 SA02] 축 이송 지령 조정 학습부 (25) 는, 상태 관측부 (21) 가 취득한 이동축의 이동 상태에 관련된 데이터에 기초하여 현재의 상태 S_t 를 특정한다.

[스텝 SA03] 축 이송 지령 조정 학습부 (25) 는, 과거의 학습 결과와 스텝 SA02 에서 특정한 상태 S_t 에 기초하여 행동 a_t (축 이송 지령의 조정) 를 선택한다.

[스텝 SA04] 스텝 SA03 에서 선택된 행동 a_t 를 실행한다.

[스텝 SA05] 상태 관측부 (21) 가, 와이어 방전 가공기 (1) 에 있어서의 축의 이동 상태를 나타내는 이동축의 이동 상태에 관련된 데이터를 취득한다. 이 단계에 있어서는, 와이어 방전 가공기 (1) 의 상태는, 시각 t 로부터 시각 t+1 로의 시간적 추이와 함께 스텝 SA04 에서 실행된 행동 a_t 에 의해 변화하고 있다.

[스텝 SA06] 스텝 SA05 에서 취득된 평가 결과의 데이터에 기초하여, 리워드 계산부 (24) 가 리워드 r_t+1 을 산출한다.

[스텝 SA07] 스텝 SA02 에서 특정된 상태 S_t, 스텝 SA03 에서 선택된 행동 a_t, 스텝 SA06 에서 산출된 리워드 r_t+1 에 기초하여, 축 이송 지령 조정 학습부 (25) 가 기계 학습을 진행시켜 스텝 SA02 로 되돌아간다.

도 6 으로 되돌아와, 학습 결과 기억부 (26) 는, 축 이송 지령 조정 학습부 (25) 가 학습한 결과를 기억한다. 또, 축 이송 지령 조정 학습부 (25) 가 학습 결과를 재사용할 때에는, 기억하고 있는 학습 결과를 축 이송 지령 조정 학습부 (25) 에 출력한다. 학습 결과의 기억에는, 상기 서술한 바와 같이, 이용하는 기계 학습 알고리즘에 따른 가치 함수를, 근사 함수나, 배열, 또는 다치 (多値) 출력의 SVM 이나 뉴럴 네트워크 등의 교사가 있는 학습기 등에 의해 기억하도록 하면 된다.

또한, 학습 결과 기억부 (26) 에, 다른 와이어 방전 가공기 (40) 나 집중 관리 시스템 (30) 이 기억하고 있는 학습 결과를 입력하여 기억시키거나, 학습 결과 기억부 (26) 가 기억하고 있는 학습 결과를 다른 와이어 방전 가공기 (40) 나 집중 관리 시스템 (30) 에 출력하거나 하는 것도 가능하다.

축 이송 지령 출력부 (27) 는, 축 이송 지령 조정 학습부 (25) 가 학습한 결과와, 현재의 이동축의 이동 상태에 관련된 데이터에 기초하여, 축 이송 지령의 조정량을 결정한다. 여기에서 말하는 축 이송 지령의 조정량의 결정이, 기계 학습에 사용되는 행동 a (도 1 참조) 에 상당한다. 축 이송 지령의 조정은, 예를 들어, 축 이송 지령을 구성하는 각 파라미터의 변경량을 조합한 것을 선택할 수 있는 행동 (예를 들어, 행동 1 = 이동축의 속도에 본래의 축 이송 지령 속도의 10 ％ 를 가산, 행동 2 = 이동축의 속도를 본래의 축 이송 지령 속도로, 행동 3 = 이동축의 가속도도 완화 시간에 의해 정해지는 가속도의 10 ％ 를 감산하고, …) 으로서 준비해 두고, 과거의 학습 결과에 기초하여 장래에 얻어질 리워드가 가장 커지는 행동을 선택하도록 해도 된다. 선택할 수 있는 행동은, 복수의 축 이송 지령의 항목 (이동축의 속도, 이동축의 가속도, 이상 부하 레벨) 을 동시에 조정하는 행동으로 해도 된다. 또, 상기한 ε 그리디법을 채용하여, 소정의 확률로 랜덤한 행동을 선택함으로써 축 이송 지령 조정 학습부 (25) 의 학습의 진전을 도모하도록 해도 된다. 또한, 행동의 선택 결과로서, 축의 이동 속도가 본래의 이동 지령에 의해 지령 속도를 초과하는 속도가 되는 경우, 그리고, 축의 가속도가 그 축에 설정되어 있는 시정수로부터 산출되는 가속도를 초과하는 경우, 이동 속도가 0 이하가 되는 경우, 가속도가 0 미만이 되는 경우에는, 당해 행동은 선택하지 않고, 다른 행동이 선택된다.

그 후, 축 이송 지령 출력부 (27) 는, 행동의 선택에 의해 결정된 축 이송 지령의 조정량에 기초하여 축 이송 지령을 조정하고, 그리고, 축 이송 지령 출력부 (27) 가 조정한 축 이송 지령에 기초하여 제어부 (10) 에 의한 와이어 방전 가공기 (1) 의 축 이동의 제어가 행해진다.

그 후, 다시 현재의 와이어 방전 가공기 (1) 의 상황의 취득이 기계 학습기 (20) 에 의해 행해지고, 입력된 이동축의 이동 상태에 관련된 데이터를 사용하여 학습을 반복함으로써, 보다 우수한 학습 결과를 얻을 수 있다.

이와 같이 하여 기계 학습기 (20) 가 학습한 결과로서, 제어부 (10) 에 의한 와이어 방전 가공기 (1) 에서의 축의 이동 상태에 따른 축 이송 지령의 조정이 적절히 행해지게 된 단계에서 기계 학습기 (20) 에 의한 학습이 완료된다.

상기 학습이 완료된 학습 데이터를 사용하여 실제로 와이어 방전 가공기를 운전할 때에는, 기계 학습기 (20) 는 새로운 학습을 실시하지 않게 하여 학습 완료시의 학습 데이터를 그대로 사용하여 반복 운전을 하도록 해도 된다.

또, 학습이 완료된 기계 학습기 (20) (또는 다른 기계 학습기 (20) 가 완료한 학습 데이터를 학습 결과 기억부 (26) 에 복사한 기계 학습기 (20)) 를 다른 와이어 방전 가공기 (40) 에 장착하여, 학습 완료시의 학습 데이터를 그대로 사용하여 반복 운전을 하도록 해도 된다.

또한, 학습이 완료된 기계 학습기 (20) 의 학습 기능을 유효하게 한 채로 다른 와이어 방전 가공기에 장착하여 계속 운전함으로써, 와이어 방전 가공기마다 상이한 개체차나 시간 경과에 따른 변화 등을 추가로 학습시켜, 와이어 방전 가공기에 있어서 보다 나은 축 이송 지령의 조정을 탐색하면서 운전하는 것도 가능하다.

와이어 방전 가공기 (1) 의 기계 학습기 (20) 는 단독으로 기계 학습을 하도록 해도 되지만, 복수의 와이어 방전 가공기 (1) 가 각각 외부와의 통신 수단을 추가로 구비하면, 각각의 상태 데이터 기억부 (22) 가 기억한 이동축의 이동 상태에 관련된 데이터나 학습 결과 기억부 (26) 가 기억한 학습 결과를 송수신하여 공유하는 것이 가능해져, 보다 효율적으로 기계 학습을 실시할 수 있다. 예를 들어, 소정의 범위 내에서 축 이송 지령을 변동시켜 학습할 때, 복수의 와이어 방전 가공기 (1) 에 있어서 상이한 조정량을 소정의 범위 내에서 각각 변동시켜 축 이동시키면서, 각각의 와이어 방전 가공기 (1, 40) 사이에서 이동축의 이동 상태에 관련된 데이터나 학습 데이터를 주고받음으로써 병렬로 학습을 진행시키도록 함으로써 효율적으로 학습시킬 수 있다.

이와 같이 복수의 와이어 방전 가공기 (1) 사이에서 주고받을 때에는, 통신은 집중 관리 시스템 (30) 등의 호스트 컴퓨터를 경유해도, 직접 와이어 방전 가공기 (1) 끼리가 통신해도 상관없으며, 클라우드를 사용해도 상관없지만, 대량의 데이타를 취급하는 경우가 있기 때문에, 가능한 한 통신 속도가 빠른 통신 수단이 바람직하다.

이상, 본 발명의 실시형태에 대하여 설명하였지만, 본 발명은 상기 서술한 실시형태의 예에만 한정되지 않고, 적절한 변경을 가함으로써 여러 가지 양태로 실시할 수 있다.

Claims

프로그램 또는 작업자의 조작에 의한 축 이송 지령에 따라 축을 이동시키는 와이어 방전 가공기에 있어서,
상기 축의 이동에 있어서의 축 이송 지령의 조정 대상 파라미터와 그 조정 대상 파라미터의 조정량을 기계 학습하는 기계 학습기를 구비하고,
상기 기계 학습기는,
상기 축의 이동에 있어서의 그 축의 이동 상태를 나타내는 정보인 상태 데이터를 취득하는 상태 관측부와,
리워드 조건을 설정하는 리워드 조건 설정부와,
상기 상태 데이터와 상기 리워드 조건에 기초하여 리워드를 계산하는 리워드 계산부와,
축 이송 지령 조정을 기계 학습하는 축 이송 지령 조정 학습부와,
상기 축 이송 지령 조정 학습부에 의한 축 이송 지령 조정의 기계 학습 결과와, 상기 상태 데이터에 기초하여, 상기 축 이송 지령의 조정 대상 파라미터와 조정량을 조정 행동으로서 결정하고, 그 조정 행동에 기초하여 상기 축 이송 지령을 조정하여 출력하는 축 이송 지령 출력부를 갖고,
상기 축 이송 지령 조정 학습부는, 상기 조정 행동과, 출력된 조정 후의 상기 축 이송 지령에 기초하는 상기 축의 이동 후의 상기 상태 관측부에 의해 취득된 상기 상태 데이터와, 상기 리워드 계산부가 계산한 상기 리워드에 기초하여 상기 축 이송 지령 조정을 기계 학습하고,
상기 리워드 조건은,
상기 축의 속도가 상기 축의 지령 속도에 빨리 도달하는 경우 또는 상기 축의 이동 중에 상기 축의 부하가 그 축의 이상 부하 레벨을 초과하지 않은 경우 또는 이동축이 충돌했을 때에 상기 이동축의 기구부에 파손이 발생하지 않은 경우에 플러스의 리워드를 주고, 상기 축의 속도가 상기 축의 지령 속도에 늦게 도달하는 경우 또는 상기 축의 이동 중에 상기 축의 부하가 그 축의 이상 부하 레벨을 초과한 경우 또는 이동축이 충돌했을 때에 상기 이동축의 기구부에 파손이 발생한 경우에 마이너스의 리워드를 주는 것을 특징으로 하는, 와이어 방전 가공기.
제 1 항에 있어서,
상기 상태 데이터는, 상기 축의 부하, 상기 축의 지령 속도, 상기 축의 속도, 상기 축의 지령 가속도, 상기 축의 가속도, 상기 축의 이상 부하 레벨, 상기 축의 기구부의 파손, 주위의 실온, 습도 중 적어도 어느 것을 포함하는 것을 특징으로 하는, 와이어 방전 가공기.
제 1 항 또는 제 2 항에 있어서,
상기 축 이송 지령의 조정 대상 파라미터는, 상기 축의 속도, 상기 축의 가속도, 상기 축의 이상 부하 레벨 중 적어도 어느 것을 포함하는 것을 특징으로 하는, 와이어 방전 가공기.
제 1 항 또는 제 2 항에 있어서,
상기 축 이송 지령 조정 학습부가 학습한 결과를 기억하는 학습 결과 기억부를 추가로 구비하고,
상기 축 이송 지령 조정 학습부가 학습 결과를 재사용할 때에는, 기억하고 있는 학습 결과를 상기 축 이송 지령 조정 학습부에 출력하는 것을 특징으로 하는, 와이어 방전 가공기.
제 1 항 또는 제 2 항에 있어서,
적어도 1 개의 다른 와이어 방전 가공기와 접속되어 있으며,
상기 다른 와이어 방전 가공기와의 사이에서 기계 학습의 결과를 서로 교환 또는 공유하는 것을 특징으로 하는, 와이어 방전 가공기.
와이어 방전 가공기에서의 축의 이동에 있어서의 축 이송 지령의 조정을 기계 학습하는 기계 학습기로서,
상기 축의 이동에 있어서의 그 축의 이동 상태를 나타내는 정보인 상태 데이터를 취득하는 상태 관측부와,
리워드 조건을 설정하는 리워드 조건 설정부와,
상기 상태 데이터와 상기 리워드 조건에 기초하여 리워드를 계산하는 리워드 계산부와,
축 이송 지령 조정을 기계 학습하는 축 이송 지령 조정 학습부와,
상기 축 이송 지령 조정 학습부에 의한 축 이송 지령 조정의 기계 학습 결과와, 상기 상태 데이터에 기초하여, 상기 축 이송 지령의 조정 대상 파라미터와 조정량을 조정 행동으로서 결정하고, 그 조정 행동에 기초하여 상기 축 이송 지령을 조정하여 출력하는 축 이송 지령 출력부를 갖고,
상기 축 이송 지령 조정 학습부는, 상기 조정 행동과, 출력된 조정 후의 상기 축 이송 지령에 기초하는 상기 축의 이동 후의 상기 상태 관측부에 의해 취득된 상기 상태 데이터와, 상기 리워드 계산부가 계산한 상기 리워드에 기초하여, 상기 축 이송 지령 조정을 기계 학습하고,
상기 리워드 조건은,
상기 축의 속도가 상기 축의 지령 속도에 빨리 도달하는 경우 또는 상기 축의 이동 중에 상기 축의 부하가 그 축의 이상 부하 레벨을 초과하지 않은 경우 또는 이동축이 충돌했을 때에 상기 이동축의 기구부에 파손이 발생하지 않은 경우에 플러스의 리워드를 주고, 상기 축의 속도가 상기 축의 지령 속도에 늦게 도달하는 경우 또는 상기 축의 이동 중에 상기 축의 부하가 그 축의 이상 부하 레벨을 초과한 경우 또는 이동축이 충돌했을 때에 상기 이동축의 기구부에 파손이 발생한 경우에 마이너스의 리워드를 주는 것을 특징으로 하는, 기계 학습기.
제 6 항에 있어서,
상기 축 이송 지령 조정 학습부가 학습한 결과를 기억하는 학습 결과 기억부를 추가로 구비하고, 상기 축 이송 지령 조정 학습부가 학습 결과를 재사용할 때에는, 기억하고 있는 학습 결과를 상기 축 이송 지령 조정 학습부에 출력하는 것을 특징으로 하는, 기계 학습기.
삭제
삭제