KR20220044549A

KR20220044549A - 모터 제어 장치 및 모터 제어 방법

Info

Publication number: KR20220044549A
Application number: KR1020227007342A
Authority: KR
Inventors: 나오토 다카노; 마사야 기무라
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2022-04-08
Also published as: TW202113634A; WO2021053784A1; DE112019007725T5; US20220308531A1; JP6903240B1; JPWO2021053784A1; TWI743986B; CN114514481A

Abstract

초기화 운전, 평가 운전 및 학습 동작을 반복하여 모터(1)를 제어하는 제어 지령(104)을 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축하기 위해서, 제어 지령에 근거하여 모터를 구동하고, 모터와 기계 부하(3)로 구성되는 제어 대상(2000)을 동작시켜, 제어 대상을 초기 상태로 설정하는 초기화 운전과 초기 상태로부터 개시되는 평가 운전을 실행하는 구동 제어부(4)와, 평가 운전에 이용한 제어 지령과 평가 운전 시의 제어 대상의 상태를 검출한 상태 센서 신호(101)를 관련지어 학습한 결과에 근거하여, 평가 운전에 이용하는 제어 지령을 결정하는 학습부(7)와, 학습부(7)의 동작인 학습 동작, 초기화 운전, 평가 운전 중 어느 하나인 제 1 공정을 실행하는 타이밍에 근거하여, 학습 동작, 초기화 운전, 평가 운전 중 어느 하나인 제 2 공정을 실행하는 타이밍을 결정하는 조정 관리부(9)를 구비한다.

Description

모터 제어 장치 및 모터 제어 방법

본 발명은, 모터를 제어하는 제어 지령을 자동 조정하는 모터 제어 장치에 관한 것이다.

전자 부품 실장기, 반도체 제조 장치 등에서는, 모터를 구동하여 실장 헤드 등의 기계를 목표 거리만큼 이동시키는 위치 결정 제어가 행해진다. 위치 결정 제어에 있어서는, 위치 결정 시간을 단축하여 장치의 생산성을 향상하기 위해, 모터를 구동하기 위한 지령 신호에 포함되는 위치의 궤도를 규정하는 파라미터, 제어계의 파라미터 등을 조정하여 설정한다.

이들 파라미터의 조정에는 시행 착오가 필요한 경우도 있어, 시간과 수고를 필요로 한다. 또, 조정 작업에 필요로 하는 시간 및 조정 작업의 결과가, 작업자의 지식과 경험에 의존한다고 하는 문제가 있었다. 전술의 문제를 해결하기 위한 기술로서 파라미터의 조정 작업을 자동화하는 기술이 제안되고 있다.

특허 문헌 1에 기재된 제어 파라미터 조정 장치는, 제어 대상의 동작 시의 데이터를 이용하여 제어 대상 모델을 갱신하는 모델 갱신부를 구비한다. 그리고, 갱신 완료의 제어 대상 모델을 이용한 시뮬레이션을 제 1 범위에서 제어 파라미터를 탐색하여, 반복 시행시켜 최적치의 후보를 추출하는 제 1 탐색부를 구비한다. 또한, 제 1 범위보다 좁은 제 2 범위 내에서 제어 대상을 반복 동작시켜, 동작 결과를 취득하는 제 2 탐색부를 구비한다.

특허 문헌 2에 기재된 기계 학습 장치는, 모터 제어 장치에 의해 구동 제어되는 모터 상태 변수를 관측하는 상태 관측부를 구비한다. 또한, 상태 변수에 의해 구성되는 훈련 데이터 세트에 따라 모터 제어 장치의 지령을 보정하는데 이용되는 보정량에 관련되는 조건을 학습하는 학습부를 구비한다.

[특허 문헌 1] 일본 특개 2017－102619호 공보 [특허 문헌 2] 일본 특개 2017－102613호 공보

특허 문헌 1, 특허 문헌 2에 기재된 장치는 모두, 모터를 구동한 때의 센서값을 취득하는 평가 운전과, 평가 운전에서 취득한 센서값을 이용한 계산 처리를 1회씩 교대로 반복하여, 파라미터의 조정 작업을 자동화하고 있다. 여기서, 계산 처리란, 시뮬레이션, 학습 등이다. 이와 같이, 모터의 구동에 의한 평가 운전과 계산 처리를 반복 시행해서 조정을 실행하는 경우, 모터 등을 평가 운전이 개시되기 전 상태인 초기 상태로 설정하는 초기화 운전이 필요하게 되는 경우가 있다. 그리고, 이러한 경우에 있어서, 초기화 운전, 평가 운전 및 학습 동작을 반복하여, 모터를 제어하는 제어 지령을 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축하는 것이 어렵다고 하는 과제가 있었다.

본 발명은, 상기를 감안하여 이루어진 것으로서, 초기화 운전, 평가 운전 및 학습 동작을 반복하여 모터를 제어하는 제어 지령을 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축할 수가 있는 모터 제어 장치를 제공하는 것을 목적으로 한다.

본 발명에 따른 모터 제어 장치는, 제어 지령에 근거하여 모터를 구동하고, 모터와 모터에 기계적으로 접속된 기계 부하로 구성되는 제어 대상을 동작시키고, 제어 대상을 초기 상태로 설정하는 초기화 운전과 초기 상태로부터 개시되는 평가 운전을 실행하는 구동 제어부와, 평가 운전에 이용한 제어 지령과 평가 운전 시의 제어 대상의 상태를 검출한 상태 센서 신호를 관련지어 학습하고, 학습한 결과에 근거하여, 상태 센서 신호를 취득한 평가 운전보다 후에 실행되는 평가 운전에 이용하는 제어 지령을 결정하는 학습부와, 학습부의 동작인 학습 동작, 초기화 운전 또는 평가 운전 중 어느 하나인 제 1 공정을 실행하는 타이밍에 근거하여, 학습 동작, 초기화 운전 또는 평가 운전 중 어느 하나인 제 2 공정을 실행하는 타이밍을 결정하는 조정 관리부를 구비한다.

본 발명에 의하면, 초기화 운전, 평가 운전 및 학습 동작을 반복하여 모터를 제어하는 제어 지령을 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축할 수가 있는 모터 제어 장치를 제공할 수가 있다.

도 1은 실시의 형태 1에 있어서의 모터 제어 장치의 구성의 일례를 나타내는 블록도이다.
도 2는 실시의 형태 1에 있어서의 모터 제어 장치의 동작 타이밍의 일례를 나타내는 도면이다.
도 3은 실시의 형태 1에 있어서의 조정 관리부의 동작의 일례를 나타내는 흐름도이다.
도 4는 실시의 형태 1에 있어서의 지령 패턴의 일례를 나타내는 도면이다.
도 5는 실시의 형태 1에 있어서의 학습부의 구성의 일례를 나타내는 블록도이다.
도 6은 실시의 형태 1에 있어서의 편차의 시간 응답의 일례를 나타내는 도면이다.
도 7은 실시의 형태 1에 있어서의 모터 제어 장치가 구비하는 처리 회로를 프로세서 및 메모리로 구성하는 경우의 구성예를 나타내는 도면이다.
도 8은 실시의 형태 1에 있어서의 모터 제어 장치가 구비하는 처리 회로를 전용의 하드웨어로 구성하는 경우의 구성예를 나타내는 도면이다.
도 9는 실시의 형태 2에 있어서의 모터 제어 장치의 구성의 일례를 나타내는 블록도이다.
도 10은 실시의 형태 2에 있어서의 모터 제어 장치의 동작 타이밍의 일례를 나타내는 도면이다.
도 11은 실시의 형태 2에 있어서의 조정 관리부의 동작의 일례를 나타내는 흐름도이다.
도 12는 실시의 형태 3에 있어서의 모터 제어 장치의 구성의 일례를 나타내는 블록도이다.
도 13은 실시의 형태 3에 있어서의 모터 제어 장치의 동작 타이밍의 일례를 나타내는 도면이다.
도 14는 실시의 형태 4에 있어서의 모터 제어 장치의 구성의 일례를 나타내는 블록도이다.
도 15는 실시의 형태 4에 있어서의 모터 제어 장치의 동작 타이밍의 일례를 나타내는 도면이다.
도 16은 실시의 형태 4에 있어서의 조정 관리부의 동작의 일례를 나타내는 흐름도이다.

이하에, 실시의 형태를 도면에 근거하여 상세하게 설명한다. 또한, 이하에 설명하는 실시의 형태는 예시이다. 또, 각 실시의 형태는, 적의 조합하여 실행할 수가 있다.

실시의 형태 1

도 1은, 실시의 형태 1에 있어서의 모터 제어 장치(1000)의 구성의 일례를 나타내는 블록도이다. 모터 제어 장치(1000)는, 지령 신호(103)에 추종하도록 모터(1)를 구동하는 구동 제어부(4)와, 지령 파라미터(104)를 취득하고 지령 신호(103)를 생성하는 지령 생성부(2)를 구비한다. 그리고, 모터 제어 장치(1000)는, 학습 개시 신호(106) 및 상태 센서 신호(101)를 취득하고, 학습 완료 신호(107) 및 지령 파라미터(104)를 결정하는 학습부(7)를 구비한다. 또한, 모터 제어 장치(1000)는, 학습 완료 신호(107)를 취득하고, 학습 개시 신호(106) 및 지령 개시 신호(105)를 결정하는 조정 관리부(9)를 구비한다.

모터(1)는, 구동 제어부(4)로부터 출력되는 구동 전력 E에 의해 토크, 추력 등을 발생한다. 모터(1)의 예로서는, 회전형 서보 모터, 리니어 모터, 스테핑 모터 등을 들 수가 있다. 기계 부하(3)는, 모터(1)와 기계적으로 접속되고, 모터(1)에 의해 구동된다. 모터(1) 및 기계 부하(3)를, 제어 대상(2000)이라 부른다. 기계 부하(3)로서 모터(1)가 발생하는 토크, 추력 등에 의해 동작하는 장치를 적의 선택할 수가 있다. 기계 부하(3)를 위치 결정 제어를 실행하는 장치로 해도 좋다. 기계 부하(3)의 예로서는, 전자 부품 실장기, 반도체 제조 장치 등을 들 수가 있다.

구동 제어부(4)는, 지령 신호(103)에 근거하여, 구동 전력 E를 모터(1)에 공급하여 모터(1)를 구동하고, 모터(1)를 지령 신호(103)에 추종시켜서 제어 대상(2000)을 동작시키고, 평가 운전과 초기화 운전을 실행한다. 여기서, 지령 신호(103)는, 모터(1)의 위치, 속도, 가속도, 전류, 토크 또는 추력 중 적어도 어느 하나로 해도 좋다. 초기화 운전은, 제어 대상(2000)을 초기 상태로 설정하는 운전이다. 평가 운전은, 초기 상태로부터 개시되는 운전이며, 평가 운전 시에 취득된 상태 센서 신호(101)는, 후술하는 학습 동작에 사용된다. 구동 제어부(4)로서, 모터(1)의 위치를 지령 신호(103)에 추종시키는 구성을, 적의 채용할 수가 있다. 예를 들면, 검출한 모터(1)의 위치와, 지령 신호(103)의 차이가 작아지도록, 모터(1)의 토크 또는 전류를, PID 제어에 근거하여 산출하는 피드백 제어계로 해도 좋다. 또, 구동 제어부(4)로서, 검출한 기계 부하(3)의 위치가, 지령 신호(103)에 추종하도록 모터(1)를 구동하는 피드백 제어에, 피드포워드 제어를 더한 2 자유도 제어계를 채용해도 좋다.

지령 생성부(2)는, 지령 파라미터(104)에 근거하여 지령 신호(103)를 생성한다. 또, 지령 생성부(2)는, 지령 개시 신호(105)가 나타내는 타이밍에 따라, 지령 신호(103)를 생성한다. 그리고, 모터(1)는, 지령 생성부(2)가 지령 신호(103)를 생성하는 타이밍에 운전을 개시한다. 이상으로부터, 모터(1)는 지령 개시 신호(105)가 나타내는 타이밍에 따라 운전을 개시한다. 즉, 모터(1)는, 지령 개시 신호(105)에 따라 운전을 개시한다. 여기서, 평가 운전 또는 초기화 운전을 운전이라고 부르고 있다. 초기화 운전 및 평가 운전은, 각각의 운전의 지령 신호(103)에 추종하도록 실행되고, 초기화 운전 및 평가 운전의 지령 신호(103)는, 각각의 운전에 이용하는 지령 파라미터(104)에 근거하여 생성된다. 지령 생성부(2)의 동작예에 대해서는, 도 4를 이용하여 후술 한다.

상태 센서(5)는, 모터(1) 또는 기계 부하(3) 중 적어도 어느 한쪽의 상태량, 즉, 제어 대상(2000)의 상태량을 검출한 결과를, 상태 센서 신호(101)로서 출력한다. 상태량의 예로서는, 모터(1)에 대한, 위치, 속도, 가속도, 전류, 토크, 추력 등을 들 수가 있다. 또한, 상태량의 예로서 기계 부하(3)에 대한, 위치, 속도, 가속도 등을 들 수가 있다. 상태 센서(5)의 예로서는, 엔코더, 레이저 변위계, 자이로 센서, 가속도 센서, 전류 센서, 힘 센서 등을 들 수가 있다. 도 1의 상태 센서(5)는, 모터(1)의 위치를 상태량으로서 검출하는 엔코더로 하여 설명을 행한다.

학습부(7)는, 평가 운전에 이용한 지령 파라미터(104)를, 평가 운전 시의 제어 대상(2000)의 상태를 검출한 상태 센서 신호(101)와 관련지어 학습한다. 그리고, 상태 센서 신호(101)를 취득한 평가 운전보다 후에 실행되는 평가 운전에 이용하는 지령 파라미터(104)를 결정한다. 이 학습의 개시로부터 지령 파라미터(104)의 결정까지의 학습부(7)의 동작을 학습 동작이라고 부른다. 또, 학습부(7)는, 학습 개시 신호(106)에 따라 학습을 개시한다. 여기서, 학습 개시 신호(106)는, 학습 동작의 개시 시점을 나타내는 신호이며, 후술하는 조정 관리부(9)에 의해 결정된다. 학습부(7)는 또한 학습 완료 신호(107)를 결정한다. 학습 완료 신호(107)는, 지령 파라미터(104)가 결정된 시점, 즉, 학습 동작의 완료 시점을 나타낸다. 학습부(7)의 상세한 동작에 대해서는, 도 5 및 도 6을 이용하여 후술한다.

조정 관리부(9)는, 학습 완료 신호(107)에 근거하여, 평가 운전의 개시 시점을 나타내는 지령 개시 신호(105)의 값을 결정하는 것에 의해, 학습 동작의 완료 시점에 근거하여, 평가 운전의 개시 시점을 결정한다. 또, 도 2의 동작예에서는, 조정 관리부(9)는, 평가 운전의 완료 시점에 근거하여, 학습 동작의 개시 시점을 나타내는 학습 개시 신호(106)와, 초기화 운전의 개시 시점을 나타내는 지령 개시 신호(105)를 결정한다. 또한, 후술하는 바와 같이, 조정 관리부(9)는, 평가 운전의 개시 시점으로부터 기산하여, 미리 정한 시간이 경과하는 것을 검출하여, 평가 운전의 완료 시점을 검지할 수가 있다. 바꾸어 말하면, 조정 관리부(9)는, 평가 운전의 완료 시점에 근거하여, 학습 동작 및 초기화 운전의 개시 시점을 결정한다.

도 2는, 실시의 형태 1에 있어서의 모터 제어 장치(1000)의 동작 타이밍의 일례를 나타내는 도면이다. 도 2(a) 내지 도 2(e)의 횡축은 시간이며, 도 2(a) 내지 도 2(e)의 종축은 각각, 학습 동작, 동작 처리(초기화 운전 및 평가 운전), 학습 개시 신호(106), 학습 완료 신호(107) 및 지령 개시 신호(105)이다.

지령 개시 신호(105), 학습 개시 신호(106) 및 학습 완료 신호(107)의 값과, 각 신호가 지시하는 내용의 관계에 대해 설명한다. 도 2에 있어서, 지령 개시 신호(105)의 값이 1이 되는 시점에, 모터(1)는 운전을 개시한다. 또, 학습 개시 신호(106)의 값이 1이 되는 시점에, 학습부(7)는 학습 동작을 개시한다. 또, 학습부(7)는, 학습 동작이 완료한 시점의 학습 완료 신호(107)의 값을 1로 결정한다. 또한, 지령 개시 신호(105), 학습 개시 신호(106) 및 학습 완료 신호(107)의 각 신호의 값은, 1이 된 후, 다음의 동작을 지시하기까지 0으로 되돌려도 좋다. 상기의 각 신호는, 동작의 개시 시점, 완료 시점 등을 나타내는 것이면 좋고, 상기의 형태로 한정되는 것은 아니다.

평가 운전, 초기화 운전 및 학습 동작을 공정이라고 부른다. 초기화 운전, 평가 운전 및 학습 동작의 각 공정을 적어도 1회씩 포함하고, 주기적으로 반복되는 사이클을 학습 사이클이라고 부른다. 도 2의 학습 사이클에는, 초기화 운전, 평가 운전 및 학습 동작의 각 공정이 1회씩 포함된다. 지령 파라미터(104)는, 학습 사이클마다 갱신해도 좋다. 모터 제어 장치(1000)는, 학습 사이클을 반복하는 것에 의해 학습을 진행시킨다. 이하에서는, 학습 사이클을 반복해 실행하여, 제어 대상(2000)의 최적의 동작을 부여하는 지령 파라미터(104)를 탐색하는 조정 동작을 자동 조정이라고 부른다.

도 3은, 실시의 형태 1에 있어서의 조정 관리부(9)의 동작의 일례를 나타내는 흐름도이다. 도 2 및 도 3을 참조하여, 모터 제어 장치(1000)의 동작을 예시한다. 자동 조정이 개시되면, 스텝 S101에 있어서, 조정 관리부(9)는, 시각 TL111에 있어서의 학습 개시 신호(106)의 값을 1로 결정하고, 학습 동작 L11의 개시 시점을 결정한다. 학습부(7)는, 학습 개시 신호(106)에 따라, 시각 TL111에 학습 동작 L11을 개시한다. 또한, 학습 동작 L11과 같이, 학습부(7)가, 자동 조정의 개시 후, 평가 운전 시의 상태 센서 신호(101)를 취득하고 있지 않는 상태에서 학습 동작이 개시되는 경우, 학습부(7)는, 지령 파라미터(104)를, 랜덤으로 결정해도 좋다. 또, 사전의 설정에 근거하여 결정해도 좋다. 랜덤으로 결정하는 경우, 후술하는 행동 가치 함수 Q를 난수로 초기화하고, 행동 a_t인 지령 파라미터(104)를 랜덤으로 결정해도 좋다.

스텝 S102에 있어서, 조정 관리부(9)는, 시각 TL111에 있어서의 지령 개시 신호(105)의 값을 1로 결정하고, 초기화 운전 IN11의 개시 시점을 결정한다. 모터(1)는, 지령 개시 신호(105)에 따라, 시각 TL111에 초기화 운전 IN11을 개시한다. 초기화 운전 IN11은 학습 동작 L11과 병행하여 실행된다. 이하에서, 병행하여 실행된다는 것은, 2개의 공정 중의 적어도 일부가, 시간적으로 중복하여 실행되는 상태를 의미한다. 또한, 초기화 운전 IN11에 필요로 하는 시간은, 학습 동작 L11에 필요로 하는 시간보다 짧다. 그 때문에, 조정 관리부(9)는, 대기 시간이 연장되지 않는 범위에서, 즉, 초기화 운전 IN11의 완료가 학습 동작 L11의 완료보다 늦어지지 않는 범위에서, 초기화 운전 IN11의 개시 시점을 학습 동작 L11의 개시 시점보다 늦추어도 좋다. 모터(1)는, 시각 TL112에 초기화 운전 IN11을 완료하고, 초기화 운전 IN11의 완료 후, 대기 상태가 된다. 또한, 대기 상태의 모터(1)는, 소정의 위치 범위 내로 제어해도 좋고, 정지시켜도 좋다. 또, 전력의 공급을 중지해도 좋다. 다음에, 학습부(7)는, 학습 동작의 완료 시점인 시각 TL113에 있어서의 학습 완료 신호(107)의 값을 1로 결정한다.

스텝 S103에 있어서, 조정 관리부(9)는, 학습 완료 신호(107)의 값이 1이 된 시점을 검출하고, 시각 TL113을, 학습 동작 L11의 완료 시점으로서 검지한다. 또한, 스텝 S103의 동작은, 조정 관리부(9)가 학습 동작의 완료 시점을 검지하면 좋고, 예를 들면, 학습부(7)가 지령 파라미터(104)를 출력한 시점을 검지해도 좋다. 스텝 S104에 있어서, 조정 관리부(9)는, 학습 동작의 완료 시점인 시각 TL113에 근거하여, 시각 TL113에 있어서의 지령 개시 신호(105)의 값을 1로 결정하고, 평가 운전 EV11(제 1 평가 운전)의 개시 시점을 결정한다. 모터(1)는, 지령 개시 신호(105)에 따라, 시각 TL113에 평가 운전 EV11을 개시한다. 시각 TL114에 평가 운전 EV11이 완료하면, 모터(1)는 대기 상태가 된다.

스텝 S105에 있어서, 조정 관리부(9)는, 평가 운전 EV11의 개시 시점으로부터 기산하여, 미리 정한 시간이 경과하는 것을 검출하고, 시각 TL121을, 평가 운전 EV11의 완료 시점으로서 검지한다. 여기서, 상기의 미리 정한 시간은, 평가 운전 EV11에 필요로 하는 시간의 추정값과 같거나 또는 보다 긴 시간으로 한다. 또한, 본 실시의 형태에서는, 조정 관리부(9)가 평가 운전 EV11의 완료 시점으로서 검지하는 시점은, 평가 운전 EV11이 종료하여 모터(1)가 정지하는 시점과는 다르다는 것에 유의한다. 스텝 S106에 있어서, 조정 관리부(9)는, 자동 조정을 속행할지의 여부의 판단을 실행한다. 자동 조정을 속행한다고 판단한 경우, 스텝 S107로 진행하고, 자동 조정을 속행하지 않는다고 판단한 경우, 스텝 S108에 진행한다.

스텝 S106의 판단의 방법은, 예를 들면, 자동 조정 중에 실행된 학습 사이클의 수가, 미리 정한 소정의 횟수보다 적은 경우, 자동 조정을 속행하고, 소정의 횟수와 같은 경우, 자동 조정을 속행하지 않는다고 판단해도 좋다. 또, 스텝 S106의 직전의 평가 운전에서 취득한 상태 센서 신호(101)가, 미리 정한 기준을 충족시키는 경우, 자동 조정을 속행하지 않는다고 판단하고, 미리 정한 기준을 만족시키지 않는 경우, 자동 조정을 속행한다고 판단해도 좋다. 이 상태 센서 신호(101)의 기준은, 예를 들면, 도 6을 이용하여 후술하는 위치 결정 동작의 수속 시간이, 미리 정한 시간 이하인 것을 기준으로 해도 해도 좋다.

시각 TL121에 실행되는 스텝 S106에 있어서, 조정 관리부(9)는, 자동 조정을 속행한다고 판단하고 스텝 S107로 진행한다. 스텝 S107에 있어서, 조정 관리부(9)는, 평가 운전 EV11의 완료 시점인 시각 TL121에 근거하여, 시각 TL121에 있어서의 학습 개시 신호(106) 및 지령 개시 신호(105)의 값을 1로 결정한다. 이 동작에 의해, 학습 동작 L12(제 1 학습 동작) 및 초기화 운전 IN12(제 1 초기화 운전)의 개시 시점이 각각 결정된다. 학습부(7) 및 모터(1)는 각각, 학습 개시 신호(106) 및 지령 개시 신호(105)에 따라, 시각 TL121에, 학습 동작 L12 및 초기화 운전 IN12를 개시한다. 시각 TL111로부터 시각 TL121까지를, 학습 사이클 CYC11이라 한다.

이후, 스텝 S106에 있어서, 조정 관리부(9)가 자동 조정을 속행하지 않는다고 판단할 때까지, 스텝 S103으로부터 스텝 S107까지가 반복 실행된다. 그리고, 학습 사이클 CYC12의 스텝 S103에 있어서, 조정 관리부(9)는, 시각 TL123을, 학습 동작 L12의 완료 시점으로서 검지한다. 그리고, 학습 사이클 CYC12의 스텝 S104에 있어서, 조정 관리부(9)는, 검출한 학습 동작 L12의 완료 시점에 근거하여, 평가 운전 EV12(제 2 평가 운전)의 개시 시점을 시각 TL123으로 결정한다.

조정 관리부(9)는, 시각 TL1X1에 있어서, 학습 사이클 CYC1X의 스텝 S106을 실행한다. 그리고, 자동 조정을 속행하지 않는다고 판단하고, 스텝 S108로 진행한다. 스텝 S108에 있어서, 조정 관리부(9)는, 시각 TL1X1에 있어서의 학습 개시 신호의 값을 1보다 큰 값으로 결정하고, 종료 처리 T1을 학습부(7)에 지시한다. 종료 처리 T1의 지시는, 학습부(7)에, 종료 처리의 개시 시각을 지시할 수 있는 것이면 좋다. 예를 들면, 종료 처리를 지시하는 시점의 학습 개시 신호(106)의 값을, 0과 1 이외의 값으로 결정해도 좋고, 종료 처리를 지시하는 시점에, 다른 신호를 학습부(7)에 출력해도 좋다. 학습부(7)는, 종료 처리 T1의 개시 시점을 검지하고, 종료 처리 T1을 실행한다.

종료 처리 T1에 있어서, 학습부(7)는, 자동 조정 중에 반복 실행한 학습 동작에 근거하여, 제어 대상(2000)에 가장 좋은 동작을 하게 하는 지령 파라미터(104), 즉, 최적의 지령 파라미터(104)를 결정해도 좋다. 평가 운전으로서, 제어 대상(2000)을 목표 거리만큼 이동시키는 위치 결정을 실행하는 경우의 종료 처리 T1을 예시한다. 우선, 모든 학습 사이클의 평가 운전에 이용한 지령 파라미터(104) 중, 모터(1)의 위치와 목표 이동 거리 간의 차이인 편차가, 미리 정한 허용 범위 안에 한 번 들어간 후, 허용 범위 밖으로 나오지 않았던 평가 운전을 선택한다. 그리고, 이러한 평가 운전에 이용한 지령 파라미터(104)를, 최적의 지령 파라미터(104)의 후보로 한다. 그리고, 지령 파라미터(104)의 후보 중에서, 평가 운전의 개시로부터 가장 짧은 시간 동안에 편차가 허용 범위 안에 들어가는 평가 운전을 실행시킨 지령 파라미터(104)를 더 선택하고, 최적의 지령 파라미터(104)로서 결정해도 좋다. 상기의 편차에 대해서는, 도 4를 이용하여 후술한다.

또, 학습부(7)는, 평가 운전에 이용되지 않았던 지령 파라미터(104)를, 최적인 지령 파라미터(104)로서 결정해도 좋다. 예를 들면, 모든 학습 사이클의 평가 운전에 이용한 지령 파라미터(104)로부터, 편차가 미리 정한 시간 내에, 허용 범위 안에 들어가는 동작을 실행시킨 지령 파라미터(104)를 선택한다. 그리고, 선택된 지령 파라미터(104)의 평균치를 최적인 지령 파라미터(104)로서 결정해도 좋다. 도 2의 시각 TL1Y1에 있어서, 학습부(7)가 종료 처리 T1을 완료하면, 자동 조정은 종료한다. 또한, 종료 처리 T1을 생략해도 좋다. 예를 들면, 평가 운전 EV1X에 이용한 지령 파라미터(104)를, 최적의 지령 파라미터(104)로서 결정해도 좋다.

제 1 공정 및 제 2 공정은, 평가 운전, 초기화 운전 또는 학습 동작 중 어느 하나인 것으로 한다. 조정 관리부(9)는, 제 1 공정을 실행하는 타이밍에 근거하여, 제 2 공정을 실행하는 타이밍을 결정해도 좋다. 또, 제 1 공정, 제 2 공정을 실행하는 타이밍은, 각각의 공정의 개시 시점 또는 완료 시점으로 해도 좋고, 개시 시점 또는 완료 시점으로부터 미리 정한 시간만큼 어긋난 시점으로 해도 좋다. 제 1 공정을 실행하는 타이밍에 근거하여, 제 2 공정을 실행하는 타이밍을 결정하는 것에 의해, 2개의 공정 간의 간격을 짧게 조정하는 것이 가능해지고, 모터(1) 또는 학습부(7)가 공정을 개시할 때까지의 대기 시간을 단축할 수가 있다.

도 2의 동작예에 있어서의 각 공정의 관계에 대해 서술한다. 도 2의 동작예에서는, 학습 동작에 있어서 결정된 지령 파라미터(104)를 이용하여 다음의 평가 운전이 실행되고, 평가 운전의 결과 얻어진 상태 센서 신호(101)를 이용하여 다음의 학습 동작이 실행된다. 그 때문에, 학습 동작과 평가 운전은 병행하여 실행되지 않는다. 또, 하나의 제어 대상(2000)에 의해, 평가 운전과 초기화 운전이 실행되기 때문에, 평가 운전과 초기화 운전은 병행하여 실행되지 않는다. 한편, 초기화 운전과 학습 동작은, 서로 간섭하지 않기 때문에, 병행하여 실행할 수가 있다. 또한, 도 2에 나타내는 동작예에서는, 초기화 운전에 필요로 하는 시간보다, 학습 동작에 필요로 하는 시간이 길다.

도 2의 동작예에서는, 조정 관리부(9)는, 평가 운전의 완료 시점에 근거하여, 학습 동작의 개시 시점을 나타내는 학습 개시 신호(106)와, 초기화 운전의 개시 시점을 나타내는 지령 개시 신호(105)를 결정한다. 또, 학습 동작 L12 및 초기화 운전 IN12가, 조정 관리부(9)에 의해 검지된 평가 운전 EV11의 완료 시점에 개시되고, 평가 운전 EV12는, 학습 동작 L11의 완료 시점에 개시된다. 본 실시의 형태는, 이러한 동작으로 한정되는 것은 아니다.

예를 들면, 평가 운전 중의 하나인 평가 운전 EV11(제 1 평가 운전)을 실행하고, 평가 운전 EV11 시에 취득한 상태 센서 신호(101)를 이용하여 학습 동작 L12를 실행하고, 또한, 초기화 운전 IN12를 학습 동작 L12와 병행하여 실행해도 좋다. 그리고, 학습 동작 L12으로 결정된 지령 파라미터(104)(제어 지령)에 근거하여, 초기화 운전 IN12에 의해 설정된 초기 상태로부터 평가 운전 EV11의 다음의 평가 운전인 평가 운전 EV12(제 2 평가 운전)를 실행해도 좋다. 각 공정을 상기와 같이 실행하는 것에 의해, 초기화 운전 IN12 및 학습 동작 L11을 병행하여 실행하고, 공정 간의 타이밍을 조정하고, 대기 시간을 단축할 수가 있다. 이와 같이, 모터 제어 장치(1000) 또는 모터 제어 방법을 제공해도 좋다.

또, 예를 들면, 조정 관리부(9)는, 평가 운전 EV11의 완료 시점을 검지하고, 검지한 평가 운전 EV11의 완료 시점에 근거하여, 학습 동작 L12의 개시 시점 및 초기화 운전 IN12의 개시 시점을 결정하고, 공정 간의 타이밍을 조정하고, 대기 시간을 단축해도 좋다. 또, 예를 들면, 조정 관리부(9)는, 학습 동작 L12와 초기화 운전 IN12 중, 보다 긴 시간을 필요로 하는 한쪽의 개시 시점을, 다른 쪽의 개시 시점과 동시이거나 또는 보다 전으로 결정하고, 대기 시간을 단축해도 좋다. 또, 조정 관리부(9)는, 학습 동작 L12 또는 초기화 운전 IN12 중, 동시이거나 또는 보다 후에 완료하는 한쪽의 완료 시점을 검지하고, 검지한 완료 시점에 근거하여, 평가 운전 EV12의 개시 시점을 결정하고, 대기 시간을 단축해도 좋다. 상기에 열거한 동작예에 있어서, 공정의 완료 시점에 근거하여 다음의 공정의 개시 시점을 결정하는 경우에는, 앞의 공정의 완료 시점과 다음의 공정의 개시 시점의 간격을, 실시 가능한 범위에서 짧게 하는 것이 매우 적합하고, 동시 또는 대략 동시로 하면 보다 적합하다.

또, 조정 관리부(9)는, 학습 동작 L11의 완료 시점을, 학습 동작 L11의 개시 시점으로부터 미리 정한 시간이 경과하는 것을 검출하여 검지하지만, 본 실시의 형태는, 이러한 형태로 한정되는 것은 아니다. 예를 들면, 2개의 공정인 제 1 공정 및 제 2 공정이 실행되고, 제 1 공정이 완료하고 나서 제 2 공정이 개시될 때까지의 사이에, 초기화 운전, 평가 운전, 학습 동작 중 적어도 어느 하나를 포함하는 중간 공정이 실행되는 경우가 있다. 이러한 경우에, 조정 관리부(9)는, 중간 공정에 필요로 하는 시간을 미리 추정하고, 제 2 공정의 개시 시점을, 제 1 공정의 완료 시점으로부터 기산하여, 추정한 중간 공정을 실행하는데 필요로 하는 시간이 경과한 시점보다 후의 시점으로 결정해도 좋다. 이러한 동작에 의해, 중간 공정에 필요로 하는 시간의 추정값을 기준으로 하여 제 2 공정의 개시 시점을 조정하고, 대기 시간을 단축하는 것에 의해, 자동 조정에 필요로 하는 시간을 저감해도 좋다. 또, 도 2를 이용하여 설명한 동작예와 같이, 조정 관리부(9)는, 학습 완료 신호(107)에 의해, 학습 동작의 완료 시점을 보다 정확하게 검지하고, 다음의 공정의 개시의 타이밍을 정확하게 결정해도 좋다. 그리고, 대기 시간을 단축해도 좋다.

다음에, 지령 생성부(2)가, 지령 파라미터(104)에 근거하여 지령 신호(103)를 생성하는 동작을 예시한다. 도 4는, 실시의 형태 1에 있어서의 지령 패턴의 일례를 나타내는 도면이다. 여기서, 지령 패턴이란, 모터(1)의 지령값을 시계열로 나타내는 패턴이다. 이 지령 패턴의 지령값은, 모터(1)에 대한, 위치, 속도, 가속도 또는 저크(jerk) 중 어느 하나이다. 상기의 지령값은, 지령 신호(103)의 값과 같아도 좋다. 또한, 도 4의 동작예에서는, 지령 신호(103)를 시계열로 나타낸 것이 지령 패턴으로 되어 있다.

평가 운전에 있어서, 지령 파라미터(104)는, 운전 조건과 함께 지령 패턴을 규정한다. 바꾸어 말하면, 지령 파라미터(104)와 운전 조건을 지정하면, 지령 패턴이 일의(uniquely)로 확정된다. 여기서, 운전 조건은, 평가 운전 시의 모터(1)의 동작에 대한 제약 조건이며, 자동 조정 중에 반복 실행되는 평가 운전에 있어서 일정하다. 한편, 지령 파라미터(104)는, 자동 조정 중에 학습 사이클마다 갱신될 수 있다. 도 1의 모터 제어 장치(1000)에서는, 지령 생성부(2)는, 지령 파라미터(104)에 근거하여 지령 신호(103)를 생성한다. 이때, 결과로서 구동 제어부(4)는, 지령 파라미터(104)에 근거하여 모터(1)를 구동하고 있다. 또한, 구동 제어부(4)는, 지령 패턴에 근거하여 모터(1)를 구동해도 좋다. 이상으로부터, 지령 신호(103), 지령 파라미터(104) 또는 지령 패턴을, 모터(1)를 제어하는 지령인 제어 지령으로 하면, 구동 제어부(4)는, 제어 지령에 근거하여 모터(1)를 구동한다.

도 4(a) 내지 도 4(d)의 횡축은 시간이다. 도 4(a) 내지 도 4(d)의 각각의 종축에는, 모터(1)의, 위치, 속도, 가속도 및 저크가 나타나 있고 이것들은, 지령 신호(103)이다. 여기서, 속도, 가속도 및 저크는 각각, 모터(1)의 위치의, 1계 미분, 2계 미분 및 3계 미분이다. 횡축과 종축의 교점은, 횡축 상에 있어서 평가 운전이 개시되는 지령 개시 시점으로 되는 시각 0이다. 도 4의 동작예의 운전 조건은, 목표 이동 거리가 D라고 한다. 즉, 모터(1)의 위치가 평가 운전의 개시 시점 0에 있어서 0이며, 종단 시점이 되는 시각 t=T1＋T2＋T3＋T4＋T5＋T6＋T7에, 모터(1)의 위치는 D로 한다.

도 4의 지령 패턴은, 지령 개시 시점인 시각 0으로부터 종단 시점까지, 순서대로, 제 1 구간 내지 제 7 구간으로 구분된다. n을 1 내지 7의 자연수로 하고, 제 n 구간의 시간 길이를 제 n 시간 길이 Tn로 한다. 도 4의 동작예에서는, 제 1 시간 길이 T1로부터 제 7 시간 길이 T7까지의 7개의 파라미터를, 지령 파라미터(104)로 한다. 제 2 구간 및 제 6 구간의 가속도의 크기를 각각, Aa 및 Ad로 하고, 이것들은, 구간 내에서 일정하다고 한다. 가속도의 크기 Aa와 가속도의 크기 Ad는, 지령 파라미터(104)의 종속 변수이며, 설정 자유도가 없는 것에 유의한다.

제 1 구간의 시각 t(0≤t＜T1)에 있어서의 지령 신호(103)를, 이하와 같이 계산할 수가 있다. 제 1 구간의 시각 0으로부터 제 1 구간 내의 시각 t까지의 사이의, 저크, 가속도 A1 및 속도 V1의 각각을 시간으로 적분한 것이, 가속도 A1, 속도 V1 및 위치 P1이 된다. 그리고, 제 1 구간에서는 일정한 비율로 가속도가 증가하고, 시각 T1에서 가속도의 크기 Aa에 도달한다고 하고 있기 때문에, 제 1 구간의 저크는, 가속도의 크기 Aa를 T1로 나눈 값이 된다. 이상으로부터, 가속도 A1, 속도 V1 및 위치 P1은 각각, (1)식 내지 (3)식과 같이 계산할 수가 있다.

[수 1]

[수 2]

[수 3]

또, 제 2 구간의 시각 t(T1≤t＜T1＋T2)에 있어서의 지령 신호(103), 즉, 가속도 A2, 속도 V2 및 위치 P2는, 제 1 구간과 마찬가지로 (4)식 내지 (6)식과 같이 계산할 수가 있다.

[수 4]

[수 5]

[수 6]

또, 제 3 구간의 시각 t(T1＋T2≤t＜T1＋T2＋T3)에 있어서의 지령 신호(103), 즉, 가속도 A3, 속도 V3 및 위치 P3는, 제 1 구간과 마찬가지로 (7)식 내지 (9)식과 같이 계산할 수가 있다.

[수 7]

[수 8]

[수 9]

또, 제 4 구간의 시각 t(T1＋T2＋T3≤t＜T1＋T2＋T3＋T4)에 있어서의 지령 신호(103), 즉, 가속도 A4, 속도 V4 및 위치 P4는, 제 1 구간과 마찬가지로, (10)식 내지 (12)식과 같이 계산할 수가 있다.

[수 10]

[수 11]

[수 12]

또, 제 5 구간의 시각 t(T1＋T2＋T3＋T4≤t＜T1＋T2＋T3＋T4＋T5)에 있어서의 지령 신호(103), 즉, 가속도 A5, 속도 V5 및 위치 P5는, 제 1 구간과 마찬가지로 (13)식 내지 (15)식과 같이 계산할 수가 있다.

[수 13]

[수 14]

[수 15]

또, 제 6 구간의 시각 t(T1＋T2＋T3＋T4＋T5≤t＜T1＋T2＋T3＋T4＋T5＋T6)에 있어서의 지령 신호(103), 즉, 가속도 A6, 속도 V6 및 위치 P6는, 제 1 구간과 마찬가지로 (16)식 내지 (18)식과 같이 계산할 수가 있다.

[수 16]

[수 17]

[수 18]

또, 제 7 구간의 시각 t(T1＋T2＋T3＋T4＋T5＋T6≤T1＋T2＋T3＋T4＋T5＋T6＋T7)에 있어서의 지령 신호(103), 즉, 가속도 A7, 속도 V7 및 위치 P7는, 제 1 구간과 마찬가지로 (19)식 내지 (21)식과 같이 계산할 수가 있다.

[수 19]

[수 20]

[수 21]

그리고, 종단 시점이 되는 시각 t=T1＋T2＋T3＋T4＋T5＋T6＋T7에 있어서, 속도 V7가 0에 일치하고, 또한, 위치 P7가 목표 이동 거리 D에 일치한다. 그 때문에, 종단 시점에 있어서, (22)식, 및 (23)식이 성립한다. 제 2 구간의 가속도의 크기 Aa, 및 제 6 구간의 가속도의 크기 Ad는, (22)식 및(23)식으로부터 결정할 수가 있다.

[수 22]

[수 23]

이상이, 지령 파라미터(104)와 운전 조건에 근거하여, 지령 신호(103)를 생성하는 지령 생성부(2)의 동작예이다. 여기서, 제 1 구간, 제 3 구간, 제 5 구간 및 제 7 구간에서는, 저크가 비영(0)의 일정 값이다. 즉, 제 1 시간 길이 T1, 제 3 시간 길이 T3, 제 5 시간 길이 T5 및 제 7 시간 길이 T7는, 저크가 비영의 일정 값 이 되는 시간을 지정하고 있다. 여기서 비영의 일정 값이란, 0보다 큰 일정 값 또는 0보다 작은 일정 값을 의미한다. 또, 이들 구간에서는, 시간 길이 Tn에 대신하여, 저크의 크기를, 지령 파라미터(104)로 할 수도 있다. 예를 들면, 제 1 구간에 있어서의 저크의 크기를 J1라고 정한 경우, 제 1 시간 길이 T1과 저크 J1은, (24)식과 같은 관계를 가진다.

[수 24]

저크가 비영의 일정 값이 되는 구간의 시간 길이를 지령 파라미터(104)로서 정하는 것과, 저크가 비영의 일정 값이 되는 구간의 저크의 크기를 지령 파라미터(104)로서 정하는 것은 등가이다. 상기의 예와 같이, 지령 파라미터(104)는, 운전 조건과 조합하여 지령 패턴을 결정하는 것이면 좋다. 여기서 든 예와 같이, 지령 파라미터(104)의 선택 방식은, 같은 운전 조건의 아래에서도 복수의 선택지가 있을 수 있다. 그리고, 지령 파라미터(104)의 선택 방식은, 본 실시의 형태 중에서 설명하는 방법으로 한정되지 않는다.

학습부(7)에 대해 설명을 행한다. 도 5는, 실시의 형태 1에 있어서의 학습부(7)의 구성의 일례를 나타내는 블록도이다. 학습부(7)는, 보수 계산부(71), 가치 함수 갱신부(72), 의사 결정부(73), 학습 완료 신호 결정부(74), 지령 파라미터 결정부(75) 및 평가 센서 신호 결정부(76)를 구비한다. 보수 계산부(71)는, 평가 센서 신호(102)에 근거하여, 평가 운전에 이용한 지령 파라미터(104)에 대한 보수 r을 계산한다. 가치 함수 갱신부(72)는, 보수 r에 따라 행동 가치 함수를 갱신한다. 의사 결정부(73)는, 가치 함수 갱신부(72)가 갱신한 행동 가치 함수를 이용하여, 평가 운전에 이용하는 지령 파라미터(104)의 후보가 되는 평가 후보 파라미터(108)를 결정한다. 지령 파라미터 결정부(75)는, 평가 후보 파라미터(108)에 근거하여 평가 운전에 이용하는 지령 파라미터(104)를 결정한다. 평가 센서 신호 결정부(76)는, 평가 운전 시의 상태 센서 신호(101)로부터 평가 센서 신호(102)를 결정한다. 또한, 의사 결정부(73)는, 평가 후보 파라미터(108)를 대신하여 지령 파라미터(104)를 결정해도 좋다. 그리고, 학습부(7)에서 지령 파라미터 결정부(75)를 생략해도 좋다.

또, 학습부(7)는, 지령 파라미터(104)를 대신하여, 지령 신호(103) 또는 지령 패턴을 학습해도 좋기 때문에, 학습부(7)는, 제어 지령을 학습해도 좋다. 이러한 경우, 학습부(7)는, 지령 파라미터 결정부(75)를 대신하여 제어 지령 결정부를 구비한다. 제어 지령 결정부는, 평가 후보 파라미터(108)에 근거하여, 평가 운전에 이용하는 제어 지령을 결정한다. 또한, 지령 패턴 및 지령 신호(103)는, 각각 단체(單體)로 모터(1)의 움직임을 지정하는데 대해, 지령 파라미터(104)는, 지령 파라미터(104)와 운전 조건의 조합에 의해 모터(1)의 움직임을 지정한다. 그 때문에, 학습부(7)가 지령 패턴 또는 지령 신호(103)를 학습하는 경우에 비해, 학습부(7)가 지령 파라미터(104)를 학습하는 경우가, 데이터 량이 적게 되어, 학습부(7)의 계산량 및 계산 시간을 줄일 수가 있다. 그 때문에, 지령 파라미터(104)를 학습하는 경우, 효율적으로 학습 동작을 실행할 수가 있다.

평가 센서 신호 결정부(76)는, 상태 센서 신호(101)에, 추출, 변환, 교정, 필터링 등의 계산 처리를 실시하는 것에 의해 평가 센서 신호(102)를 도출해도 좋다. 예를 들면, 상태 센서 신호(101)의 전체로부터, 평가 운전 시의 상태 센서 신호(101)를 시간적으로 추출한 신호를 평가 센서 신호(102)로 해도 좋다. 여기서, 평가 운전의 개시로부터 완료까지의 상태 센서 신호(101)를 추출해도 좋고, 더하여, 평가 운전이 완료하고 나서 미리 정한 시간이 경과할 때까지의 상태 센서 신호(101)를 추출하여 평가 운전의 완료 직후의 진동의 영향을 평가해도 좋다. 또한, 평가 센서 신호(102)를 결정할 때, 취득한 상태 센서 신호(101)에 대해서 교정을 실시하여 오프셋(offset)을 제거하는 구성으로 해도 좋다. 또, 상태 센서 신호(101)가 로우 패스 필터를 통과하는 구성으로 하여 노이즈를 제거해도 좋다. 이들 신호 처리에 의해, 학습 동작의 정밀도를 향상시켜도 좋다. 또, 보수 계산부(71)를, 상태 센서 신호(101)에 근거하여 보수 r을 계산하는 구성으로 하여, 평가 센서 신호 결정부(76)를 생략할 수도 있다.

학습부(7)는, 여러 가지 학습 알고리즘을 이용하여 학습을 실행할 수가 있다. 본 실시의 형태에서는, 일례로서 강화 학습(Reinforcement Learning)을 적용한 경우를 설명한다. 강화 학습은, 어느 환경 내에 있어서의 에이전트(행동 주체)가 현재 상태를 관측하고, 취해야 할 행동을 결정한다고 하는 것이다. 에이전트는 행동을 선택하고, 환경으로부터 보수를 얻는다. 그리고, 일련의 행동을 통해서 보수가 가장 많이 얻어질 것 같은 방책을 학습한다. 강화 학습의 대표적인 수법으로서 Q 학습(Q-Learning), TD 학습(TD-Learning) 등이 알려져 있다. 예를 들면 Q 학습의 경우, 행동 가치 함수 Q(s, a)의 일반적인 갱신 식은, (25)식으로 나타내진다. 갱신 식은, 행동 가치 테이블로 표기해도 좋다.

[수 25]

(25)식에 있어서, s_t는 시각 t에 있어서의 환경을 나타내고, a_t는 시각 t에 있어서의 행동을 나타낸다. 행동 a_t에 의해 환경은 s_t+1로 바뀐다. r_t+1은 그 환경의 변화에 의해 얻어지는 보수를 나타내고, γ는 할인율을 나타고,α는 학습 계수를 나타낸다. 또한, 할인율 γ의 값은 0보다 크고 1 이하의 범위(0＜γ≤1), 학습 계수 α의 값은 0보다 크고 1 이하의 범위(0＜α≤1)로 한다. Q 학습을 적용한 경우, 행동 a_t는, 지령 파라미터(104)의 결정이지만, 실질적으로, 평가 후보 파라미터(108)를 결정하는 동작이 행동 a_t가 되는 경우도 있다. 환경 s_t는, 운전 조건, 모터(1)의 초기 위치 등으로 구성된다.

보수 계산부(71)의 동작을, 도 6을 이용하여 예시한다. 도 6은, 실시의 형태 1에 있어서의 편차의 시간 응답의 일례를 나타내는 도면이다. 도 6의 편차는, 평가 운전에 있어서 모터(1)를 동작시켰을 때의 목표 이동 거리와 모터(1)의 위치의 차이이다. 도 6의 횡축은 시간이며, 종축은 편차이다. 종축과 횡축의 교점은, 종축 상에 있어서 편차가 0 상태이며, 횡축 상에 있어서 평가 운전 개시 시점이 되는 시각 0이다. 도 6에 있어서, IMP는 편차의 허용 범위의 한계값이며, 기계 부하(3)에 허용되는 동작 정밀도의 오차의 크기이다.

도 6(a)의 편차는, 평가 운전 개시로부터 시각 Tst1까지의 사이에 허용 범위 안에 들어가고, 그 후, 허용 범위 내에서 진동하면서 수속해 간다. 도 6(b)의 편차는, 평가 운전 개시로부터 시각 Tst2까지의 사이에 허용 범위 안에 들어가고, 그 후, 일단 허용 범위 밖으로 나온다. 그리고, 다시 허용 범위 안에 들어간다. 도 6(c)의 편차는, 평가 운전 개시로부터 시각 Tst3까지의 사이에 허용 범위 안에 들어가고, 그 후, 허용 범위 안에서 진동하면서 수속한다. 여기서, 시각 Tst1, 시각 Tst2 및 시각 Tst3의 사이에는, 시각 Tst2의 값이 시각 Tst3의 값보다 작고, 시각 Tst3의 값이 시각 Tst1의 값보다 작다고 하는 관계가 있다(Tst1＞Tst3＞Tst2). 도 6(c)의 편차는, 도 6(a) 및 도 6(b)의 편차와 비교하여, 보다 고속으로 수속하고 있다.

보수 계산부(71)가 보수 r을 계산하는 방법을 변경하는 것에 의해, 학습의 결과로서 얻어지는 최적의 지령 파라미터(104)의 특성을 선택할 수가 있다. 예를 들면, 고속으로 편차를 수속시키는 지령 파라미터(104)를 학습하기 위해, 보수 계산부(71)는, 동작 개시로부터 편차가 허용 범위 안에 들어갈 때까지의 시간이, 미리 정한 시간 이하인 경우에, 큰 보수 r을 부여해도 좋다. 또, 동작 개시로부터 편차가 허용 범위 안에 들어갈 때까지의 시간이 짧을수록 큰 보수 r을 부여해도 좋다. 또, 보수 계산부(71)는, 평가 운전 개시로부터 편차가 허용 범위 안에 들어갈 때까지의 시간의 역수를, 보수 r로서 산출해도 좋다. 또, 도 3(b)와 같이, 편차가 허용 범위 안에 들어간 후에 허용 범의 밖으로 나왔을 경우, 작은 보수 r을 부여하고, 기계 부하(3)에 진동을 발생시키지 않는 지령 파라미터(104)를 학습시켜도 좋다. 이상이, 도 6에 나타내는 보수 계산부(71)의 동작예의 설명이다.

보수 r이 계산되면, 가치 함수 갱신부(72)는, 보수 r에 따라 행동 가치 함수 Q를 갱신한다. 의사 결정부(73)는, 갱신된 행동 가치 함수 Q가 가장 커지는 행동 a_t, 즉, 갱신된 행동 가치 함수 Q가 가장 커지는 지령 파라미터(104)를, 평가 후보 파라미터(108)으로서 결정한다.

또한, 도 1에 나타내는 모터 제어 장치(1000)의 설명에서는, 학습부(7)가 이용하는 학습 알고리즘을 강화 학습으로 한 경우에 대해 설명했지만, 본 실시의 형태의 학습 알고리즘은, 강화 학습에 한정되는 것은 아니다. 교사 있음 학습(supervised learning), 교사 없음 학습(unsupervised learning), 반교사 있음 학습(semi-supervised learning) 등의 학습 알고리즘을 적용하는 것도 가능하다. 또, 학습 알고리즘으로서 특징량 그 자체의 추출을 학습하는 심층 학습(Deep Learning)을 이용해도 좋다. 또, 다른 방법, 예를 들면, 뉴럴 네트워크(neural network), 유전적 프로그래밍, 기능 논리 프로그래밍, 서포트 벡터 머신, 베이지안 최적화(Bayesian optimization) 등에 따라 기계 학습을 실행해도 좋다.

도 7은, 실시의 형태 1에 있어서의 모터 제어 장치(1000)가 구비하는 처리 회로를 프로세서(10001) 및 메모리(10002)로 구성하는 경우의 구성예를 나타내는 도면이다. 처리 회로가 프로세서(10001) 및 메모리(10002)로 구성되는 경우, 모터 제어 장치(1000)의 처리 회로의 각 기능은, 소프트웨어, 펌웨어, 또는 소프트웨어와 펌웨어의 조합에 의해 실현된다. 소프트웨어 또는 펌웨어는 프로그램으로서 기술되고, 메모리(10002)에 저장된다. 처리 회로에서는, 메모리(10002)에 기억된 프로그램을 프로세서(10001)가 읽어내어 실행하는 것에 의해, 각 기능을 실현한다. 즉, 처리 회로는, 모터 제어 장치(1000)의 처리가 결과적으로 실행되는 것이 되는 프로그램을 저장하기 위한 메모리(10002)를 구비한다. 또, 이들 프로그램은, 모터 제어 장치(1000)의 수순 및 방법을 컴퓨터로 하여금 실행하게 하는 것이라고도 말할 수 있다.

여기서, 프로세서(10001)는, CPU(Central　Processing　Unit), 처리 장치, 연산 장치, 마이크로 프로세서, 마이크로 컴퓨터, 또는 DSP(Digital　Signal　Processor) 등이어도 좋다. 메모리(10002)는, 예를 들면, RAM(Random　Access　Memory), ROM(Read　Only　Memory), 플래쉬 메모리, EPROM(Erasable　Programmable ROM), EEPROM(등록상표)(Electrically　EPROM) 등의, 불휘발성 또는 휘발성의 반도체 메모리로 해도 좋다. 또, 메모리(10002)를, 자기 디스크, 플렉시블 디스크, 광 디스크, 콤팩트 디스크, 미니 디스크, 또는 DVD(Digital　Versatile　Disc) 등으로 해도 좋다.

도 8은, 실시의 형태 1에 있어서의 모터 제어 장치(1000)가 구비하는 처리 회로를 전용의 하드웨어로 구성하는 경우의 구성예를 나타내는 도면이다. 처리 회로가 전용의 하드웨어로 구성되는 경우, 도 8에 나타내는 처리 회로(10003)는, 예를 들면, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC(Application　Specific　Integrated　Circuit), FPGA(Field　Programmable　Gate　Array), 또는 이들을 조합한 것으로 해도 좋다. 모터 제어 장치(1000)의 기능을, 기능마다 처리 회로(10003)에 의해 실현해도 좋고, 복수의 기능을 정리하여 처리 회로(10003)에 의해 실현해도 좋다. 또한, 모터 제어 장치(1000)와 제어 대상(2000)은, 네트워크를 통하여 접속해도 좋다. 또, 모터 제어 장치(1000)는, 클라우드 서버 상에 존재해도 좋다.

또, 제어 대상(2000)과 같은 제어 대상을 복수 마련하고, 복수의 제어 대상에 의한 평가 운전을 병행하여 실행하고, 효율적으로 학습을 진행시켜도 좋다. 예를 들면, 도 2의 평가 운전 EV11의 시간 내에, 복수의 제어 대상에 의한 평가 운전을 병행하여 실행시키고, 지령 파라미터와 평가 센서 신호의 세트를 복수 세트 포함하는 데이터를 취득한다. 다음에, 학습 동작 L12의 시간 내에, 평가 운전 EV11의 시간 내에 취득한 데이터를 이용하여 행동 가치 함수 Q를 복수 회 갱신하고, 지령 파라미터를 복수 결정한다. 또한, 평가 운전 EV12의 시간 내에, 학습 동작 L12의 시간 내에 결정한 복수의 지령 파라미터를 이용하여, 복수의 제어 대상에 의한 평가 운전을 실행한다. 이와 같이 학습 사이클을 실행하면, 복수의 평가 운전을 병행하여 실행할 수 있다. 또한, 학습부가, 복수의 지령 파라미터를 결정하는 동작에 대해서는, 실시의 형태 4에 후술하는 방법을 이용해도 좋다. 또, 학습 사이클을 반복하는 중에, 상기의 복수의 제어 대상의 일부 또는 전부를 변경해도 좋고, 복수의 제어 대상을 구성하는 제어 대상의 수를 증감해도 좋다.

또, 제어 대상(2000)으로부터 취득한 데이터를 이용하여 학습을 행한 모터 제어 장치(1000)를, 다른 제어 대상에 접속하고, 다른 제어 대상으로부터 취득한 데이터를 이용하여, 학습을 더 실행해도 좋다. 또, 본 실시의 형태의 학습의 결과를 탑재한 학습 완료 학습기를 이용하여 모터 제어 장치를 구성해도 좋다. 상기의 학습 완료 학습기는, 학습에 의해 갱신 완료의 행동 가치 함수 Q를 이용하여 지령 파라미터(104)를 결정하는 학습 완료 프로그램에 의해 실현되어도 좋다. 또, 상기의 학습 완료 학습기를, 지령 파라미터(104)의 조정의 결과를 기억시킨 학습 완료 데이터에 의해 실현해도 좋다. 학습 완료 학습기를 이용한 모터 제어 장치에 의하면, 학습 결과를 이용할 수 있는 모터 제어 장치를 단시간에 제공할 수가 있다. 또, 본 실시의 형태에 설명한 방법에 따라, 모터 제어 장치의 지령 파라미터(104)의 자동 조정을 실행해도 좋고, 모터 제어 장치를 제조해도 좋다. 또한, 본 실시의 형태의 자동 조정은, 조정 작업 중 적어도 일부가 자동화되어 있으면 좋고, 사람의 조작 또는 사람의 관여를 배제하는 것은 아니다.

이상으로부터, 본 실시의 형태의 모터 제어 장치(1000)는, 구동 제어부(4), 학습부(7) 및 조정 관리부(9)를 구비한다. 구동 제어부(4)는, 지령 파라미터(104)(제어 지령)에 근거하여 모터(1)를 구동하고, 모터(1)와 모터(1)에 기계적으로 접속된 기계 부하(3)로 구성되는 제어 대상(2000)을 동작시킨다. 그리고, 초기 상태에 제어 대상(2000)을 설정하는 초기화 운전과, 초기 상태로부터 개시되는 평가 운전을 실행한다. 학습부(7)는, 평가 운전에 이용한 지령 파라미터(104)(제어 지령)와, 평가 운전 시의 제어 대상(2000)의 상태를 검출한 상태 센서 신호(101)를 관련지어 학습한다. 그리고, 학습한 결과에 근거하여, 상태 센서 신호(101)를 취득한 평가 운전보다 후에 실행되는 평가 운전에 이용하는 지령 파라미터(104)(제어 지령)를 결정한다. 조정 관리부(9)는, 초기화 운전, 평가 운전, 학습 동작 중의 어느 하나인 제 1 공정을 실행하는 타이밍에 근거하여, 초기화 운전, 평가 운전, 학습 동작 중 어느 하나인 제 2 공정을 실행하는 타이밍을 결정한다. 이상에 의해, 제 1 공정과 제 2 공정이 실행되는 타이밍을 조정하여 대기 시간을 단축하고, 효율적으로 지령 파라미터(104)(제어 지령)의 조정을 실행할 수가 있다.

또, 본 실시의 형태의 모터 제어 방법은, 지령 파라미터(104)(제어 지령)에 근거하여 모터(1)를 구동하고, 모터(1)와 모터(1)에 기계적으로 접속된 기계 부하(3)로 구성되는 제어 대상(2000)을 동작시킨다. 그리고, 제어 대상(2000)을 초기 상태로 설정하는 초기화 운전과 초기 상태로부터 개시되는 평가 운전을 실행한다. 그리고, 평가 운전에 이용한 지령 파라미터(104)와 평가 운전 시의 제어 대상(2000)의 상태를 검출한 상태 센서 신호(101)를 관련지어 학습하고, 학습한 결과에 근거하여, 상태 센서 신호(101)를 취득한 평가 운전보다 후에 실행되는 평가 운전에 이용하는 지령 파라미터(104)를 결정하는 학습 동작을 실행한다. 여기서, 학습 동작은, 학습의 개시로부터 지령 파라미터(104)를 결정할 때까지의 동작이다. 그리고, 학습 동작, 초기화 운전, 평가 운전 중 어느 하나인 제 1 공정을 실행하는 타이밍에 근거하여, 학습 동작, 초기화 운전, 평가 운전 중 어느 하나인 제 2 공정을 실행하는 타이밍을 결정한다. 이와 같이, 효율적으로, 자동 조정을 실행할 수 있는 모터 제어 방법을 제공해도 좋다.

또, 제 2 공정을 실행하는 타이밍을, 제 1 공정을 실행하는 타이밍과 동시이거나 또는 보다 후의 타이밍으로 해도 좋다. 이와 같이 하면, 검지한 제 1 공정을 실행하는 타이밍을, 제 2 공정을 실행하는 타이밍의 결정에 이용하여, 보다 확실히 공정 간의 간격을 짧게 할 수가 있다. 또, 제 1 공정에 필요로 하는 시간 등이 변화한 경우에서도, 변화에 대응하여 제 2 공정을 실행하는 타이밍을 조정할 수 있다. 여기서, 제 1 공정의 완료 시점과 제 2 공정의 개시 시점의 간격은, 실시 가능한 범위에서 가능한 한 짧게 하는 것이 매우 적합하고, 제 1 공정의 완료 시점과 제 2 공정의 개시 시점을 동시 또는 대략 동시로 하면, 보다 더 적합하다.

이상으로부터, 본 실시의 형태에 의하면, 초기화 운전, 평가 운전 및 학습 동작을 반복하여, 모터를 제어하는 제어 지령을 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축할 수가 있는 모터 제어 장치를 제공할 수가 있다.

실시의 형태 2

도 9는, 실시의 형태 2에 있어서의 모터 제어 장치(1000a)의 구성의 일례를 나타내는 블록도이다. 도 9(a)는, 모터 제어 장치(1000a)의 전체의 구성예를 나타내고, 도 9(b)는, 학습부(7a)의 구성예를 나타낸다. 모터 제어 장치(1000a)는, 실시의 형태 1의 도 1에 나타내는 모터 제어 장치(1000)의 학습부(7)를 대신하여 학습부(7a)를 구비하고, 도 1의 조정 관리부(9)를 대신하여 조정 관리부(9a)를 구비한다. 학습부(7a)의 구성은, 학습부(7)의 구성에서 학습 완료 신호 결정부(74)를 생략한 것이다. 또한, 도 9의 조정 관리부(9a)는, 상태 센서 신호(101)에 근거하여 평가 운전 및 초기화 운전의 완료 시점을 검지한다. 그리고, 도 9의 조정 관리부(9a)는, 평가 운전의 개시 시점을 결정할 때에 초기화 운전의 완료 시점을 이용한다. 도 9에 나타내는 모터 제어 장치(1000a)의 설명에 있어서, 도 1과 같거나 또는 대응하는 구성 요소에 대해서는, 동일한 부호를 부여한다.

도 10은, 실시의 형태 2에 있어서의 모터 제어 장치(1000a)의 동작 타이밍의 일례를 나타내는 도면이다. 도 10(a) 내지 도 10(d)의 횡축은 시간이며, 도 10(a) 내지 도 10(d)의 종축은 각각, 학습 동작, 동작 처리(초기화 운전 및 평가 운전), 학습 개시 신호(106), 지령 개시 신호(105)이다. 지령 개시 신호(105) 및 학습 개시 신호(106)의 각 신호의 값과 각 신호가 지시하는 내용의 관계는, 실시의 형태 1의 도 2에 있어서 설명한 것과 같다.

도 10의 동작예에서는, 학습 동작에 필요로 하는 시간보다, 초기화 운전에 필요로 하는 시간이 길다. 그리고, 초기화 운전이 학습 동작보다 후에 완료한다. 그 때문에, 평가 운전의 개시 시점을, 학습 동작의 완료 시점이 아니라, 초기화 운전의 완료 시점에 근거하여 결정하고 있다. 그리고, 초기화 운전 및 평가 운전의 완료 시점을, 상태 센서 신호(101)에 근거하여 검지한다. 이러한 점이 도 2의 동작예와 다르다.

도 11은, 실시의 형태 2에 있어서의 조정 관리부(9a)의 동작의 일례를 나타내는 흐름도이다. 도 10 및 도 11을 참조하여 모터 제어 장치(1000a)의 동작을 예시한다. 자동 조정을 개시하면, 스텝 S201에 있어서, 조정 관리부(9a)는, 시각 TL211에 있어서의 지령 개시 신호(105)의 값을 1로 결정하고, 초기화 운전 IN21의 개시 시점을 시각 TL211로 결정한다. 모터(1)는, 지령 개시 신호(105)에 따라, 시각 TL211에, 초기화 운전 IN21을 개시한다. 그리고, 시각 TL213에, 초기화 운전 IN21을 완료한다.

스텝 S202에 있어서, 조정 관리부(9a)는, 시각 TL211에 있어서의 학습 개시 신호(106)의 값을 1로 결정하고, 학습 동작 L21의 개시 시점을 시각 TL211로 결정한다. 학습부(7a)는, 학습 개시 신호(106)에 따라 시각 TL211에 학습 동작 L21을 개시한다. 그리고, 시각 TL212에 학습 동작 L21을 완료한다. 도 2의 학습 동작 L11과 마찬가지로, 학습 동작 L21에 있어서 학습부(7a)는, 사전의 설정에 근거하거나 또는 랜덤으로, 지령 파라미터(104)를 결정해도 좋다. 초기화 운전 IN21과 학습 동작 L21는 병행하여 실행된다. 초기화 운전 IN21에 필요로 하는 시간은, 학습 동작 L21에 필요로 하는 시간보다 길기 때문에, 시각 TL213은 시각 TL212보다 후의 시점이 된다. 도 2의 동작예와 마찬가지로, 대기 시간을 연장시키지 않는 범위에서, 학습 동작 L21의 개시 시점을 초기화 운전 IN21의 개시 시점보다 늦추어도 좋다.

스텝 S203에 있어서, 조정 관리부(9a)는, 상태 센서 신호(101)에 근거하여, 시각 TL213을 초기화 운전 IN21의 완료 시점으로서 검지한다. 스텝 S204에 있어서, 조정 관리부(9a)는, 검지한 초기화 운전 IN21의 완료 시점에 근거하여, 시각 TL213에 있어서의 지령 개시 신호(105)의 값을 1로 결정하고, 평가 운전 EV21(제 1 평가 운전)의 개시 시점을 결정한다. 모터(1)는, 지령 개시 신호(105)에 따라, 시각 TL213에 평가 운전 EV21을 개시한다. 그리고, 시각 TL221에 평가 운전 EV21을 완료한다.

스텝 S205에 있어서, 조정 관리부(9a)는, 상태 센서 신호(101)에 근거하여, 시각 TL221을, 평가 운전 EV21의 완료 시점으로서 검지한다. 그리고, 스텝 S206에 있어서, 도 3의 스텝 S106과 마찬가지로, 자동 조정을 속행할지의 여부의 판단을 실행한다. 시각 TL221에 실행되는 스텝 S206에 있어서, 조정 관리부(9a)는, 자동 조정을 속행한다고 판단하고, 스텝 S207로 진행한다. 시각 TL211로부터 시각 TL221까지를, 학습 사이클 CYC21로 한다.

스텝 S207에 있어서, 조정 관리부(9a)는, 평가 운전 EV21의 완료 시점에 근거하여, 시각 TL221에 있어서의 지령 개시 신호(105) 및 학습 개시 신호(106)의 값을, 1로 결정한다. 그리고, 이 동작에 의해, 시각 TL221을, 초기화 운전 IN22(제 1 초기화 운전) 및 학습 동작 L22(제 1 학습 동작)의 개시 시점으로서 결정한다. 모터(1) 및 학습부(7a)의 각각은, 지령 개시 신호(105) 및 학습 개시 신호(106)에 따라, 초기화 운전 IN22 및 학습 동작 L22를 개시한다. 초기화 운전 IN22와 학습 동작 L22는, 병행하여 실행된다.

이후, 스텝 S206에 있어서 조정 관리부(9a)가 자동 조정을 속행하지 않는다고 판단할 때까지, 스텝 S203으로부터 스텝 S207까지가 반복 실행된다. 그리고, 학습 사이클 CYC22의 스텝 S204에 있어서, 조정 관리부(9a)는, 초기화 운전 IN22의 완료 시점인 TL223에 근거하여, 시각 TL223에 있어서의 지령 개시 신호(105)의 값을, 1로 결정한다. 그리고, 이 동작에 의해, 시각 TL223을 평가 운전 EV22(제 2 평가 운전)의 개시 시점으로서 결정한다. 모터(1)는, 지령 개시 신호(105)에 따라, 시각 TL223에 평가 운전 EV22를 개시한다.

조정 관리부(9a)는, 최종의 학습 사이클인 학습 사이클 CYC2X의 스텝 S205에 있어서, 시각 TL2X2를, 평가 운전 EV2X의 완료 시점으로서 검지한다. 그리고, 스텝 S206에 있어서, 자동 조정을 속행하지 않는다고 판단하고, 스텝 S208로 진행한다. 스텝 S208에 있어서, 조정 관리부(9a)는, 도 3의 스텝 S108과 마찬가지로, 학습부(7a)에 종료 처리 T2를 지시한다. 학습부(7a)는, 도 2의 종료 처리 T1과 마찬가지로 종료 처리 T2를 실행한다. 또한, 본 실시의 형태에서도, 실시의 형태 1과 마찬가지로, 제어 대상(2000)과 같은 복수의 제어 대상에, 병행하여 평가 운전을 실행시켜, 효율적으로 자동 조정을 실행해도 좋다. 또, 본 실시의 형태의 학습에 의한 결과를 탑재한 학습 완료 학습기를 이용하여, 모터 제어 장치를 구성해도 좋다. 또, 본 실시의 형태의 학습에 의해, 모터를 제어하는 제어 지령의 자동 조정을 실행해도 좋고, 모터 제어 장치의 제조를 실행해도 좋다.

또, 스텝 S203 또는 스텝 S205에 있어서, 조정 관리부(9a)가 운전의 완료를 검지하는 경우에, 모터(1)의 위치를 나타내는 상태 센서 신호(101)와 목표 이동 거리의 차이인 편차가 미리 정한 기준값 이하로 되는 것을 검출하여 운전의 완료를 검지해도 좋다. 또, 편차가 기준값 이하가 되는 것에 더하여, 미리 정한 시간 동안, 편차가 기준값을 넘지 않는 것을 검출한 경우에, 운전이 완료했다고 판단해도 좋다. 또한, 조정 관리부(9a)는, 상태 센서 신호(101)에 한정되는 일 없이, 제어 대상(2000)의 상태를 검출한 신호를, 운전의 완료 시점의 검지에 이용할 수도 있다. 또한, 지령 신호(103)를 운전의 완료 시점의 검지에 이용할 수도 있다.

본 실시의 형태에 의하면, 초기화 운전, 평가 운전 및 학습 동작을 반복하여 모터를 제어하는 제어 지령을 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축할 수가 있는 모터 제어 장치를 제공할 수가 있다.

평가 운전 중의 하나인 평가 운전 EV21(제 1 평가 운전)를 실행하고, 평가 운전 EV21 시에 취득한 상태 센서 신호(101)를 이용하여 학습 동작 L22(제 1 학습 동작)를 실행해도 좋다. 그리고, 초기화 운전 IN22(제 1 초기화 운전)를 학습 동작 L22와 병행하여 실행하고, 초기화 운전 IN22에 의해 설정된 초기 상태로부터, 학습 동작 L22로 결정된 지령 파라미터(104)(제어 지령)에 근거하여, 평가 운전 EV21의 다음의 평가 운전인 평가 운전 EV22(제 2 평가 운전)를 실행해도 좋다. 이러한 동작에 의해, 학습 동작 L22 및 초기화 운전 IN22를, 병행하여 실행하고, 자동 조정에 필요로 하는 시간을 단축할 수가 있다. 이와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000a) 또는 모터 제어 방법을 제공해도 좋다.

또, 조정 관리부(9a)는, 평가 운전 EV21의 완료 시점을 검지하고, 검지한 완료 시점에 근거하여, 학습 동작 L22의 개시 시점 및 초기화 운전 IN22의 개시 시점을 결정하고, 공정 간의 대기 시간을 단축해도 좋다. 또, 조정 관리부(9a)는, 학습 동작 L22와 초기화 운전 IN22 중, 보다 긴 시간을 필요로 하는 한쪽의 개시 시점을, 다른 쪽의 개시 시점과 동시이거나 또는 보다 전으로 결정하고, 공정 간의 대기 시간을 단축해도 좋다. 또, 조정 관리부(9a)는, 초기화 운전 IN22 및 학습 동작 L22 중, 동시이거나 또는 보다 후에 완료하는 한쪽의 완료 시점을 검지하고, 검지한 완료 시점에 근거하여 평가 운전 EV22의 개시 시점을 결정하고, 공정 간의 대기 시간을 단축해도 좋다. 또한, 연속하여 실행되는 2개의 공정을 전의 공정과 후의 공정으로 하면, 전의 공정의 완료 시점과 후의 공정의 개시 시점의 간격을 실시 가능한 범위에서 짧게 하는 것이 매우 적합하고, 양자를 동시 또는 대략 동시로 하면, 매우 더 적합하다. 또한, 구동 제어부(4)는, 모터(1)를 제어하는 지령값으로서, 위치, 속도, 가속도, 전류, 토크 또는 추력의 지령값인 지령 신호(103)에 추종하도록 모터(1)를 구동하고, 평가 운전 또는 초기화 운전의 완료 시점을, 제어 대상(2000)의 상태를 검출한 신호, 또는 지령 신호(103)에 의해 검출하고, 운전의 완료 시점을, 정밀도 좋게 검지해도 좋다. 그리고, 운전에 필요로 하는 시간이 변화한 경우에 있어서도, 다음의 공정의 개시 시점을 정확하게 결정할 수 있는 것을 이용하여, 자동 조정에 필요로 하는 시간을 단축해도 좋다. 상기와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000a) 또는 모터 제어 방법을 제공해도 좋다.

실시의 형태 3

도 12는, 실시의 형태 3에 있어서의 모터 제어 장치(1000b)의 구성의 일례를 나타내는 블록도이다. 도 12(a)는, 모터 제어 장치(1000b)의 전체의 구성예를 나타내고, 도 12(b)는, 학습부(7b)의 구성예를 나타낸다. 모터 제어 장치(1000b)의 구성은, 학습부(7a)를 대신하여 학습부(7b)를 구비하는 점을 제외하고, 실시의 형태 2의 도 9에 나타내는 모터 제어 장치(1000a)와 같다. 본 실시의 형태의 도 12에 나타내는 구성 요소 중, 실시의 형태 2의 도 9에 나타내는 구성 요소와 같거나 또는 대응하는 구성 요소에 대해서는, 동일한 부호를 부여한다.

학습부(7b)는, 도 9(b)의 학습부(7a)의 구성 요소에 더하여, 학습 제한 시간 결정부(77)를 구비한다. 학습 제한 시간 결정부(77)는, 초기화 운전에 필요로 하는 시간의 추정값을 추정 초기화 운전 소요 시간으로서 산출한다. 그리고, 추정 초기화 운전 소요 시간에 근거하여, 학습부(7b)가 학습 동작을 실행하는 시간인 학습 시간의 상한값을, 학습 제한 시간 TLIM1로서 결정한다. 학습 제한 시간 결정부(77)은, 학습 제한 시간 TLIM1을 추정 초기화 운전 소요 시간과 같거나 또는 보다 짧은 시간으로 결정해도 좋다. 그리고, 학습부(7b)는, 학습 제한 시간 TLIM1과 같거나 또는 보다 짧은 시간 동안, 학습 동작을 실행해도 좋다. 이와 같이 학습 동작을 실행하는 것에 의해, 초기화 운전의 완료보다 전에, 학습 동작을 완료시킬 수 있다. 여기서, 학습부(7b)는, 추정 초기화 운전 소요 시간을 외부로부터 취득해도 좋다. 또, 학습부(7b)는, 초기화 운전에 필요로 한 시간의 실측값을, 상태 센서 신호(101), 지령 신호(103)등으로부터 구하고 이 실측값을 이용하여, 추정 초기화 운전 소요 시간을 추정 또는 갱신해도 좋다.

학습 제한 시간 결정부(77)는 또한, 기본 학습 시간 TSL1을 미리 정해도 좋다. 기본 학습 시간 TSL1은, 학습 시간의 하한이며, 학습부(7b)는, 기본 학습 시간 TSL1과 같은 길이의 시간이거나 또는 보다 긴 시간, 학습 동작을 실행해도 좋다. 예를 들면, 기본 학습 시간 TSL1을, 지령 파라미터(104)를 결정하기 위한 최소한의 시간으로 해도 좋고, 소망하는 정밀도의 지령 파라미터(104)를 결정하기 위한 최소한의 시간으로 해도 좋다. 학습 제한 시간 결정부(77)는 또한, 기본 학습 시간 TSL1과 학습 제한 시간 TLIM1에 근거하여, 기본 학습 시간 TSL1과 추가 학습 시간 TAD1의 합이, 학습 제한 시간 TLIM1을 넘지 않도록 추가 학습 시간 TAD1을 정해도 좋다. 이 조건은, 식(26)에서 나타내진다. 또한, 학습 제한 시간 TLIM1은, 기본 학습 시간 TSL1보다 길게 하고 있다.

[수 26]

학습부(7b)는, 기본 학습 시간 TSL1 동안, 학습을 실행한다. 그리고, 추가 학습 시간 TAD1 동안의 학습 동작을 더 실행하여, 지령 파라미터(104)의 정밀도를 향상해도 좋다. 학습부(7b)는, 기본 학습 시간 TSL1을 이용하고, 미리 하한으로서 정한 학습 시간의 학습을 실행할 수가 있다. 또한, 기본 학습 시간 TSL1 및 추가 학습 시간 TAD1을 설정하지 않고 학습 제한 시간 TLIM1만을 설정해도 좋다. 또, 학습 제한 시간 결정부(77)는, 추정 초기화 운전 소요 시간, 학습 제한 시간 TLIM1, 기본 계산 시간 TSL1, 추가 학습 시간 TAD1 등을, 기억 장치에 저장해도 좋다.

다음에, 학습 시간과, 학습 동작에 있어서 결정되는 지령 파라미터의 정밀도의 관계에 대해 말한다. 예를 들면, 학습 알고리즘으로서 Q 학습을 이용하는 경우, 의사 결정부(73)는, 행동 가치 함수 Q의 값이 커지는 행동 a_t를, 평가 후보 파라미터(108)로서 선택한다. 이 선택을 실행할 때에, 행동 가치 관수 Q가 연속적인 함수인 경우 등에는, 의사 결정부(73)가 반복 계산을 실행하는 경우가 있다. 이와 같이, 학습 동작 중에 반복 계산을 실행하는 경우, 의사 결정부(73)는, 계산 시간을 길게 확보하고, 계산의 스텝 수를 늘리는 것에 의해 계산 정밀도를 향상할 수가 있다. 이상으로부터, 학습 동작에 반복 계산이 포함되는 경우, 본 실시의 형태의 효과가 보다 현저하게 발휘된다. 또한, 반복 계산의 예로서는, 최급강하법 또는 뉴턴법과 같이 수치적으로 구배를 구하는 방법, 몬테 카를로법과 같이 확률적 요소를 이용하는 방법 등을 들 수가 있다.

도 13은, 실시의 형태 3에 있어서의 모터 제어 장치(1000b)의 동작 타이밍의 일례를 나타내는 도면이다. 도 13(a) 내지 도 13(d)의 횡축은 시간이며, 도 13(a) 내지 도 13(d)의 종축은 각각, 학습 동작, 동작 처리(초기화 운전 및 평가 운전), 학습 개시 신호(106) 및 지령 개시 신호(105)이다. 도 13에 있어서의, 지령 개시 신호(105) 및 학습 개시 신호(106)의 신호의 값과, 각 신호가 나타내는 동작의 타이밍의 관계는, 실시의 형태 1의 도 2에 있어서 설명한 것과 같다. 도 13에 나타내는 모터 제어 장치(1000b)의 동작은, 학습부(7b)의 동작을 제외하고, 도 10과 같다. 도 13에 있어서, 도 10과 같은 또는 대응하는, 운전, 학습, 학습 사이클, 시각 등에 대해서는, 도 10과 동일한 부호를 부여한다. 또, 도 13의 동작예에 있어서의 조정 관리부(9a)의 동작의 흐름도는 실시의 형태 2의 도 11과 같다. 도 11 및 도 13을 참조하여 모터 제어 장치(1000b)의 동작예를 설명한다.

도 13의 동작예에 있어서, 학습 제한 시간 결정부(77)는, 초기화 운전 IN21에 필요로 한 시간의 실측값에 근거하여, 추정 초기화 운전 소요 시간을 산출한다. 그리고, 추정 초기화 운전 소요 시간과 같거나 또는 보다 짧은 시간에, 학습 제한 시간 TLIM1을 결정한다. 또한, 학습 제한 시간 결정부(77)는, 학습 시간의 하한으로서 기본 학습 시간 TSL1을 결정하고, 학습 제한 시간 TLIM1과 기본 학습 시간 TSL1의 차를, 추가 학습 시간 TAD1로 한다.

도 13의 동작예에서는, 학습부(7b)의 동작만이 실시의 형태 2의 도 10과 다르기 때문에, 학습 사이클 CYC22를 예로 들어 학습부(7b)의 동작에 대해 설명한다. 학습부(7b)는, 학습 사이클 CYC22의 스텝 S202에서 결정된 학습 개시 신호(106)에 따라, 학습 동작 L22(제 1 학습 동작)를, 시각 TL221에 개시한다. 여기서, 학습부(7b)는, 학습 동작 L22로서, 부분 학습 동작 L221 및 부분 학습 동작 L222를 실행한다. 부분 학습 동작 L221의 길이는 기본 학습 시간 TSL1이다. 그리고, 부분 학습 동작 L222의 길이는 추가 학습 시간 TAD1이다. 또한, 학습부(7b)는, 시각 TL221로부터 기산하여, 기본 계산 시간 TSL1 및 추가 학습 시간 TAD1이 경과한 시점인 시각 TL222에, 학습 동작 L22를 완료한다. 여기서, 시각 TL222의 값은, 시각 TL221의 값, 기본 계산 시간 TSL1 및 추가 학습 시간 TAD1의 3개의 합과 동일하고, (27)식의 관계가 성립된다.

[수 27]

도 13의 동작예에서는, 초기화 운전의 개시 시점과 학습 동작의 개시 시점이 동시이지만, 초기화 운전에 필요로 하는 시간이 학습 동작에 필요로 하는 시간보다 긴 경우, 학습 동작을, 초기화 운전보다 늦게 개시해도 좋다. 학습 제한 시간 결정부(77)는, 초기화 운전 IN22의 개시 시점으로부터 기산하여 추정 초기화 운전 소요 시간이 경과한 시점이, 학습 동작 L22(제 1 학습 동작)의 개시 시점으로부터 기산하여 학습 제한 시간 TLIM1이 경과한 시점보다 후가 되도록 학습 제한 시간 TLIM1을 결정해도 좋다. 그리고, 학습부(7b)는, 학습 동작 L22를, 학습 제한 시간 TLIM1과 같거나 또는 보다 짧은 시간 동안에 실행해도 좋다. 이와 같이 하면, 초기화 운전 IN22의 개시 시점보다 학습 동작 L22의 개시 시점이 후가 된 경우에 있어서도, 초기화 운전 IN22의 완료 전에, 학습 동작 L22를 완료시킬 수가 있다. 이러한 상황이면, 학습 동작 L22의 완료를 기다릴 필요가 없고, 초기화 운전 IN22의 완료 직후에, 평가 운전 EV22를 개시할 수 있다. 그 때문에, 학습 동작 L22의 완료를 기다리는 것에 의한 지연 시간의 증가가 발생하지 않는다. 그 때문에, 자동 조정에 필요로 하는 시간을 단축할 수가 있다. 이와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000a) 또는 모터 제어 방법을 제공해도 좋다.

또, 학습 제한 시간 결정부(77)는, 학습 제한 시간 TLIM1에 더하여, 학습 시간의 하한인 기본 학습 시간 TSL1을 결정해도 좋다. 그리고, 학습부(7b)는, 기본 학습 시간 TSL1과 같거나 또는 보다 긴 시간으로서, 학습 제한 시간 TLIM1과 같거나 또는 학습 제한 시간 TLIM1보다 짧은 시간 동안에, 학습 동작 L22를 실행해도 좋다. 이와 같이 학습 동작을 실행하면, 학습 제한 시간 TLIM1을 이용하여, 미리 하한으로서 정한 학습 시간을 확보할 수 있다. 그리고, 예를 들면, 기본 학습 시간 TSL1을, 지령 파라미터(104)를 얻기 위해서 최저한으로 필요한 시간으로 하면, 보다 높은 확률로, 학습 사이클마다, 지령 파라미터(104)를 산출할 수가 있다. 상기와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000a) 또는 모터 제어 방법을 제공해도 좋다.

본 실시의 형태에 의하면, 초기화 운전, 평가 운전 및 학습 동작을 반복하여 모터(1)를 제어하는 지령 파라미터(104)(제어 지령)를 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축할 수가 있는 모터 제어 장치를 제공할 수가 있다.

실시의 형태 4

도 14는, 실시의 형태 4에 있어서의 모터 제어 장치(1000c)의 구성의 일례를 나타내는 블록도이다. 도 14(a)는 모터 제어 장치(1000c)의 전체의 구성예를 나타내고, 도 14(b)는 학습부(7c)의 구성예를 나타낸다. 도 14에 나타내는 모터 제어 장치(1000c)는, 도 1에 나타내는 실시의 형태 1의 모터 제어 장치(1000)의 학습부(7)를 대신하여 학습부(7c)를 구비하고, 조정 관리부(9)를 대신하여 조정 관리부(9b)를 구비한다. 또한, 도 1의 모터 제어 장치(1000)의 구성 요소에 더하여, 학습 시간 추정부(10)를 구비한다. 도 14에 나타내는 모터 제어 장치(1000c)의 설명에서는, 실시의 형태 1의 도 1 또는 도 5와 같거나 또는 대응하는 구성 요소에 대해서는, 동일한 부호를 부여한다.

본 실시의 형태의 학습에는, 여러 가지 학습 알고리즘을 적용할 수가 있지만, Q 학습에 의한 강화 학습을 이용하는 경우를 예시한다. 도 14에 나타내는 학습부(7c)는, 도 5에 나타내는 실시의 형태 1의 학습부(7)의 의사 결정부(73)를 대신하여, 의사 결정부(73a)를 구비한다. 도 5의 학습부(7)는, 1회의 학습 동작 중에, 평가 운전에 이용한 지령 파라미터(104)와 평가 운전 시의 상태 센서 신호(101)의 세트를 1세트 취득하고, 지령 파라미터(104)의 결정을 1회 실행한다. 한편, 학습부(7c)는, 1회의 학습 사이클 중에, 상기의 세트를 복수 세트 취득한다. 그리고, 보수 계산부(71)와 가치 함수 갱신부(72)는, 취득한 세트의 각각에 대해, 보수 r의 계산과 계산한 보수 r에 근거하는 행동 가치 함수 Q의 갱신을 실행한다. 그 결과, 학습부(7c)는, 1회의 학습 사이클 중에, 보수 r의 계산과 행동 가치 함수 Q의 갱신을, 복수 회 실행한다.

의사 결정부(73a)는, 상기의 복수 회의 갱신이 실행된 행동 가치 함수 Q와, 갱신에 이용한 복수 세트의 데이터 세트에 근거하여, 복수의 평가 후보 파라미터(108)를 결정한다. 그리고, 지령 파라미터 결정부(75)는, 결정된 평가 후보 파라미터(108)에 근거하여, 실행 중의 학습 동작보다 후의 평가 운전에 이용하는 지령 파라미터(104)를 결정한다.

의사 결정부(73a)의 동작에 대해 설명한다. 의사 결정부(73a)는, 가치 함수 갱신부(72)가 갱신한, 식(25)의 행동 가치 함수 Q(s_t, a_t)를 취득한다. 그리고, 복수의 행동 a_t, 즉 복수 세트의 데이터 세트에 포함되는 복수의 지령 파라미터(104)에 대해, 대응하는 행동 가치 함수 Q의 값을 계산한다. 여기서, 행동 a_t(지령 파라미터(104))를 선택한 때에, 어느 행동 가치 함수 Q(s_t, a_t)의 값이 부여되는 경우, 행동 a_t(지령 파라미터(104))와 행동 가치 함수 Q(s_t, a_t)의 값은, 서로 대응하고 있다고 하고 있다. 또한, 계산한 복수의 행동 가치 함수 Q의 값으로부터, 미리 정한 소정의 수만큼, 큰 순서로 행동 가치 함수 Q의 값을 선출한다. 그리고, 선출한 행동 가치 함수 Q의 값에 대응하는 지령 파라미터(104)를, 평가 후보 파라미터(108)로서 결정한다. 이상이, 의사 결정부(73a)의 동작의 일례이다. 또한, 지령 파라미터 결정부(75)가 결정하는 지령 파라미터(104)의 수는, 실행 중의 학습 동작의 다음의 학습 사이클에 있어서 실행되는 평가 운전의 횟수와 같다고 해도 좋다.

다음에, 학습 시간 추정부(10)에 대해 설명한다. 학습 시간 추정부(10)는, 실행되는 학습 동작에 대한 학습 시간의 추정값을 추정 학습 시간으로서 산출하고, 추정 학습 시간을 나타내는 추정 학습 시간 신호(109)를 출력한다. 또한, 학습 시간 추정부(10)는, 실행된 학습 동작에 대한 학습 개시 신호(106) 및 학습 완료 신호(107)를 취득하고, 학습 개시 시점과 학습 완료 시점의 차로부터 학습 시간의 실측값을 취득해도 좋다. 그리고, 취득한 학습 시간의 실측값에 근거하여, 실행되는 학습 동작에 대한 학습 시간의 추정값을, 추정 학습 시간으로서 산출해도 좋다. 또, 학습 시간 추정부(10)는, 추정 학습 시간을 외부로부터의 입력에 의해 취득해도 좋고, 학습 시간의 실측값에 근거하여 추정 학습 시간을 갱신해도 좋다.

다음에, 조정 관리부(9b)에 대해 설명한다. 조정 관리부(9b)는, 학습 완료 신호(107)에 근거하여 학습 개시 신호(106)를 결정하는 것에 의해, 학습 동작의 완료 시점에 근거하여 다음의 학습 동작의 개시 시점을 결정한다. 또한, 조정 관리부(9b)는, 초기화 운전에 필요로 하는 시간인 초기화 운전 소요 시간과, 평가 운전에 필요로 하는 시간인 평가 운전 소요 시간을 미리 정한다. 그리고, 초기화 운전 및 평가 운전의 개시 시점으로부터 기산하여, 초기화 운전 소요 시간 및 평가 운전 소요 시간이 경과한 것을 검출하는 것에 의해, 초기화 운전 및 평가 운전의 완료 시점을 각각 검지한다. 그리고, 검지한 초기화 운전 및 평가 운전의 완료 시점에 근거하여, 다음에 실행되는 평가 운전 및 초기화 운전의 개시 시점을 각각 결정한다. 여기서, 조정 관리부(9b)는, 초기화 운전 및 평가 운전의 완료 시점을, 실시의 형태 2의 조정 관리부(9a)와 같이, 제어 대상(2000)의 상태를 검출한 신호 또는 지령 신호(103)에 근거하여 정확하게 검지해도 좋다. 여기서, 초기화 운전과 초기화 운전에 의해 설정된 초기 상태로부터 개시되는 평가 운전으로 구성되는 모터(1)의 동작을 평가 운전 사이클이라고 부른다. 조정 관리부(9b)는, 평가 운전의 완료 시점마다, 평가 운전 사이클을 완료할지의 여부의 판단을 실행한다. 이하에서는, 평가 운전의 완료 시점을 판단 시점이라고 부르는 경우가 있다.

도 15는, 실시의 형태 4에 있어서의 모터 제어 장치(1000c)의 동작 타이밍의 일례를 나타내는 도면이다. 도 15(a) 내지 도 15(e)의 횡축은 시간이며, 도 15(a) 내지 도 15(e)의 종축은 각각, 학습 동작, 동작 처리(초기화 운전 및 평가 운전), 학습 개시 신호(106), 학습 완료 신호(107) 및 지령 개시 신호(105)이다. 학습 개시 신호(106), 학습 완료 신호(107) 및 지령 개시 신호(105)의 값과, 각 신호가 나타내는 학습 동작 또는 운전의 타이밍의 관계는, 실시의 형태 1의 도 2에 있어서 설명한 것과 같다. 도 16은, 실시의 형태 4에 있어서의 조정 관리부(9b)의 동작의 일례를 나타내는 흐름도이다. 도 15에서는, 1회의 학습 사이클 중에서, 1회의 학습 동작이 실행되고, 학습 동작과 병행하여, 2회의 평가 운전 사이클이 실행되지만, 학습 동작과 병행하여 실행되는 평가 운전 사이클의 수는 3회 이상이어도 좋다.

도 15 및 도 16을 이용하여, 모터 제어 장치(1000c)의 동작을 예시한다. 자동 조정이 개시되면, 스텝 S401에 있어서, 조정 관리부(9b)는, 시각 TL411에 있어서의 학습 개시 신호(106)의 값을 1로 결정하고, 시각 TL411을 학습 동작 L41(제 3 학습 동작)의 개시 시점으로서 결정한다. 학습부(7c)는, 학습 개시 신호(106)에 따라 시각 TL411에 학습 동작 L41을 개시한다. 스텝 S402에 있어서, 조정 관리부(9b)는, 학습 동작 L41의 개시 시점에 근거하여, 시각 TL411에 있어서의 지령 개시 신호(105)의 값을 1로 결정하고, 시각 TL411을 초기화 운전 IN41의 개시 시점으로서 결정한다. 모터(1)는, 지령 개시 신호(105)에 따라, 초기화 운전 IN41을 시각 TL411에 개시한다. 그리고, 모터(1)는, 시각 TL412에 초기화 운전 IN41을 완료하고, 초기화 운전 IN41의 완료 후, 대기 상태가 된다. 여기서, 스텝 S402에 있어서, 조정 관리부(9b)는, 초기화 운전 IN41의 개시 시점을 결정하는 것에 의해, 1회째의 평가 운전 사이클 ECYC1(제 1 평가 운전 사이클)의 개시 시점을 결정하고 있다.

스텝 S403에 있어서, 조정 관리부(9b)는, 시각 TL411로부터 기산하여 초기화 운전 소요 시간이 경과한 것을 검출하고, 시각 TL413을 초기화 운전 IN41의 완료 시점으로서 검지한다. 스텝 S404에 있어서, 조정 관리부(9b)는, 검지한 초기화 운전 IN41의 완료 시점에 근거하여, 시각 TL413에 있어서의 지령 개시 신호(105)의 값을 1로 결정하고, 시각 TL413을, 평가 운전 EV41의 개시 시점으로서 결정한다. 모터(1)는, 지령 개시 신호(105)에 따라, 평가 운전 EV41을 시각 TL413에 개시한다. 그리고, 모터(1)는, 시각 TL414에 평가 운전 EV41을 완료하고, 평가 운전 EV41의 완료 후, 대기 상태가 된다.

스텝 S405에 있어서, 조정 관리부(9b)는, 시각 TL413로부터 기산하여, 평가 운전 소요 시간이 경과한 것을 검출하고, 시각 TL415를, 평가 운전 EV41의 완료 시점으로서 검지한다. 스텝 S406에 있어서, 조정 관리부(9b)는, 실행 중의 평가 운전 사이클을 완료할 지의 여부의 판단을 실행하고, 평가 운전 사이클을 완료하지 않는다고 판단했을 경우, 스텝 S407으로 진행하고, 평가 운전 사이클을 완료한다고 판단했을 경우, 스텝 S408로 진행한다.

스텝 S406의 판단을 예시한다. 조정 관리부(9b)는, 미리, 1회의 평가 운전 사이클의 소요 시간의 추정값인 추정 평가 운전 사이클 소요 시간을 정한다. 조정 관리부(9b)는, 판단 시점에 있어서, 추정 학습 시간 신호(109)를 취득하고, 학습 동작 L41의 개시 시점으로부터 기산하여 추정 학습 시간이 경과한 시점인 추정 학습 시간 경과 시점을 산출한다. 또한, 조정 관리부(9b)는, 평가 운전의 완료 시점인 판단 시점으로부터 추정 학습 시간 경과 시점까지의 시간이, 추정 평가 운전 사이클 소요 시간보다 짧은 경우는, 평가 운전 사이클 ECYC1을 완료한다고 판단한다. 그리고, 상기의 판단 시점으로부터 추정 학습 시간 경과 시점까지의 시간이, 추정 평가 운전 사이클 소요 시간보다 길거나 또는 같은 경우는, 평가 운전 사이클 ECYC1을 완료하지 않는다고 판단한다. 바꾸어 말하면, 조정 관리부(9b)는, 추정 학습 시간 경과 시점까지의 남은 시간 동안에, 1회의 평가 운전 사이클을 실행할 수 없는 경우, 평가 운전 사이클 ECYC1을 완료한다고 판단한다. 그리고, 남은 시간 동안에 1회의 평가 운전 사이클을 실행할 수 있는 경우, 평가 운전 사이클 ECYC1을 완료하지 않는다고 판단한다. 이상이, 스텝 S406의 판단의 일례이다.

조정 관리부(9b)는, 시각 TL415의 스텝 S406의 판단에 있어서, 평가 운전 사이클 ECYC1을 완료하지 않는다고 판단하고, 스텝 S407으로 진행한다. 스텝 S407에 있어서, 조정 관리부(9b)는, 평가 운전 EV41의 완료 시점에 근거하여, 시각 TL415에 있어서의 지령 개시 신호(105)의 값을 1로 결정하고, 시각 TL415를 초기화 운전 IN42의 개시 시점으로서 결정한다. 지령 개시 신호(105)에 따라, 모터(1)는, 시각 TL415에 초기화 운전 IN42를 개시한다. 이후, 조정 관리부(9b)는, 스텝 S406에 있어서 평가 운전 사이클 ECYC1을 완료한다고 판단할 때까지, 스텝 S403로부터 스텝 S407까지를 반복 실행한다.

시각 TL421의 판단 시점에 있어서, 조정 관리부(9b)는, 스텝 S406의 판단을 실행하고, 평가 운전 사이클 ECYC1을 완료한다고 판단하고, 스텝 S408으로 진행한다. 스텝 S408에 있어서, 조정 관리부(9b)는, 학습 완료 신호(107)에 근거하여, 시각 TL421을, 학습 동작 L41의 완료 시점으로서 검지한다. 다음에, 스텝 S409에 있어서, 조정 관리부(9b)는, 실시의 형태 1의 도 3의 스텝 S106과 마찬가지로, 자동 조정을 속행할지 여부를 판단하고, 자동 조정을 속행한다고 판단한 경우, 스텝 S410으로 진행하고, 자동 조정을 속행하지 않는다고 판단한 경우, 스텝 S411으로 진행된다. 조정 관리부(9b)는, 시각 TL421의 스텝 S409의 판단에 있어서, 자동 조정을 속행한다고 판단한다.

여기서, 학습 사이클 CYC41는, 시각 TL411로부터 시각 TL421까지의 사이이다. 또한, 평가 운전 사이클 ECYC1은, 학습 동작이 1회도 실행되어 있지 않은 상태로부터 개시된다. 그 때문에, 평가 운전 EV41 및 평가 운전 EV42는, 미리 설정된 지령 파라미터(104), 또는 랜덤으로 결정된 지령 파라미터(104)를 이용하여 실행해도 좋다. 또, 학습 동작 L41에서는, 실시의 형태 1의 학습 동작 L11과 마찬가지로, 랜덤으로 지령 파라미터(104)를 결정해도 좋고, 설정에 근거하여 지령 파라미터(104)를 결정해도 좋다.

스텝 S410에 있어서, 조정 관리부(9b)는, 학습 동작 L41의 완료 시점에 근거하여, 시각 TL421에 있어서의 학습 개시 신호(106)의 값을 1로 결정하고, 시각 TL421을 학습 동작 L42(제 4 학습 동작)의 개시 시점으로서 결정한다. 학습부(7c)는, 학습 개시 신호(106)에 따라, 시각 TL421에 학습 동작 L42를 개시한다. 학습 동작 L42는, 평가 운전 사이클 ECYC1에서 이용한 지령 파라미터(104)와 평가 운전 사이클 ECYC1에서 취득한 상태 센서 신호(101)에 근거하여 실행된다. 이후, 조정 관리부(9b)는, 스텝 S409에 있어서 자동 조정을 속행하지 않는다고 판단할 때까지, 스텝 S402로부터 스텝 S410까지를 반복 실행한다. 여기서, 평가 운전 사이클 ECYC2(제 2 평가 운전 사이클)는, 학습 동작 L41에 있어서 결정된 지령 파라미터(104)를 이용하여 실행된다. 또, 스텝 S402에 있어서, 시각 TL421을 초기화 운전 IN43의 개시 시점으로서 결정하는 것에 의해, 조정 관리부(9b)는, 시각 TL421을 평가 운전 사이클 ECYC2의 개시 시점으로서 결정하고 있다.

학습 사이클 CYC4Z의 시각 TL4X3에 있어서의 스텝 S409의 판단에 있어서, 조정 관리부(9b)는, 자동 조정을 속행하지 않는다고 판단하고, 스텝 S411으로 진행한다. 스텝 S411에 있어서, 조정 관리부(9b)는, 실시의 형태 1의 도 3의 스텝 S108과 마찬가지로 종료 처리 T4를 지시한다. 그리고, 학습부(7c)는, 실시의 형태 1의 도 2의 종료 처리 T1과 마찬가지로, 종료 처리 T4를 실행한다.

또한, 본 실시의 형태에 있어서도, 실시의 형태 1과 마찬가지로, 제어 대상(2000)과 같은 복수의 제어 대상에 병행하여 평가 운전을 실행시키고, 효율적으로 자동 조정을 실행해도 좋다. 예를 들면, 도 15의 학습 동작 L41 동안에, 병행하여 복수의 제어 대상에 평가 운전 사이클을 실행시키면, 1회의 평가 운전 사이클 중에, 상태 센서 신호(101)와 지령 파라미터(104)의 세트를 보다 많이 취득할 수 있기 때문에, 효율적으로 학습을 실행할 수 있다. 또, 본 실시의 형태의 학습의 결과를 탑재한 학습 완료 학습기를 이용하여, 모터 제어 장치를 구성해도 좋다. 또, 본 실시의 형태의 학습을 실행하는 것에 의해, 모터를 제어하는 제어 지령의 자동 조정, 모터 제어 장치의 제조 등을 실행해도 좋다. 또, 효율적으로, 자동 조정을 실행할 수 있는 모터 제어 방법을 제공해도 좋다.

또, 학습 동작 중의 하나인 학습 동작 L41(제 3 학습 동작)을 실행하고, 학습 동작 L41과 병행하여, 평가 운전 사이클 중의 하나인 평가 운전 사이클 ECYC1(제 1 평가 운전 사이클)를 복수 회 실행하고, 또한, 평가 운전 사이클 ECYC1 시에 취득한 상태 센서 신호(101)를 이용하여, 학습 동작 L41의 다음의 학습 동작인 학습 동작 L42(제 4 학습 동작)를 실행해도 좋다. 그리고, 학습 동작 L41에서 결정된 지령 파라미터(104)(제어 지령)를 이용하여, 평가 운전 사이클 ECYC1의 다음의 평가 운전 사이클인 평가 운전 사이클 ECYC2(제 2 평가 운전 사이클)를, 학습 동작 L42와 병행하여 복수 회 실행해도 좋다. 이러한 동작에 의해, 1회의 학습 동작 동안에, 평가 운전 사이클을 복수 회, 실행하고, 지령 파라미터(104)와 평가 센서 신호(102)의 세트를 효율적으로 취득하고, 자동 조정에 필요로 하는 시간을 단축해도 좋다. 이와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000c) 또는 모터 제어 방법을 제공해도 좋다.

또, 조정 관리부(9b)는, 학습 동작 L41의 완료 시점에 근거해 학습 동작 L42의 개시 시점을 결정하고, 학습 동작 L41 및 학습 동작 L42의 개시 시점에 근거해, 평가 운전 사이클 ECYC1 및 평가 운전 사이클 ECYC2의 개시 시점을 각각 결정해도 좋다. 이러한 동작에 의해, 2개의 학습 동작을 실행하는 타이밍 간의 관계를 조정해도 좋고, 학습 동작을 실행하는 타이밍과 평가 운전 사이클을 실행하는 타이밍의 관계를 조정해도 좋다. 그리고, 이것들에 의해, 대기 시간을 단축해도 좋다. 이와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000c) 또는 모터 제어 방법을 제공해도 좋다.

또, 모터 제어 장치(1000c)는, 학습 동작 L21에 필요로 하는 시간을 추정 학습 시간으로서 추정하는 학습 시간 추정부(10)를 더 구비한다. 그리고, 조정 관리부(9b)는, 평가 운전 사이클을 실행하는데 필요로 하는 시간의 추정값을 추정 평가 운전 사이클 소요 시간으로서 미리 정해도 좋다. 또한, 조정 관리부(9b)는, 평가 운전 사이클 ECYC1이 완료한 시점인 판단 시점에, 추정 학습 시간과 학습 동작 L21의 개시 시점으로부터 판단 시점까지 경과한 시간의 차가, 추정 평가 운전 사이클 소요 시간과 같거나 또는 보다 긴 경우는, 평가 운전 사이클 ECYC1을 속행한다고 판단하고, 추정 평가 운전 사이클 소요 시간보다 짧은 경우는, 평가 운전 사이클 ECYC1을 속행하지 않는다고 판단해도 좋다. 이러한 동작에 의해, 학습 시간의 완료 시점까지 평가 운전 사이클을 완료시킬 수 있는 범위에서, 평가 운전 사이클의 수를 늘릴 수가 있다. 또, 추정 학습 시간, 추정 평가 운전 사이클 소요 시간 등이 변화한 경우에, 변화에 따라 평가 운전 사이클의 실행 횟수를 조정할 수가 있기 때문에, 효율적으로 자동 조정을 실행할 수 있다. 이와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000c) 또는 모터 제어 방법을 제공해도 좋다.

또, 도 15의 동작예에 있어서, 조정 관리부(9b)는, 초기화 운전 IN41의 완료 시점을, 초기화 운전 IN41의 개시 시점과 초기화 운전 소요 시간에 근거하여 결정한다. 본 실시의 형태는, 이러한 동작으로 한정되는 것은 아니다. 예를 들면, 공정인 제 1 공정이 완료하고 나서, 공정인 제 2 공정이 개시될 때까지 사이에, 초기화 운전, 평가 운전 또는 학습 동작 중 어느 하나를 포함하는 중간 공정이 실행되는 경우가 있다. 이러한 경우, 조정 관리부(9b)는, 중간 공정을 실행하는데 필요로 하는 시간을 미리 추정하고, 제 2 공정의 개시 시점을, 제 1 공정의 완료 시점으로부터 기산하여 추정한 중간 공정을 실행하는데 필요로 하는 시간이 경과한 시점보다 후의 시점으로 결정해도 좋다. 이러한 동작에 의해, 중간 공정에 필요로 하는 시간의 추정값을 기준으로 하여 제 2 공정의 개시 시점을 조정하고, 대기 시간을 단축하는 것에 의해, 자동 조정에 필요로 하는 시간을 저감해도 좋다. 이와 같이 하여, 효율적으로 자동 조정을 실행할 수 있는, 모터 제어 장치(1000c) 또는 모터 제어 방법을 제공해도 좋다.

이상과 같이, 본 실시의 형태에 의하면, 초기화 운전, 평가 운전 및 학습 동작을 반복하여 모터를 제어하는 제어 지령을 조정하는 자동 조정을 실행할 때에, 자동 조정에 필요로 하는 시간을 단축할 수가 있는 모터 제어 장치를 제공할 수가 있다.

1　모터, 2 지령 생성부, 3 기계 부하, 4 구동 제어부, 7, 7a, 7b, 7c　학습부, 9, 9a, 9b　조정 관리부, 10 학습 시간 추정부, 77 학습 제한 시간 결정부, 101 상태 센서 신호, 103 지령 신호, 1000, 1000a, 1000b, 1000c　모터 제어 장치, 2000 제어 대상, ECYC1, ECYC2　평가 운전 사이클, EV11, EV12, EV21, EV22, EV41, EV42, EV43, EV44　평가 운전, IN12, IN22, IN41, IN42, IN43, IN44　초기화 운전, L12, L22, L23, L41, L42　학습 동작, TLIM1　학습 제한 시간, TSL1　기본 학습 시간.

Claims

제어 지령에 근거하여 모터를 구동하고, 상기 모터와 상기 모터에 기계적으로 접속된 기계 부하로 구성되는 제어 대상을 동작시키고, 상기 제어 대상을 초기 상태로 설정하는 초기화 운전과 상기 초기 상태로부터 개시되는 평가 운전을 실행하는 구동 제어부와,
상기 평가 운전에 이용한 상기 제어 지령과 상기 평가 운전 시의 상기 제어 대상의 상태를 검출한 상태 센서 신호를 관련지어 학습하고, 학습한 결과에 근거하여, 상기 상태 센서 신호를 취득한 상기 평가 운전보다 후에 실행되는 상기 평가 운전에 이용하는 상기 제어 지령을 결정하는 학습부와,
상기 학습부의 동작인 학습 동작, 상기 초기화 운전, 상기 평가 운전 중 어느 하나인 제 1 공정을 실행하는 타이밍에 근거하여, 상기 학습 동작, 상기 초기화 운전, 상기 평가 운전 중 어느 하나인 제 2 공정을 실행하는 타이밍을 결정하는 조정 관리부
를 구비하는 모터 제어 장치.
제 1 항에 있어서,
상기 평가 운전 중의 하나인 제 1 평가 운전을 실행하고,
상기 제 1 평가 운전 시에 취득한 상기 상태 센서 신호를 이용하여 상기 학습 동작인 제 1 학습 동작을 실행하고,
상기 초기화 운전인 제 1 초기화 운전을 상기 제 1 학습 동작과 병행하여 실행하고,
상기 제 1 초기화 운전에 의해 설정된 상기 초기 상태로부터 상기 제 1 학습 동작에서 결정된 상기 제어 지령에 근거하여 상기 제 1 평가 운전의 다음의 상기 평가 운전인 제 2 평가 운전을 실행하는 것을 특징으로 하는
모터 제어 장치.
제 2 항에 있어서,
상기 조정 관리부는, 상기 제 1 평가 운전의 완료 시점을 검지하고, 검지한 상기 제 1 평가 운전의 완료 시점에 근거하여, 상기 제 1 학습 동작의 개시 시점 및 상기 제 1 초기화 운전의 개시 시점을 결정하는 것을 특징으로 하는 모터 제어 장치.
제 2 항 또는 제 3 항에 있어서,
상기 조정 관리부는, 상기 제 1 학습 동작과 상기 제 1 초기화 운전 중, 보다 긴 시간을 필요로 하는 한쪽의 개시 시점을, 다른 쪽의 개시 시점과 동시이거나 또는 보다 전으로 결정하는 것을 특징으로 하는 모터 제어 장치.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 조정 관리부는, 상기 제 1 학습 동작 또는 상기 제 1 초기화 운전 중, 동시이거나 또는 보다 후에 완료하는 한쪽의 완료 시점을 검지하고, 검지한 상기 완료 시점에 근거하여 상기 제 2 평가 운전의 개시 시점을 결정하는 것을 특징으로 하는 모터 제어 장치.
제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제 1 초기화 운전에 필요로 하는 시간은, 상기 제 1 학습 동작에 필요로 하는 시간보다 길고,
상기 학습 동작을 실행하는 시간인 학습 시간의 상한인 학습 제한 시간을, 상기 제 1 초기화 운전의 개시 시점으로부터 기산하여 초기화 운전에 필요로 하는 시간의 추정값인 추정 초기화 운전 소요 시간이 경과한 시점이, 상기 제 1 학습 동작의 개시 시점으로부터 기산하여 상기 학습 제한 시간이 경과한 시점보다 후가 되도록 결정하는 학습 제한 시간 결정부를 구비하고, 상기 학습부는, 상기 제 1 학습 동작을 상기 학습 제한 시간과 같거나 또는 보다 짧은 시간 동안에 실행하는 것을 특징으로 하는 모터 제어 장치.
제 6 항에 있어서,
상기 학습 제한 시간 결정부는, 상기 학습 시간의 하한이며 상기 학습 제한 시간보다 짧은 시간인 기본 학습 시간을 더 결정하고, 상기 학습부는, 상기 제 1 학습 동작을 상기 기본 학습 시간과 같거나 또는 보다 긴 시간 동안에 실행하는 것을 특징으로 하는 모터 제어 장치.
제 1 항에 있어서,
상기 학습 동작 중의 하나인 제 3 학습 동작을 실행하고,
상기 제 3 학습 동작과 병행하여, 상기 초기화 운전과 상기 평가 운전으로 구성되는 평가 운전 사이클 중의 하나인 제 1 평가 운전 사이클을 복수 회 실행하고,
상기 제 1 평가 운전 사이클 시에 취득한 상기 상태 센서 신호를 이용하여 상기 제 3 학습 동작의 다음의 학습 동작인 제 4 학습 동작을 실행하고,
상기 제 3 학습 동작에서 결정된 상기 제어 지령을 이용하여, 제 1 평가 운전 사이클의 다음의 상기 평가 운전 사이클인 제 2 평가 운전 사이클을, 상기 제 4 학습 동작과 병행하여 복수 회 실행하는 것을 특징으로 하는 모터 제어 장치.
제 8 항에 있어서,
상기 조정 관리부는, 상기 제 3 학습 동작의 완료 시점에 근거하여 상기 제 4 학습 동작의 개시 시점을 결정하고, 상기 제 3 학습 동작 및 상기 제 4 학습 동작의 개시 시점에 근거하여, 상기 제 1 평가 운전 사이클 및 상기 제 2 평가 운전 사이클의 개시 시점을 각각 결정하는 것을 특징으로 하는 모터 제어 장치.
제 8 항 또는 제 9 항에 있어서,
상기 제 3 학습 동작에 필요로 하는 시간을 추정 학습 시간으로서 추정하는 학습 시간 추정부를 더 구비하고,
상기 조정 관리부는, 상기 평가 운전 사이클을 실행하는데 필요로 하는 시간의 추정값을 추정 평가 운전 사이클 소요 시간으로서 미리 정하고
상기 조정 관리부는, 상기 제 1 평가 운전 사이클이 완료한 시점인 판단 시점에, 상기 추정 학습 시간과 상기 제 3 학습 동작의 개시 시점으로부터 상기 판단 시점까지 경과한 시간의 차가, 상기 추정 평가 운전 사이클 소요 시간과 같거나 또는 보다 긴 경우는, 상기 제 1 평가 운전 사이클을 속행한다고 판단하고, 상기 추정 평가 운전 사이클 소요 시간보다 짧은 경우는, 상기 제 1 평가 운전 사이클을 속행하지 않는다고 판단하는 것을 특징으로 하는 모터 제어 장치.
제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 제 1 공정이 완료하고 나서 상기 제 2 공정이 개시될 때까지의 사이에, 상기 초기화 운전, 상기 평가 운전 또는 상기 학습 동작 중 적어도 어느 하나를 포함하는 중간 공정이 실행되고,
상기 조정 관리부는, 상기 중간 공정을 실행하는데 필요로 하는 시간을 미리 추정하고, 상기 제 2 공정의 개시 시점을, 상기 제 1 공정의 완료 시점으로부터 기산하여 추정한 상기 중간 공정을 실행하는데 필요로 하는 시간이 경과한 시점보다 후의 시점으로 결정하는 것을 특징으로 하는 모터 제어 장치.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 구동 제어부는, 상기 모터를 제어하는 지령값으로서, 위치, 속도, 가속도, 전류, 토크 또는 추력의 지령값인 지령 신호에 추종하도록 상기 모터를 구동하고,
상기 조정 관리부는, 상기 평가 운전 또는 상기 초기화 운전을 실행하는 타이밍을, 상기 제어 대상의 상태를 검출한 검출 결과 또는 상기 지령 신호에 근거하여 검지하는 것을 특징으로 하는 모터 제어 장치.
제어 지령에 근거하여 모터를 구동하고, 상기 모터와 상기 모터에 기계적으로 접속된 기계 부하로 구성되는 제어 대상을 동작시키고, 상기 제어 대상을 초기 상태로 설정하는 초기화 운전과 상기 초기 상태로부터 개시되는 평가 운전을 실행하고,
상기 평가 운전에 이용한 상기 제어 지령과 상기 평가 운전 시의 상기 제어 대상의 상태를 검출한 상태 센서 신호를 관련지어 학습하고, 학습한 결과에 근거하여, 상기 상태 센서 신호를 취득한 상기 평가 운전보다 후에 실행되는 상기 평가 운전에 이용하는 상기 제어 지령을 결정하는 학습 동작을 실행하고,
상기 학습 동작, 상기 초기화 운전, 상기 평가 운전 중 어느 하나인 제 1 공정을 실행하는 타이밍에 근거하여, 상기 학습 동작, 상기 초기화 운전, 상기 평가 운전 중 어느 하나인 제 2 공정을 실행하는 타이밍을 결정하는 모터 제어 방법.