KR102590855B1 - 작업 기계를 포함하는 시스템, 작업 기계를 포함하는 시스템이 컴퓨터에 의해 실행되는 방법, 작업 기계를 포함하는 시스템에 사용되는 학습된 위치 추정 모델의 생성 방법 - Google Patents

Abstract

작업 기계 본체와, 작업 기계 본체에 장착된 작업기와, 작업기를 조작하기 위한 조작 부재와, 컴퓨터(102A)를 구비하는, 작업 기계를 포함하는 시스템이 제공된다. 컴퓨터(102A)는, 작업기 중 위치 추정 대상부의 위치를 구하기 위한, 학습된 위치 추정 모델(80B)을 가지고 있다. 컴퓨터(102A)는, 조작 부재의 조작에 의해 작업기를 동작시키는 조작 지령값을 취득하고, 학습된 위치 추정 모델(80B)을 사용하여 조작 지령값으로부터 위치 추정 대상부의 기준 위치로부터의 변위량을 추정하고, 기준 위치 및 변위량으로부터 위치 추정 대상부의 위치를 추정한 추정 위치를 출력한다.

Description

작업 기계를 포함하는 시스템, 작업 기계를 포함하는 시스템이 컴퓨터에 의해 실행되는 방법, 작업 기계를 포함하는 시스템에 사용되는 학습된 위치 추정 모델의 생성 방법

본 개시는, 작업 기계(work machine)를 포함하는 시스템, 컴퓨터에 의해 실행되는 방법, 학습(training)된 위치 추정 모델의 제조 방법, 및 학습용 데이터에 관한 것이다.

유압 셔블에 관한 것이며, 특허문헌 1에는, 붐 핀(boom pin)에 붐 각도 센서를 장착하고, 암 핀(arm pin)에 암 각도 센서를 장착하고, 버킷(bucket) 링크에 버킷 각도 센서를 장착하고, 이들 각도 센서에 의해 검출한 값에 기초하여 버킷의 날끝(tip of a tooth of the bucket)의 위치를 산출하는 기술이 개시되어 있다.

일본 공개특허 제2017-71982호 공보

상기 문헌에 기재된 구성에서는, 작업기(work implement)의 자세를 취득하기 위해 붐, 암 및 버킷의 각각의 축에 각도 센서를 장착할 필요가 있어, 부품수가 증가한다.

본 개시에서는, 작업기의 위치를 구하기 위한, 작업 기계를 포함하는 시스템, 컴퓨터에 의해 실행되는 방법, 학습된 위치 추정 모델의 제조 방법, 및 학습용 데이터가 제공된다.

본 발명의 일 측면에 따르면, 작업 기계 본체와, 작업 기계 본체에 장착된 작업기와, 작업기를 조작하기 위한 조작 부재와, 컴퓨터를 구비하는, 작업 기계를 포함하는 시스템이 제공된다. 컴퓨터는, 작업기 중, 위치를 추정하는 대상의 부위인 위치 추정 대상부의 위치를 구하기 위한, 학습된 위치 추정 모델을 가지고 있다. 컴퓨터는, 조작 부재의 조작에 의해 작업기를 동작시키는 조작 지령값을 취득하고, 학습된 위치 추정 모델을 이용하여 조작 지령값으로부터 위치 추정 대상부의 기준 위치로부터의 변위량을 추정하고, 기준 위치 및 변위량으로부터 위치 추정 대상부의 위치를 추정한 제1 추정 위치를 출력한다.

본 발명의 일 측면에 따르면, 컴퓨터에 의해 실행되는 방법이 제공된다. 상기 방법은, 이하의 처리를 포함하고 있다. 제1 처리는, 작업 기계 본체에 설치된 작업기를 동작시키는 조작 지령값을 취득하는 것이다. 제2 처리는, 작업기의 위치를 구하기 위한 학습된 위치 추정 모델을 이용하여, 조작 지령값으로부터 작업기의 위치를 추정한 추정 위치를 구하는 것이다.

본 발명의 일 측면에 따르면, 학습된 위치 추정 모델의 제조 방법이 제공된다. 제조 방법은, 이하의 처리를 포함하고 있다. 제1 처리는, 학습용 데이터를 취득하는 것이다. 학습용 데이터는, 작업 기계 본체에 장착된 작업기를 동작시키는 조작 지령값과, 조작 지령값을 검출했을 때의 작업기의 기준 위치로부터의 변위량을 포함하고 있다. 제2 처리는, 학습용 데이터에 의해 위치 추정 모델을 학습시키는 것이다.

본 발명의 일 측면에 따르면, 작업기의 위치를 구하는 위치 추정 모델을 학습시키기 위한 학습용 데이터가 제공된다. 학습용 데이터는, 작업 기계 본체에 장착된 작업기를 동작시키는 조작 지령값과, 조작 지령값을 검출했을 때의 작업기의 기준 위치로부터의 변위량을 가지고 있다.

본 발명의 일 측면에 따르면, 학습된 위치 추정 모델의 제조 방법이 제공된다. 제조 방법은, 이하의 처리를 구비하고 있다. 제1 처리는, 작업 기계 본체에 장착된 작업기를 동작시키는 조작 지령값을 취득하는 것이다. 제2 처리는, 학습된 위치 추정 모델을 이용하여, 조작 지령값으로부터 작업기의 위치를 추정한 추정 위치를 구하는 것이다. 제3 처리는, 조작 지령값과 추정 위치를 포함하는 학습용 데이터에 의해, 다른 위치 추정 모델을 학습시키는 것이다.

본 개시에 따르면, 작업기의 위치를 양호한 정밀도로 취득할 수 있다.

도 1은 실시형태에 기초한 유압 셔블의 외관도이다.
도 2는 붐 각도, 암 각도 및 버킷 각도에 대하여 설명하는, 작업기의 측면도이다.
도 3은 도 1에 나타낸 유압 셔블의 모식적 평면도이다.
도 4는 유압 셔블을 포함하는 시스템의 개략적인 구성을 나타낸 블록도이다.
도 5는 컴퓨터의 구성을 나타낸 모식도이다.
도 6은 출하(出荷; shipment) 전의 컴퓨터의 내부 구성의 개략을 나타내는 기능 블록도이다.
도 7은 학습된 제1 위치 추정 모델의 제조 방법을 나타낸 플로우차트이다.
도 8은 제1 위치 추정 모델을 학습시키기 위한 처리를 나타낸 개략도이다.
도 9는 학습된 제2 위치 추정 모델의 제조 방법을 나타낸 플로우차트이다.
도 10은 제2 위치 추정 모델을 학습시키기 위한 처리를 나타낸 개략도이다.
도 11은 공장 출하되는 컴퓨터의 내부 구성의 개략을 나타내는 기능 블록도이다.
도 12는 공장 출하 후에 작업기의 상대(相對) 위치를 추정하기 위해 컴퓨터에 의해 실행되는 처리를 나타낸 플로우차트이다.
도 13은 학습된 위치 추정 모델을 이용한, 촬상(撮像) 화상으로부터 작업기의 상대 위치를 추정하는 처리를 나타낸 모식도이다.
도 14는 학습된 위치 추정 모델을 이용한, 촬상 화상 및 조작 지령값으로부터 작업기의 상대 위치를 추정하는 처리를 나타낸 모식도이다.
도 15는 위치 추정 모델의 학습에 관한 변형예를 나타낸 개략도이다.
도 16은 증류(蒸溜) 모델[distillation model]을 생성하기 위한 처리를 나타낸 플로우차트이다.

이하, 실시형태에 대하여 도면을 참조하여 설명한다. 이하의 설명에서는, 동일 부품에는, 동일한 부호를 부여하고 있다. 이들의 명칭 및 기능도 같다. 따라서, 이들에 대한 상세한 설명은 반복하지 않는다.

실시형태에 있어서는, 먼저, 본 발명의 사상을 적용 가능한 작업 기계의 일례인 유압 셔블의 구성에 대하여 설명한다. 도 1은, 실시형태에 기초한 유압 셔블(100)의 외관도이다.

도 1에 나타낸 바와 같이, 유압 셔블(100)은, 본체(1)와, 유압(油壓)에 의해 작동하는 작업기(2)를 구비하고 있다. 본체(1)는, 선회체(旋回體)(3)와, 주행 장치(traveling apparatus)(5)를 구비하고 있다. 주행 장치(5)는, 한 쌍의 크롤러 벨트(crawler belts)(5cr)를 구비하고 있다. 유압 셔블(100)은, 크롤러 벨트(5cr)의 회전에 의해 주행할 수 있다. 그리고, 주행 장치(5)가 차륜(타이어)을 가지고 있어도 된다.

선회체(3)는, 주행 장치(5) 상에 배치되고, 또한, 주행 장치(5)에 의해 지지되어 있다. 선회체(3)는, 선회축(旋回軸)(RX)을 중심으로 하여 주행 장치(5)에 대하여 선회(旋回) 가능하다. 선회체(3)는, 캡(cab)(4)을 가지고 있다. 유압 셔블(100)의 탑승자(오퍼레이터)는, 이 캡(4)에 탑승하여, 유압 셔블(100)을 조종(操縱)한다. 캡(4)에는, 오퍼레이터가 착석(着座)하는 운전석(4S)이 설치되어 있다. 오퍼레이터는, 캡(4) 내에 있어서 유압 셔블(100)을 조작 가능하다. 오퍼레이터는, 캡(4) 내에 있어서, 작업기(2)의 조작이 가능하며, 주행 장치(5)에 대한 선회체(3)의 선회 조작이 가능하며, 또한, 주행 장치(5)에 의한 유압 셔블(100)의 주행 조작이 가능하다.

선회체(3)는, 엔진이 수용되는 엔진룸(9)과, 선회체(3)의 후부(後部)에 설치되는 카운터웨이트(counterweight)를 구비하고 있다. 엔진룸(9)에는, 도시하지 않은 엔진 및 유압 펌프 등이 배치되어 있다.

선회체(3)에 있어서, 엔진룸(9)의 전방에 난간(29)이 설치되어 있다. 난간(29)에는, 안테나(21)가 설치되어 있다. 안테나(21)는, 예를 들면, GNSS[Global Navigation Satellite Systems: 전지구(全地球) 항법 위성 시스템]용의 안테나이다. 안테나(21)는, 차폭 방향으로 서로 이격되도록 선회체(3)에 설치된 제1 안테나(21A) 및 제2 안테나(21B)를 구비하고 있다.

작업기(2)는, 선회체(3)에 지지되어 있다. 작업기(2)는, 붐(6)과, 암(7)과, 버킷(8)을 가지고 있다. 붐(6)은, 선회체(3)에 회동(回動) 가능하게 연결되어 있다. 암(7)은 붐(6)에 회동 가능하게 연결되어 있다. 버킷(8)은, 암(7)에 회동 가능하게 연결되어 있다. 버킷(8)은, 복수의 날(刃)을 가지고 있다. 버킷(8)의 선단부를, 날끝(tooth tip)(8a)이라고 한다.

붐(6)의 기단부(基端部)는, 붐 핀(13)을 통해 선회체(3)에 연결되어 있다. 암(7)의 기단부는, 암 핀(14)을 통해 붐(6)의 선단부에 연결되어 있다. 버킷(8)은, 버킷 핀(bucket pin)(15)을 통해 암(7)의 선단부에 연결되어 있다. 버킷(8)은, 작업기(2)의 선단에 착탈(着脫) 가능하게 장착된 부속품(attachment)의 일례이다. 작업의 종류에 따라, 부속품을, 브레이커(breaker), 그래플(grapple), 또는 리프팅 마그넷 등으로 교체한다.

그리고, 본 실시형태에 있어서는, 작업기(2)를 기준으로 하여, 유압 셔블(100)의 각 부의 위치 관계에 대하여 설명한다.

작업기(2)의 붐(6)은, 선회체(3)에 대하여, 붐(6)의 기단부에 설치된 붐 핀(13)을 중심으로 회동한다. 선회체(3)에 대하여 회동하는 붐(6)의 특정한 부분, 예를 들면, 붐(6)의 선단부가 이동하는 궤적은 원호형이다. 그 원호를 포함하는 평면이, 도 1에 나타낸 동작 평면(P)으로서 특정된다. 유압 셔블(100)을 평면에서 본 경우에, 동작 평면(P)은 직선으로서 표현된다. 이 직선의 연장되는 방향이, 유압 셔블(100)의 본체(1)의 전후 방향, 또는 선회체(3)의 전후 방향이며, 이하에서는 단지 전후 방향이라고도 한다. 유압 셔블(100)의 본체(1)의 좌우 방향(차폭 방향), 또는 선회체(3)의 좌우 방향이란, 평면에서 볼 때 전후 방향에 직교하는 방향이며, 이하에서는 단지 좌우 방향이라고도 한다.

전후 방향에 있어서, 유압 셔블(100)의 본체(1)로부터 작업기(2)가 돌출되어 있는 측이 전방향(前方向)이며, 전방향과는 반대 방향이 후방향이다. 전방향에서 볼 때 좌우 방향의 우측, 좌측이 각각 우측 방향, 좌측 방향이다.

전후 방향이란, 캡(4) 내의 운전석에 착석한 오퍼레이터의 전후 방향이다. 운전석에 착석한 오퍼레이터에 정대(正對)하는 방향이 전방향이며, 운전석에 착석한 오퍼레이터의 배후 방향이 후방향이다. 좌우 방향이란, 운전석에 착석한 오퍼레이터의 좌우 방향이다. 운전석에 착석한 오퍼레이터가 정면에 정대했을 때의 우측, 좌측이 각각 우측 방향, 좌측 방향이다.

붐(6)은, 붐 핀(13)을 중심으로 회동 가능하다. 암(7)은, 암 핀(14)을 중심으로 회동 가능하다. 버킷(8)은, 버킷 핀(15)을 중심으로 회동 가능하다. 암(7) 및 버킷(8)의 각각은, 붐(6)의 선단측으로 이동 가능한 가동(可動) 부재이다. 붐 핀(13), 암 핀(14) 및 버킷 핀(15)은, 동작 평면(P)과 직교하는 방향, 즉 좌우 방향으로 연장되어 있다. 동작 평면(P)은, 붐(6), 암(7) 및 버킷(8)의 각각의 회동 중심으로 되는 축선(軸線)의, 적어도 1개(실시형태의 경우, 3개 모두)와 직교하고 있다.

전술한 바와 같이, 붐(6)은 동작 평면(P) 상에서 선회체(3)에 대하여 회동 동작한다. 마찬가지로, 암(7)은 동작 평면(P) 상에서 붐(6)에 대하여 회동 동작하고, 버킷(8)은 동작 평면(P) 상에서 암(7)에 대하여 회동 동작한다. 실시형태의 작업기(2)는, 그 전체가 동작 평면(P) 상에서 동작한다. 버킷(8)의 날끝(8a)은, 동작 평면(P) 상을 이동시킨다. 동작 평면(P)은, 작업기(2)의 가동 범위를 포함하는 수직인 평면이다. 동작 평면(P)은, 붐(6), 암(7) 및 버킷(8)의 각각과 교차하고 있다. 동작 평면(P)은, 붐(6), 암(7) 및 버킷(8)의 좌우 방향의 중심에 설정할 수 있다.

도 1에 나타낸 바와 같이, 본 명세서에 있어서, 동작 평면(P) 상에서의 수평인 방향으로 X축을 설정하고, 동작 평면(P) 상에서의 수직 상방향 방향으로 Y축을 설정한다. X축과 Y축은, 서로 직교하고 있다.

작업기(2)는, 붐 실린더(10)와, 암 실린더(11)와, 버킷 실린더(12)를 구비하고 있다. 붐 실린더(10)는, 붐(6)을 구동한다. 암 실린더(11)는, 암(7)을 구동한다. 버킷 실린더(12)는, 버킷(8)을 구동한다. 붐 실린더(10), 암 실린더(11), 및 버킷 실린더(12)의 각각은, 작동유에 의해 구동되는 유압 실린더이다.

작업기(2)는, 버킷 링크를 구비하고 있다. 버킷 링크는, 제1 링크 부재(16)와, 제2 링크 부재(17)를 구비하고 있다. 제1 링크 부재(16)의 선단과 제2 링크 부재(17)의 선단은, 버킷 실린더 탑 핀(19)을 통해, 상대 회전 가능하게 연결되어 있다. 버킷 실린더 탑 핀(19)은, 버킷 실린더(12)의 선단에 연결되어 있다. 따라서 제1 링크 부재(16) 및 제2 링크 부재(17)는, 버킷 실린더(12)에 핀 연결되어 있다.

제1 링크 부재(16)의 기단(基端)은, 암(7)의 선단부의 버킷 핀(15)의 근방에 있어서, 제1 링크 핀(18)을 통해 암(7)에 회전 가능하게 연결되어 있다. 제1 링크 부재(16)는, 암(7)에 핀 연결되어 있다. 제2 링크 부재(17)의 기단은, 제2 링크 핀(20)을 통해, 버킷(8)의 근원(根元) 부분의 브래킷(bracket)에 회전 가능하게 연결되어 있다. 제2 링크 부재(17)는, 버킷(8)에 핀 연결되어 있다.

유압 셔블(100)은, 촬상 장치(50)를 구비하고 있다. 실시형태의 촬상 장치(50)는, 단안(monocular) 카메라이다.

촬상 장치(50)는, 선회체(3)에 장착되어 있다. 촬상 장치(50)는, 캡(4)에 장착되어 있다. 촬상 장치(50)는, 캡(4)의 내부에 장착되어 있다. 촬상 장치(50)는, 캡(4)의 좌측 프론트 필러(pillar)의 상단(上端) 부근에 장착되어 있다. 촬상 장치(50)는, 캡(4)의 내부 공간에서의, 좌우 방향에 있어서 작업기(2)로부터 보다 이격되는 위치인 좌측 프론트 필러의 근방에 배치되어 있다. 촬상 장치(50)는, 좌우 방향에 있어서, 작업기(2)의 동작 평면(P)으로부터 이격되어 배치되어 있다. 촬상 장치(50)는, 동작 평면(P)보다 좌측 방향에 배치되어 있다.

도 2는, 붐 각도 θｂ, 암 각도 θa, 및 버킷 각도 θk에 대하여 설명하는, 작업기(2)의 측면도이다.

도 2에 나타낸 바와 같이, 측방에서 볼 때, 붐 핀(13)과 암 핀(14)을 지나는 직선과, 상하 방향으로 연장되는 직선이 이루는 각도를, 붐 각도 θb라고 한다. 붐 각도 θb는, 선회체(3)에 대한 붐(6)의 각도를 나타낸다.

측방에서 볼 때, 붐 핀(13)과 암 핀(14)을 지나는 직선과, 암 핀(14)과 버킷 핀(15)을 지나는 직선이 이루는 각도를, 암 각도 θa라고 한다. 암 각도 θa는, 붐(6)에 대한 암(7)의 각도를 나타낸다.

측방에서 볼 때, 암 핀(14)과 버킷 핀(15)을 지나는 직선과, 버킷 핀(15)과 날끝(8a)을 지나는 직선이 이루는 각도를, 버킷 각도 θk라고 한다. 버킷 각도 θk는, 암(7)에 대한 버킷(8)의 각도를 나타낸다.

동작 평면(P) 상에서의 작업기(2)의 자세는, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 조합으로 정해진다. 예를 들면, 암(7)의 선단부의 제1 링크 핀(18)의 동작 평면(P) 상의 위치, 즉 XY 좌표는, 붐 각도 θb 및 암 각도 θa의 조합으로 정해진다. 버킷(8)의 동작에 추종하여 변위하는 버킷 실린더 탑 핀(19)의 동작 평면(P) 상의 위치, 즉 XY 좌표는, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 조합으로 정해진다.

도 3은, 도 1에 나타낸 유압 셔블(100)의 모식적 평면도이다. 도 3에는, 도 1을 참조하여 설명한 작업기(2), 선회체(3), 캡(4), 및 촬상 장치(50)가, 모식적으로 도시되어 있다. 동작 평면(P)은, 도 3에 있어서는, 도면 중의 상하 방향으로 연장되는 직선이며, 2점 쇄선으로 도시되어 있다. 도 3에 1점 쇄선으로 도시되어 있는 광축 AX는, 촬상 장치(50)의 광축이다. 광축 AX의 연장되는 방향과, 동작 평면(P)의 연장되는 방향은, 비평행이다. 광축 AX의 연장되는 방향은, 동작 평면(P)의 연장되는 방향에 대하여 경사져 있다. 광축 AX는, 동작 평면(P)에 교차하고 있다.

촬상 장치(50)는, 작업기(2)의 동작 평면을 경사 방향으로부터 보는 위치에 장착되어 있다. 촬상 장치(50)는, 동작 평면(P)에 대하여 0°보다 큰 각도로, 작업기(2)를 촬상한다. 작업기(2)와 촬상 장치(50)와의 양쪽이 선회체(3)에 장착되어 있으므로, 유압 셔블(100)이 주행 또는 선회해도, 동작 평면(P)에 대한 촬상 장치(50)의 위치 관계는 변화하지 않는다. 동작 평면(P)에 대한 촬상 장치(50)의 장착 위치는, 유압 셔블(100)의 기종마다 미리 결정되어 있다.

촬상 장치(50)는, 작업기(2)를 촬상한다. 촬상 장치(50)는, 작업기(2)의 동작 평면(P)을 촬상한다. 촬상 장치(50)는, 동작 평면(P) 상을 이동시키는 작업기(2)를 촬상한다. 촬상 장치(50)에 의한 촬상 화상은, 작업기(2) 중 적어도 일부를 포함하고 있다.

도 4는, 유압 셔블(100)를 포함하는 시스템의 개략적인 구성을 나타낸 블록도이다. 실시형태에 관한 시스템은, 작업 기계 본체(본체(1)에 대한 작업기(2)의 상대 위치를 구하기 위한 시스템이다. 실시형태에 관한 시스템은, 도 1 내지 도 3을 참조하여 설명한 작업 기계의 일례로서의 유압 셔블(100)과, 도 4에 나타낸 제어 장치(200)를 포함하고 있다. 제어 장치(200)는, 유압 셔블(100)에 탑재되어 있어도 된다.

제어 장치(200)는, 안테나(21)와, 글로벌 좌표 연산부(23)와, IMU(Inertial Measurement Unit)(24)와, 조작 장치(25)와, 방향 제어 밸브(34)와, 압력 센서(36)와, 컴퓨터(102A)를 구비하고 있다.

안테나(21)는, 수신한 전파(GNSS 전파)에 따른 신호를 글로벌 좌표 연산부(23)에 출력한다. 글로벌 좌표 연산부(23)는, 글로벌 좌표계에서의 안테나(21)의 설치 위치를 검출한다. 글로벌 좌표계는, 작업 영역에 설정한 기준 위치를 기초로 한 3차원 좌표계이다. 기준 위치는, 작업 영역에 설정된 기준 마커(reference marker)의 선단의 위치라도 된다.

IMU(24)는, 선회체(3)에 설치되어 있다. 본 예에 있어서는, IMU(24)는, 캡(4)의 하부에 배치되어 있다. 선회체(3)에 있어서, 캡(4)의 하부에 고강성(高剛性)의 프레임이 배치되어 있다. IMU(24)는, 그 프레임 상에 배치되어 있다. 그리고, IMU(24)는, 선회체(3)의 선회축 RX의 측방(우측 또는 좌측)에 배치되어도 된다. IMU(24)는, 전후 방향, 좌우 방향 및 상하 방향에서의 선회체(3)의 가속도와, 전후 방향, 좌우 방향 및 상하 방향 주위의 선회체(3)의 각속도(角速度; angular velocity)를 계측한다.

조작 장치(25)는, 캡(4) 내에 배치되어 있다. 오퍼레이터에 의해 조작 장치(25)가 조작된다. 조작 장치(25)는, 작업기(2)를 구동시키는 오퍼레이터 조작을 받아들인다. 또한, 조작 장치(25)는, 선회체(3)를 선회시키는 오퍼레이터 조작을 받아들인다. 조작 장치(25)는, 오퍼레이터 조작에 따른 조작 신호를 출력한다. 본 예에 있어서는, 조작 장치(25)는, 파일럿 유압 방식의 조작 장치이다.

제어 장치(200)는, 유압 펌프(33)가 엔진(31)에 의해 구동되고, 유압 펌프(33)로부터 토출된 작동유가, 오퍼레이터에 의한 조작 장치(25)의 조작에 대응하여, 방향 제어 밸브(34)를 통해 각종 유압 액추에이터(40)에 공급되도록, 구성되어 있다. 유압 액추에이터(40)에 대한 유압의 공급 및 배출이 제어됨으로써, 작업기(2)의 동작, 선회체(3)의 선회, 및 주행 장치(5)의 주행 동작이 제어된다. 유압 액추에이터(40)은, 도 1에 나타내는 붐 실린더(10), 암 실린더(11), 버킷 실린더(12) 및 도시하지 않은 선회 모터를 포함하고 있다.

엔진(31)은, 디젤 엔진이다. 엔진(31)에 대한 연료의 분사량이 컴퓨터(102A)에 의해 제어됨으로써, 엔진(31)의 출력이 제어된다.

유압 펌프(33)는, 엔진(31)에 연결되어 있다. 엔진(31)의 회전 구동력이 유압 펌프(33)에 전달되는 것에 의해, 유압 펌프(33)가 구동된다. 유압 펌프(33)는, 경사판을 가지고, 경사판의 경전각(傾轉角)이 변경됨으로써 토출(吐出; discharge) 용량을 변화시키는 가변(可變) 용량형의 유압 펌프이다. 유압 펌프(33)로부터 토출된 작동유는, 감압 밸브에 의해 일정한 압력에 감압되어, 방향 제어 밸브(34)에 공급된다.

방향 제어 밸브(34)는, 로드형(rod-shaped)의 스풀(spool)을 움직여 작동유가 흐르는 방향을 전환하는 스풀 방식의 밸브이다. 스풀이 축 방향으로 이동함으로써, 유압 액추에이터(40)에 대한 작동유의 공급량이 조정된다. 방향 제어 밸브(34)에는, 스풀의 이동 거리(스풀 스트로크)를 검출하는 스풀 스트로크 센서가 설치된다.

그리고, 본 예에 있어서는, 유압 액추에이터(40)를 작동하기 위해, 그 유압 액추에이터(40)에 공급되는 오일은 작동유라고 한다. 또한, 방향 제어 밸브(34)를 작동하기 위해 그 방향 제어 밸브(34)에 공급되는 오일은 파일럿 오일이라고 한다. 또한, 파일럿 오일의 압력은 파일럿 유압이라고 한다.

유압 펌프(33)는, 작동유와 파일럿 오일과의 양쪽을 송출해도 된다. 예를 들면, 유압 펌프(33)로부터 송출된 작동유의 일부가 감압 밸브에 의해 감압되고, 그 감압된 작동유가 파일럿 오일로서 사용되어도 된다. 또한, 유압 펌프(33)는, 작동유를 송출하는 유압 펌프(메인 유압 펌프)와, 파일럿 오일을 송출하는 유압 펌프(파일럿 유압 펌프)를 별개로 가져도 된다.

조작 장치(25)는, 제1 조작 레버(25R)와, 제2 조작 레버(25L)를 구비하고 있다. 제1 조작 레버(25R)는, 예를 들면, 운전석(4S)의 우측에 배치되어 있다. 제2 조작 레버(25L)는, 예를 들면, 운전석(4S)의 좌측에 배치되어 있다. 제1 조작 레버(25R) 및 제2 조작 레버(25L)에서는, 전후좌우의 동작이 2축의 동작에 대응한다.

제1 조작 레버(25R)에 의해, 붐(6) 및 버킷(8)이 조작된다. 제1 조작 레버(25R)의 전후 방향의 조작은, 붐(6)의 조작에 대응하고, 전후 방향의 조작에 따라 붐(6)이 상승하는 동작 및 하강하는 동작이 실행된다. 제1 조작 레버(25R)의 좌우 방향의 조작은, 버킷(8)의 조작에 대응하고, 좌우 방향의 조작에 따라 버킷(8)의 상하 방향으로의 동작이 실행된다.

제2 조작 레버(25L)에 의해, 암(7) 및 선회체(3)가 조작된다. 제2 조작 레버(25L)의 전후 방향의 조작은, 암(7)의 조작에 대응하고, 전후 방향의 조작에 따라 암(7)의 상하 방향으로의 동작이 실행된다. 제2 조작 레버(25L)의 좌우 방향의 조작은, 선회체(3)의 선회에 대응하고, 좌우 방향의 조작에 따라 선회체(3)의 우측 선회 동작 및 좌측 선회 동작이 실행된다.

본 예에 있어서는, 붐(6)이 상승하는 동작은 상승 동작, 하강하는 동작은 하강 동작이라고도 한다. 또한, 암(7)의 상하 방향으로의 동작은, 각각 덤핑 동작(dumping movement), 굴삭 동작(excavating movement)이라고도 한다. 버킷(8)의 상하 방향으로의 동작은, 각각 덤핑 동작, 굴삭 동작이라고도 한다.

그리고, 제1 조작 레버(25R)의 좌우 방향의 조작이 붐(6)의 조작에 대응하고, 전후 방향의 조작이 버킷(8)의 조작에 대응해도 된다. 그리고, 제2 조작 레버(25L)의 전후 방향이 선회체(3)의 조작에 대응하고, 좌우 방향의 조작이 암(7)의 조작에 대응해도 된다.

제1 조작 레버(25R) 및 제2 조작 레버(25L)는, 실시형태의 조작 부재에 상당한다.

유압 펌프(33)로부터 송출되고, 감압 밸브에 의해 감압된 파일럿 오일이, 조작 장치(25)에 공급된다.

조작 장치(25)와 방향 제어 밸브(34)는, 파일럿 오일 통로(oil passage)(450)를 통해 접속되어 있다. 조작 장치(25)의 조작 내용에 기초하여, 파일럿 유압이 조정된다. 조작 장치(25)가 조작되면, 조작 장치(25)의 조작 내용에 대응한 파일럿 유압이, 파일럿 오일 통로(450)를 통해 방향 제어 밸브(34)에 공급된다. 이로써, 방향 제어 밸브(34)가 조정되어, 붐 실린더(10), 암 실린더(11), 및 버킷 실린더(12)에 공급되는 작동유의 흐름 방향 및 유량(流量)이 조정되고, 붐(6), 암(7), 버킷(8)의 상하 방향으로의 동작이 실행된다.

파일럿 오일 통로(450)에는, 압력 센서(36)가 배치되어 있다. 압력 센서(36)는, 파일럿 유압을 검출한다. 압력 센서(36)의 검출 결과는, 컴퓨터(102A)에 출력된다. 조작 장치(25)의 조작에 의해 조정되고, 압력 센서(36)에 의해 검출되는 파일럿 유압(PPC압)은, 실시형태에 있어서의 조작 지령값에 상당한다.

도 4에서는 간략화되어 도시되어 있지만, 제1 조작 레버(25R) 및 제2 조작 레버(25L)의 전후좌우 각 방향으로의 조작에 대응하는 복수의 파일럿 오일 통로(450)이, 조작 장치(25)와 방향 제어 밸브(34)를 접속하도록 설치되어 있다. 복수의 파일럿 오일 통로(450)의 각각에, 압력 센서(36)가 배치되어 있다. 예를 들면, 버킷(8)을 동작하는 경우, 버킷(8)을 덤핑 동작할 때 파일럿 유압의 증가를 검출하는 압력 센서(36)와, 버킷(8)을 굴삭 동작할 때 파일럿 유압의 증가를 검출하는 압력 센서(36)는 상이하다. 파일럿 유압의 증가량은, 조작 레버를 중립 위치로부터 경도(傾倒)시키는 각도에 따라서 상이하다. 이와 같이 하여, 각각의 압력 센서(36)에 의한 파일럿 유압의 검출 결과에 따라, 조작 장치(25)의 조작 내용을 판단할 수 있다.

도 5는, 컴퓨터(102A)의 구성을 나타낸 모식도이다. 컴퓨터(102A)는, 실시형태에 관한 시스템용으로 전용(專用)에 설계된 것이라도 되고, 또는 범용의 PC(Personal Computer)이라도 된다. 컴퓨터(102A)는, 프로세서(103)와, 기억 장치(104)와, 통신 인터페이스(105)와, I/O 인터페이스(106)를 구비하고 있다. 프로세서(103)는, 예를 들면, CPU(Central Processing Unit)이다.

기억 장치(104)는, 기억된 프로그램 및 데이터 등의 정보를 프로세서(103)가 판독 가능하도록 기억하는 매체를 포함하고 있다. 기억 장치(104)는, RAM(Random Access Memory), 또는 ROM(Read Only Memory) 등의 시스템 메모리와, 보조 기억 장치를 포함하고 있다. 보조 기억 장치는, 예를 들면, 하드디스크 등의 자기적(磁氣的) 기록 매체, CD(Compact Disc), DVD(Digital Versatile Disc) 등의 광학적 기록 매체, 또는 플래시 메모리 등의 반도체 메모리라도 된다. 기억 장치(104)는, 컴퓨터(102A)에 내장되어도 된다. 기억 장치(104)는, 컴퓨터(102A)에 착탈 가능하게 접속되는 외부 기록 매체(109)를 포함해도 된다. 외부 기록 매체(109)는, CD-ROM이라도 된다.

통신 인터페이스(105)는, 예를 들면, 유선 LAN(Local Area Network) 모듈, 또는 무선 LAN 모듈 등이며, 통신 네트워크를 통한 통신을 행하기 위한 인터페이스이다. I/O 인터페이스(106)는, 예를 들면, USB(Universal Serial Bus) 포트 등이며, 외부 장치와 접속하기 위한 인터페이스이다.

컴퓨터(102A)는, I/O 인터페이스(106)를 통해, 입력 장치(107), 및 출력 장치(108)와 접속된다. 입력 장치(107)는, 사용자가 컴퓨터(102A)에 대한 입력을 행하기 위한 장치이다. 입력 장치(107)는, 예를 들면, 마우스, 또는 트랙 볼 등의 포인팅 디바이스를 포함하고 있다. 입력 장치(107)는, 키보드 등의 문자 입력을 위한 장치를 포함해도 된다. 출력 장치(108)는, 예를 들면, 디스플레이를 포함하고 있다.

도 6은, 출하 전방의 컴퓨터(102A)의 내부 구성의 개략을 나타내는 기능 블록도이다. 도 6에 나타낸 프로세서(103) 및 기억 장치(104)는, 도 5에 나타낸 컴퓨터(102A)의 일부 구성을 이루는 것이다.

프로세서(103)는, 화상 처리부(61)와, 작업기 위치 추정부(65)를 구비하고 있다. 화상 처리부(61)는, 촬상 장치(카메라)(50)로부터, 촬상 장치(50)에 의해 촬상된 촬상 화상의 입력을 받는다. 화상 처리부(61)는, 입력된 촬상 화상을 화상 처리한다.

기억 장치(104)에는, 학습된 위치 추정 모델(80A)(제1 위치 추정 모델)와, 학습된 위치 추정 모델(80B)(제2 위치 추정 모델)이 보존되어 있다. 위치 추정 모델(80A), (80B)은, 본체(1)에 대한 작업기(2)의 상대 위치를 구하기 위한 인공 지능 모델이다. 컴퓨터(102A)는, 인공 지능의 위치 추정 모델을 이용함으로써, 작업기(2)의 상대 위치를 추정한다. 위치 추정 모델(80A), (80B)은, 뉴럴 네트워크(neural network)를 포함하고 있다. 위치 추정 모델(80A), (80B)은, 예를 들면, 컨벌루션 뉴럴 네트워크(neural network)(CNN) 등의 딥 뉴럴 네트워크(deep neural network)를 포함하고 있다.

실시형태에 있어서의 모델은, 하드웨어, 하드웨어 상에서 실행할 수 있는 소프트웨어, 펌 웨어, 또한, 이들의 조합에 실장되어 있어도 된다. 모델은, 프로세서(103)에 의해 실행되는 프로그램, 알고리즘, 및 데이터를 포함해도 된다. 모델의 기능은, 단일의 모듈에 의해 실행되어도 되고, 또는 복수의 모듈에 분산시켜 실행되어도 된다. 모델은, 복수의 컴퓨터에 분산시켜 배치되어도 된다.

위치 추정 모델(80A)는, 촬상 화상으로부터 작업기(2)의 상대 위치를 구하도록 구성되어 있다. 작업기 위치 추정부(65)는, 위치 추정 모델(80A)을 사용하여, 촬상 화상으로부터 작업기(2)의 상대 위치를 추정한 추정 위치를 구한다. 보다 구체적으로는, 작업기 위치 추정부(65)는, 기억 장치(104)로부터 위치 추정 모델(80A)을 판독하고, 위치 추정 모델(80A)에 촬상 화상을 입력함으로써, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 추정 결과의 출력을 얻는다. 촬상 화상으로부터 얻어지는 작업기(2)의 추정 위치는, 실시형태에 있어서의 제2 추정 위치에 상당한다.

작업기 위치 추정부(65)는 또한, 촬상 화상에 근거하면 현재의 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 몇%의 확률로 추정할 수 있다고 하는 추정 결과의 정밀도를 출력한다. 촬상 화상이 선명하고, 촬상 화상 내에 붐(6), 암(7) 및 버킷(8)이 명료하게 비치고 있으면, 추정 결과의 정밀도는 높아진다. 작업기(2)의 일부가 흙에 숨어 있는, 역광으로 촬상된, 또는, 캡(4)의 창이 오염되어 있는 등의 외란(外亂)이 존재하고, 촬상 화상 내에 붐(6), 암(7) 및 버킷(8) 중 어느 하나가 명료하게 비치고 있지 않은 경우에는, 그 불명료한 부위의 추정 위치의 정밀도가 저하되게 된다.

프로세서(103)는, 작업기 변위량 추정부(71)와, 작업기 위치 추정부(75)를 더 가지고 있다.

작업기 변위량 추정부(71)는, 압력 센서(36)로부터, 압력 센서(36)에 의해 검출된 파일럿 유압의 입력을 받는다. 위치 추정 모델(80B)은, 파일럿 유압으로부터 작업기(2)의 변위량을 구하도록 구성되어 있다. 작업기 변위량 추정부(71)는, 위치 추정 모델(80B)을 사용하여, 입력된 파일럿 유압으로부터, 조작 장치(25)의 조작 내용을 구한다.

보다 구체적으로는, 작업기 변위량 추정부(71)는, 기억 장치(104)로부터 위치 추정 모델(80B)을 판독하고, 위치 추정 모델(80B)에 파일럿 유압을 입력함으로써, 조작 장치(25)의 조작 내용을 구한다. 작업기 변위량 추정부(71)는, 조작 장치(25)의 조작 내용을 구하는 처리를 전회 실행했을 때로부터의 경과 시간과, 전회의 처리 및 이번 처리에 의해 구해진 조작 장치(25)의 조작 내용에 기초하여, 전회의 처리의 시점(時点)으로부터 현시점까지 해당 작업기(2)가 얼마나 이동한 것인지를 나타내는 작업기(2)의 변위량을 추정한 추정 변위량의 출력을 얻는다.

작업기 위치 추정부(75)는, 작업기(2)의 현재 위치를 추정한다. 구체적으로는, 작업기 위치 추정부(75)는, 작업기(2)의 기준 위치와, 작업기(2)가 기준 위치에 있는 것을 추정한 시각을, 기억 장치(104)로부터 판독한다. 작업기 위치 추정부(75)는, 작업기 변위량 추정부(71)에서 출력된 작업기(2)의 변위량의 추정 결과를, 작업기(2)가 기준 위치에 있는 것을 추정한 시각으로부터 가산함으로써, 작업기(2)의 기준 위치로부터의 변위량을 추정한다. 그리고, 작업기 위치 추정부(75)는, 작업기(2)의 기준 위치 및 작업기(2)의 기준 위치로부터의 변위량으로부터, 작업기(2)의 현재 위치를 추정한 추정 위치의 출력을 얻는다. 작업기(2)의 기준 위치 및 작업기(2)의 기준 위치로부터의 변위량으로부터 얻어지는 작업기(2)의 추정 위치는, 실시형태에 있어서의 제1 추정 위치에 상당한다.

작업기(2)의 기준 위치는, 예를 들면, 촬상 화상으로부터 위치 추정 모델(80A)을 사용하여 작업기(2)의 추정 위치를 구하는 추정의 정밀도가 소정값보다 저하되기 직전의, 위치 추정 모델(80A)에 의한 작업기(2)의 추정 위치로 할 수 있다.

작업기(2)를 구성하는 붐(6), 암(7) 및 버킷(8) 중, 위치 추정 모델(80B)을 사용하여 위치를 추정하는 대상으로 되는 부위는, 위치 추정 대상부라고 한다. 예를 들면, 작업기(2)가 토사(土砂)를 굴삭하는 작업을 실행하고 있고, 버킷(8)의 날끝(8a)이 토사에 숨겨져 촬상 화상에 포함되지 않았을 때, 컴퓨터(102A)는, 버킷(8)을 위치 추정 대상부로 설정한다.

위치 추정 대상부가 버킷(8)의 경우, 작업기 변위량 추정부(71)는, 파일럿 유압으로부터, 버킷(8)을 덤핑 동작 또는 굴삭 동작시키기 위한 제1 조작 레버(25R)의 중립 위치로부터 우측 방향 또는 좌측 방향으로의 경도 각도(inclination angle)를 구한다. 작업기 변위량 추정부(71)는, 제1 조작 레버(25R)의 경도 각도를 구하는 처리를 전회 실행했을 때로부터의 경과 시간과, 전회의 처리 및 이번 처리에 의해 구해진 제1 조작 레버(25R)의 경도 각도에 기초하여, 전회의 처리의 시점에서 현시점까지의 버킷 각도 θk의 변화량의 추정 결과의 출력을 얻는다. 작업기 위치 추정부(75)는, 기준 위치에서의 버킷 각도 θk로부터의 버킷 각도 θk의 변화량을, 기준 위치에서의 버킷 각도 θk에 가산함으로써, 현재의 버킷(8)의 위치를 나타내는 버킷 각도 θk를 추정한 추정 위치를 출력한다.

위치 추정 대상부가 버킷(8)의 경우에, 작업기(2) 중 위치 추정 대상부 이외의 부위의 위치[이 경우, 붐(6) 및 암(7)의 위치]를 나타내는 붐 각도 θb 및 암 각도 θa를, 촬상 화상으로부터 위치 추정 모델(80A)을 사용하여 정밀도 높게 추정할 수 있는 것이면, 위치 추정 모델(80A)에 의해 추정된 붐 각도 θb 및 암 각도 θa와, 위치 추정 모델(80B)에 의해 추정된 버킷 각도 θk에 의해, 작업기(2)의 추정 위치를 구할 수 있다.

위치 추정 대상부가 버킷(8)의 경우에, 작업기(2) 중 위치 추정 대상부 이외의 부위의 위치[이 경우, 붐(6) 및 암(7)의 위치]를 나타내는 붐 각도 θb 및 암 각도 θa를 또한, 위치 추정 모델(80B)을 사용하여 추정해도 된다.

출하 전방의 유압 셔블(100)은, 인코더(encoder)(51)를 더 포함하고 있다. 인코더(51)는, 붐 핀(13)에 장착되는 붐 각도 센서, 암 핀에 장착되는 암 각도 센서, 및 버킷 링크에 장착되는 버킷 각도 센서의 총칭이다. 인코더(51) 대신에, 작업기(2)에 포텐셔미터(potentiometer)를 장착하여 각도를 계측해도 된다. 또한, 유압 실린더의 스트로크를 검출하는 스트로크 센서를 장착하여, 유압 실린더의 이동량을 각도로 변환해도 된다.

프로세서(103)는, 각도 변환부(62)를 구비하고 있다. 각도 변환부(62)는, 인코더(51)로부터 전기 신호의 입력을 접수, 이 전기 신호를, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk로 변환한다. 인코더(51)는, 촬상 장치(50)가 촬상 화상을 촬상한 시각에 전기 신호를 취득하여, 각도 변환부(62)에 출력한다. 각도 변환부(62)는, 촬상 장치(50)가 촬상 화상을 촬상한 시각에 계측된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를, 촬상 화상에 대응하여 취득한다.

프로세서(103)는, 오차 검출부(66)를 구비하고 있다. 오차 검출부(66)는, 작업기 위치 추정부(65)에 의해 추정된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 추정 결과와, 각도 변환부(62)에 의해 취득된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 계측 결과를 비교한다. 오차 검출부(66)는, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 참값(true values)에 대한 추정 결과의 오차를 산출한다.

프로세서(103)는, 위치 추정 모델 갱신부(67)를 구비하고 있다. 위치 추정 모델 갱신부(67)는, 오차 검출부(66)가 산출한 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 오차에 따라, 위치 추정 모델(80A)을 갱신한다. 이와 같이 하여, 위치 추정 모델(80A)이 학습된다. 촬상 장치(50)가 촬상한 작업기(2)의 촬상 화상과, 각도 변환부(62)에 의해 산출되는, 촬상 화상을 촬상한 시점의 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk는, 위치 추정 모델(80A)을 학습시키기 위한 학습용 데이터를 구성하고 있다. 위치 추정 모델(80A)의 학습은, 유압 셔블(100)의 출하 전에, 공장에서 행해진다.

프로세서(103)는, 각도 변화량 산출부(72)를 구비하고 있다. 각도 변화량 산출부(72)는, 각도 변환부(62)에 의해 취득된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk와, 각도 변환부(62)에 의해 각도를 취득한 시각에 기초하여, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 변화량을 취득한다. 각도 변화량 산출부(72)는, 작업기(2)의 기준 위치에서의 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk와, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 변화량으로부터, 작업기(2)의 현재 위치를 취득한다.

프로세서(103)는, 오차 검출부(76)를 구비하고 있다. 오차 검출부(76)는, 작업기 위치 추정부(75)에 의해 추정된 작업기(2)의 위치의 추정 결과와, 각도 변화량 산출부(72)에 의해 취득된 작업기(2)의 현재 위치를 비교한다. 오차 검출부(76)는, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 참값에 대한 추정 결과의 오차를 산출한다.

프로세서(103)는, 위치 추정 모델 갱신부(77)를 구비하고 있다. 위치 추정 모델 갱신부(77)는, 오차 검출부(66)가 산출한 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 오차에 따라, 위치 추정 모델(80B)을 갱신한다. 이와 같이 하여, 위치 추정 모델(80B)이 학습된다. 압력 센서(36)에 의해 검출되는 파일럿 유압으로 대표되는, 조작 장치(25)의 조작에 기초하여 작업기를 동작시키는 조작 지령값과, 각도 변화량 산출부(72)에 의해 산출되는, 조작 지령값을 검출했을 때의 작업기(2)의 기준 위치로부터의 변위량은, 위치 추정 모델(80B)을 학습시키기 위한 학습용 데이터를 구성하고 있다. 위치 추정 모델(80B)의 학습은, 유압 셔블(100)의 출하 전에, 공장에서 행해진다.

도 7은, 학습된 제1 위치 추정 모델의 제조 방법을 나타낸 플로우차트이다. 도 8은, 제1 위치 추정 모델을 학습시키기 위한 처리를 나타낸 개략도이다. 도 6에 대하여 설명한 내용과 일부 중복도 있지만, 도 7 및 도 8을 참조하여, 본체(1)에 대한 작업기(2)의 상대 위치를 추정하는 위치 추정 모델(80A)(제1 위치 추정 모델)을 학습시키기 위한 처리에 대하여, 이하에 설명한다.

도 7에 나타낸 바와 같이, 먼저 스텝 S101에서, 촬상 화상을 취득한다. 컴퓨터(102A), 보다 상세하게는 화상 처리부(61)는, 촬상 장치(카메라)(50)에 의해 촬상된 촬상 화상을, 촬상 장치(50)로부터 취득한다. 촬상 화상에는 타임 스탬프가 부여되어 있고, 촬상한 시각을 판별할 수 있도록 설정되어 있다. 화상 처리부(61)는, 촬상 장치(50)가 촬상한 촬상 화상을 실시간으로 취득해도 된다. 화상 처리부(61)는, 촬상 장치(50)로부터 촬상 화상을 소정 시각에, 또는 소정 시간마다 취득해도 된다. 화상 처리부(61)는, 촬상 화상을 화상 처리하여, 기억 장치(104)에 보존한다.

다음에, 스텝 S102에서, 각도 계측 데이터를 취득한다. 컴퓨터(102A), 보다 상세하게는 각도 변환부(62)는, 인코더(51)에 의해 검출된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를, 인코더(51)로부터 취득한다. 이와 같이 하여 취득된 각도의 데이터는, 촬상 화상에 할당되게 된다. 어떤 시각에 촬상된 촬상 화상에 대하여, 그 시각에 검출된 계측 데이터가 대응되게 된다(라벨링; labeled). 도 8에 나타낸 바와 같이, 촬상 화상과, 그 촬상 화상을 촬상한 시점에서의 작업기(2)의 각도를 포함하는 학습용 데이터(61A), (61B), (61C), …가 작성된다. 학습용 데이터(61A), (61B), (61C), …,는, 위치 추정 모델(80A)의 학습을 위한 학습용 데이터 세트를 구성하고 있다.

학습용 데이터는, 도 8에 나타낸 바와 같은, 작업기(2)의 자세가 상이한 복수의 촬상 화상을 포함하고 있다. 학습용 데이터는, 같은 자세의 작업기(2)를, 예를 들면, 일중, 역광 시, 야간 등의 상이한 환경 하에서 촬상한 복수의 촬상 화상을 포함해도 된다.

다음에, 스텝 S103에서, 작업기(2)의 상대 위치를 출력한다. 컴퓨터(102A), 보다 상세하게는 작업기 위치 추정부(65)는, 기억 장치(104)로부터 위치 추정 모델(80A)을 판독한다. 위치 추정 모델(80A)은, 도 8에 나타낸 뉴럴 네트워크(neural network)를 포함하고 있다. 뉴럴 네트워크는, 입력층(81A)과, 중간층(은폐층)(82A)과, 출력층(83A)을 포함하고 있다. 각 층(81A), (82A), (83A)은, 1 또는 복수의 뉴런(one or more neurons)을 가지고 있다. 각 층(81A), (82A), (83A)의 뉴런의 수는, 적절히 설정할 수 있다.

서로 인접하는 층의 뉴런끼리는 결합되어 있고, 각 결합에는 중량[결합 하중(connection weight)]이 설정되어 있다. 뉴런의 결합수는, 적절히 설정되어 이루어진다. 각 뉴런에는 임계값이 설정되어 있고, 각 뉴런에의 입력값과 중량과의 곱의 합이 임계값을 넘고 있는지의 여부에 따라, 각 뉴런의 출력값이 결정된다.

위치 추정 모델(80A)은, 촬상 화상으로부터 작업기(2)의 상대 위치를 구하도록 학습된다. 학습에 의해 얻어진 위치 추정 모델(80A)의 파라미터는, 기억 장치(104)에 기억되어 있다. 위치 추정 모델(80A)의 파라미터는, 예를 들면, 뉴럴 네트워크의 층수, 각 층에서의 뉴런의 개수, 뉴런끼리의 결합 관계, 각 뉴런 사이의 결합의 중량, 및 각 뉴런의 임계값을 포함하고 있다.

작업기 위치 추정부(65)는, 촬상 장치(50)가 촬상한 촬상 화상을, 입력층(81A)에 입력한다. 출력층(83A)으로부터, 본체(1)에 대한 작업기(2)의 상대 위치, 구체적으로는 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 나타내는 출력값이 출력된다. 예를 들면, 컴퓨터(102A)는, 촬상 화상을 입력층(81A)의 입력으로서 사용하여, 위치 추정 모델(80A)의 뉴럴 네트워크의 순방향 전파의 연산 처리를 행한다. 이로써, 컴퓨터(102A)는, 뉴럴 네트워크의 출력층(83A)으로부터 출력되는 출력값으로서, 작업기(2)의 상대 위치를 추정한 추정 위치를 얻는다.

스텝 S102의 처리와 스텝 S103의 처리는, 스텝 S102의 처리 후에 스텝 S103의 처리가 행해지지 않아도 된다. 스텝 S102의 처리와 스텝 S103의 처리가 동시에 행해져도 되고, 스텝 S103의 처리 후에 스텝 S102의 처리가 행해져도 된다.

다음에, 스텝 S104에서, 스텝 S103과 출력된 작업기(2)의 추정 위치와, 스텝 S102에 의해 취득된 작업기(2)의 각도의 계측 데이터와의 차이를 산출한다. 컴퓨터(102A), 보다 상세하게는 오차 검출부(66)는, 위치 추정 모델(80A)의 출력층(83A)으로부터 출력된, 촬상 화상으로부터 작업기(2)의 상대 위치를 추정한 추정 위치와, 각도 변환부(62)에 의해 얻어진 작업기(2)의 상대 위치의 계측 위치를 비교하여, 작업기(2)의 상대 위치의 참값에 대한 추정값의 오차를 산출한다.

컴퓨터(102A)는, 촬상 화상을 입력 데이터로 하고, 촬상 화상을 촬상한 시점에 작업기(2)의 상대 위치를 계측한 계측 위치를 교사 데이터로서, 위치 추정 모델(80A)의 학습을 행한다. 컴퓨터(102A)는, 산출한 출력값의 오차로부터, 백프로퍼게이션(backpropagation)에 의해, 각 뉴런 사이의 결합의 중량, 및, 각 뉴런의 임계값의 각각의 오차를 산출한다.

다음에, 스텝 S105에서, 위치 추정 모델(80A)을 갱신한다. 컴퓨터(102A), 보다 상세하게는 위치 추정 모델 갱신부(67)는, 오차 검출부(66)에 의해 산출된 작업기(2)의 상대 위치의 참값에 대한 추정값의 오차에 따라, 각 뉴런 사이의 결합의 중량, 및 각 뉴런의 임계값 등의, 위치 추정 모델(80A)의 파라미터를 갱신한다. 그리고, 같은 촬상 화상이 입력층(81A)에 입력된 것이라면 참값에 의해 가까운 출력값을 출력할 수 있도록 한다. 갱신된 위치 추정 모델(80A)의 파라미터는, 기억 장치(104)에 기억된다.

다음 회에 작업기(2)의 상대 위치를 추정할 때는, 갱신된 위치 추정 모델(80A)에 촬상 화상을 입력하여, 작업기(2)의 상대 위치의 추정 결과의 출력을 얻는다. 컴퓨터(102A)는, 위치 추정 모델(80A)이 출력하는 작업기(2)의 상대 위치의 추정 결과가 작업기(2)의 상대 위치를 계측한 계측 위치와 일치하도록 될 때까지, 스텝 S101로부터 스텝 S105까지의 처리를 반복한다. 이와 같이 하여, 위치 추정 모델(80A)의 파라미터가 최적화되고, 위치 추정 모델(80A)의 학습이 행해진다.

위치 추정 모델(80A)이 충분히 학습을 중첩시킨 결과, 충분히 정밀도가 높은 추정 결과의 출력이 얻어지도록 되면, 컴퓨터(102A)는 위치 추정 모델(80A)의 학습을 종료한다. 이와 같이 하여, 학습된 위치 추정 모델(80A)이 작성된다. 그리고, 처리를 종료한다(종료).

도 9는, 학습된 제2 위치 추정 모델의 제조 방법을 나타낸 플로우차트이다. 도 10은, 제2 위치 추정 모델을 학습시키기 위한 처리를 나타낸 개략도이다. 도 6에 대하여 설명한 내용과 일부 중복도 있지만, 도 9 및 도 10을 참조하여, 본체(1)에 대한 작업기(2)의 상대 위치를 추정하는 위치 추정 모델(80B)(제2 위치 추정 모델)을 학습시키기 위한 처리에 대하여, 이하에 설명한다.

도 9에 나타낸 바와 같이, 먼저 스텝 S111에서, 작업기(2)의 기준 위치를 설정한다. 컴퓨터(102A)는, 위치 추정 모델(80A)을 사용하여 촬상 화상으로부터 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 나타내는 출력값을 얻을 때, 촬상 화상에 근거하면 현재의 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 몇%의 확률로 추정할 수 있다고 하는 추정 결과의 정밀도를 도 얻는다. 작업기(2)의 기준 위치는, 예를 들면, 촬상 화상으로부터 위치 추정 모델(80A)을 사용하여 작업기(2)의 추정 위치를 구하는 추정의 정밀도가 소정값보다 저하되기 직전의, 위치 추정 모델(80A)에 의한 작업기(2)의 추정 위치로 할 수 있다.

작업기(2)의 기준 위치를 설정할 때의, 위치 추정 모델(80A)에 의한 추정의 정밀도의 임계값은, 70% 이상, 예를 들면 75% 이상, 80% 이상, 85% 이상, 또는 90% 이상으로 설정할 수 있다.

다음에, 스텝 S112에서, 파일럿 유압 데이터를 취득한다. 컴퓨터(102A)는, 압력 센서(36)에 의해 검출된 파일럿 유압의 검출값을, 압력 센서(36)로부터 취득한다. 컴퓨터(102A)는, 압력 센서(36)가 검출한 파일럿 유압을 실시간으로 취득해도 된다. 컴퓨터(102A)는, 압력 센서(36)로부터 파일럿 유압을 소정 시각에, 또는 소정 시간마다 취득해도 된다. 컴퓨터(102A)는, 취득된 파일럿 유압을 기억 장치(104)에 보존한다.

다음에, 스텝 S113에서, 각도 계측 데이터를 취득한다. 컴퓨터(102A), 보다 상세하게는 각도 변환부(62)는, 인코더(51)에 의해 검출된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를, 인코더(51)로부터 취득한다. 이와 같이 하여 취득된 각도의 데이터는, 파일럿 유압에 할당되게 된다. 어떤 시각에 소득된 파일럿 유압에 대하여, 그 시각에 취득된 각도 계측 데이터가 대응하게(라벨링)된다.

도 10에 나타낸 바와 같이, 압력 센서(36)에 의해 검출된 작업기(2)의 동작의 방향[예를 들면, 버킷(8)의 덤핑 동작 또는 굴삭 동작]) 및 파일럿 유압과, 파일럿 유압을 검출한 시점에서의 작업기(2)의 위치(예를 들면, 버킷 각도 θk)를 포함하는 학습용 데이터(71A), (71B), (71C), …가 작성된다. 학습용 데이터(71A), (71B), (71C), …,는, 위치 추정 모델(80B)의 학습을 위한 학습용 데이터 세트를 구성하고 있다.

다음에, 스텝 S114에서, 작업기(2)의 각도의 변화량이 산출된다. 컴퓨터(102A), 보다 상세하게는 각도 변화량 산출부(72)는, 상이한 시각에 작성된 2개의 학습용 데이터(71A), (71B), (71C), …로부터, 작업기(2)의 변위량(예를 들면, 버킷 각도 θk의 변화량)을 산출한다. 컴퓨터(102A)는 또한, 이 때의 파일럿 유압의 변동을 구한다.

다음에, 스텝 S115에서, 작업기(2)의 변위량을 추정한다. 컴퓨터(102A), 보다 상세하게는 작업기 변위량 추정부(71)는, 기억 장치(104)로부터 위치 추정 모델(80B)을 판독한다. 위치 추정 모델(80B)은, 도 10에 나타낸 뉴럴 네트워크를 포함하고 있다. 뉴럴 네트워크는, 입력층(81B)과, 중간층(은폐층)(82B)과, 출력층(83B)을 포함하고 있다. 각 층(81B), (82B), (83B)는, 1 또는 복수의 뉴런을 가지고 있다. 각 층(81B), (82B), (83B)의 뉴런의 수는, 적절히 설정할 수 있다.

서로 인접하는 층의 뉴런끼리는 결합되어 있고, 각 결합에는 중량(결합 하중)이 설정되어 있다. 뉴런의 결합수는, 적절히 설정되어 이루어진다. 각 뉴런에는 임계값이 설정되어 있고, 각 뉴런에 대한 입력값과 중량과의 곱의 합이 임계값을 넘고 있는지의 여부에 따라, 각 뉴런의 출력값이 결정된다.

위치 추정 모델(80B)은, 파일럿 유압으로부터 작업기(2)의 변위량을 구하도록 학습된다. 학습에 의해 얻어진 위치 추정 모델(80B)의 파라미터는, 기억 장치(104)에 기억되어 있다. 위치 추정 모델(80B)의 파라미터는, 예를 들면, 뉴럴 네트워크의 층수, 각 층에서의 뉴런의 개수, 뉴런끼리의 결합 관계, 각 뉴런 사이의 결합의 중량, 및 각 뉴런의 임계값을 포함하고 있다.

작업기 변위량 추정부(71)는, 압력 센서(36)가 검출한 파일럿 유압을, 입력층(81B)에 입력한다. 출력층(83B)으로부터, 작업기(2)의 변위량, 구체적으로는 버킷 각도 θk의 변화량을 나타내는 출력값이 출력된다. 예를 들면, 컴퓨터(102A)는, 파일럿 유압을 입력층(81B)의 입력으로서 사용하여, 위치 추정 모델(80B)의 뉴럴 네트워크의 순방향 전파의 연산 처리를 행한다. 이로써, 컴퓨터(102A)는, 뉴럴 네트워크의 출력층(83B)으로부터 출력되는 출력값으로서, 작업기(2)의 변위량을 추정한 추정 변위량을 얻는다.

버킷(8)의 덤핑 동작 또는 굴삭 동작을 검출하는 파일럿 유압에 더하여, 붐(6)의 상승 동작 또는 하강 동작을 검출하는 파일럿 유압, 및 암(7)의 덤핑 동작 또는 굴삭 동작을 검출하는 파일럿 유압을, 입력층(81B)에 입력해도 된다. 출력층(83B)으로부터 출력시키는 출력값은, 버킷 각도 θk의 변화량에 더하여, 붐 각도 θb 및 암 각도 θa의 변화량을 포함해도 된다. 입력층(81B)에 입력되는 데이터는, 파일럿 유압에 더하여, 엔진(31)의 회전수, 유압 펌프(33)의 용량 등을 포함해도 되고, 이들 추가의 입력 데이터에 의해 작업기(2)의 변위량의 추정의 정밀도를 향상시킬 수 있다.

다음에, 스텝 S116에서, 작업기(2)의 위치를 추정한다. 컴퓨터(102A), 보다 상세하게는 작업기 위치 추정부(75)는, 스텝 S111에서 설정된 작업기(2)의 기준 위치에, 기준 위치를 설정한 시각으로부터 현재 시각까지의 작업기(2)의 변위량의 추정 결과를 가산함으로써, 작업기(2)의 현재 위치를 추정한 추정 위치의 출력을 얻는다.

스텝 S113, S114의 처리와 스텝 S115, S116의 처리는, 스텝 S113, S114의 처리 후에 스텝 S115, S116의 처리가 행해지지 않아도 된다. 스텝 S113, S114의 처리와 스텝 S115, S116의 처리가 동시에 행해져도 되고, S115, S116의 처리 후에 스텝 S113, S114의 처리가 행해져도 된다.

다음에, 스텝 S117에서, 스텝 S114에 의해 산출된 작업기(2)의 변위량과, 스텝 S115와 출력된 작업기(2)의 추정 변위량과의 차이를 산출한다. 컴퓨터(102A), 보다 상세하게는 오차 검출부(76)는, 위치 추정 모델(80B)의 출력층(83B)으로부터 출력된, 파일럿 유압 등으로부터 작업기(2)의 변위량을 추정한 추정 변위량과, 각도 변화량 산출부(72)에 의해 얻어진 작업기(2)의 각도의 변화량을 비교하여, 작업기(2)의 변위량의 참값에 대한 추정값의 오차를 산출한다.

컴퓨터(102A)는, 파일럿 유압 등을 입력 데이터로 하고, 기준 위치를 설정한 시각으로부터 파일럿 유압을 검출한 시각까지 작업기(2)의 위치가 변화된 변위량을 교사 데이터로 하여, 위치 추정 모델(80B)의 학습을 행한다. 컴퓨터(102A)는, 산출한 출력값의 오차로부터, 백프로퍼게이션에 의해, 각 뉴런 사이의 결합의 중량, 및, 각 뉴런의 임계값의 각각의 오차를 산출한다.

다음에, 스텝 S118에서, 위치 추정 모델(80B)을 갱신한다. 컴퓨터(102A), 보다 상세하게는 위치 추정 모델 갱신부(77)는, 오차 검출부(76)에 의해 산출된 작업기(2)의 변위량의 참값에 대한 추정값의 오차에 따라, 각 뉴런 사이의 결합의 중량, 및 각 뉴런의 임계값 등의, 위치 추정 모델(80B)의 파라미터를 갱신한다. 그리고, 같은 촬상 화상이 입력층(81B)에 입력된 것이라면 참값에 의해 가까운 출력값을 출력할 수 있도록 한다. 갱신된 위치 추정 모델(80B)의 파라미터는, 기억 장치(104)에 기억된다.

다음 회에 작업기(2)의 변위량을 추정할 때는, 갱신된 위치 추정 모델(80B)에 파일럿 유압을 입력하여, 작업기(2)의 변위량의 추정 결과의 출력을 얻는다. 컴퓨터(102A)는, 위치 추정 모델(80B)이 출력하는 작업기(2)의 변위량의 추정 결과가 작업기(2)의 변위량의 계측 결과와 일치하도록 될 때까지, 스텝 S111로부터 스텝 S118까지의 처리를 반복한다. 이와 같이 하여, 위치 추정 모델(80B)의 파라미터가 최적화되고, 위치 추정 모델(80B)의 학습이 행해진다.

위치 추정 모델(80B)이 충분히 학습을 중첩시킨 결과, 충분히 정밀도가 높은 추정 결과의 출력이 얻어지도록 되면, 컴퓨터(102A)는 위치 추정 모델(80B)의 학습을 종료한다. 이와 같이 하여, 학습된 위치 추정 모델(80B)이 작성된다. 그리고, 처리를 종료한다(종료).

그리고, 위치 추정 모델(80A), (80B)의 각종 파라미터의 초기값은, 템플레이트(template)에 의해 주어져도 된다. 또는 파라미터의 초기값은, 사람의 입력에 의해 수동으로 주어져도 된다. 위치 추정 모델(80A), (80B)의 재학습을 행할 때는, 컴퓨터(102A)는, 재학습을 행하는 대상이 되는 위치 추정 모델(80A), (80B)의 파라미터로서 기억 장치(104)에 기억되어 있는 값에 기초하여, 파라미터의 초기값을 준비해도 된다.

도 11은, 공장 출하되는 컴퓨터(102B)의 내부 구성의 개략을 나타낸 블록도이다. 인코더(51)는, 출하 전에 위치 추정 모델(80A), (80B)를 학습시킬 목적으로 작업기(2)에 임시 장착해도, 위치 추정 모델(80A), (80B)의 학습이 완료되면 작업기(2)로부터 분리(detach)된다. 공장 출하되는 유압 셔블(100)은, 인코더(51)를 구비하고 있지 않다. 공장 출하되는 유압 셔블(100)은, 도 6에 나타낸 시스템 구성 중, 촬상 장치(50), 압력 센서(36) 및 컴퓨터(102B)[프로세서(103), 및 기억 장치(104)]만을 구비하고 있다.

도 12는, 공장 출하 후에 작업기(2)의 상대 위치를 추정하기 위해 컴퓨터(102B)에 의해 실행되는 처리를 나타낸 플로우차트이다. 도 13은, 촬상 화상으로부터 작업기(2)의 상대 위치를 구하도록 학습된 위치 추정 모델(80A)을 사용한, 촬상 화상으로부터 작업기(2)의 상대 위치를 추정하는 처리를 나타낸 모식도이다. 도 14는, 학습된 위치 추정 모델(80A), 및 파일럿 유압으로부터 작업기(2)의 상대 위치를 구하도록 학습된 위치 추정 모델(80B)을 사용한, 촬상 화상 및 조작 지령값으로부터 작업기(2)의 상대 위치를 추정하는 처리를 나타낸 모식도이다. 도 11 내지 도 14를 참조하여, 공장 출하 후에 작업 현장에 의해 취득한 촬상 화상 및 파일럿 유압으로부터 작업기(2)의 상대 위치를 추정하는 처리에 대하여, 이하에 설명한다.

먼저 스텝 S201에 있어서, 촬상 화상을 취득한다. 컴퓨터(102B), 보다 상세하게는 화상 처리부(61)는, 촬상 장치(카메라)(50)에 의해 촬상된 촬상 화상(63)(도 13)을, 촬상 장치(50)로부터 취득한다.

다음에, 스텝 S202에 있어서, 작업기(2)의 상대 위치를 출력한다. 컴퓨터(102B), 보다 상세하게는 작업기 위치 추정부(65)는, 위치 추정 모델(80A) 및 학습된 파라미터의 최적값을 기억 장치(104)로부터 판독함으로써, 학습된 위치 추정 모델(80A)을 취득한다. 작업기 위치 추정부(65)는, 촬상 장치(50)가 촬상한 촬상 화상(63)을, 학습된 위치 추정 모델(80A)에 대한 입력 데이터로서 사용한다. 작업기 위치 추정부(65)는, 촬상 화상(63)을, 학습된 위치 추정 모델(80A)의 입력층(81A)에 포함되는 각 뉴런에 입력한다. 학습된 위치 추정 모델(80A)의 출력층(83A)으로부터, 본체(1)에 대한 작업기(2)의 상대 위치를 추정한 추정 위치, 구체적으로는 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 나타내는 각도 출력값(78)(도 13)이 출력된다.

다음에, 스텝 S203에 있어서, 스텝 S202와 출력된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 정밀도가, 임계값 이상인지의 여부가 판단된다. 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 정밀도가 모두 임계값 이상이며, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 전부(全部)가 고정밀도로 추정되었던 것으로 판단된 경우에는, 스텝 S202와 출력된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk가, 현시점에서의 본체(1)에 대한 작업기(2)의 상대 위치를 정하는 것으로서 결정된다.

도 13의 촬상 화상(63)에 나타낸 바와 같이, 작업기(2) 중, 붐(6), 암(7) 및 버킷(8)의 전부가 촬상 화상(63)에 명료하게 비치고 있는 경우, 위치 추정 모델(80A)을 사용하여, 정밀도가 높은 각도 출력값(78)의 출력을 얻을 수 있다. 이 경우, 스텝 S203의 판단에 있어서 YES라고 판단되고, 스텝 S204로 진행하고, 기준 위치의 갱신이 행해진다. 컴퓨터(102B)는, 스텝 S202에서 출력된 각도 출력값(78)을 후의 처리에 사용되는 기준 위치로 하여 갱신하고, 갱신한 기준 위치와, 스텝 S202와 각도 출력값(78)을 출력한 시각을, 기억 장치(104)에 기억한다.

한쪽, 도 14에 나타낸 바와 같이, 작업기(2)를 사용하여 굴삭 작업을 행하고 있는 경우 등, 버킷(8)이 지중에 숨어 촬상 화상(63)에 명료하게 비치지 않을 경우가 있다. 임시 각도 출력값(temporary angular output value)(78T)와 같이, 붐 각도 θb 및 암 각도 θa는 정밀도 높게 추정되었다고 판단되는 한편, 버킷 각도 θk에 대하여는, 정밀도가 낮고 임계값 미만일 경우가 있다. 이와 같은 경우, 위치 추정 모델(80A)을 사용하여 추정한 버킷 각도 θk를 그대로 사용하기 위해서는 반드시 적절하지 않다.

도 12의 처리 플로우에 있어서, 위치 추정 모델(80A)로부터 출력된 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk 중 어느 하나 이상의 정밀도가 임계값 미만일 경우에는, 스텝 S203의 판단에 있어서 NO인 것으로 판단된다. 이 경우에는, 스텝 S205로 진행하고, 파일럿 유압 데이터가 취득된다. 컴퓨터(102B)는, 압력 센서(36)에 의해 검출된 파일럿 유압 데이터(73)(도 14)를, 압력 센서(36)로부터 취득한다. 파일럿 유압 데이터(73)는, 도 14에 나타낸 바와 같이, 위치 추정 대상부[본 예의 경우, 버킷(8)]의 동작 방향과, 동작 방향에 대응하는 압력 센서(36)에 의해 검출된 파일럿 유압을 포함하고 있다.

다음에, 스텝 S206에 있어서, 작업기(2)의 변위량을 추정한다. 컴퓨터(102B), 보다 상세하게는 작업기 변위량 추정부(71)는, 위치 추정 모델(80B) 및 학습된 파라미터의 최적값을 기억 장치(104)로부터 판독함으로써, 학습된 위치 추정 모델(80B)을 취득한다. 작업기 변위량 추정부(71)는, 파일럿 유압 데이터(73)를, 학습된 위치 추정 모델(80B)의 입력층(81B)에 포함되는 각 뉴런에 입력한다. 학습된 위치 추정 모델(80B)의 출력층(83B)으로부터, 작업기(2)의 변위량을 추정한 추정 변위량, 구체적으로는 위치 추정 대상부인 버킷(8)의 각도의 변화량(버킷 각도 θk의 변화량)이 출력된다.

다음에, 스텝 S207에 있어서, 작업기(2)의 위치를 추정한다. 컴퓨터(102B), 보다 상세하게는 작업기 위치 추정부(75)는, 작업기(2)의 기준 위치를 기억 장치(104)로부터 판독한다. 작업기 위치 추정부(75)는, 작업기(2)의 기준 위치에, 스텝 S204에서 기준 위치를 갱신한 시각으로부터의 작업기(2)의 변위량을 가산함으로써, 작업기(2)의 현재 위치를 추정한다. 이와 같이 하여 위치 추정 대상부[본 예의 경우, 버킷(8)]의 위치(버킷 각도 θk)가 추정된다. 그리고, 도 14에 나타낸 바와 같이, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 포함하는 각도 출력값(78)이 출력된다.

마지막으로, 스텝 S208에 있어서, 컴퓨터(102B)는, 본체(1)에 대한 작업기(2)의 상대 위치를 포함하는 관리 데이터를 생성한다. 컴퓨터(102B)는, 관리 데이터를 기억 장치(104)에 기록한다. 그리고, 처리를 종료한다(종료).

이상 설명한 바와 같이, 실시형태에 관한 시스템에서는, 컴퓨터(102B)는, 위치 추정 대상부의 위치를 구하기 위한 학습된 위치 추정 모델(80B)을 가지고 있다. 도 12, 도 14에 나타낸 바와 같이, 컴퓨터(102B)는, 제1 조작 레버(25R) 및 제2 조작 레버(25L)의 조작에 기초하여 작업기(2)를 동작시키는 조작 지령값으로서, 파일럿 유압 데이터(73)를 취득한다. 컴퓨터(102B)는, 학습된 위치 추정 모델(80B)을 사용하여, 파일럿 유압 데이터(73)로부터 작업기(2)의 변위량을 추정한다. 컴퓨터(102B)는 또한, 작업기(2)의 기준 위치와, 기준 위치로부터의 변위량으로부터, 위치 추정 대상부의 위치를 추정한 추정 위치를 출력한다.

따라서, 본체(1)에 대한 작업기(2)의 상대 위치의 추정에 적절한 인공 지능의 위치 추정 모델(80B)을 이용하여, 작업기(2)의 자세를 추정할 수 있다. 이로써, 인공 지능을 사용하여, 작업기(2)의 자세를 컴퓨터(102B)에 의해 용이하고 더욱 양호한 정밀도로 판정할 수 있다.

파일럿 유압 데이터(73)로부터 작업기(2)의 자세를 추정할 수 있으므로, 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 검출하기 위한 센서를 필요하지 않도록 할 수 있다. 각도 센서의 내구성(耐久性)이 유압 셔블(100)의 작업에 영향을 미칠 것도 없는, 따라서, 간단하고 염가이고 신뢰성이 높은 구성이며, 종전의 유압 셔블(100)과 마찬가지로 작업기(2)의 현재의 자세를 취득할 수 있다.

도 15는, 위치 추정 모델(80A), (80B)의 학습에 관한 변형예를 나타낸 개략도이다. 도 6 내지 도 10의 설명에 있어서는, 유압 셔블(100)의 공장 출하 전에 위치 추정 모델(80A), (80B)을 학습시키는 예에 대하여 설명하였다. 위치 추정 모델(80A), (80B)를 학습시키기 위한 학습용 데이터는, 복수의 유압 셔블(100)로부터 수집되어도 된다.

도 15에 나타낸, 제1 유압 셔블(100)[유압 셔블(100A)]와, 제2 유압 셔블(100)(유압 셔블(100b)]로, 제3 유압 셔블(100)(유압 셔블(100c)]와, 제4 유압 셔블(100)[유압 셔블(100D)]은, 같은 기종이다. 유압 셔블(100A), (100B), (100C)는, 촬상 장치(50)와 인코더(51)를 구비하고 있다. 유압 셔블(100A), (100B), (100C)는, 공장 출하 후이며, 작업 현장에 있다.

컴퓨터(102A)는, 각각의 유압 셔블(100A), (100B), (100C)로부터, 촬상 장치(50)가 촬상한 촬상 화상을 취득한다. 컴퓨터(102A)는 또한, 각각의 유압 셔블(100A), (100B), (100C)로부터, 촬상 화상을 촬상한 시점에 계측한 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를, 촬상 화상에 대응되어 취득한다. 컴퓨터(102A)는, 같은 시각에 취득한 촬상 화상과 작업기(2)의 각도를 사용하여, 촬상 화상으로부터 작업기(2)의 상대 위치를 추정한 추정 위치를 구할 수 있도록, 위치 추정 모델(80A)을 학습시킨다.

컴퓨터(102A)는, 각각의 유압 셔블(100A), (100B), (100C)로부터, 압력 센서(36)가 검출한 파일럿 유압을 취득한다. 컴퓨터(102A)는 또한, 각각의 유압 셔블(100A), (100B), (100C)로부터, 파일럿 유압을 검출한 시점에 계측한 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를, 파일럿 유압에 대응되어 취득한다. 컴퓨터(102A)는, 같은 시각에 취득한 파일럿 유압과 작업기(2)의 각도를 사용하여, 파일럿 유압으로부터 작업기(2)의 상대 위치를 추정한 추정 위치를 구할 수 있도록, 위치 추정 모델(80B)을 학습시킨다.

컴퓨터(102A)는, 통신 인터페이스(105)(도 5)를 통해, 각각의 유압 셔블(100A), (100B), (100C)로부터 촬상 화상과 작업기(2)의 각도의 계측 데이터를 취득해도 된다. 또는 컴퓨터(102A)는, 외부 기록 매체(109)를 통해, 각각의 유압 셔블(100A), (100B), (100C)로부터 촬상 화상과 작업기(2)의 각도의 계측 데이터를 취득해도 된다.

컴퓨터(102A)는, 유압 셔블(100A), (100B), (100C)과 같은 작업 현장에 배치되어 있어도 된다. 또는 컴퓨터(102A)는, 작업 현장으로부터 이격된 원격지, 예를 들면, 관리 센터에 배치되어 있어도 된다. 유압 셔블(100A), (100B), (100C)는, 같은 작업 현장에 있어도 되고, 별개의 작업 현장에 있어도 된다.

학습된 위치 추정 모델(80A), (80B)은, 통신 인터페이스(105 또는 외부 기록 매체(109) 등을 통해, 각각의 유압 셔블(100A), (100B), (100C)에 제공된다. 이와 같이 하여, 각각의 유압 셔블(100A), (100B), (100C)는, 학습된 위치 추정 모델(80A), (80B)를 구비하게 된다.

각각의 유압 셔블(100A), (100B), (100C)에 이미 위치 추정 모델(80A), (80B)이 보존되어 있는 경우에는, 보존되어 있는 위치 추정 모델(80A), (80B)이 재기입된다. 전술한 학습용 데이터의 수집과 위치 추정 모델(80A), (80B)의 학습을 정기적으로 실행함으로써, 위치 추정 모델(80A), (80B)의 재기입이 정기적으로 행해지도록 해도 된다. 위치 추정 모델(80A), (80B)의 파라미터의 최신의 갱신치는, 기억 장치(104)에 그 때마다 기억되어 있다.

학습된 위치 추정 모델(80A), (80B)은, 유압 셔블(100D)에도 제공된다. 학습용 데이터를 제공하는 유압 셔블(100A), (100B), (100C)와, 학습용 데이터를 제공하지 않는 유압 셔블(100D)과의 양쪽에, 위치 추정 모델(80A), (80B)가 제공된다. 유압 셔블(100D)은, 유압 셔블(100A), (100B), (100C) 중 어느 하나와 같은 작업 현장에 있어도 되고, 유압 셔블(100A), (100B), (100C)와는 상이한 작업 현장에 있어도 된다. 유압 셔블(100D)은, 공장 출하 전이라도 된다.

전술한 위치 추정 모델(80A), (80B)은, 학습용 데이터(61A), 61(B), 61(C), …, 및 학습용 데이터(71A), (71B), (71C), …를 사용하여 기계 학습에 의해 학습한 모델에 한정되지 않고, 상기 학습한 모델을 이용하여 생성된 모델이라도 된다. 예를 들면, 위치 추정 모델(80A), (80B)은, 학습된 모델에 데이터의 입출력을 반복함으로써 얻어지는 결과를 기초로 학습시킨 다른 학습된 모델(증류 모델)이라도 된다. 도 16은, 증류 모델을 생성하기 위한 처리를 나타낸 플로우차트이다.

도 16에 나타낸 바와 같이, 먼저 스텝 S301에 있어서, 촬상 화상 및 파일럿 유압 데이터를 취득한다. 컴퓨터(102A), 보다 상세하게는 화상 처리부(61)는, 촬상 장치(카메라)(50)에 의해 촬상된 촬상 화상(63)(도 13)을, 촬상 장치(50)로부터 취득한다. 컴퓨터(102A)는, 압력 센서(36)에 의해 검출된 파일럿 유압 데이터(73)(도 14)를, 압력 센서(36)로부터 취득한다.

다음에, 스텝 S302에 있어서, 컴퓨터(102A)는, 학습된 위치 추정 모델(80A), (80B)를 사용하여, 본체(1)에 대한 작업기(2)의 상대 위치를 추정한 추정 위치를 구한다. 스텝 S303에 있어서, 컴퓨터(102A)는, 추정된 작업기(2)의 상대 위치를 출력한다.

컴퓨터(102A), 보다 상세하게는 작업기 위치 추정부(65)는, 기억 장치(104)로부터 학습된 위치 추정 모델(80A)을 판독한다. 작업기 위치 추정부(65)는, 촬상 장치(50)가 촬상한 촬상 화상(63)을, 학습된 위치 추정 모델(80A)의 입력층(81A)에 입력한다. 학습된 위치 추정 모델(80A)의 출력층(83A)으로부터, 본체(1)에 대한 작업기(2)의 상대 위치, 구체적으로는 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk를 나타내는 각도 출력값(78)(도 11)의 추정 결과가 출력된다.

컴퓨터(102A), 보다 상세하게는 작업기 변위량 추정부(71)는, 기억 장치(104)로부터 학습된 위치 추정 모델(80B)을 판독한다. 작업기 변위량 추정부(71)는, 압력 센서(36)가 검출한 파일럿 유압을, 학습된 위치 추정 모델(80B)의 입력층(81B)에 입력한다. 학습된 위치 추정 모델(80B)의 출력층(83B)으로부터, 작업기(2)의 변위량, 구체적으로는 위치 추정 대상부[예를 들면, 버킷(8)]의 변위량(예를 들면, 버킷 각도 θk의 변화량)의 추정 결과가 출력된다.

다음에, 스텝 S304에 있어서, 컴퓨터(102A)는, 스텝 S301에 의해 취득한 촬상 화상 및 파일럿 유압과, 스텝 S303과 출력한 작업기(2)의 상대 위치의 추정 결과를, 학습 데이터로서 기억 장치(104)에 보존한다.

다음에, 스텝 S305에 있어서, 컴퓨터(102A)는, 학습 모델에 의해 다른 위치 추정 모델의 학습을 행한다. 컴퓨터(102A)는, 촬상 화상 및 파일럿 유압을 이 다른 위치 추정 모델의 입력층에 입력한다. 컴퓨터(102A)는, 이 다른 위치 추정 모델의 출력층으로부터, 본체(1)에 대한 작업기(2)의 상대 위치, 구체적으로는 붐 각도 θb, 암 각도 θa 및 버킷 각도 θk의 추정 결과를 나타내는 출력값을 출력한다. 이 다른 위치 추정 모델로부터 출력된 작업기(2)의 상대 위치와, 스텝 S303에서 출력한, 학습된 위치 추정 모델(80A), (80B)로부터 출력된 작업기(2)의 상대 위치와의 차이를 산출한다. 이 차에 기초하여, 컴퓨터(102A)는, 이 다른 위치 추정 모델의 파라미터를 갱신한다. 이와 같이 하여, 이 다른 위치 추정 모델의 학습이 행해진다.

마지막으로 스텝 S306에 있어서, 갱신된 다른 위치 추정 모델의 파라미터를 학습된 파라미터로 하여 기억 장치(104)에 보존한다. 그리고, 처리를 종료한다(종료).

이상과 같이, 작업기(2)의 촬상 화상 및 파일럿 유압과 학습된 위치 추정 모델을 이용하여 작업기(2)의 상대 위치를 추정한 추정 위치를 학습용 데이터로 하여, 다른 위치 추정 모델(증류 모델)을 학습시킴으로써, 컴퓨터(102A)는, 학습된 위치 추정 모델보다 심플한 다른 위치 추정 모델을 이용하여, 본체(1)에 대한 작업기(2)의 상대 위치를 추정할 수 있다. 이로써, 작업기(2)의 상대 위치를 추정하기 위한 컴퓨터(102A)의 부하를 경감시킬 수 있다. 그리고, 컴퓨터(102A)는, 다른 컴퓨터에 의해 생성된 학습 데이터에 의해, 다른 위치 추정 모델의 학습을 행해도 된다.

상기 실시형태에서는, 위치 추정 모델(80A), (80B)은 뉴럴 네트워크를 포함하고 있다. 이에 한정되지 않고, 위치 추정 모델(80A), (80B)은, 예를 들면, 서포트 벡터 머신 등, 기계 학습을 사용하여 작업기(2)의 촬상 화상으로부터 본체(1)에 대한 작업기(2)의 상대 위치를 양호한 정밀도로 추정할 수 있는 모델이라도 된다.

상기 실시형태에서는, 붐(6) 및 암(7)의 위치를 촬상 화상으로부터 학습된 위치 추정 모델(80A)을 사용하여 추정하고, 버킷(8)의 위치를 학습된 위치 추정 모델(80B)을 사용하여 파일럿 유압으로부터 추정하는 예를 설명하였다. 버킷(8) 이외의 부속품의 위치를 추정하는 경우에, 학습된 위치 추정 모델(80B)을 마찬가지로 적용할 수도 있다. 버킷(8)이 촬상 화상 중에 명료하게 비쳐, 버킷(8)의 위치를 촬상 화상으로부터 양호한 정밀도로 추정 가능하지만, 버킷(8) 이외의 작업기(2)의 부위인 붐(6) 또는 암(7)이 촬상 화상 중으로 불선명한 경우에, 붐(6) 또는 암(7)의 위치를 파일럿 유압으로부터 추정해도 된다.

작업기(2)의 기준 위치로부터의 변위량은, 유압 실린더의 스트로크 엔드(stroke end)에 의해 교정되어도 된다. 예를 들면, 위치 추정 대상부가 버킷(8)의 경우에, 버킷 실린더(12)의 스트로크 길이가 최대 시 및 최소 시의 버킷 각도 θk를 미리 기억 장치(104)에 기억시켜 둘 수 있다. 버킷 실린더(12)가 스트로크 엔드에 도달할 때까지 이동했을 때, 추정되는 버킷 각도 θk와, 기억 장치(104)에 기억되어 있는 버킷 각도 θk를 비교함으로써, 추정되는 버킷 각도 θk를 교정하고, 작업기(2)의 변위량의 추정의 정밀도를 향상시킬 수 있다.

상기 실시형태에서는, 조작 장치(25)는 파일럿 유압 방식의 조작 장치인 예를 설명하였으나, 조작 장치(25)는, 전기 방식의 조작 장치라도 된다. 예를 들면, 조작 장치(25)가, 전기 레버와 같은 조작 부재와, 조작 부재의 경도량을 전기적으로 검출하는 포텐셔미터 경사계와 같은 작동량 센서를 가져도 된다. 작동량 센서의 검출 데이터가, 컴퓨터(102A)에 출력된다. 조작 장치(25)를 경유하지 않고 유압 펌프(33)와 방향 제어 밸브(34)를 접속하는 파일럿 오일 통로(450)가 설치되고, 파일럿 오일 통로(450)에 파일럿 유압을 제어하기 위한 제어 밸브가 배치된다. 컴퓨터(102A)는, 작동량 센서의 검출 데이터에 기초하여, 이 제어 밸브를 구동시키기 위한 제어 신호를 출력한다. 제어 밸브에 의해 조정된 파일럿 유압에 기초하여 방향 제어 밸브(34)가 제어되고, 이로써, 유압 액추에이터(40)에 대한 작동유의 공급량이 조정된다. 이 경우, 작동량 센서의 검출 데이터가, 조작 부재의 조작에 기초하여 작업기(2)를 동작시키는 조작 지령값에 상당한다.

본 발명의 사상을 적용 가능한 작업 기계는, 유압 셔블에 한정되지 않고, 불도저(bulldozer), 모터 그레이더(motor grader), 또는 휠 로더(wheel loader) 등의 작업기를 구비하는 작업 기계라도 된다.

이번 개시된 실시형태는 모든 점에서 예시로서 제한적인 것이 아니라고 생각될 것이다. 본 발명의 범위는 상기한 설명에서가 아니라 청구의 범위에 의해 표시되고, 청구의 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

1: 본체, 2; 작업기, 3; 선회체, 4; 캡, 4S; 운전석, 5; 주행 장치, 6; 붐, 7; 암, 8; 버킷, 8a; 날끝, 10; 붐 실린더, 11; 암 실린더, 12; 버킷 실린더, 13; 붐 핀, 14; 암 핀, 15; 버킷 핀, 16; 제1 링크 부재, 17; 제2 링크 부재, 18; 제1 링크 핀, 19; 버킷 실린더 탑 핀, 20; 제2 링크 핀, 21; 안테나, 23; 글로벌 좌표 연산부, 25: 조작 장치, 25L; 제2 조작 레버, 25R; 제1 조작 레버, 31; 엔진, 33; 유압 펌프, 34: 방향 제어 밸브, 36; 압력 센서, 40; 유압 액추에이터, 50; 촬상 장치, 51; 인코더, 61; 화상 처리부, 61A, 61B, 61C, 71A, 71B, 71C; 학습용 데이터, 62; 각도 변환부, 63; 촬상 화상, 65, 75; 작업기 위치 추정부, 66, 76; 오차 검출부, 67, 77; 위치 추정 모델 갱신부, 71; 작업기 변위량 추정부, 72; 각도 변화량 산출부, 73; 파일럿 유압 데이터, 78; 각도 출력값, 78T; 임시 각도 출력값, 80A, 80B; 위치 추정 모델, 81A, 81B; 입력층, 82A, 82B; 중간층, 83A, 83B; 출력층, 100, 100A, 100B, 100C, 100D; 유압 셔블, 102A, 102B; 컴퓨터, 103; 프로세서, 104; 기억 장치, 105; 통신 인터페이스, 106; I/O 인터페이스, 107; 입력 장치, 108; 출력 장치, 109; 외부 기록 매체, 200; 제어 장치, 450; 파일럿 오일 통로.

Claims (18)

1. 작업 기계(work machine) 본체;
   상기 작업 기계 본체에 장착된 작업기(work implement);
   상기 작업기를 조작하기 위한 조작 부재;
   상기 작업기를 촬상(撮像)하는 촬상 장치; 및
   컴퓨터;
   를 포함하고,
   상기 컴퓨터는, 상기 작업기 중, 위치를 추정하는 대상의 부위인 위치 추정 대상부의 현재 위치를 구하기 위한, 학습(training)된 위치 추정 모델을 가지고,
   상기 컴퓨터는,
   상기 조작 부재의 조작에 의해 상기 작업기를 동작시키는 조작 지령값을 취득하고,
   상기 학습된 위치 추정 모델에 상기 조작 지령값을 입력하는 것으로 상기 위치 추정 대상부의 기준 위치로부터의 변위량을 추정한 출력을 얻고,
   상기 기준 위치 및 상기 변위량으로부터 상기 위치 추정 대상부의 현재 위치를 추정한 제1 추정 위치를 출력하고,
   상기 컴퓨터는, 상기 위치 추정 대상부의 위치를 구하기 위한 다른 학습된 위치 추정 모델을 더 가지고, 상기 촬상 장치에 의해 촬상되는 상기 작업기의 촬상 화상을 취득하고, 상기 다른 학습된 위치 추정 모델을 이용하여 상기 촬상 화상으로부터 상기 위치 추정 대상부의 위치를 추정한 제2 추정 위치를 출력하는 것이며,
   상기 컴퓨터는, 상기 다른 학습된 위치 추정 모델을 이용하여 상기 촬상 화상으로부터 상기 제2 추정 위치를 구하는 추정의 정밀도를 검출하고, 그 정밀도가 소정값보다 낮을 때, 상기 학습된 위치 추정 모델을 이용하여 상기 조작 지령값으로부터 상기 제1 추정 위치를 추정하는,
   작업 기계를 포함하는 시스템.
2. 제1항에 있어서,
   상기 학습된 위치 추정 모델은, 상기 조작 지령값이 입력되면, 상기 위치 추정 대상부의 상기 기준 위치로부터의 상기 변위량을 추정하여, 상기 기준 위치 및 상기 변위량으로부터 상기 위치 추정 대상부의 위치를 추정한 상기 제1 추정 위치를 출력하도록, 학습용 데이터 세트를 사용한 학습 처리가 되어 있는, 작업 기계를 포함하는 시스템.
3. 제1항에 있어서,
   상기 학습된 위치 추정 모델은, 학습용 데이터 세트를 사용한 학습 처리에 의해 생성되고, 상기 학습용 데이터 세트는, 상기 조작 지령값에 대하여, 상기 위치 추정 대상부의 상기 기준 위치로부터의 상기 변위량을 라벨링(labeling)하는 학습용 데이터를 복수 포함하는, 작업 기계를 포함하는 시스템.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 컴퓨터는, 상기 학습된 위치 추정 모델을 이용하여, 상기 작업기 중 상기 위치 추정 대상부 이외의 부위의 위치를 더 추정하는, 작업 기계를 포함하는 시스템.
5. 제4항에 있어서,
   상기 컴퓨터는, 상기 조작 지령값으로부터, 상기 위치 추정 대상부 이외의 부위의 위치를 더 추정하는, 작업 기계를 포함하는 시스템.
6. 제4항에 있어서,
   상기 작업기는, 상기 작업 기계 본체에 연결된 붐(boom)과, 상기 붐에 연결된 암(arm)과, 상기 암에 연결된 버킷(bucket)을 구비하고,
   상기 위치 추정 대상부는, 상기 버킷이며,
   상기 위치 추정 대상부 이외의 부위는, 상기 암 또는 상기 붐인, 작업 기계를 포함하는 시스템.
7. 제1항에 있어서,
   상기 기준 위치는, 상기 촬상 화상으로부터 상기 제2 추정 위치를 구하는 추정의 정밀도가 소정값보다 저하되기 직전의 상기 위치 추정 대상부의 상기 제2 추정 위치인, 작업 기계를 포함하는 시스템.
8. 제1항에 있어서,
   상기 컴퓨터는, 상기 다른 학습된 위치 추정 모델을 이용하여, 상기 촬상 화상으로부터, 상기 작업기 중 상기 위치 추정 대상부 이외의 부위의 위치를 더 추정하는, 작업 기계를 포함하는 시스템.
9. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 작업기를 동작시키는 유압(油壓) 실린더를 더 포함하고,
   상기 컴퓨터는, 상기 유압 실린더의 스트로크 엔드(stroke end)에 의해 상기 변위량을 교정하는, 작업 기계를 포함하는 시스템.
10. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 작업기의 위치는, 상기 작업 기계 본체에 대한 상기 작업기의 상대(相對) 위치인, 작업 기계를 포함하는 시스템.
11. 작업 기계 본체에 장착된 작업기를 가지는 작업 기계와, 상기 작업기를 촬상(撮像)하는 촬상 장치를 포함하는 시스템이 컴퓨터에 의해 실행되는 방법으로서,
    상기 작업기를 동작시키는 조작 지령값을 취득하는 단계;
    상기 작업기 중의 위치를 추정하는 대상의 부위인 위치 추정 대상부의 현재 위치를 구하기 위한 학습된 위치 추정 모델에 상기 조작 지령값을 입력하는 것으로 상기 위치 추정 대상부의 기준 위치로부터의 변위량을 추정한 출력을 얻는 단계;
    상기 촬상 장치에 의해 촬상되는 상기 작업기의 촬상 화상을 취득하고, 상기 위치 추정 대상부의 위치를 구하기 위한 다른 학습된 위치 추정 모델을 이용하여 상기 촬상 화상으로부터 상기 위치 추정 대상부의 위치를 추정한 추정 위치를 출력하는 단계;
    상기 촬상 화상으로부터 상기 추정 위치를 구하는 추정의 정밀도를 검출하고, 그 정밀도가 소정값보다 낮을 때, 상기 기준 위치 및 상기 변위량으로부터 상기 위치 추정 대상부의 현재 위치를 추정한 추정 위치를 구하는 단계
    를 포함하는, 작업 기계를 포함하는 시스템이 컴퓨터에 의해 실행되는 방법.
12. 작업 기계 본체에 장착된 작업기 중의 위치를 추정하는 대상의 부위인 위치 추정 대상부의 현재 위치를 구하기 위한 학습된 위치 추정 모델의 생성 방법으로서,
    상기 작업기의 동작을 동작시키는 조작 지령값과, 상기 조작 지령값을 검출했을 때의 상기 위치 추정 대상부의 기준 위치로부터의 변위량과, 상기 작업기를 촬상하는 촬상 장치에 의해 쵤상되는 상기 작업기의 촬상 화상을 포함하는 학습용 데이터를 취득하는 단계;
    상기 촬상 화상과, 상기 위치 추정 대상부의 위치에 의해 제1 위치 추정 모델을 학습시키는 단계;
    학습된 상기 제1 위치 추정 모델을 이용하여 상기 촬상 화상으로부터 상기 위치 추정 대상부의 위치를 구하는 추정의 정밀도가 소정값보다 낮을 때, 상기 조작 지령값을 입력하는 것으로 상기 변위량을 추정한 출력을 얻어, 상기 기준 위치 및 상기 변위량으로부터 상기 위치 추정 대상부의 현재 위치를 추정하기 위한, 제2 위치 추정 모델을, 상기 조작 지령값과, 상기 변위량에 의해 학습시키는 단계;
    를 포함하는, 학습된 위치 추정 모델의 생성 방법.
13. 제12항에 있어서,
    상기 학습시키는 단계는,
    상기 위치 추정 모델을 이용하여, 상기 조작 지령값으로부터, 상기 작업기가 상기 기준 위치로부터 변위된 양을 추정한 추정 변위량을 구하는 단계;
    상기 변위량에 대한 상기 추정 변위량의 오차를 산출하는 단계; 및
    상기 오차에 따라 상기 위치 추정 모델을 갱신하는 단계;를 포함하는, 학습된 위치 추정 모델의 생성 방법.
14. 작업 기계 본체에 장착된 작업기를 가지는 작업 기계와, 상기 작업기를 촬상(撮像)하는 촬상 장치를 포함하는 시스템에 사용되는 학습된 위치 추정 모델의 생성 방법으로서,
    상기 작업기를 동작시키는 조작 지령값을 취득하는 단계;
    학습된 위치 추정 모델에 상기 조작 지령값을 입력하는 것으로 상기 작업기 중의 위치를 추정하는 대상의 부위인 위치 추정 대상부의 기준 위치로부터의 변위량을 추정한 출력을 얻는 단계;
    상기 촬상 장치에 의해 촬상되는 상기 작업기의 촬상 화상을 취득하고, 상기 위치 추정 대상부의 위치를 구하기 위한 학습된 다른 위치 추정 모델을 이용하여 상기 촬상 화상으로부터 상기 위치 추정 대상부의 위치를 추정한 추정 위치를 출력하는 단계;
    상기 촬상 화상으로부터 상기 추정 위치를 구하는 추정의 정밀도를 검출하고, 그 정밀도가 소정값보다 낮을 때, 상기 기준 위치 및 상기 변위량으로부터 상기 위치 추정 대상부의 현재 위치를 추정한 다른 추정 위치를 구하는 단계;
    상기 조작 지령값과 상기 다른 추정 위치를 포함하는 학습용 데이터에 의해, 상기 위치 추정 모델 및 상기 다른 위치 추정 모델과는 별개의 위치 추정 모델을 학습시키는 단계;
    를 포함하는, 작업 기계를 포함하는 시스템에 사용되는 학습된 위치 추정 모델의 생성 방법.
15. 삭제
16. 삭제
17. 삭제
18. 삭제