KR20200014735A - 수확기 - Google Patents

Abstract

콤바인은, 탈곡 깊이 조정 기구와, 탈곡 깊이 조정 기구를 사용하여 예취 곡간의 길이에 기초하는 탈곡 깊이 조정 제어를 행하는 탈곡 깊이 제어부(620)와, 기체 위치를 산출하는 기체 위치 산출부(66)와, 촬영부(70)에 의해 취득된 촬영 화상에 있어서의 잡초 생육 영역을 추정하고, 추정된 잡초 생육 영역을 나타내는 인식 출력 데이터를 출력하는 화상 인식 모듈(5)과, 촬영 화상이 취득된 시점의 기체 위치와 인식 출력 데이터로부터 잡초 생육 영역의 지도 상의 위치를 나타내는 잡초 위치 정보를 생성하는 잡초 위치 정보 생성부(51)와, 잡초가 탈곡 깊이 조정 기구를 통과하는 타이밍이 산출되고, 잡초가 탈곡 깊이 조정 기구를 통과하는 동안, 잡초 진입 제어를 실행하는 작업 주행 제어부를 구비한다.

Description

수확기

본 발명은, 포장을 주행하면서 식립 곡간을 수확하는 수확기에 관한 것이다.

종래의 수확기에서는, 작업의 성능을 향상시키거나, 혹은 작업의 효율을 향상시키기 위해 다양한 기능을 구비하고 있다.

예를 들어, 특허문헌 1에 개시하는 바와 같이, 종래의 콤바인에서는, 예취부로부터 탈곡 장치로 보내지는 반송 곡간의 이삭 끝 위치를 검출하는 탈곡 깊이 검출 센서가 마련되고, 이 탈곡 깊이 검출 센서의 검출 정보에 기초하여, 탈곡 장치에서의 탈곡 깊이를 조절하는 탈곡 깊이 조절 수단을 제어하여, 반송 곡간을 목표 탈곡 깊이로 탈곡하도록 구성되어 있다.

또한, 포장에서의 수확기를 사용한 농작물의 수확 작업에서는, 국소적으로 상이한 농작물의 생육 상태나 인물을 포함하는 장애물의 존재에 주의할 필요가 있다. 이 때문에, 예를 들어 특허문헌 2에 의한 콤바인에서는, 예취부의 전방의 곡간을 촬영하는 텔레비젼 카메라와 화상 처리 장치가 구비되어 있다. 화상 처리 장치는, 텔레비젼 카메라로부터의 화상과, 미리 기억시켜 둔 다양한 곡간의 식립 상태를 나타내는 화상을 비교하여, 곡간의 특정 상태를 검출한다. 예를 들어, 예취부 전방의 곡간의 일부가 쓰러져 있는 것을, 화상 처리 장치가 검출하면, 레이킹 릴이 곡간이 쓰러진 측을 하방으로 하여 틸팅된다. 이에 의해, 쓰러진 곡간의 예취 성능이 향상된다. 또한, 특허문헌 2의 콤바인과 마찬가지로 텔레비젼 카메라와 화상 처리 장치가 구비되어 있는 특허문헌 3에 의한 콤바인에서는, 예취부의 전방에 곡간이 존재하지 않는 것이 검출된 경우에, 콤바인이 개자리에 도달한 것이라고 간주하고, 커터에의 동력 전달을 차단하여 커터를 상승시키고, 주행 속도를 감속시킨다. 이에 의해, 개자리에서의 회행 중에 있어서의 커터의 두렁 등에 대한 충돌이 방지됨과 함께, 콤바인의 개자리의 회행이 원활하게 행해진다.

또한, 특허문헌 4에 의한 콤바인에서는, 기체의 후방을 촬영하는 카메라를 탑재하고, 그 촬영 화상으로부터, 예취부에 의해 절단된 곡간의 주열이 인식된다. 인식된 주열과 기체의 어긋남에 기초하여, 주열과 주열 사이의 주간을 각 분초체가 통과하도록, 기체의 방향 제어가 행해진다.

일본 특허 공개 평08-172867호 공보 일본 특허 공개 평11-155340호 공보 일본 특허 공개 평11-137062호 공보 일본 특허 공개 제2006-121952호 공보

예취부에 의해 예취한 예취 곡간의 탈곡 장치로의 반송 시에, 탈곡 깊이 검출 센서를 사용한 탈곡 깊이 조절에 의해, 적절한 탈곡 깊이로 탈곡하는 기술은, 탈곡 성능의 향상에 공헌하고 있다. 그러나 포장에 따라서는, 식립 곡간의 주위에 식립 곡간보다 길게 자란 잡초가 혼재하고 있는 경우가 있고, 이 잡초가 예취부에 의해 예취되어, 탈곡 깊이 검출 센서에 의해 검출된다. 그 결과, 탈곡 깊이 조절 수단이 잡초의 길이로 탈곡 장치에서의 탈곡 깊이를 조절해 버려, 본래의 예취 곡간의 탈곡 성능을 저하시켜 버린다고 하는 문제가 발생한다.

이러한 실정에 비추어, 잡초가 국소적으로 생육되어 있는 포장에 있어서도, 식립 곡간의 탈곡 성능의 저하를 가능한 한 피할 수 있는 콤바인이 요망되고 있다.

또한, 특허문헌 2나 특허문헌 3에 의한 콤바인에서는, 예취부 전방의 곡간의 상태가 화상 처리 기술을 사용하여 검출되고, 그 검출 결과에 기초하여 작업 기기의 동작이 제어된다. 그러나 검출된 곡간의 포장에 있어서의 지도 상의 실제의 위치는 고려되어 있지 않다. 이 때문에, 작업 주행에 있어서 문제가 되는 상태의 곡간이 검출되어, 그 문제를 해결하기 위한 회피 제어를 행한다고 해도, 문제가 되는 곡간 상태를 나타내고 있는 영역과 콤바인이 멀리 떨어져 있는 경우에는, 회피 제어가 너무 빠르거나 너무 느리다고 하는 문제가 발생한다. 또한, 회피 제어를 종료해야 할 타이밍을 적절하게 결정하는 것도 곤란하다.

이러한 실정에 비추어, 차체에 마련된 촬영부에 의한 촬영 화상을 사용한 수확 작업 지원이 효과적으로 행해지는 수확기도 요망되고 있다.

특허문헌 2, 3, 4에 의한 콤바인에서는, 모두, 차량 탑재 카메라에 의해 취득된 촬영 화상에 기초하여 얻어지는 검출 결과로부터, 주행 장치나 작업 장치가 제어되고 있다. 그러나 포장을 작업 주행하는 콤바인에 마련된 카메라에 의한 촬영에 있어서는, 그 촬영 화상이 부적절한 것으로 되어 버리는 다양한 상황이 발생할 수 있다. 그러한 상황으로서, 예를 들어 포장의 주행면이 도로와 같이 평탄하지 않다는 점에서 차량 탑재 카메라에 돌발적인 진동이 전달되는 것을 들 수 있다. 또한, 방향 전환을 행하면서 작업 주행한다는 점에서 차량 탑재 카메라에 대한 태양의 방향 등이 빈번하게 변동되는 것을 들 수 있다. 또한, 예취 작업 등에서는 작업 주행 시에 분진이 날리는 것 등을 들 수 있다. 부적절한 촬영 화상에 기초하여 작업 장치나 주행 장치를 제어하면, 그 작업 주행이 부적절한 것이 되어, 만족할만한 결과가 얻어지지 않는다.

이러한 문제를 억제하기 위해, 촬영 화상을 이용한 수확 작업 지원에 있어서 부적절한 촬영 화상을 가능한 한 배제할 수 있는 기술이 요망되고 있다.

본 발명은, 이상의 요망을 근거로 하여, 각종 작업의 성능이나 작업의 효율의 더한층의 향상을 도모하는 것을 목적으로 한다.

본 발명의 일 실시 형태에 관한 수확기의 특징은, 포장을 주행하면서 식립 곡간을 수확하는 콤바인이며, 상기 포장으로부터 상기 식립 곡간을 예취하는 예취부와, 예취 곡간을 상기 예취부로부터 탈곡 장치를 향해 반송하는 곡간 반송 장치와, 상기 곡간 반송 장치에 마련된 탈곡 깊이 조정 기구와, 상기 탈곡 깊이 조정 기구를 사용하여 상기 예취 곡간의 길이에 기초하는 탈곡 깊이 조정 제어를 행하는 탈곡 깊이 제어부와, 위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와, 상기 기체에 마련되고, 수확 작업 시에 상기 포장을 촬영하는 촬영부와, 상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 잡초 생육 영역을 추정하고, 추정된 상기 잡초 생육 영역을 나타내는 인식 출력 데이터를 출력하는 화상 인식 모듈과, 상기 촬영 화상이 취득된 시점의 상기 기체 위치와 상기 인식 출력 데이터로부터 상기 잡초 생육 영역의 지도 상의 위치를 나타내는 잡초 위치 정보를 생성하는 잡초 위치 정보 생성부와, 상기 잡초 생육 영역에서 예취된 잡초가 상기 탈곡 깊이 조정 기구를 통과하는 타이밍이 결정되고, 상기 잡초가 상기 탈곡 깊이 조정 기구를 통과하는 동안, 잡초 진입 제어를 실행하는 작업 주행 제어부가 구비되어 있는 점에 있다.

본 발명의 일 실시 형태에 관한 수확기에서는, 촬영 화상에 잡초가 존재하고 있는 경우, 당해 촬영 화상인 화상 데이터로부터, 화상 인식 모듈에 의해 잡초 생육 영역이 추정된다. 나아가, 촬영 화상이 취득된 시점의 지도 좌표로 나타난 기체 위치가 기체 위치 산출부에 의해 산출되어 있으므로, 당해 기체 위치와, 잡초 생육 영역을 나타내는 인식 출력 데이터로부터, 잡초 생육 영역의 지도 상의 위치를 나타내는 잡초 위치 정보가 생성된다. 기체의 지도 좌표인 기체 위치는, 기체 위치 산출부에 의해 산출되어 있으므로, 기체에 있어서의 잡초의 예취 위치, 및 당해 예취 위치로부터 탈곡 깊이 조정 기구까지의 잡초의 반송 시간을 고려함으로써, 잡초가 탈곡 깊이 조정 기구를 통과하는 타이밍이 결정된다. 이 결정된 타이밍에 기초하여, 잡초가 탈곡 깊이 조정 기구를 통과하는 동안, 특별한 잡초 진입 제어를 실행함으로써, 잡초가 국소적으로 생육되어 있는 포장에 있어서도, 잡초가 혼재하는 식립 곡간에 대한 탈곡 성능의 저하가 억제 가능해진다.

본 발명의 일 실시 형태에 관한 수확기의 특징은, 포장을 주행하면서 식립 곡간을 수확하는 콤바인이며, 상기 포장으로부터 상기 식립 곡간을 예취하는 예취부와, 예취 곡간을 상기 예취부로부터 탈곡 장치를 향해 반송하는 곡간 반송 장치와, 상기 곡간 반송 장치에 마련된 탈곡 깊이 조정 기구와, 상기 탈곡 깊이 조정 기구를 사용하여 상기 예취 곡간의 길이에 기초하는 탈곡 깊이 조정 제어를 행하는 탈곡 깊이 제어부와, 위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와, 상기 기체에 마련되고, 수확 작업 시에 상기 포장을 촬영하는 촬영부와, 상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 잡초 생육 영역을 추정하고, 추정된 상기 잡초 생육 영역을 나타내는 인식 출력 데이터를 출력하는 화상 인식 모듈과, 상기 촬영 화상이 취득된 시점의 상기 기체 위치와 상기 인식 출력 데이터로부터 상기 잡초 생육 영역의 지도 상의 위치를 나타내는 잡초 위치 정보를 생성하는 잡초 위치 정보 생성부와, 상기 예취부가 상기 잡초 생육 영역을 통과하는 동안, 잡초 진입 제어를 실행하는 작업 주행 제어부가 구비되어 있는 점이다.

본 발명의 일 실시 형태에 관한 수확기에서는, 예취부가 잡초 생육 영역을 통과하는 동안, 잡초 진입 제어가 실행된다. 이 구성에서는, 잡초의 반송 시간 등을 고려할 필요가 없으므로, 제어가 간단해지는 이점이 있다.

또한, 예취부가 잡초 생육 영역을 통과하는 타이밍은, 위성 측위 모듈로부터의 측위 데이터에 기초하여 산출되는 지도 상의 기체 위치와, 이 기체 위치와 예취부 사이의 거리, 및 잡초 위치 정보에 포함되어 있는 잡초 생육 영역의 지도 상의 위치로부터 정확하게 구할 수 있다. 이것으로부터, 본 발명의 적합한 실시 형태 중 하나에서는, 상기 예취부가 상기 잡초 생육 영역을 통과하는 타이밍은, 상기 잡초 위치 정보와 상기 기체 위치 산출부에 의해 산출된 상기 기체 위치에 기초하여 결정되도록 구성되어 있다.

식립 곡간보다 높이가 높은 잡초가 탈곡 깊이 조정 기구에 진입하면, 탈곡 깊이 조정 기구는 당해 잡초를 예취 곡간으로 간주하므로, 탈곡 깊이 제어부는 탈곡 깊이를 잡초의 길이에 맞추어 제어해 버린다. 이에 의해, 조정된 탈곡 깊이는 본래의 예취 곡간에는 적합하지 않게 된다. 예취 곡간의 길이는 그다지 급격하게는 변동되지 않으므로, 잡초가 탈곡 깊이 조정 기구로 들어가는 사태가 발생하였을 때에는, 탈곡 깊이 조정기에 기초하는 탈곡 깊이 제어를 일시적으로 중단하여, 탈곡 깊이를 변경하지 않는 것이 바람직하다. 이것으로부터, 본 발명의 적합한 실시 형태 중 하나에서는, 상기 잡초 진입 제어의 실행에 의해, 상기 탈곡 깊이 조정 제어가 중단되도록 구성되어 있다.

또한, 잡초는 식립 곡간과 혼재하여 생육되어 있으므로, 이 잡초 생육 영역에 대해 예취 작업을 행한 경우, 잡초와 예취 곡간을 포함한 처리량이 증대되고, 예취부, 곡간 반송 장치, 탈곡 장치 등의 작업 장치의 부하가 증대된다. 이러한 과부하를 회피하기 위해서는, 차속을 저감하는 것이 적합하다. 이것으로부터, 본 발명의 적합한 실시 형태 중 하나에서는, 상기 잡초 진입 제어의 실행에 의해, 차속이 저감되도록 구성되어 있다.

본 발명의 일 실시 형태에 관한 수확기의 특징은, 포장을 주행하면서 농작물을 수확하는 수확기이며, 위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와, 상기 기체에 마련되고, 수확 작업 시에 포장을 촬영하는 촬영부와, 상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하고, 상기 존재 영역 및 상기 존재 영역이 추정되었을 때의 추정 확률을 포함하는 인식 출력 데이터를 출력하는 화상 인식 모듈과, 상기 촬영 화상이 취득된 시점의 상기 기체 위치와 상기 인식 출력 데이터로부터 상기 인식 대상물의 지도 상의 위치를 나타내는 인식 대상물 위치 정보를 생성하는 인식 대상물 위치 정보 생성부를 구비하고 있는 점에 있다.

본 발명의 일 실시 형태에 관한 수확기에서는, 촬영 화상인 화상 데이터로부터, 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하는 화상 인식 모듈이, 예를 들어 신경망(딥 러닝을 포함함)이나 강화 학습 등의 기술을 사용하여 구성되어 있다. 또한, 당해 존재 영역을 추정하였을 때의 추정 확률도 동시에 출력할 수 있도록 구성되어 있으므로, 그 확률값을 사용한 최적 제어도 가능해진다. 나아가, 촬영 화상이 취득된 시점의 지도 좌표로 나타난 기체 위치가, 기체 위치 산출부에 의해 산출되고, 당해 기체 위치와, 인식 대상물의 존재 영역을 나타내는 인식 출력 데이터로부터, 인식 대상물의 지도 상의 위치를 나타내는 인식 대상물 위치 정보가 생성된다. 이러한 구성으로부터, 인식 대상물의 존재 영역을 추정하는 추정 확률, 및 당해 인식 대상물의 지도 상의 위치, 결과적으로는 당해 인식 대상물과 수확기의 거리를 고려한 수확 작업 지원의 제어가 가능해진다.

촬영부에 의해 촬영된 포장의 촬영 화상에서는, 원근법의 관계로, 촬영부로부터 먼 인식 대상물에 대한 분해능은, 촬영부로부터 가까운 인식 대상물에 대한 분해능에 비해 저하된다.

이것으로부터, 촬영부로부터 먼 장소에서 찍혀 있는 인식 대상물은, 촬영부로부터 가까운 장소에서 찍혀 있는 인식 대상물에 비해 그 인식 신뢰성은 낮은 것으로 되어 버린다. 이것에 대응하여, 본 발명의 적합한 실시 형태 중 하나에서는, 상기 촬영 화상에 있어서 상기 인식 대상물이 상기 촬영부로부터 멀리에 위치할수록, 당해 인식 대상물의 상기 추정 확률은 저감되도록 구성되어 있다.

촬상 화상에 기초하는 인식 대상물 위치 정보의 생성은, 수확기의 차속과 비교하여 고속으로 행할 수 있으므로, 동일한 인식 대상물에 관한 인식 대상물 위치 정보는 복수 생성된다. 이 때문에, 동일한 인식 대상물에 관한 복수의 인식 대상물 위치 정보에 포함되어 있는 각각의 추정 확률을 통계적 연산하는 것이 가능해진다. 이 통계적 연산을 통해, 더 신뢰도가 높은 인식 대상물 위치 정보를 생성할 수 있다. 여기서의 통계적 연산이라 함은, 산술 평균, 가중 평균, 중간값 연산 등이며, 복수의 데이터 값으로부터 더 신뢰성이 높은 데이터 값이 도출되는 연산이다. 이러한 통계적 연산을 추정 확률에 대해 이용함으로써, 복수의 인식 대상물 위치 정보로부터, 더 적절한 인식 대상물 위치 정보를 도출하는 것이 가능해진다.

이것으로부터, 본 발명의 적합한 실시 형태 중 하나에서는, 복수의 상기 인식 대상물 위치 정보가 기억되고, 기억된 복수의 상기 인식 대상물 위치 정보가, 대응하는 상기 인식 출력 데이터에 포함되어 있는 상기 추정 확률의 통계적 연산의 결과에 기초하여 보정되도록 구성되어 있다.

기체에 마련된 촬영부에 의해 취득된 촬영 화상은, 화상 인식 모듈의 입력 소스가 됨에도 불구하고, 촬영 조건에 따라 인식 대상물의 인식에 부적당한 것으로 되어 버릴 가능성이 있다. 그 결과, 인식 대상물이 인식되었다고 해도, 그 인식 출력 데이터의 인식 확률은 낮은 것으로 되어 버리므로, 당해 인식 출력 데이터를, 그 후의 처리에 그대로 이용하는 것은 바람직하지 않다. 이것으로부터, 본 발명의 적합한 실시 형태 중 하나에서는, 상기 화상 인식 모듈로부터 축차 출력된 상기 인식 출력 데이터를 인식 출력 데이터 열로서 일시적 또한 경시적으로 기억하는 데이터 기억부와, 데이터 판정부가 구비되고, 상기 데이터 판정부는, 상기 인식 출력 데이터 열에 있어서 계시적으로 전후 관계가 되는 상기 인식 출력 데이터의 상기 추정 확률과 비교하여, 소정 레벨 이상으로 낮은 상기 추정 확률을 갖는 상기 인식 출력 데이터를 부적당 인식 출력 데이터로서 판정한다. 부적당 인식 출력 데이터라고 판정된 인식 출력 데이터는 삭제해도 되고, 당해 인식 출력 데이터의 추정 확률을, 전후의 인식 출력 데이터로 보간한 추정 확률이 치환하도록 해도 된다.

포장을 주행하면서 농작물을 수확하는 수확기에 있어서 중요해지는 인식 대상물은, 인물, 쓰러진 곡간, 잡초, 두렁 등이다. 작업 주행의 장애물이 되는 인물을 인식하는 것은, 장애물 회피 제어나 장애물 경보 통지의 트리거가 되므로, 포장에 있어서의 안전 주행을 위해 중요하다. 쓰러진 곡간이나 잡초를 인식하는 것은, 작업 제어에 있어서의 쓰러진 곡간 대책 제어나 잡초 대책 제어가 되므로, 고품질의 수확 작업을 행하기 위해 중요하다. 두렁을 인식하는 것은, 포장의 경계선을 검출하게 되어, 포장의 개자리 주행 제어 등에 있어서 중요하다.

본 발명의 일 실시 형태에 관한 수확기는, 위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와, 상기 기체 위치로부터 상기 기체의 주행 궤적을 산출하는 주행 궤적 산출부와, 상기 기체에 마련되고, 수확 작업 시에 포장을 촬영하는 촬영부와, 상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하고, 상기 존재 영역 및 상기 존재 영역이 추정되었을 때의 추정 확률을 포함하는 인식 출력 데이터를 출력하는 화상 인식 모듈과, 상기 주행 궤적에 기초하여, 전회 촬영 화상에 있어서의 상기 존재 영역이 다음회 촬영 화상에 있어서 위치해야 할 범위를 예측하고, 상기 다음회 촬영 화상에 있어서 상기 범위와 중복되는 상기 존재 영역의 상기 추정 확률과, 상기 전회 촬영 화상에 있어서의 상기 존재 영역의 상기 추정 확률이, 미리 정한 허용량 이상으로 상위한 경우, 상기 다음회 촬영 화상에 기초하는 상기 인식 출력 데이터를 부적당 인식 출력 데이터로서 판정하는 데이터 판정부를 구비한다.

수확기가 작업 주행하고 있는 도중에, 전방에 인식 대상물이 나타난 경우, 통상, 당해 인식 대상물이 찍혀 있는 촬영 화상이 복수 취득된다. 따라서, 이러한 복수의 촬영 화상마다, 당해 인식 대상물의 존재 영역이 추정되고, 그 추정 확률을 포함하는 인식 출력 데이터가 출력된다. 이 복수의 촬영 화상의 각각에 있어서 인식된 인식 대상물은, 그것이 실질적으로 정지체인 경우, 각 촬영 화상이 촬영된 기체 위치에 따라서, 즉 주행 궤적에 따라서, 각각의 촬영 화상에 있어서 상이한 위치에 존재하게 된다. 따라서, 주행 궤적에 기초하여, 촬영 화상에 있어서의 인식 대상물의 존재 영역이 위치해야 할 범위는 예측할 수 있다.

이와 같이 예측된 범위에 인식 대상물의 존재 영역이 위치하고 있지 않은 경우, 혹은 위치하고 있어도 그 추정 확률이 다른 촬영 화상에 기초하는 추정 확률에 비해 크게 상이한 경우, 그 촬영 화상이 부적절하다고 간주된다. 또한, 촬영 화상이 부적절하면, 당연히 그것에 기초하여 출력되는 인식 출력 데이터도 부적절하다고 간주된다. 이것으로부터, 주행 궤적에 기초하여, 전회 촬영 화상에 있어서의 존재 영역이 다음회 촬영 화상에 있어서 위치해야 할 범위를 예측하고, 다음회 촬영 화상에 있어서 당해 범위와 중복되는 존재 영역의 상기 추정 확률과, 전회 촬영 화상에 있어서의 존재 영역의 추정 확률이, 미리 정한 허용량 이상으로 상위한 경우, 다음회 촬영 화상에 기초하는 인식 출력 데이터를 부적당 인식 출력 데이터로서 판정하는 것은 유익하다.

본 발명의 적합한 실시 형태 중 하나에서는, 상기 부적당 인식 출력 데이터의 상기 추정 확률을, 상기 부적당 인식 출력 데이터의 계시적으로 전후가 되는 상기 인식 출력 데이터의 상기 추정 확률에 기초하여 얻어진 보간 추정 확률로 치환하는 데이터 보정부가 구비되어 있다. 이 구성에서는, 부적당 인식 출력 데이터라고 판정된 인식 출력 데이터의 추정 확률을, 그 전후의 인식 출력 데이터의 추정 확률로 보간 보정함으로써, 부적당 인식 출력 데이터를 적정한 인식 출력 데이터로 치환하여, 이용할 수 있다. 이것은, 동일한 인식 대상물에 관한 인식 출력 데이터의 수가 적은 경우에, 더 효과적이다.

포장을 주행하면서 농작물을 수확하는 수확기에 있어서 중요해지는 인식 대상물은, 인물, 쓰러진 곡간, 잡초, 두렁 등이다. 작업 주행의 장애물이 되는 인물을 인식하는 것은, 장애물 회피 제어나 장애물 경보 통지의 트리거가 되므로, 포장에 있어서의 안전 주행을 위해 중요하다. 쓰러진 곡간이나 잡초를 인식하는 것은, 작업 제어에 있어서의 쓰러진 곡간 대책 제어나 잡초 대책 제어가 되므로, 고품질의 수확 작업을 행하기 위해 중요하다. 두렁을 인식하는 것은, 포장의 경계선을 검출하게 되어, 포장의 개자리 주행 제어 등에 있어서 중요하다.

도 1은 실시 형태 1에 있어서의 콤바인의 전체 측면도이다.
도 2는 실시 형태 1에 있어서의 예취부의 측면도이다.
도 3은 실시 형태 1에 있어서의 탈곡 깊이 제어의 설명도이다.
도 4는 실시 형태 1에 있어서의 콤바인의 제어계의 기능을 도시하는 기능 블록도이다.
도 5는 실시 형태 1에 있어서의 화상 인식 모듈에 의한 인식 출력 데이터의 생성의 흐름을 모식적으로 나타내는 설명도이다.
도 6은 실시 형태 1에 있어서의 잡초 생육 영역을 포함하는 촬상 화상과 기체 위치로부터 잡초 위치를 산출하여, 탈곡 깊이 제어를 중단시키는 제어의 흐름을 나타내는 흐름도이다.
도 7은 실시 형태 1에 있어서의 잡초 위치 정보를 맵화함으로써 얻어진 잡초 맵을 나타내는 모식도이다.
도 8은 실시 형태 2에 있어서의 콤바인의 전체 측면도이다.
도 9는 실시 형태 2에 있어서의 콤바인의 제어계를 도시하는 기능 블록도이다.
도 10은 실시 형태 2에 있어서의 화상 인식 모듈에 의한 인식 출력 데이터의 생성의 흐름을 모식적으로 나타내는 설명도이다.
도 11은 실시 형태 2에 있어서의 촬상 화상으로부터 인식 대상물 위치 정보를 생성할 때의 데이터의 흐름을 나타내는 데이터 흐름도이다.
도 12는 실시 형태 2에 있어서의 인식 대상물 위치 정보 중 하나로서의 잡초 위치 정보를 맵화함으로써 얻어진 잡초 맵을 나타내는 모식도이다.
도 13은 실시 형태 3에 있어서의 콤바인의 전체 측면도이다.
도 14는 실시 형태 3에 있어서의 콤바인의 제어계를 도시하는 기능 블록도이다.
도 15는 실시 형태 3에 있어서의 화상 인식 모듈에 의한 인식 출력 데이터의 생성의 흐름을 모식적으로 나타내는 설명도이다.
도 16은 실시 형태 3에 있어서의 촬상 화상으로부터 인식 대상물 위치 정보를 생성할 때의 데이터의 흐름을 나타내는 데이터 흐름도이다.
도 17은 실시 형태 3에 있어서의 부적당 인식 출력 데이터를 판정하는 데이터 처리를 모식적으로 설명하는 설명도이다.
도 18은 실시 형태 3에 있어서의 인식 대상물 위치 정보 중 하나로서의 잡초 위치 정보를 맵화함으로써 얻어진 잡초 맵을 나타내는 모식도이다.

이하, 본 발명에 관한 수확기의 일례로서의 콤바인의 실시 형태를 도면에 기초하여 설명한다. 각 실시 형태에서, 기체(1)의 전후 방향을 정의할 때에는, 작업 상태에 있어서의 기체 진행 방향을 따라 정의한다. 도 1에 부호 (F)로 나타내는 방향이 기체 전방측, 도 1에 부호 (B)로 나타내는 방향이 기체 후방측이다. 기체(1)의 좌우 방향을 정의할 때에는, 기체 진행 방향에서 본 상태에서 좌우를 정의한다.

[실시 형태 1]

도 1에 도시하는 바와 같이, 실시 형태 1에 관한 콤바인에서는, 좌우 한 쌍의 크롤러 주행 장치(10)를 구비한 기체(1)의 전방부에 횡축심 X 주위에서 승강 조작 가능하게 예취부(2)가 연결되어 있다. 기체(1)의 후방부에는, 기체 횡폭 방향으로 나열되는 상태로 탈곡 장치(11)와, 곡립을 저류하는 곡립 탱크(12)가 구비되어 있다. 기체(1)의 전방부 우측 개소에 탑승 운전부를 덮는 캐빈(14)이 구비되고, 이 캐빈(14)의 하방에 구동용 엔진(15)이 구비되어 있다.

도 1에 도시하는 바와 같이, 탈곡 장치(11)는, 예취부(2)에 의해 예취되어 후방으로 반송되어 오는 예취 곡간을 내부에 수납하여, 곡간의 밑동을 탈곡 피드 체인(111)과 끼움 지지 레일(112) 사이에 끼움 지지 반송하면서 이삭 끝측을 급동(113)에서 탈곡 처리한다. 그리고 급동(113)의 하방에 구비된 선별부에서 탈곡 처리물에 대한 곡립 선별 처리가 실행되고, 거기서 선별된 곡립이 곡립 탱크(12)로 반송되어, 저류된다. 또한, 상세하게는 설명하지 않지만, 곡립 탱크(12)에서 저류되는 곡립을 외부로 배출하는 곡립 배출 장치(13)가 구비되어 있다.

예취부(2)에는, 쓰러진 식립 곡간을 일으켜 세우는 복수의 기립 장치(21), 기립된 식립 곡간의 밑동을 절단하는 바리캉형 절단 장치(22), 곡간 반송 장치(23) 등이 구비되어 있다. 곡간 반송 장치(23)는, 밑동이 절단된 종방향 자세의 예취 곡간을 서서히 옆으로 쓰러지는 자세로 변경시키면서, 기체 후방측에 위치하는 탈곡 장치(11)의 탈곡 피드 체인(111)의 시단부를 향해 반송한다.

곡간 반송 장치(23)는, 절단 장치(22)에 의해 예취된 복수 조의 예취 곡간을 예취 폭 방향 중앙으로 모으면서 반송하는 합류 반송부(231), 모은 예취 곡간의 밑동을 끼움 지지하여 후방으로 반송하는 밑동 끼움 지지 반송 장치(232), 예취 곡간의 이삭 끝측을 걸어 반송하는 이삭 끝 걸림 반송 장치(233), 밑동 끼움 지지 반송 장치(232)의 종단부로부터 예취 곡간의 밑동을 탈곡 피드 체인(111)을 향해 안내하는 공급 반송 장치(234) 등을 구비하고 있다.

도 2에 도시하는 바와 같이, 밑동 끼움 지지 반송 장치(232)는, 예취부(2)의 지지 프레임에 횡축심 주위로 요동 가능하게 지지되어 있다. 밑동 끼움 지지 반송 장치(232)는 구동 조작 기구(235)에 의해 상하 요동 조작되고, 그 요동 조작에 수반하여, 반송 종단부가 공급 반송 장치(234)에 대해 곡간의 길이 방향으로 위치 변경하도록 마련되어 있다. 구동 조작 기구(235)는, 구동원으로서 탈곡 깊이 조절용 전동 모터(236)(이하, 탈곡 깊이 모터라고 함)를 갖는다. 구동 조작 기구(235)는, 탈곡 깊이 모터(236)에 의해 푸시풀 조작되는 조작 로드(237)를 구비하고 있다.

조작 로드(237)의 하단부가 밑동 끼움 지지 반송 장치(232)의 도중부에 피봇 연결되어 있다.

밑동 끼움 지지 반송 장치(232)의 반송 종단부가 공급 반송 장치(234)로부터 이격되면, 공급 반송 장치(234)에 의한 예취 곡간의 밑동 끼움 지지 위치가, 밑동 끼움 지지 반송 장치(232)에 의한 예취 곡간의 밑동 끼움 지지 위치에 대해 이삭 끝측으로 변경되어, 공급 반송 장치(234)에 전달된다. 그 결과, 예취 곡간 탈곡 장치(11)로 들어가는 깊이(탈곡 깊이)가 얕게(얕은 탈곡측) 변경된다.

밑동 끼움 지지 반송 장치(232)의 반송 종단부가 공급 반송 장치(234)에 근접하면, 공급 반송 장치(234)에 의한 예취 곡간의 밑동 끼움 지지 위치가, 밑동 끼움 지지 반송 장치(232)에 의한 예취 곡간의 밑동 끼움 지지 위치에 가까운 위치가 된 상태에서 공급 반송 장치(234)에 전달된다. 그 결과, 예취 곡간 탈곡 장치(11)에 대한 탈곡 깊이가 깊게(깊은 탈곡측) 변경된다.

이와 같이 밑동 끼움 지지 반송 장치(232)의 자세를 변경함으로써, 탈곡 장치(11)에 대한 예취 곡간의 탈곡 깊이를 변경할 수 있다. 즉, 밑동 끼움 지지 반송 장치(232)와 구동 조작 기구(235)에 의해, 탈곡 장치(11)에 대한 예취 곡간의 탈곡 깊이를 변경 가능한 탈곡 깊이 조정 기구(3)가 구성되어 있다.

도 3에 도시하는 바와 같이, 실시 형태 1에 관한 콤바인은, 곡간 반송 장치(23)에 의해 반송되는 예취 곡간의 줄기 길이를 검출하는 접촉식 줄기 길이 검출 장치(30)와, 탈곡 깊이 제어부(620)가 구비되어 있다. 탈곡 깊이 제어부(620)는, 줄기 길이 검출 장치(30)의 검출 결과에 기초하여, 탈곡 깊이를 조정하는 탈곡 깊이 조정 제어를 행한다. 이 실시 형태에서는, 탈곡 깊이 제어부(620)는, 탈곡 장치(11)에 대한 예취 곡간의 탈곡 깊이가 목표 설정 범위 내로 유지되도록 탈곡 깊이 모터(236)를 제어한다.

도 3에 도시하는 바와 같이, 줄기 길이 검출 장치(30)는, 하향으로 개방된 대략 바닥이 없는 상자 형상으로 형성된 장치 본체부로서의 본체 케이스(31)에 한 쌍의 요동식 센서 암(32, 33)이 구비되고, 그들 한 쌍의 센서 암(32, 33)이 예취 곡간의 이삭 끝측 개소에 접촉 작용하여 줄기 길이를 검지하는 구성으로 되어 있다. 한 쌍의 센서 암(32, 33)은, 반송되는 예취 곡간의 줄기 길이 방향으로 이격되는 상태에서, 상부측 개소가 본체 케이스(31)에 지지됨과 함께 하방측을 향해 매달린 상태로 마련되어 있다. 각 센서 암(32, 33)은, 본체 케이스(31)의 내부에 마련된 횡축심 주위에서 전후 방향(예취 곡간의 이동 방향에 상당)으로 요동 가능하게, 또한 하향의 기준 자세로 복귀 가압되는 상태에서 지지되어 있다.

한 쌍의 센서 암(32, 33) 각각의 상부의 기단측 개소에는, 반송되는 예취 곡간이 접촉함으로써 센서 암(32, 33)이 기준 자세로부터 설정량 이상 요동하면 온 상태가 되고, 센서 암(32, 33)의 기준 자세로부터의 요동량이 설정량 미만이면 오프 상태가 되는 검지 스위치(34, 35)가 구비되어 있다.

한 쌍의 검지 스위치(34, 35)의 출력이 탈곡 깊이 제어부(620)에 입력되고 있다. 탈곡 깊이 제어부(620)는, 이삭 끝측에 위치하는 검지 스위치(35)가 오프 상태이고, 또한 밑동측에 위치하는 검지 스위치(34)가 온 상태가 되도록, 탈곡 깊이 모터(236)의 작동을 제어한다.

즉, 탈곡 깊이 제어부(620)는, 한 쌍의 검지 스위치(34, 35)가 모두 온 상태이면, 밑동 끼움 지지 반송 장치(232)가 얕은 탈곡측으로 이동하도록 탈곡 깊이 모터(236)를 작동시킨다. 또한, 탈곡 깊이 제어부(620)는, 한 쌍의 검지 스위치(34, 35)가 모두 오프 상태이면, 밑동 끼움 지지 반송 장치(232)가 깊은 탈곡측으로 이동하도록 탈곡 깊이 모터(236)를 작동시킨다. 또한, 탈곡 깊이 제어부(620)는, 한 쌍의 검지 스위치(34, 35) 중 이삭 끝측에 위치하는 검지 스위치(35)가 오프 상태이고, 밑동측에 위치하는 검지 스위치(34)가 온 상태이면, 탈곡 깊이 모터(236)의 작동을 정지하여 그 상태를 유지한다.

도 1에 도시하는 바와 같이, 캐빈(14)의 천장부의 전단부에, 컬러 카메라를 구비한 촬영부(70)가 마련되어 있다. 촬영부(70)의 촬영 시야의 전후 방향의 넓이는, 예취부(2)의 전단부 영역으로부터 거의 지평선에 달하고 있다. 촬영 시야의 폭 방법의 넓이는, 10m 정도 내지 수십 m에 달하고 있다. 촬영부(70)에 의해 취득된 촬영 화상은, 화상 데이터화되어, 콤바인의 제어계로 보내진다.

촬영부(70)는, 수확 작업 시에 포장을 촬영한다. 콤바인의 제어계는, 촬영부(70)로부터 보내져 온 화상 데이터로부터 잡초 생육 영역을 인식 대상물로서 인식하는 기능을 갖는다. 도 1에서는, 정상적인 식립 곡간군이 부호 Z0으로 나타나 있고, 잡초 생육 영역이 부호 Z1로 나타나 있다.

또한, 캐빈(14)의 천장부에는, 위성 측위 모듈(80)도 마련되어 있다. 위성 측위 모듈(80)에는, GNSS(global navigation satellite system) 신호(GPS 신호를 포함함)를 수신하기 위한 위성용 안테나가 포함되어 있다. 위성 측위 모듈(80)에 의한 위성 항법을 보완하기 위해, 자이로 가속도 센서나 자기 방위 센서를 내장한 관성 항법 유닛이 위성 측위 모듈(80)에 내장되어 있다. 물론, 관성 항법 유닛은 다른 장소에 배치할 수 있다. 도 1에 있어서, 위성 측위 모듈(80)은, 도면 작성의 편의상, 캐빈(14)의 천장부에 있어서의 후방부에 배치되어 있지만, 예를 들어 절단 장치(22)의 좌우 중앙부의 바로 상방 위치에 가능한 한 근접하도록, 천장부의 전단부에 있어서의 기체 중앙측 근방의 위치에 배치되어 있으면 적합하다.

도 4에는, 콤바인의 기체(1)의 내부에 구축된 제어계의 기능 블록도가 도시되어 있다. 이 실시 형태의 제어계는, 다수의 ECU라고 불리는 전자 제어 유닛과, 각종 동작 기기, 센서군이나 스위치군, 그들 사이의 데이터 전송을 행하는 차량 탑재 LAN 등의 배선망으로 구성되어 있다. 통지 디바이스(91)는, 운전자 등에게 작업 주행 상태나 다양한 경고를 통지하기 위한 디바이스이며, 버저, 램프, 스피커, 디스플레이 등이다. 통신부(92)는, 이 콤바인의 제어계가, 원격지에 설치되어 있는 클라우드 컴퓨터 시스템(100)이나 휴대 통신 단말기(200)와의 사이에서 데이터 교환하기 위해 사용된다. 휴대 통신 단말기(200)는, 여기서는, 작업 주행 현장에 있어서의 감시자(운전자도 포함함)가 조작하는 태블릿 컴퓨터이다. 제어 유닛(6)은, 이 제어계의 핵심 요소이며, 복수의 ECU의 집합체로서 나타나 있다. 위성 측위 모듈(80)에 의해 취득된 측위 데이터 및 촬영부(70)에 의해 취득된 화상 데이터는, 배선망을 통해 제어 유닛(6)에 입력된다.

제어 유닛(6)은, 입출력 인터페이스로서, 출력 처리부(6B)와 입력 처리부(6A)를 구비하고 있다. 출력 처리부(6B)는, 차량 주행 기기군(7A) 및 작업 장치 기기군(7B)과 접속되어 있다. 차량 주행 기기군(7A)에는, 차량 주행에 관한 제어 기기, 예를 들어 엔진 제어 기기, 변속 제어 기기, 제동 제어 기기, 조타 제어 기기 등이 포함되어 있다. 작업 장치 기기군(7B)에는, 예취부(2), 탈곡 장치(11), 곡립 배출 장치(13), 곡간 반송 장치(23), 탈곡 깊이 조정 기구(3)에 있어서의 동력 제어 기기 등이 포함되어 있다.

입력 처리부(6A)에는, 주행계 검출 센서군(8A)이나 작업계 검출 센서군(8B) 등이 접속되어 있다. 주행계 검출 센서군(8A)에는, 엔진 회전수 조정구, 액셀러레이터 페달, 브레이크 페달, 변속 조작구 등의 상태를 검출하는 센서가 포함되어 있다. 작업계 검출 센서군(8B)에는, 예취부(2), 탈곡 장치(11), 곡립 배출 장치(13), 곡간 반송 장치(23)에 있어서의 장치 상태 및 곡간이나 곡립의 상태를 검출하는 센서가 포함되어 있다. 나아가, 작업계 검출 센서군(8B)에는, 상술한 탈곡 깊이 조정 기구(3)에 있어서의 검지 스위치(34, 35)도 포함되어 있다.

제어 유닛(6)에는, 화상 인식 모듈(5), 데이터 처리 모듈(50), 작업 주행 제어부인 작업 주행 제어 모듈(60), 기체 위치 산출부(66), 통지부(67), 잡초 위치 산출부(68)가 구비되어 있다.

통지부(67)는, 제어 유닛(6)의 각 기능부로부터 수신한 지령 등에 기초하여 통지 데이터를 생성하고, 통지 디바이스(91)에 부여한다. 기체 위치 산출부(66)는, 위성 측위 모듈(80)로부터 축차 보내져 오는 측위 데이터에 기초하여, 기체(1)의 지도 좌표(또는 포장 좌표)인 기체 위치를 산출한다. 이 실시 형태의 잡초 위치 산출부(68)는, 기체 위치 산출부(66)에서 산출된, 통상은 안테나 위치인 기체 위치와, 데이터 처리 모듈(50)에 의해 산출되는 잡초 생육 영역의 지도 상의 위치와, 곡간 반송 장치(23)의 반송 속도에 기초하여, 예취부(2)에 예취된 잡초가 탈곡 깊이 조정 기구(3)를 통과하는 타이밍을 결정한다.

이 실시 형태의 콤바인은 자동 주행(자동 조타)과 수동 주행(수동 조타)의 양쪽으로 주행 가능하다. 작업 주행 제어 모듈(60)에는, 주행 제어부(61)와 작업 제어부(62) 외에도, 자동 작업 주행 지령부(63) 및 주행 경로 설정부(64)가 구비되어 있다. 자동 조타로 주행하는 자동 주행 모드와, 수동 조타로 주행하는 수동 조타 모드 중 어느 것을 선택하는 주행 모드 스위치(도시하지 않음)가 캐빈(14) 내에 마련되어 있다. 이 주행 모드 스위치를 조작함으로써, 수동 조타 주행으로부터 자동 조타 주행으로의 이행, 혹은 자동 조타 주행으로부터 수동 조타 주행으로의 이행이 가능하다.

주행 제어부(61)는, 엔진 제어 기능, 조타 제어 기능, 차속 제어 기능 등을 갖고, 차량 주행 기기군(7A)에 주행 제어 신호를 부여한다. 작업 제어부(62)는, 예취부(2), 탈곡 장치(11), 곡립 배출 장치(13), 곡간 반송 장치(23) 등의 움직임을 제어하기 위해, 작업 장치 기기군(7B)에 작업 제어 신호를 부여한다. 또한, 작업 제어부(62)에는, 도 3을 사용하여 설명한 탈곡 깊이 제어부(620)가 포함되어 있다.

수동 조타 모드가 선택되어 있는 경우, 운전자에 의한 조작에 기초하여, 주행 제어부(61)가 제어 신호를 생성하고, 차량 주행 기기군(7A)을 제어한다. 자동 조타 모드가 선택되어 있는 경우, 자동 작업 주행 지령부(63)에 의해 부여되는 자동 주행 지령에 기초하여, 주행 제어부(61)는, 조타에 관한 차량 주행 기기군(7A)이나 차속에 관한 차량 주행 기기군(7A)을 제어한다.

주행 경로 설정부(64)는, 제어 유닛(6), 휴대 통신 단말기(200), 클라우드 컴퓨터 시스템(100) 등 중 어느 것에 의해 제작된 자동 주행을 위한 주행 경로를, 메모리에 전개한다. 메모리에 전개된 주행 경로는, 순차 자동 주행에 있어서의 목표 주행 경로로서 사용된다. 이 주행 경로는, 수동 주행이라도, 콤바인이 당해 주행 경로를 따라 주행하기 위한 가이던스를 위해 이용하는 것도 가능하다.

자동 작업 주행 지령부(63)는, 더 상세하게는, 자동 조타 지령 및 차속 지령을 생성하여, 주행 제어부(61)에 부여한다. 자동 조타 지령은, 주행 경로 설정부(64)에 의해 설정된 주행 경로와, 기체 위치 산출부(66)에 의해 산출된 자차 위치 사이의 방위 어긋남 및 위치 어긋남을 해소하도록 생성된다. 차속 지령은, 사전에 설정된 차속값에 기초하여 생성된다. 또한, 자동 작업 주행 지령부(63)는, 작업 제어부(62)에, 자차 위치나 자차의 주행 상태에 따라서, 작업 장치 동작 지령을 부여한다.

화상 인식 모듈(5)에는, 촬영부(70)에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력된다. 화상 인식 모듈(5)은, 이 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하고, 존재 영역 및 존재 영역이 추정되었을 때의 추정 확률을 포함하는 인식 출력 데이터를, 인식 결과로서 출력한다. 화상 인식 모듈(5)은, 심층 학습을 채용한 신경망 기술을 사용하여 구축되어 있다.

화상 인식 모듈(5)에 의한 인식 출력 데이터의 생성의 흐름이, 도 5 및 도 6에 나타나 있다. 화상 인식 모듈(5)에는, RGB 화상 데이터의 화소값이 입력값으로서 입력된다. 이 실시 형태에서는, 추정되는 인증 대상물은 잡초이다. 따라서, 인식 결과로서의 인식 출력 데이터에는, 직사각형으로 나타나 있는 잡초 생육 영역과, 그 잡초 생육 영역을 추정하였을 때의 추정 확률이 포함된다.

도 5에서는, 추정 결과는 모식화되어 있고, 잡초 생육 영역은 부호 F1이 부여된 직사각형의 프레임으로 나타나 있다. 잡초 생육 영역은, 각각 4개의 코너점으로 규정되지만, 그러한 각 직사각형의 4개의 코너점의 촬영 화상 상의 좌표 위치도 추정 결과에 포함되어 있다. 물론, 인증 대상물로서의 잡초가 추정되지 않으면, 잡초 생육 영역은 출력되지 않아, 그 추정 확률은 제로가 된다.

또한, 이 실시 형태에서는, 화상 인식 모듈(5)은, 촬영 화상에 있어서 인식 대상물(잡초)이 촬영부(70)로부터 멀리에 위치할수록, 당해 인식 대상물의 추정 확률은 저감되도록 내부 파라미터를 설정하고 있다. 이에 의해, 촬영부(70)로부터 멀리 떨어져 있기 때문에 분해능이 낮게 되어 있는 촬영 영역에 있어서의 인식 대상물의 인식을 엄격하게 하여, 오인식을 저감시키고 있다.

데이터 처리 모듈(50)은, 화상 인식 모듈(5)로부터 출력된 인식 출력 데이터를 처리한다. 도 4 및 도 6에 나타내는 바와 같이, 이 실시 형태의 데이터 처리 모듈(50)에는, 잡초 위치 정보 생성부(51)와 통계 처리부(52)가 포함되어 있다.

잡초 위치 정보 생성부(51)는, 촬영 화상이 취득된 시점의 기체 위치와 인식 출력 데이터로부터, 인식 대상물의 지도 상의 위치를 나타내는 잡초 위치 정보를 생성한다. 인식 출력 데이터에 포함되어 있는 잡초가 존재하는 지도 상의 위치는, 잡초를 나타내는 직사각형의 4개의 코너점의 촬영 화상 상의 좌표 위치(카메라 좌표 위치)를 지도 상의 좌표로 변환함으로써 얻어진다.

촬영부(70)는, 소정 시간 간격, 예를 들어 0.5초 간격으로 촬영 화상을 취득하고, 그 화상 데이터를 화상 인식 모듈(5)에 입력하므로, 화상 인식 모듈(5)도, 동일한 시간 간격으로, 인식 출력 데이터를 출력한다. 따라서, 촬영부(70)의 촬영 시야에 잡초가 들어 있었던 경우에는, 복수의 인식 출력 데이터가 동일한 잡초에 대한 존재 영역을 포함하게 된다. 그 결과, 동일한 잡초에 대한 복수의 잡초 위치 정보가 얻어진다. 그 때, 각 원 데이터인 인식 출력 데이터에 포함되어 있는 추정 확률, 즉 잡초 위치 정보에 포함되는 잡초의 존재 영역(잡초 생육 영역)의 추정 확률은, 촬영부(70)와 잡초 사이의 위치 관계가 상위하다는 점에서, 상위한 값이 되는 경우가 많다.

따라서, 이 실시 형태에서는, 그러한 복수의 잡초 위치 정보가 기억되고, 기억된 복수의 잡초 위치 정보의 각각에 포함되는 추정 확률이 통계적 연산된다. 복수의 인식 대상물 위치 정보의 추정 확률에 대한 통계적인 연산을 사용하여, 추정 확률군의 대표값이 구해진다. 그 대표값을 사용하여, 복수의 인식 대상물 위치 정보를, 하나의 최적 인식 대상물 위치 정보로 보정할 수 있다. 그러한 보정의 일례는, 각 추정 확률의 산술 평균값 또는 가중 평균값 혹은 중간값을 기준값(대표값)으로서 구하여, 그 기준값 이상의 추정 확률을 갖는 존재 영역(잡초 생육 영역)의 논리합을 구하고, 그것을 최적 존재 영역으로 하는 보정 잡초 위치 정보를 생성하는 것이다. 물론, 이 이외의 통계적 연산을 사용하여 신뢰성이 높은 하나의 잡초 위치 정보를 생성하는 것도 가능하다.

도 6에 도시하는 바와 같이, 이와 같이 하여 구해진 잡초 생육 영역의 지도 상의 위치를 나타내는 잡초 위치 정보는, 잡초 위치 산출부(68)에 부여된다. 잡초 위치 산출부(68)에는, 기체 위치 산출부(66)에서 산출된 기체 위치의 지도 좌표인 기체 위치도 부여된다. 잡초 위치 산출부(68)는, 잡초 위치 정보와, 기체 위치와, 곡간 반송 장치(23)의 반송 속도에 기초하여, 예취부(2)에 예취된 잡초가 탈곡 깊이 조정 기구(3)를 통과하는 통과 타이밍을 결정한다. 잡초가 탈곡 깊이 조정 기구(3)를 통과하고 있는 동안, 잡초 위치 산출부(68)는 잡초 진입 플래그를 탈곡 깊이 제어부(620)에 부여한다.

탈곡 깊이 제어부(620)는, 표준 제어 모드와 잡초 진입 제어 모드를 갖고 있고, 통상은, 표준 제어 모드가 선택되어 있고, 작업 주행 동안, 상술한 탈곡 깊이 제어가 실행된다.

단, 잡초 위치 산출부(68)로부터 잡초 진입 플래그가 부여되면, 표준 제어 모드로부터 잡초 진입 제어 모드로 전환되어, 잡초 진입 제어가 실행된다. 이 실시 형태에서는, 잡초 진입 제어가 실행되면, 탈곡 깊이 제어가 중단됨과 함께, 차속도 저감된다. 물론, 잡초 진입 제어에 있어서, 탈곡 깊이 제어의 중단 또는 차속의 저감 중 어느 한쪽만이 행해지는 구성을 채용해도 된다.

또한, 잡초 위치 정보 생성부(51)에서 생성된 잡초 위치 정보는, 시각적으로 이해하기 쉬운 표시를 위해, 도 7에 나타내는 바와 같은 맵화가 가능하다. 도 7에서는, 잡초 위치 정보를 맵화한 잡초 맵이 예시되어 있다. 잡초 위치 정보에 있어서 추정 확률이 상이한 잡초 생육 영역이 포함되어 있는 경우, 도 7에 나타내는 바와 같이, 추정 확률값의 소정 범위에서 패턴 분할된 형태로 잡초 생육 영역을 표시하는 것도 가능하다.

[실시 형태 2]

도 8에 도시하는 바와 같이, 콤바인에서는, 좌우 한 쌍의 크롤러 주행 장치(2010)를 구비한 기체(2001)의 전방부에 횡축심 X 주위에서 승강 조작 가능하게 예취부(2002)가 연결되어 있다. 기체(2001)의 후방부에는, 기체 횡폭 방향으로 나열되는 상태로 탈곡 장치(2011)와, 곡립을 저류하는 곡립 탱크(2012)가 구비되어 있다. 기체(2001)의 전방부 우측 개소에 탑승 운전부를 덮는 캐빈(2014)이 구비되고, 이 캐빈(2014)의 하방에 구동용 엔진(2015)이 구비되어 있다.

도 8에 도시하는 바와 같이, 탈곡 장치(2011)는, 예취부(2002)에 의해 예취되어 후방으로 반송되어 오는 예취 곡간을 내부에 수납하여, 곡간의 밑동을 탈곡 피드 체인(2111)과 끼움 지지 레일(2112) 사이에 끼움 지지하여 반송하면서 이삭 끝측을 급동(2113)에서 탈곡 처리한다. 그리고 급동(2113)의 하방에 구비된 선별부에서 탈곡 처리물에 대한 곡립 선별 처리가 실행되고, 거기서 선별된 곡립이 곡립 탱크(2012)로 반송되어, 저류된다. 또한, 상세하게는 설명하지 않지만, 곡립 탱크(2012)에서 저류되는 곡립을 외부로 배출하는 곡립 배출 장치(2013)가 구비되어 있다.

예취부(2002)에는, 쓰러진 식립 곡간을 일으켜 세우는 복수의 기립 장치(2021), 기립된 식립 곡간의 밑동을 절단하는 바리캉형 절단 장치(2022), 곡간 반송 장치(2023) 등이 구비되어 있다. 곡간 반송 장치(2023)는, 밑동이 절단된 종방향 자세의 예취 곡간을 서서히 옆으로 쓰러지는 자세로 변경시키면서, 기체 후방측에 위치하는 탈곡 장치(2011)의 탈곡 피드 체인(2111)의 시단부를 향해 반송한다.

곡간 반송 장치(2023)는, 절단 장치(2022)에 의해 예취된 복수 조의 예취 곡간을 예취 폭 방향 중앙으로 모으면서 반송하는 합류 반송부(2231), 모은 예취 곡간의 밑동을 끼움 지지하여 후방으로 반송하는 밑동 끼움 지지 반송 장치(2232), 예취 곡간의 이삭 끝측을 걸어 반송하는 이삭 끝 걸림 반송 장치(2233), 밑동 끼움 지지 반송 장치(2232)의 종단부로부터 예취 곡간의 밑동을 탈곡 피드 체인(2111)을 향해 안내하는 공급 반송 장치(2234) 등을 구비하고 있다.

캐빈(2014)의 천장부의 전단부에, 컬러 카메라를 구비한 촬영부(2070)가 마련되어 있다.

이 실시 형태에서는, 촬영부(2070)의 촬영 시야의 전후 방향의 넓이는, 예취부(2002)의 전단부 영역으로부터 거의 지평선에 달하고 있다. 촬영 시야의 폭 방법의 넓이는, 10m 정도 내지 수십 m에 달하고 있다. 촬영부(2070)에 의해 취득된 촬영 화상은, 화상 데이터화되어, 콤바인의 제어계로 보내진다.

촬영부(2070)는, 수확 작업 시에 포장을 촬영하지만, 포장에는 다양한 물체가 촬영 대상으로서 존재하고 있다. 콤바인의 제어계는, 촬영부(2070)로부터 보내져 온 화상 데이터로부터 특정 물체를 인식 대상물로서 인식하는 기능을 갖는다. 그러한 인식 대상물로서, 도 8에서는, 부호 Z0으로 나타나 있는 정상적인 식립 곡간군, 부호 Z1로 나타나 있는 식립 곡간보다 높게 자란 잡초군, 부호 Z2로 나타나 있는 쓰러진 곡간군, 부호 Z3으로 나타나 있는 인물이 모식적으로 도시되어 있다.

캐빈(2014)의 천장부에는, 위성 측위 모듈(2080)도 마련되어 있다. 위성 측위 모듈(2080)에는, GNSS(global navigation satellite system) 신호(GPS 신호를 포함함)를 수신하기 위한 위성용 안테나가 포함되어 있다. 위성 측위 모듈(2080)에 의한 위성 항법을 보완하기 위해, 자이로 가속도 센서나 자기 방위 센서를 내장한 관성 항법 유닛이 위성 측위 모듈(2080)에 내장되어 있다. 물론, 관성 항법 유닛은 다른 장소에 배치할 수 있다. 도 8에 있어서, 위성 측위 모듈(2080)은, 도면 작성의 편의상, 캐빈(2014)의 천장부에 있어서의 후방부에 배치되어 있지만, 예를 들어 절단 장치(2022)의 좌우 중앙부의 바로 상방 위치에 가능한 한 근접하도록, 천장부의 전단부에 있어서의 기체 중앙측 근방의 위치에 배치되어 있으면 적합하다.

도 9에는, 콤바인의 제어계의 기능 블록도가 도시되어 있다. 이 실시 형태의 제어계는, 다수의 ECU라고 불리는 전자 제어 유닛과, 각종 동작 기기, 센서군이나 스위치군, 그들 사이의 데이터 전송을 행하는 차량 탑재 LAN 등의 배선망으로 구성되어 있다. 통지 디바이스(2091)는, 운전자 등에게 작업 주행 상태나 다양한 경고를 통지하기 위한 디바이스이며, 버저, 램프, 스피커, 디스플레이 등이다. 통신부(2092)는, 이 콤바인의 제어계가, 원격지에 설치되어 있는 클라우드 컴퓨터 시스템(2100)이나 휴대 통신 단말기(2200)와의 사이에서 데이터 교환하기 위해 사용된다. 휴대 통신 단말기(2200)는, 여기서는, 작업 주행 현장에 있어서의 감시자(운전자도 포함함)가 조작하는 태블릿 컴퓨터이다.

제어 유닛(2006)은, 이 제어계의 핵심 요소이며, 복수의 ECU의 집합체로서 나타나 있다. 위성 측위 모듈(2080)로부터의 측위 데이터 및 촬영부(2070)로부터의 화상 데이터는, 배선망을 통해 제어 유닛(2006)에 입력된다.

제어 유닛(2006)은, 입출력 인터페이스로서, 출력 처리부(2006B)와 입력 처리부(2006A)를 구비하고 있다. 출력 처리부(2006B)는, 차량 주행 기기군(2007A) 및 작업 장치 기기군(2007B)과 접속되어 있다. 차량 주행 기기군(2007A)에는, 차량 주행에 관한 제어 기기, 예를 들어 엔진 제어 기기, 변속 제어 기기, 제동 제어 기기, 조타 제어 기기 등이 포함되어 있다. 작업 장치 기기군(2007B)에는, 예취부(2002), 탈곡 장치(2011), 곡립 배출 장치(2013), 곡간 반송 장치(2023)에 있어서의 동력 제어 기기 등이 포함되어 있다.

입력 처리부(2006A)에는, 주행계 검출 센서군(2008A)이나 예취부(2008B) 등이 접속되어 있다. 주행계 검출 센서군(2008A)에는, 엔진 회전수 조정구, 액셀러레이터 페달, 브레이크 페달, 변속 조작구 등의 상태를 검출하는 센서가 포함되어 있다. 예취부(2008B)에는, 예취부(2002), 탈곡 장치(2011), 곡립 배출 장치(2013), 곡간 반송 장치(2023)에 있어서의 장치 상태 및 곡간이나 곡립의 상태를 검출하는 센서가 포함되어 있다.

제어 유닛(2006)에는, 작업 주행 제어 모듈(2060), 화상 인식 모듈(2005), 데이터 처리 모듈(2050), 기체 위치 산출부(2066), 통지부(2067)가 구비되어 있다.

통지부(2067)는, 제어 유닛(2006)의 각 기능부로부터 수신한 지령 등에 기초하여 통지 데이터를 생성하고, 통지 디바이스(2091)에 부여한다. 기체 위치 산출부(2066)는, 위성 측위 모듈(2080)로부터 축차 보내져 오는 측위 데이터에 기초하여, 기체(2001)의 지도 좌표(또는 포장 좌표)인 기체 위치를 산출한다.

이 실시 형태의 콤바인은 자동 주행(자동 조타)과 수동 주행(수동 조타)의 양쪽으로 주행 가능하다. 작업 주행 제어 모듈(2060)에는, 주행 제어부(2061)와 작업 제어부(2062) 외에도, 자동 작업 주행 지령부(2063) 및 주행 경로 설정부(2064)가 구비되어 있다. 자동 조타로 주행하는 자동 주행 모드와, 수동 조타로 주행하는 수동 조타 모드 중 어느 것을 선택하는 주행 모드 스위치(도시하지 않음)가 캐빈(2014) 내에 마련되어 있다. 이 주행 모드 스위치를 조작함으로써, 수동 조타 주행으로부터 자동 조타 주행으로의 이행, 혹은 자동 조타 주행으로부터 수동 조타 주행으로의 이행이 가능하다.

주행 제어부(2061)는, 엔진 제어 기능, 조타 제어 기능, 차속 제어 기능 등을 갖고, 차량 주행 기기군(2007A)에 주행 제어 신호를 부여한다. 작업 제어부(2062)는, 예취부(2002), 탈곡 장치(2011), 곡립 배출 장치(2013), 곡간 반송 장치(2023) 등의 움직임을 제어하기 위해, 작업 장치 기기군(2007B)에 작업 제어 신호를 부여한다.

수동 조타 모드가 선택되어 있는 경우, 운전자에 의한 조작에 기초하여, 주행 제어부(2061)가 제어 신호를 생성하고, 차량 주행 기기군(2007A)을 제어한다. 자동 조타 모드가 선택되어 있는 경우, 자동 작업 주행 지령부(2063)에 의해 부여되는 자동 주행 지령에 기초하여, 주행 제어부(2061)는, 조타에 관한 차량 주행 기기군(2007A)이나 차속에 관한 차량 주행 기기군(2007A)을 제어한다.

주행 경로 설정부(2064)는, 제어 유닛(2006), 휴대 통신 단말기(2200), 클라우드 컴퓨터 시스템(2100) 등 중 어느 것에 의해 제작된 자동 주행을 위한 주행 경로를, 메모리에 전개한다. 메모리에 전개된 주행 경로는, 순차 자동 주행에 있어서의 목표 주행 경로로서 사용된다. 이 주행 경로는, 수동 주행이라도, 콤바인이 당해 주행 경로를 따라 주행하기 위한 가이던스를 위해 이용하는 것도 가능하다.

자동 작업 주행 지령부(2063)는, 더 상세하게는, 자동 조타 지령 및 차속 지령을 생성하여, 주행 제어부(2061)에 부여한다. 자동 조타 지령은, 주행 경로 설정부(2064)에 의해 설정된 주행 경로와, 기체 위치 산출부(2066)에 의해 산출된 자차 위치 사이의 방위 어긋남 및 위치 어긋남을 해소하도록 생성된다. 차속 지령은, 사전에 설정된 차속값에 기초하여 생성된다. 또한, 자동 작업 주행 지령부(2063)는, 작업 제어부(2062)에, 자차 위치나 자차의 주행 상태에 따라서, 작업 장치 동작 지령을 부여한다.

화상 인식 모듈(2005)에는, 촬영부(2070)에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력된다. 화상 인식 모듈(2005)은, 이 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하고, 존재 영역 및 존재 영역이 추정되었을 때의 추정 확률을 포함하는 인식 출력 데이터를, 인식 결과로서 출력한다. 화상 인식 모듈(2005)은 심층 학습을 채용한 신경망 기술을 사용하여 구축되어 있다.

화상 인식 모듈(2005)에 의한 인식 출력 데이터의 생성의 흐름이, 도 10 및 도 11에 나타나 있다. 화상 인식 모듈(2005)에는, RGB 화상 데이터의 화소값이 입력값으로서 입력된다. 도 10의 도시예에서는, 추정되는 인증 대상물은, 잡초와 쓰러진 곡간과 인물이다. 따라서, 인식 결과로서의 인식 출력 데이터에는, 잡초의 존재 영역(이하, 잡초 영역이라고 칭함)과 그 추정 확률, 쓰러진 곡간의 존재 영역(이하, 쓰러진 곡간 영역이라고 칭함)과 그 추정 확률, 인물의 존재 영역(이하, 인물 영역이라고 칭함)과 그 추정 확률이 포함된다.

도 10에서는, 추정 결과는 모식화되어 있고, 잡초 영역은 부호 F1이 부여된 직사각형의 프레임으로 나타나 있고, 쓰러진 곡간 영역은 부호 F2가 부여된 직사각형의 프레임으로 나타나 있고, 인물 영역은 부호 F3이 부여된 직사각형의 프레임으로 나타나 있다. 각각의 영역에는, 그 추정 확률이 링크된다. 잡초 영역, 쓰러진 곡간 영역, 인물 영역은, 각각 4개의 코너점으로 규정되지만, 그러한 각 직사각형의 4개의 코너점의 촬영 화상 상의 좌표 위치도 추정 결과에 포함되어 있다. 물론, 인증 대상물이 추정되지 않으면, 인증 대상물의 존재 영역은 출력되지 않아, 그 추정 확률은 제로가 된다.

또한, 이 실시 형태에서는, 화상 인식 모듈(2005)은, 촬영 화상에 있어서 인식 대상물이 촬영부(2070)로부터 멀리에 위치할수록, 당해 인식 대상물의 추정 확률은 저감되도록 내부 파라미터를 설정하고 있다. 이에 의해, 촬영부(2070)로부터 멀리 떨어져 있기 때문에 분해능이 낮게 되어 있는 촬영 영역에 있어서의 인식 대상물의 인식을 엄격하게 하여, 오인식을 저감시키고 있다.

데이터 처리 모듈(2050)은, 화상 인식 모듈(2005)로부터 출력된 인식 출력 데이터를 처리한다. 도 9 및 도 11에 나타내는 바와 같이, 이 실시 형태의 데이터 처리 모듈(2050)에는, 인식 대상물 위치 정보 생성부(2051), 통계 처리부(2052), 데이터 기억부(2053), 데이터 판정부(2054), 데이터 보정부(2055)가 포함되어 있다.

인식 대상물 위치 정보 생성부(2051)는, 촬영 화상이 취득된 시점의 기체 위치와 인식 출력 데이터로부터, 인식 대상물의 지도 상의 위치를 나타내는 인식 대상물 위치 정보를 생성한다. 인식 출력 데이터에 포함되어 있는 인식 대상물(잡초, 쓰러진 곡간, 인물)이 존재하는 지도 상의 위치는, 인증 대상물의 존재 영역(잡초 영역, 쓰러진 곡간 영역, 인물 영역)을 나타내는 직사각형의 4개의 코너점의 촬영 화상 상의 좌표 위치(카메라 좌표 위치)를 지도 상의 좌표로 변환함으로써 얻어진다.

촬영부(2070)는, 소정 시간 간격, 예를 들어 0.5초 간격으로 촬영 화상을 취득하고, 그 화상 데이터를 화상 인식 모듈(2005)에 입력하므로, 화상 인식 모듈(2005)도, 동일한 시간 간격으로, 인식 출력 데이터를 출력한다. 따라서, 촬영부(2070)의 촬영 시야에 인식 대상물이 들어 있었던 경우에는, 복수의 인식 출력 데이터가 동일한 인식 대상물에 대한 존재 영역을 포함하게 된다. 그 결과, 동일한 인식 대상물에 대한 복수의 인식 대상물 위치 정보가 얻어진다. 그 때, 각 원 데이터인 인식 출력 데이터에 포함되어 있는 추정 확률, 즉 인식 대상물 위치 정보에 포함되는 인식 대상물의 존재 영역의 추정 확률은, 촬영부(2070)와 인식 대상물 사이의 위치 관계가 상위하다는 점에서, 상위한 값이 되는 경우가 많다.

따라서, 이 실시 형태에서는, 그러한 복수의 인식 대상물 위치 정보가 기억되고, 기억된 복수의 인식 대상물 위치 정보의 각각에 포함되는 추정 확률이 통계적 연산된다.

통계 처리부(2052)는, 복수의 인식 대상물 위치 정보의 추정 확률에 대한 통계적인 연산을 사용하여, 추정 확률군의 대표값을 구한다. 그 대표값을 사용하여, 복수의 인식 대상물 위치 정보를, 하나의 최적 인식 대상물 위치 정보(인식 대상물 보정 위치 정보)로 보정할 수 있다. 그러한 보정의 일례는, 각 추정 확률의 산술 평균값 또는 가중 평균값 혹은 중간값을 기준값(대표값)으로서 구하고, 그 기준값 이상의 추정 확률을 갖는 존재 영역의 논리합을 구하여, 그것을 최적 존재 영역으로 하는 보정 인식 대상물 위치 정보를 생성하는 것이다. 물론, 이 이외의 통계적 연산을 사용하여 신뢰성이 높은 하나의 인식 대상물 위치 정보를 생성하는 것도 가능하다. 즉, 복수의 인식 대상물 위치 정보가, 당해 인식 대상물 위치 정보에 대응하는 인식 출력 데이터에 포함되어 있는 추정 확률의 통계적 연산의 결과에 기초하여 보정되는 것이다.

이와 같이 하여 구해진 인증 대상물의 존재 영역(잡초 영역, 쓰러진 곡간 영역, 인물 영역)의 지도 상의 위치를 나타내는 인식 대상물 위치 정보(잡초 위치 정보, 쓰러진 곡간 위치 정보, 인물 위치 정보)를 사용함으로써 잡초, 쓰러진 곡간, 인물의 인식 시에 있어서, 각각 미리 설정된 주행 작업 제어나 경고 통지가 행해진다.

상술한 바와 같이, 본 발명에서는, 화상 인식 모듈(2005)로부터 출력되는 추정 확률은, 최종적인 인식 대상물 위치 정보의 생성에 있어서 중요하다. 이 때문에, 이 실시 형태에서는, 화상 인식 모듈(2005)로부터 출력된 인식 출력 데이터의 추정 확률의 신뢰성을 조사하여, 신뢰할 수 없는 추정 확률을 갖는 인식 출력 데이터를 부적당 인식 출력 데이터라고 판정하는 인식 출력 데이터 평가 기능이, 데이터 처리 모듈(2050)에 구비되어 있다.

인식 출력 데이터 평가 기능은, 도 9 및 도 11에 도시하는 바와 같이, 데이터 기억부(2053)와, 데이터 판정부(2054)와, 데이터 보정부(2055)에 의해 실현한다. 데이터 기억부(2053)는, 화상 인식 모듈(2005)로부터 축차 출력된 인식 출력 데이터를 인식 출력 데이터 열로서 일시적 또한 경시적으로 기억한다. 데이터 판정부(2054)는, 인식 출력 데이터 열에 있어서, 판정 대상이 되는 인식 출력 데이터의 추정 확률과, 당해 인식 출력 데이터에 대해 계시적으로 전후 관계가 되는 인식 출력 데이터의 추정 확률과 비교하여, 소정 레벨 이상으로 낮은 추정 확률을 갖는 인식 출력 데이터를 부적당 인식 출력 데이터로서 판정한다.

인식 출력 데이터의 생성에 사용하는 촬영 화상은, 콤바인의 작업 주행 중에 촬영되므로, 콤바인의 돌발적인 움직임 등에 의해, 촬영 화상이 불선명해지는 경우가 있다. 또한, 콤바인은, 두렁 근방에서 방향 전환하므로, 촬영 방향이 급격하게 변경되는 경우도 있다. 그것에 수반하여, 동일한 인식 대상물에 대해 순광에 의한 촬영과 역광에 의한 촬영이 섞이는 경우도 있다. 이러한 촬영 조건 등의 변동에 의해, 예측할 수 없게 낮은 추정 확률을 갖는 인식 출력 데이터가 발생할 수 있지만, 그러한 인식 출력 데이터인 부적당 인식 출력 데이터의 추출은, 상술한 인식 출력 데이터 평가 기능에 의해, 가능하다.

인식 출력 데이터의 수가 적은 경우에는, 부적당 인식 출력 데이터라고 판정된 인식 출력 데이터의 추정 확률을, 그 전후의 인식 출력 데이터의 추정 확률로 보간 보정하면 된다. 이에 의해, 당해 부적당 인식 출력 데이터는 적절하게 보정되게 되어, 이용 가능해져, 데이터 수가 확보된다고 하는 이점이 얻어진다. 데이터 보정부(2055)는, 그러한 보간 보정을 행한다. 물론, 부적당 인식 출력 데이터라고 판정된 인식 출력 데이터를 파기하는 경우에는, 보간 보정이 불필요해지므로, 데이터 보정부(2055)는 생략된다.

또한, 인식 대상물 위치 정보 생성부(2051)에서 생성된 각 인식 대상물 위치 정보는, 시각적으로 이해하기 쉬운 표시를 위해, 도 12에 나타내는 바와 같은 맵화가 가능하다. 도 12에서는, 잡초 위치 정보를 맵화한 잡초 맵이 예시되어 있다. 잡초 위치 정보에 있어서 추정 확률이 상이한 잡초 존재 영역이 포함되어 있는 경우, 도 12에 나타내는 바와 같이, 추정 확률값의 소정 범위에서 패턴 분할된 형태로 잡초 존재 영역을 표시하는 것도 가능하다.

[실시 형태 3]

도 13에 도시하는 바와 같이, 실시 형태 3에 관한 콤바인에서는, 좌우 한 쌍의 크롤러 주행 장치(3010)를 구비한 기체(3001)의 전방부에 횡축심 X 주위에서 승강 조작 가능하게 예취부(3002)가 연결되어 있다. 기체(3001)의 후방부에는, 기체 횡폭 방향으로 나열되는 상태로 탈곡 장치(3011)와, 곡립을 저류하는 곡립 탱크(3012)가 구비되어 있다. 기체(3001)의 전방부 우측 개소에 탑승 운전부를 덮는 캐빈(3014)이 구비되고, 이 캐빈(3014)의 하방에 구동용 엔진(3015)이 구비되어 있다.

도 13에 도시하는 바와 같이, 탈곡 장치(3011)는, 예취부(3002)에 의해 예취되어 후방으로 반송되어 오는 예취 곡간을 내부에 수납하여, 곡간의 밑동을 탈곡 피드 체인(3111)과 끼움 지지 레일(3112) 사이에 끼움 지지하여 반송하면서 이삭 끝측을 급동(3113)에서 탈곡 처리한다. 그리고 급동(3113)의 하방에 구비된 선별부에서 탈곡 처리물에 대한 곡립 선별 처리가 실행되고, 거기서 선별된 곡립이 곡립 탱크(3012)로 반송되어, 저류된다. 또한, 상세하게는 설명하지 않지만, 곡립 탱크(3012)에서 저류되는 곡립을 외부로 배출하는 곡립 배출 장치(3013)가 구비되어 있다.

예취부(3002)에는, 쓰러진 식립 곡간을 일으켜 세우는 복수의 기립 장치(3021), 기립된 식립 곡간의 밑동을 절단하는 바리캉형 절단 장치(3022), 곡간 반송 장치(3023) 등이 구비되어 있다. 곡간 반송 장치(3023)는, 밑동이 절단된 종방향 자세의 예취 곡간을 서서히 옆으로 쓰러지는 자세로 변경시키면서, 기체 후방측에 위치하는 탈곡 장치(3011)의 탈곡 피드 체인(3111)의 시단부를 향해 반송한다.

곡간 반송 장치(3023)는, 절단 장치(3022)에 의해 예취된 복수 조의 예취 곡간을 예취 폭 방향 중앙으로 모으면서 반송하는 합류 반송부(3231), 모은 예취 곡간의 밑동을 끼움 지지하여 후방으로 반송하는 밑동 끼움 지지 반송 장치(3232), 예취 곡간의 이삭 끝측을 걸어 반송하는 이삭 끝 걸림 반송 장치(3233), 밑동 끼움 지지 반송 장치(3232)의 종단부로부터 예취 곡간의 밑동을 탈곡 피드 체인(3111)을 향해 안내하는 공급 반송 장치(3234) 등을 구비하고 있다.

캐빈(3014)의 천장부의 전단부에, 컬러 카메라를 구비한 촬영부(3070)가 마련되어 있다.

이 실시 형태에서는, 촬영부(3070)의 촬영 시야의 전후 방향의 넓이는, 예취부(3002)의 전단부 영역으로부터 거의 지평선에 달하고 있다. 촬영 시야의 폭 방법의 넓이는, 10m 정도 내지 수십 m에 달하고 있다. 촬영부(3070)에 의해 계시적으로 축차 취득된 촬영 화상은, 화상 데이터화되어, 콤바인의 제어계로 보내진다.

촬영부(3070)는, 수확 작업 시에 포장을 촬영하지만, 포장에는 다양한 물체가 촬영 대상으로서 존재하고 있다. 콤바인의 제어계는, 촬영부(3070)로부터 보내져 온 화상 데이터로부터 특정 물체를 인식 대상물로서 인식하는 기능을 갖는다. 그러한 인식 대상물로서, 도 13에서는, 부호 Z0으로 나타나 있는 정상적인 식립 곡간군, 부호 Z1로 나타나 있는 식립 곡간보다 높게 자란 잡초군, 부호 Z2로 나타나 있는 쓰러진 곡간군, 부호 Z3으로 나타나 있는 인물이 모식적으로 도시되어 있다.

캐빈(3014)의 천장부에는, 위성 측위 모듈(3080)도 마련되어 있다. 위성 측위 모듈(3080)에는, GNSS(global navigation satellite system) 신호(GPS 신호를 포함함)를 수신하기 위한 위성용 안테나가 포함되어 있다. 위성 측위 모듈(3080)에 의한 위성 항법을 보완하기 위해, 자이로 가속도 센서나 자기 방위 센서를 내장한 관성 항법 유닛이 위성 측위 모듈(3080)에 내장되어 있다. 물론, 관성 항법 유닛은 다른 장소에 배치할 수 있다. 도 13에 있어서, 위성 측위 모듈(3080)은, 도면 작성의 편의상, 캐빈(3014)의 천장부에 있어서의 후방부에 배치되어 있지만, 예를 들어 절단 장치(3022)의 좌우 중앙부의 바로 상방 위치에 가능한 한 근접하도록, 천장부의 전단부에 있어서의 기체 중앙측 근방의 위치에 배치되어 있으면 적합하다.

도 14에는, 콤바인의 제어계의 기능 블록도가 도시되어 있다. 이 실시 형태의 제어계는, 다수의 ECU라고 불리는 전자 제어 유닛과, 각종 동작 기기, 센서군이나 스위치군, 그들 사이의 데이터 전송을 행하는 차량 탑재 LAN 등의 배선망으로 구성되어 있다. 통지 디바이스(3091)는, 운전자 등에게 작업 주행 상태나 다양한 경고를 통지하기 위한 디바이스이며, 버저, 램프, 스피커, 디스플레이 등이다. 통신부(3092)는, 이 콤바인의 제어계가, 원격지에 설치되어 있는 클라우드 컴퓨터 시스템(3100)이나 휴대 통신 단말기(3200)와의 사이에서 데이터 교환하기 위해 사용된다. 휴대 통신 단말기(3200)는, 여기서는, 작업 주행 현장에 있어서의 감시자(운전자도 포함함)가 조작하는 태블릿 컴퓨터이다.

제어 유닛(3006)은, 이 제어계의 핵심 요소이며, 복수의 ECU의 집합체로서 나타나 있다. 위성 측위 모듈(3080)로부터의 측위 데이터, 및 촬영부(3070)로부터의 화상 데이터는, 배선망을 통해 제어 유닛(3006)에 입력된다.

제어 유닛(3006)은, 입출력 인터페이스로서, 출력 처리부(3006B)와 입력 처리부(3006A)를 구비하고 있다. 출력 처리부(3006B)는, 차량 주행 기기군(3007A) 및 작업 장치 기기군(3007B)과 접속되어 있다. 차량 주행 기기군(3007A)에는, 차량 주행에 관한 제어 기기, 예를 들어 엔진 제어 기기, 변속 제어 기기, 제동 제어 기기, 조타 제어 기기 등이 포함되어 있다. 작업 장치 기기군(3007B)에는, 예취부(3002), 탈곡 장치(3011), 곡립 배출 장치(3013), 곡간 반송 장치(3023)에 있어서의 동력 제어 기기 등이 포함되어 있다.

입력 처리부(3006A)에는, 주행계 검출 센서군(3008A)이나 작업계 검출 센서군(3008B) 등이 접속되어 있다. 주행계 검출 센서군(3008A)에는, 엔진 회전수 조정구, 액셀러레이터 페달, 브레이크 페달, 변속 조작구 등의 상태를 검출하는 센서가 포함되어 있다. 작업계 검출 센서군(3008B)에는, 예취부(3002), 탈곡 장치(3011), 곡립 배출 장치(3013), 곡간 반송 장치(3023)에 있어서의 장치 상태 및 곡간이나 곡립의 상태를 검출하는 센서가 포함되어 있다.

제어 유닛(3006)에는, 작업 주행 제어 모듈(3060), 화상 인식 모듈(3005), 데이터 처리 모듈(3050), 기체 위치 산출부(3066), 통지부(3067), 주행 궤적 산출부(3068)가 구비되어 있다.

통지부(3067)는, 제어 유닛(3006)의 각 기능부로부터 수신한 지령 등에 기초하여 통지 데이터를 생성하고, 통지 디바이스(3091)에 부여한다. 기체 위치 산출부(3066)는, 위성 측위 모듈(3080)로부터 축차 보내져 오는 측위 데이터에 기초하여, 기체(3001)의 지도 좌표(또는 포장 좌표)인 기체 위치를 산출한다. 주행 궤적 산출부(3068)는, 기체 위치 산출부(3066)에 의해 산출된 계시적인 기체 위치로부터 기체(3001)의 주행 궤적을 산출한다. 또한, 주행 궤적 산출부(3068)는, 최신의 기체 위치와, 그 때에 조타 제어 기기에 의한 조타각 혹은 목표 주행 경로에 기초하여, 기체(3001)의 바로 전방의 예상 주행 궤적을 주행 궤적에 부가할 수 있다.

이 실시 형태의 콤바인은 자동 주행(자동 조타)과 수동 주행(수동 조타)의 양쪽으로 주행 가능하다. 작업 주행 제어 모듈(3060)에는, 주행 제어부(3061)와 작업 제어부(3062) 외에도, 자동 작업 주행 지령부(3063) 및 주행 경로 설정부(3064)가 구비되어 있다. 자동 조타로 주행하는 자동 주행 모드와, 수동 조타로 주행하는 수동 조타 모드 중 어느 것을 선택하는 주행 모드 스위치(도시하지 않음)가 캐빈(3014) 내에 마련되어 있다. 이 주행 모드 스위치를 조작함으로써, 수동 조타 주행으로부터 자동 조타 주행으로의 이행, 혹은 자동 조타 주행으로부터 수동 조타 주행으로의 이행이 가능하다.

주행 제어부(3061)는, 엔진 제어 기능, 조타 제어 기능, 차속 제어 기능 등을 갖고, 차량 주행 기기군(3007A)에 주행 제어 신호를 부여한다. 작업 제어부(3062)는, 예취부(3002), 탈곡 장치(3011), 곡립 배출 장치(3013), 곡간 반송 장치(3023) 등의 움직임을 제어하기 위해, 작업 장치 기기군(3007B)에 작업 제어 신호를 부여한다.

수동 조타 모드가 선택되어 있는 경우, 운전자에 의한 조작에 기초하여, 주행 제어부(3061)가 제어 신호를 생성하고, 차량 주행 기기군(3007A)를 제어한다. 자동 조타 모드가 선택되어 있는 경우, 자동 작업 주행 지령부(3063)에 의해 부여되는 자동 주행 지령에 기초하여, 주행 제어부(3061)는, 조타에 관한 차량 주행 기기군(3007A)이나 차속에 관한 차량 주행 기기군(3007A)을 제어한다.

주행 경로 설정부(3064)는, 제어 유닛(3006), 휴대 통신 단말기(3200), 클라우드 컴퓨터 시스템(3100) 등 중 어느 것에 의해 제작된 자동 주행을 위한 주행 경로를, 주행 경로를 메모리에 전개한다. 메모리에 전개된 주행 경로는, 순차 자동 주행에 있어서의 목표 주행 경로로서 사용된다. 이 주행 경로는, 수동 주행이라도, 콤바인이 당해 주행 경로를 따라 주행하기 위한 가이던스를 위해 이용하는 것도 가능하다.

자동 작업 주행 지령부(3063)는, 더 상세하게는, 자동 조타 지령 및 차속 지령을 생성하여, 주행 제어부(3061)에 부여한다. 자동 조타 지령은, 주행 경로 설정부(3064)에 의해 설정된 주행 경로와, 기체 위치 산출부(3066)에 의해 산출된 자차 위치 사이의 방위 어긋남 및 위치 어긋남을 해소하도록 생성된다. 차속 지령은, 사전에 설정된 차속값에 기초하여 생성된다. 또한, 자동 작업 주행 지령부(3063)는, 작업 제어부(3062)에, 자차 위치나 자차의 주행 상태에 따라서, 작업 장치 동작 지령을 부여한다.

화상 인식 모듈(3005)에는, 촬영부(3070)에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력된다. 화상 인식 모듈(3005)은, 이 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하고, 존재 영역 및 존재 영역이 추정되었을 때의 추정 확률을 포함하는 인식 출력 데이터를, 인식 결과로서 출력한다. 화상 인식 모듈(3005)은, 심층 학습을 채용한 신경망 기술을 사용하여 구축되어 있다.

화상 인식 모듈(3005)에 의한 인식 출력 데이터의 생성의 흐름이, 도 15 및 도 16에 나타나 있다. 화상 인식 모듈(3005)에는, RGB 화상 데이터의 화소값이 입력값으로서 입력된다. 도 15의 도시 예에서는, 추정되는 인증 대상물은, 잡초와 쓰러진 곡간과 인물이다. 따라서, 인식 결과로서의 인식 출력 데이터에는, 잡초의 존재 영역(이하, 잡초 영역이라고 칭함)과 그 추정 확률, 쓰러진 곡간의 존재 영역(이하, 쓰러진 곡간 영역이라고 칭함)과 그 추정 확률, 인물의 존재 영역(이하, 인물 영역이라고 칭함)과 그 추정 확률이 포함된다.

도 15에서는, 추정 결과는 모식화되어 있고, 잡초 영역은 부호 F1이 부여된 직사각형의 프레임으로 나타나 있고, 쓰러진 곡간 영역은 부호 F2가 부여된 직사각형의 프레임으로 나타나 있고, 인물 영역은 부호 F3이 부여된 직사각형의 프레임으로 나타나 있다. 각각의 영역에는, 그 추정 확률이 링크된다. 잡초 영역, 쓰러진 곡간 영역, 인물 영역은, 각각 4개의 코너점으로 규정되지만, 그러한 각 직사각형의 4개의 코너점의 촬영 화상 상의 좌표 위치도 추정 결과에 포함되어 있다. 물론, 인증 대상물이 추정되지 않으면, 인증 대상물의 존재 영역은 출력되지 않아, 그 추정 확률은 제로가 된다.

화상 인식 모듈(3005)로부터 인식 출력 데이터로서 출력되는 인식 대상물의 존재 영역 및 추정 확률은, 최종적인 인식 대상물 위치 정보의 생성에 있어서 중요하다. 그러나 포장을 작업 주행하는 콤바인에 마련된 카메라에 의한 촬영에서는, 촬영부(3070)의 돌발적인 흔들림, 순간적인 역광, 촬영부(3070)의 촬영 시야 내를 가로지르는 분진 등에 기인하여, 그 촬영 화상이 부적절한 것으로 될 가능성이 있다. 그 경우에는, 예측할 수 없게 낮은 추정 확률을 갖는 인식 출력 데이터가 출력되어 버린다. 혹은, 인식 대상물을 추정할 수 없어, 추정 확률 제로라고 하는 인식 출력 데이터가 출력되어 버린다. 이 때문에, 화상 인식 모듈(3005)로부터 출력된 인식 출력 데이터를 처리하는 데이터 처리 모듈(3050)에는, 전처리 기능으로서, 화상 인식 모듈(3005)로부터 출력된 인식 출력 데이터의 신뢰도를 조사하여, 신뢰할 수 없는 인식 출력 데이터를 부적당 인식 출력 데이터라고 판정하는 인식 출력 데이터 평가 기능이 구비되어 있다.

이 인식 출력 데이터 평가 기능은, 도 16에 도시하는 바와 같이, 데이터 처리 모듈(3050)의 데이터 기억부(3053)와, 데이터 판정부(3054)와, 데이터 보정부(3055)에 의해 실현된다. 데이터 기억부(3053)는, 화상 인식 모듈(3005)로부터 축차 출력된 인식 출력 데이터를 인식 출력 데이터 열로서 일시적 또한 경시적으로 기억한다. 데이터 판정부(3054)는, 주행 궤적 산출부(3068)에 의해 산출되는 주행 궤적에 기초하여, 화상 인식 모듈(3005)에 의해 추정된 전회 촬영 화상에 있어서의 존재 영역이 다음회 촬영 화상에 있어서 위치해야 할 범위(이하, 예측 범위라고도 칭함)를 예측한다. 또한, 데이터 판정부(3054)는, 다음회 촬영 화상에 있어서 그 예측 범위와 중복되는 상기 존재 영역의 추정 확률과, 전회 촬영 화상에 있어서의 존재 영역의 추정 확률을 비교한다. 이 비교에서, 2개의 추정 확률이, 미리 정한 허용량 이상으로 상위한 경우, 다음회 촬영 화상에 기초하는 인식 출력 데이터는 부적당 인식 출력 데이터로서 판정된다. 혹은, 추정 확률이 소정값 이하(예를 들어 0.5 이하)로 되어 있는 인식 출력 데이터를 부적당 인식 출력 데이터로서 판정하는 구성을 채용해도 된다.

이 부적당 인식 출력 데이터를 판정하는 데이터 처리를, 도 17을 사용하여, 이하에 설명한다. 또한, 이 예에서는, 추정되는 인식 대상물이 잡초이다.

(스텝 01) 촬영부(3070)에 의해 취득된 촬영 화상으로부터(#01a), 화상 인식 모듈(3005)에 의해, 부호 F1로 나타나 있는 직사각형 프레임으로 둘러싸인 잡초 영역이 인식되고, 그 추정 확률이 0.75이다(#01b). 추정 확률이 0.7을 초과하면 고신뢰도라고 간주된다. 다음으로, 촬영 화상에서의 직사각형 프레임의 위치와, 주행 궤적 산출부(3068)에 의해 산출되는 주행 궤적에 기초하여, 다음에 취득되는 촬영 화상에 있어서 잡초 영역이 위치해야 할 예상 범위 PA가 산정된다(#01c).

(스텝 02) 다음으로, 촬영부(3070)에 의해 취득된 촬영 화상으로부터(#02a), 화상 인식 모듈(3005)에 의해, 부호 F1로 나타나 있는 직사각형 프레임으로 둘러싸인 잡초 영역이 인식되고, 그 추정 확률이 0.8이다(#02b). 인식된 잡초 영역은, 예상 범위 PA와 중복되어 있다. 여기서의 직사각형 프레임의 위치와, 주행 궤적에 기초하여, 다음에 취득되는 촬영 화상에 있어서 잡초 영역이 위치해야 할 예상 범위 PA가 산정된다(#02c).

(스텝 03) 또한, 다음 촬영 화상에 기초하여(#03a), 화상 인식 모듈(3005)에 의한 잡초가 존재하는 존재 영역의 추정이 행해지지만, 그 추정 확률은 0.2이다(#03b). 이와 같이, 추정 확률이 0.5보다 낮은 경우에는, 잡초 영역을 나타내는 직사각형 프레임의 위치 신뢰도도 낮은 것이 된다. 따라서, 여기서의 예상 범위 PA의 산정에는, 이 신뢰도가 낮은 인식 출력 데이터의 직사각형 프레임의 위치를 사용하는 대신에, 스텝 02에 있어서의 직사각형 프레임의 위치와, 주행 궤적을 사용하는 쪽이 바람직하다(#03c).

(스텝 04) 또한, 다음 촬영 화상에 기초하여(#04a), 화상 인식 모듈(3005)에 의한 잡초가 존재하는 존재 영역의 추정이 행해지고, 부호 F1로 나타나 있는 직사각형 프레임으로 둘러싸인 잡초 영역이 인식되고, 그 추정 확률이 0.9이다(#04b). 인식된 잡초 영역은, 예상 범위 PA와 중복되어 있다.

화상 인식 모듈(3005)이, 상술한 바와 같은 추정 출력 데이터를 출력한 경우, 데이터 판정부(3054)는, 스텝 03에 있어서의 추정 확률이, 전회의 추정 확률인 0.8로부터 0.2까지 저하되어 있어, 그 저하량이 미리 정한 허용량 이상(예를 들어 변화율이 50％ 이상)으로 상위하므로, 스텝 03에 있어서의 추정 출력 데이터는, 부적당 인식 출력 데이터라고 판정된다.

데이터 판정부(3054)가, 스텝 03에 있어서의 추정 출력 데이터를, 부적당 인식 출력 데이터라고 판정한 경우, 데이터 보정부(3055)는, 그 전후의 적정한 인식 출력 데이터의 추정 확률을 사용하여, 부적당 인식 출력 데이터를 위한 보간 추정 확률을 연산한다. 여기서는, 가장 간단한 보간 연산으로서, 산술 평균이 사용되고 있고, 0.85의 보간 추정 확률이 얻어진다. 얻어진 보간 추정 확률로 부적당 인식 출력 데이터의 추정 확률을 치환함으로써 당해 부적당 인식 출력 데이터는, 이후의 처리에 있어서, 적정한 인식 출력 데이터로서 이용할 수 있다.

상술한 바와 같이, 이 실시 형태에서는 인식 출력 데이터의 수가 적은 경우에, 부적당 인식 출력 데이터라고 판정된 인식 출력 데이터의 추정 확률을, 그 전후의 인식 출력 데이터의 추정 확률로 보간 보정할 수 있다. 이에 의해, 당해 부적당 인식 출력 데이터는 적절하게 보정되게 되어, 이용 가능해져, 데이터 수가 확보된다고 하는 이점이 얻어진다. 물론, 부적당 인식 출력 데이터라고 판정된 인식 출력 데이터를 파기하는 경우에는, 보간 보정이 불필요해지므로, 데이터 보정부(3055)는 생략된다.

이 실시 형태의 데이터 처리 모듈(3050)은, 또한 상술한 인식 출력 데이터 평가 기능에 의해 평가된 인식 출력 데이터로부터 인식 대상물 위치 정보를 생성하는 기능도 갖는다.

이 기능은, 데이터 처리 모듈(3050)의 인식 대상물 위치 정보 생성부(3051)와 통계 처리부(3052)에 의해 실현된다.

인식 대상물 위치 정보라 함은, 인식 대상물의 지도 상의 위치를 나타내는 정보이다. 인식 대상물 위치 정보 생성부(3051)는, 촬영 화상이 취득된 시점의 기체 위치와 인식 출력 데이터로부터 인식 대상물 위치 정보를 생성한다. 인식 출력 데이터에 포함되어 있는 인식 대상물(잡초, 쓰러진 곡간, 인물)이 존재하는 지도 상의 위치는, 인증 대상물의 존재 영역(잡초 영역, 쓰러진 곡간 영역, 인물 영역)을 나타내는 직사각형의 4개의 코너점의 촬영 화상 상의 좌표 위치(카메라 좌표 위치)를 지도 상의 좌표로 변환함으로써 얻어진다.

촬영부(3070)는, 소정 시간 간격, 예를 들어 0.5초 간격으로 촬영 화상을 취득하고, 그 화상 데이터를 화상 인식 모듈(3005)에 입력하므로, 화상 인식 모듈(3005)도, 동일한 시간 간격으로, 인식 출력 데이터를 출력한다. 따라서, 촬영부(3070)의 촬영 시야에 인식 대상물이 들어 있었던 경우에는, 복수의 인식 출력 데이터가 동일한 인식 대상물에 대한 존재 영역을 포함하게 된다. 그 결과, 동일한 인식 대상물에 대한 복수의 인식 대상물 위치 정보가 얻어진다. 그 때, 각 원 데이터인 인식 출력 데이터에 포함되어 있는 추정 확률, 즉 인식 대상물 위치 정보에 포함되는 인식 대상물의 존재 영역의 추정 확률은, 촬영부(3070)와 인식 대상물 사이의 위치 관계가 상위하다는 점에서, 상위한 값이 되는 경우가 많다.

따라서, 이 실시 형태에서는, 도 16에 도시하는 바와 같이, 그러한 복수의 인식 대상물 위치 정보가 기억되고, 기억된 복수의 인식 대상물 위치 정보의 각각에 포함되는 추정 확률이 통계적 연산된다. 통계 처리부(3052)는, 복수의 인식 대상물 위치 정보의 추정 확률에 대한 통계적인 연산을 사용하여, 추정 확률군의 대표값을 구한다. 그 대표값을 사용하여, 복수의 인식 대상물 위치 정보를, 하나의 최적 인식 대상물 위치 정보(인식 대상물 보정 위치 정보)로 보정할 수 있다. 그러한 보정의 일례는, 각 추정 확률의 산술 평균값 또는 가중 평균값 혹은 중간값을 기준값(대표값)으로서 구하고, 그 기준값 이상의 추정 확률을 갖는 존재 영역의 논리합을 구하여, 그것을 최적 존재 영역으로 하는 보정 인식 대상물 위치 정보를 생성하는 것이다. 물론, 이 이외의 통계적 연산을 사용하여 신뢰성이 높은 하나의 인식 대상물 위치 정보를 생성하는 것도 가능하다. 즉, 복수의 인식 대상물 위치 정보가, 당해 인식 대상물 위치 정보에 대응하는 인식 출력 데이터에 포함되어 있는 추정 확률의 통계적 연산의 결과에 기초하여 보정되는 것이다.

이와 같이 하여 구해진 인증 대상물의 존재 영역(잡초 영역, 쓰러진 곡간 영역, 인물 영역)의 지도 상의 위치를 나타내는 인식 대상물 위치 정보(잡초 위치 정보, 쓰러진 곡간 위치 정보, 인물 위치 정보)를 사용함으로써 잡초, 쓰러진 곡간, 인물의 인식 시에 있어서, 각각 미리 설정된 주행 작업 제어나 경고 통지가 행해진다.

또한, 인식 대상물 위치 정보 생성부(3051)에서 생성된 각 인식 대상물 위치 정보는, 시각적으로 이해하기 쉬운 표시를 위해, 도 18에 나타내는 바와 같은 맵화가 가능하다. 도 18에서는, 잡초 위치 정보를 맵화한 잡초 맵이 예시되어 있다. 잡초 위치 정보에 있어서 추정 확률이 상위한 잡초 존재 영역이 포함되어 있는 경우, 도 18에 나타내는 바와 같이, 추정 확률값의 소정 범위에서 패턴 분할된 형태로 잡초 존재 영역을 표시하는 것도 가능하다.

또한, 상기 각 실시 형태(다른 실시 형태를 포함함, 이하 동일함)에서 개시되는 구성은, 모순이 발생하지 않는 한, 다른 실시 형태에서 개시되는 구성과 조합하여 적용하는 것이 가능하고, 또한 본 명세서에 있어서 개시된 실시 형태는 예시이며, 본 발명의 실시 형태는 이것에 한정되지 않고, 본 발명의 목적을 일탈하지 않는 범위 내에서 적절하게 개변하는 것이 가능하다.

〔다른 실시 형태〕

(1) 상술한 실시 형태에서는, 화상 인식 모듈(5, 2005, 3005)이 인식하는 인식 대상물로서 식립 곡간보다 높게 자란 잡초군이 설정되어 있었지만, 그 밖의 인식 대상물, 예를 들어 쓰러진 곡간군이나 인물 등도 설정되어도 된다. 그 때는, 작업 주행 제어 모듈(60, 2060, 3060)은, 쓰러진 곡간군이나 인물의 인식에 응답하여, 필요한 제어를 행하도록 구성된다.

(2) 상술한 실시 형태에서는, 화상 인식 모듈(5, 2005, 3005)은, 심층 학습 타입의 신경망 기술을 사용하여 구축되어 있다. 이 대신에, 그 밖의 기계 학습 기술을 사용하여 구축된 화상 인식 모듈(5, 2005, 3005)이 채용되어도 된다.

(3) 상술한 실시 형태에서는, 화상 인식 모듈(5, 2005, 3005), 데이터 처리 모듈(50, 2050, 3050), 잡초 위치 산출부(68)는, 콤바인의 제어 유닛(6, 2006, 3006)에 내장되어 있었지만, 그 일부 또는 전부는, 콤바인으로부터 독립된 제어 유닛, 예를 들어 휴대 통신 단말기(200, 2200, 3200) 등에 구축 가능하다.

(4) 도 4, 도 9, 도 14 및 도 16에 도시된 각 기능부는, 주로 설명 목적으로 구분되어 있다. 실제로는, 각 기능부는 다른 기능부와 통합해도 되고, 또는 더 복수의 기능부로 나누어도 된다.

본 발명은, 벼나 밀 등을 수확하는 콤바인뿐만 아니라, 옥수수 등 다른 농작물을 수확하는 콤바인이나, 당근 등을 수확하는 수확기에도 적용 가능하다.

3: 탈곡 깊이 조정 기구
5: 화상 인식 모듈
6: 제어 유닛
23: 곡간 반송 장치
236: 조절용 전동 모터(모터)
237: 조작 로드
30: 줄기 길이 검출 장치
34: 검지 스위치
35: 검지 스위치
50: 데이터 처리 모듈
51: 잡초 위치 정보 생성부
52: 통계 처리부
60: 작업 주행 제어 모듈(작업 주행 제어부)
61: 주행 제어부
63: 자동 작업 주행 지령부
620: 곡 깊이 제어부
66: 기체 위치 산출부
68: 잡초 위치 산출부
70: 촬영부
80: 위성 측위 모듈
91: 통지 디바이스
92: 통신부
2053: 데이터 기억부
2054: 데이터 판정부
2055: 데이터 보정부
2051: 인식 대상물 위치 정보 생성부

Claims (13)

1. 포장을 주행하면서 식립 곡간을 수확하는 수확기이며,
   상기 포장으로부터 상기 식립 곡간을 예취하는 예취부와,
   예취 곡간을 상기 예취부로부터 탈곡 장치를 향해 반송하는 곡간 반송 장치와,
   상기 곡간 반송 장치에 마련된 탈곡 깊이 조정 기구와,
   상기 탈곡 깊이 조정 기구를 사용하여 상기 예취 곡간의 길이에 기초하는 탈곡 깊이 조정 제어를 행하는 탈곡 깊이 제어부와,
   위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와,
   상기 기체에 마련되고, 수확 작업 시에 상기 포장을 촬영하는 촬영부와,
   상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 잡초 생육 영역을 추정하고, 추정된 상기 잡초 생육 영역을 나타내는 인식 출력 데이터를 출력하는 화상 인식 모듈과,
   상기 촬영 화상이 취득된 시점의 상기 기체 위치와 상기 인식 출력 데이터로부터 상기 잡초 생육 영역의 지도 상의 위치를 나타내는 잡초 위치 정보를 생성하는 잡초 위치 정보 생성부와,
   상기 잡초 생육 영역에서 예취된 잡초가 상기 탈곡 깊이 조정 기구를 통과하는 타이밍이 산출되고, 상기 잡초가 상기 탈곡 깊이 조정 기구를 통과하는 동안, 잡초 진입 제어를 실행하는 작업 주행 제어부를 구비한,
   수확기.
2. 포장을 주행하면서 식립 곡간을 수확하는 수확기이며,
   상기 포장으로부터 상기 식립 곡간을 예취하는 예취부와,
   예취 곡간을 상기 예취부로부터 탈곡 장치를 향해 반송하는 곡간 반송 장치와,
   상기 곡간 반송 장치에 마련된 탈곡 깊이 조정 기구와,
   상기 탈곡 깊이 조정 기구를 사용하여 상기 예취 곡간의 길이에 기초하는 탈곡 깊이 조정 제어를 행하는 탈곡 깊이 제어부와,
   위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와,
   상기 기체에 마련되고, 수확 작업 시에 상기 포장을 촬영하는 촬영부와,
   상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 잡초 생육 영역을 추정하고, 추정된 상기 잡초 생육 영역을 나타내는 인식 출력 데이터를 출력하는 화상 인식 모듈과,
   상기 촬영 화상이 취득된 시점의 상기 기체 위치와 상기 인식 출력 데이터로부터 상기 잡초 생육 영역의 지도 상의 위치를 나타내는 잡초 위치 정보를 생성하는 잡초 위치 정보 생성부와,
   상기 예취부가 상기 잡초 생육 영역을 통과하는 동안, 잡초 진입 제어를 실행하는 작업 주행 제어부를 구비한,
   수확기.
3. 제2항에 있어서,
   상기 예취부가 상기 잡초 생육 영역을 통과하는 타이밍은, 상기 잡초 위치 정보와 상기 기체 위치 산출부에 의해 산출된 상기 기체 위치에 기초하여 결정되는, 수확기.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 잡초 진입 제어의 실행에 의해, 상기 탈곡 깊이 조정 제어가 중단되는, 수확기.
5. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 잡초 진입 제어의 실행에 의해, 차속이 저감되는, 수확기.
6. 포장을 주행하면서 농작물을 수확하는 수확기이며,
   위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와,
   상기 기체에 마련되고, 수확 작업 시에 포장을 촬영하는 촬영부와,
   상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하고, 상기 존재 영역 및 상기 존재 영역이 추정되었을 때의 추정 확률을 포함하는 인식 출력 데이터를 출력하는 화상 인식 모듈과,
   상기 촬영 화상이 취득된 시점의 상기 기체 위치와 상기 인식 출력 데이터로부터 상기 인식 대상물의 지도 상의 위치를 나타내는 인식 대상물 위치 정보를 생성하는 인식 대상물 위치 정보 생성부를 구비한, 수확기.
7. 제6항에 있어서,
   상기 촬영 화상에 있어서 상기 인식 대상물이 상기 촬영부로부터 멀리에 위치할수록, 당해 인식 대상물의 상기 추정 확률은 저감되는, 수확기.
8. 제6항 또는 제7항에 있어서,
   복수의 상기 인식 대상물 위치 정보가 기억되고, 기억된 복수의 상기 인식 대상물 위치 정보가, 대응하는 상기 인식 출력 데이터에 포함되어 있는 상기 추정 확률의 통계적 연산의 결과에 기초하여 보정되는, 수확기.
9. 제6항 내지 제8항 중 어느 한 항에 있어서,
   상기 화상 인식 모듈로부터 축차 출력된 상기 인식 출력 데이터를 인식 출력 데이터 열로서 일시적 또한 경시적으로 기억하는 데이터 기억부와, 데이터 판정부가 구비되고,
   상기 데이터 판정부는, 상기 인식 출력 데이터 열에 있어서 계시적으로 전후관계가 되는 상기 인식 출력 데이터의 상기 추정 확률과 비교하여, 소정 레벨 이상으로 낮은 상기 추정 확률을 갖는 상기 인식 출력 데이터를 부적당 인식 출력 데이터로서 판정하는, 수확기.
10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 인식 대상물은, 인물, 쓰러진 곡간, 잡초, 두렁 중 적어도 하나인, 수확기.
11. 포장을 주행하면서 농작물을 수확하는 수확기이며,
    위성 측위 모듈로부터의 측위 데이터에 기초하여 기체의 지도 좌표인 기체 위치를 산출하는 기체 위치 산출부와,
    상기 기체 위치로부터 상기 기체의 주행 궤적을 산출하는 주행 궤적 산출부와,
    상기 기체에 마련되고, 수확 작업 시에 포장을 촬영하는 촬영부와,
    상기 촬영부에 의해 계시적으로 축차 취득된 촬영 화상의 화상 데이터가 입력되고, 상기 촬영 화상에 있어서의 인식 대상물이 존재하는 존재 영역을 추정하고, 상기 존재 영역 및 상기 존재 영역이 추정되었을 때의 추정 확률을 포함하는 인식 출력 데이터를 출력하는 화상 인식 모듈과,
    상기 주행 궤적에 기초하여, 전회 촬영 화상에 있어서의 상기 존재 영역이 다음회 촬영 화상에 있어서 위치해야 할 범위를 예측하고, 상기 다음회 촬영 화상에 있어서 상기 범위와 중복되는 상기 존재 영역의 상기 추정 확률과, 상기 전회 촬영 화상에 있어서의 상기 존재 영역의 상기 추정 확률이, 미리 정한 허용량 이상으로 상위한 경우, 상기 다음회 촬영 화상에 기초하는 상기 인식 출력 데이터를 부적당 인식 출력 데이터로서 판정하는 데이터 판정부를 구비한,
    수확기.
12. 제11항에 있어서,
    상기 부적당 인식 출력 데이터의 상기 추정 확률을, 상기 부적당 인식 출력 데이터의 계시적으로 전후가 되는 상기 인식 출력 데이터의 상기 추정 확률에 기초하여 얻어진 보간 추정 확률로 치환하는 데이터 보정부가 구비되어 있는, 수확기.
13. 제11항 또는 제12항에 있어서,
    상기 인식 대상물은, 인물, 쓰러진 곡간, 잡초, 두렁 중 적어도 하나인, 수확기.

Images