KR102262871B1

KR102262871B1 - 작업차

Info

Publication number: KR102262871B1
Application number: KR1020170067882A
Authority: KR
Inventors: 유시 마츠자키
Original assignee: 가부시끼 가이샤 구보다
Priority date: 2016-12-19
Filing date: 2017-05-31
Publication date: 2021-06-09
Also published as: US10538200B2; JP6662762B2; CN108202667B; EP3335944B1; KR20180071152A; JP2018101860A; CN108202667A; EP3335944A1; US20180170258A1

Abstract

본 발명의 과제는 작업 장치를 포함하는 작업차 주변을 적절한 부감 화상을 사용하여, 운전자나 감시자가 양호하게 작업 장치를 시인할 수 있는 기술이 요망되고 있다.
작업차는 차체(1) 및 작업 장치(30)의 주변 영역으로부터 할당된 주변 부분 영역을 촬영하는 복수의 카메라(4)와, 카메라(4)마다의 주변 부분 영역의 촬영 화상을 시점 변환하여 생성된, 카메라마다의 부분 부감 화상을, 변경 가능한 합성 패턴에 기초하여 합성 처리하여 주변 영역을 부감하는 주변 부감 화상을 생성하는 감시 화상 생성 모듈과, 합성 패턴을 변경하는 합성 패턴 변경부(61)와, 주변 부감 화상을 표시하는 표시 유닛을 구비하고 있다.

Description

작업차 {WORK VEHICLE}

본 발명은 차체와 이 차체에 장비된 작업 장치를 구비한 작업차의 주변을, 부감 화상으로 하여 표시 유닛에 표시할 수 있는 작업차에 관한 것이다.

특허문헌 1에 의한 콤바인은 4대의 카메라로 취득한 자차의 주위 화상으로부터, 자차를 상방에서 본 의사적인 화상인 부감 화상을 생성하고, 또한 기억부에 기억된 자차의 평면시 화상과 크롤러부의 위치를 나타내는 화상과, 크롤러부의 좌우 방향의 단부를 전방으로 연장한 선인 크롤러 가상 연장부를 부감 화상에 합성하고, 표시한다. 그때, 콤바인이 전진 중이라고 판단된 경우 크롤러 가상 연장부는 전방으로 연장하여 표시되고, 콤바인이 후진 중이라고 판단된 경우 크롤러 가상 연장부는 후방으로 연장하여 표시된다.

일본 특허 공개 제2015-104375호 공보

상술한 바와 같은 작업차(콤바인)에서는 표시된 부감 화상을 통해, 크롤러부 주변을 직감적으로 파악할 수 있다. 그러나, 복수의 카메라로부터의 촬영 화상의 합성 화상인 부감 화상은 차체로부터 비교적 근거리의 범위밖에 커버할 수 없고, 또한 부감 화상은 시점 변환에 의한 변형을 받고 있으므로, 부감 화상에 있어서의 원촬영 화상의 주변부에 찍힌 특정 부재가 보기 어려워질 가능성이 있다. 특히, 작업차가, 차체와 차체에 장비되는 대소 다양한 크기의 작업 장치로 구성되는 경우, 부감 화상을 작은 작업 장치에 맞추면, 큰 작업 장치를 장비한 경우, 부감 화상에 작업 장치가 들어가지 않게 되어, 주변 감시가 불충분해진다. 반대로 부감 화상을 큰 작업 장치에 맞추면, 작은 작업 장치를 장비한 경우, 감시가 불필요한 영역이 커져, 표시 유닛의 표시 영역의 낭비가 된다.

이와 같은 실정으로부터, 작업 장치를 포함하는 작업차 주변을 적절한 부감 화상을 사용하여, 운전자나 감시자가 양호하게 작업 장치를 시인할 수 있는 기술이 요망되고 있다.

본 발명에 있어서의, 차체와 상기 차체에 장비된 작업 장치를 구비한 작업차는, 상기 차체 및 상기 작업 장치의 주변 영역으로부터 할당된 주변 부분 영역을 촬영하는 복수의 카메라와, 상기 카메라마다의 주변 부분 영역의 촬영 화상을 시점 변환하여 생성된 카메라마다의 부분 부감 화상을, 변경 가능한 합성 패턴에 기초하여 합성 처리하고, 상기 주변 영역을 부감하는 주변 부감 화상을 생성하는 부감 감시 화상 생성 모듈과, 상기 합성 패턴을 변경하는 합성 패턴 변경부와, 상기 주변 부감 화상을 표시하는 표시 유닛을 구비하고 있다.

이 구성에서는, 합성 패턴을 변경함으로써, 차체에 장비한 작업 장치의 자세나 크기 등에 적합한 부감 화상을 생성할 수 있고, 작업 장치를 포함하는 작업차의 주변을 적절하게 감시할 수 있다.

본 발명의 적합한 실시 형태의 하나에서는, 상기 합성 패턴은 상기 주변 부감 화상에 있어서의 상기 부분 부감 화상의 점유 면적을 규정하도록 구성되어 있다. 이에 의해, 큰 작업 장치가 장비되어 있는 경우에는, 작업 장치가 찍혀 있는 부분 부감 화상의 전유 면적을 작업 장치의 크기에 따라 변경하고, 당해 부분 부감 화상에 작업 장치 및 그 주변이 확실하게 포함되도록 할 수 있고, 작업 장치의 자세나 크기 등에 적합한 적절한 주변 부감 화상을 보면서 하는 작업이 실현된다.

주변 부감 화상에 있어서의 부분 부감 화상의 적절한 비율은 유저의 기호에 따라서도 다르다. 이로 인해, 본 발명의 적합한 실시 형태의 하나에서는, 상기 합성 패턴 변경부는 입력 조작 디바이스를 통한 변경 명령에 기초하여 상기 합성 패턴을 변경하도록 구성되어 있다. 이에 의해, 유저(운전자 등)에게 있어서 보기 쉽고 적절한 부감 화상이 표시 유닛에 표시된다.

유저에 의한 합성 패턴의 변경 작업이 좁은 운전석 등에서 행해지는 경우, 이 변경 작업 환경은 유저에게 친숙한 것이 요망된다. 이로 인해, 본 발명의 적합한 실시 형태의 하나에서는, 상기 입력 조작 디바이스는 터치 패널이고, 상기 터치 패널에 표시된 상기 주변 부감 화상에 있어서의 상기 부분 부감 화상 사이의 화상 경계선의 위치가 변경됨으로써 상기 변경 명령이 생성되도록 구성되어 있다. 이 구성에서는, 유저는 터치 패널에 표시되는 화상 경계선을 드래그 앤드 드롭으로 변경함으로써, 원하는 합성 패턴의 변경, 결과적으로는 주변 부감 화상에 있어서의 부분 부감 화상의 원하는 비율을 실현할 수 있다.

차체에 장비되는 작업 장치에 따라, 자동으로 적절한 합성 패턴으로 변경되면, 유저의 손을 번거롭게 하지 않아, 바람직하다. 이 목적을 위해, 본 발명의 적합한 실시 형태의 하나에서는, 상기 작업 장치의 형식을 인식하는 인식부가 구비되고, 상기 합성 패턴 변경부는 상기 인식부에 의한 인식 결과에 기초하여 상기 합성 패턴을 변경하도록 구성되어 있다.

특수한 작업 장치에서는, 그 사용 형태에 따라, 부감 화상에 있어서의 크기가 다른 것이 있다. 예를 들어, 전식기의 식부 장치에서는 사용 조수에 따라 식부 장치의 횡폭이 변경된다. 또한, 트랙터에 장비되는 경운 장치나 버킷 장치 등은, 그 승강 위치에 따라 부감 화상에 있어서의 크기나 차체와의 위치 관계가 다르게 된다. 이와 같은 작업 장치에서는 작업 중에 있어서도, 자동으로 적절한 합성 패턴으로 변경되는 것이 바람직하다. 이로 인해, 본 발명의 적합한 실시 형태의 하나에서는, 상기 작업 장치의 사용 형태를 검출하는 사용 형태 검출 센서가 구비되고, 상기 합성 패턴 변경부는 상기 사용 형태 검출 센서에 의한 검출 결과에 기초하여 상기 합성 패턴을 변경하도록 구성되어 있다.

표시 유닛에 표시되는 주변 부감 화상의 중앙에는 작업차가 모식적으로 표시된다. 그때에, 표시되는 작업 장치로부터, 가능한 한 사실적으로, 차체에 실제로 장비되어 있는 작업 장치를 시인할 수 있는 것, 적어도 그 크기를 인식할 수 있는 것이 바람직하다. 이로 인해, 본 발명의 적합한 실시 형태의 하나에서는, 상기 주변 부감 화상의 중앙에는 상기 차체를 나타내는 차체도 상과 상기 작업 장치를 나타내는 작업 장치도 상으로 이루어지는 작업차도 상이 배치되어 있고, 상기 작업 장치도 상의 크기는 상기 합성 패턴의 변경에 수반하여 변경되도록 구성되어 있다. 이에 의해, 유저는 표시 유닛에 표시되는 주변 부감 화상으로부터, 정확하게 작업 장치의 주변을 감시할 수 있다.

도 1은 작업 장치를 장비한 작업차의 일례인, 경운 장치를 장비한 트랙터의 측면도.
도 2는 트랙터의 제어계를 도시하는 기능 블록도.
도 3은 4대의 카메라에 의한 자차 주변의 촬영 화상에 기초하는 주변 부감 화상을, 합성 패턴을 사용하여 생성하는 제어의 흐름을 도시하는 설명도.
도 4는 터치 패널을 사용한 합성 패턴의 변경을 도시하는 모식도.

이어서, 도면을 사용하여, 본 발명에 의한 작업차의 구체적인 실시 형태의 하나를 설명한다. 이 실시 형태에서는, 작업차는 포장(작업지)에 대하여 주행하면서 작업 장치를 사용하여 작업을 행하는 트랙터이다. 도 1에 도시된 바와 같이, 이 트랙터는 전륜(11)과 후륜(12)에 의해 지지된 차체(1)의 중앙부에 조종부(20)가 설치되어 있다. 차체(1)의 후방부에는 유압식의 승강 기구(31)를 통해 로터리 경운 장치인 작업 장치(30)가 장비되어 있다. 전륜(11)은 조향륜으로서 기능하고, 그 조타각을 변경함으로써 트랙터의 주행 방향이 변경된다. 전륜(11)의 조타각은 조타 기구(13)의 동작에 의해 변경된다. 조타 기구(13)에는 자동 조타를 위한 조타 모터(14)가 포함되어 있다. 수동 주행 시에는, 전륜(11)의 조타는 조종부(20)에 배치되어 있는 스티어링 휠(22)의 조작에 의해 가능하다. 조종부(20)에는 운전자에게 정보를 제공하는 통지 디바이스로서의 기능과, 운전자에 의해 조작되는 입력 조작 디바이스로서의 기능을 갖는 터치 패널(73)(표시 유닛의 하나)이 배치되어 있다.

트랙터의 캐빈(21)에는 GNSS(global navigation satellite system) 모듈로서 구성되어 있는 위성 측위 모듈(70)이 설치되어 있다. 위성 측위 모듈(70)의 구성 요소로서, GNSS 신호(GPS 신호도 포함함)를 수신하기 위한 위성용 안테나가 캐빈(21)의 천장 영역에 설치되어 있다. 또한, 위성 측위 모듈(70)에는 위성 항법을 보완하기 위해, 자이로 가속도 센서나 자기 방위 센서를 내장한 관성 항법 모듈을 포함할 수 있다. 물론, 관성 항법 모듈은 위성 측위 모듈(70)과는 다른 장소에 설치해도 된다.

차체(1)에는 차체 주위를 촬영하기 위한 4대의 카메라(4)가 설치되어 있다. 제1 카메라(4)는 차체 전방부(보닛)의 중앙에 배치되고, 제2 카메라(4)와 제3 카메라(4)는 차체 좌우의 측부(후륜 펜더)에 배치되고, 제4 카메라(4)는 차체 후방부(캐비넷 후단부)의 중앙에 배치되어 있다. 각 카메라(4)는 CCD(charge coupled device)나 CIS(CMOS image sensor) 등의 촬상 소자를 사용하여, 매초 15 내지 30프레임의 2차원 화상을 시계열로 촬영하고, 디지털 변환하여 그 촬영 화상을 실시간으로 출력한다. 각 카메라(4)의 촬영 광축은 촬영 시야에 차체(1)나 작업 장치(30)의 일부와 포장면이 들어가도록 하방을 향하게 됨과 함께, 광각 렌즈가 장착됨으로써, 4대의 카메라(4)에 의해 취득되는, 주변 부분 영역의 촬영 화상은 차체 부근의 전체 주위 영역을 커버할 수 있다.

또한, 이 트랙터에는 엔진이나 트랜스미션이나 조타 기구(13) 등의 상태를 검출하는 주행 상태 검출 센서군(81), 승강 기구(31)나 작업 장치(30)의 자세나 위치 등의 상태를 검출하는 작업 상태 검출 센서군(82), 차체(1)에 장비된 작업 장치(30)의 형식을 인식하는 인식부(83) 등이 설치되어 있다. 작업 상태 검출 센서군(82)에는 작업 장치(30)의 자세, 지상 높이, 사용 폭 등의 사용 형태를 검출하는 사용 형태 검출 센서가 포함되어 있다. 인식부(83)는 작업 장치(30)의 식별 코드를 기계적 또는 전자적으로 판독하고, 판독한 식별 코드로부터, 작업 장치의 종별이나 사이즈 등의 작업 장치 속성값을 인식 결과로서 도출하는 기능을 갖는다.

도 2에는 이 트랙터에 구축되어 있는 제어계가 도시되어 있다. 이 제어계에는 복수(여기서는 4대)의 카메라(4)에 의한 자차[차체(1)와 작업 장치(30)] 주변 영역의 촬영 화상으로부터 만들어지는 주변 부감 화상을 표시 유닛으로서의 터치 패널(73)에 표시하는 기술이 내장되어 있다. 이 제어계의 중핵 요소인 제어 유닛(5)에는 입출력 인터페이스로서 기능하는 입출력 신호 처리부(7)가 구비되어 있다. 입출력 신호 처리부(7)의 출력 신호 포트에는 차량 주행 기기군(71), 작업 장치 기기군(72), 터치 패널(73), 운전자나 감시자에게 작업 주행상의 주의를 촉구하기 위한 통지를 행하는 램프나 스피커 등의 통지 디바이스가 접속되어 있다. 차량 주행 기기군(71)에는 조타 모터(14)를 비롯하여, 도시되어 있지 않지만, 변속 기구나 엔진 유닛 등 차량 주행을 위해 제어되는 기기가 포함되어 있다. 작업 장치 기기군(72)에는 작업 장치(30)의 구동 기구나, 작업 장치(30)를 승강시키는 승강 기구(31) 등이 포함되어 있다.

입출력 신호 처리부(7)의 입력 신호 포트에는 상술한 카메라(4), 위성 측위 모듈(70), 작업차 센서군(8), 자동/수동 전환 조작구(74) 등이 접속되어 있다. 작업차 센서군(8)에는 주행 상태 검출 센서군(81)이나 작업 상태 검출 센서군(82) 외에, 장비된 작업 장치(30)의 식별 코드 판독 기능을 갖는 인식부(83)도 포함되어 있다. 주행 상태 검출 센서군(81)에는 조타각이나 엔진 회전수나 변속 상태 등의 주행 상태를 검출하는 센서가 포함되어 있다. 작업 상태 검출 센서군(82)에는 작업 장치(30)의 자세나 위치 등을 검출하는 센서 등이 포함되어 있다. 자동/수동 전환 조작구(74)는 자동 조타로 주행하는 자동 주행 모드와 수동 조타로 주행하는 수동 조타 모드의 어느 것을 선택하는 스위치이다. 예를 들어, 자동 조타 모드에서 주행 중에 자동/수동 전환 조작구(74)를 조작함으로써, 수동 조타에 의한 주행으로 전환되고, 수동 조타에 의한 주행 중에 자동/수동 전환 조작구(74)를 조작함으로써, 자동 조타에 의한 주행으로 전환된다.

도시되어 있지 않지만, 입출력 신호 처리부(7)에는 통신 유닛도 접속되어 있다. 통신 유닛은 무선 통신 규격이나 유선 통신 규격을 통해 외부의 컴퓨터와 데이터의 교환을 행한다. 외부의 컴퓨터로서, 원격지의 관리 센터 등에 구축된 관리 컴퓨터 및 운전자나 감시자가 휴대하는 태블릿 컴퓨터나 스마트폰(모바일폰) 등이 포함된다.

차량 주행 기기군(71)을 제어하는 주행 제어부(50)는 이 트랙터가 자동 주행(자동 조타)과 수동 주행(수동 조타)의 양쪽에서 주행 가능하게 구성되어 있기 때문에, 수동 주행 제어부(51)와 자동 주행 제어부(52)가 포함되어 있다. 수동 주행 제어부(51)는 운전자에 의한 조작에 기초하여 차량 주행 기기군(71)을 제어한다. 자동 주행 제어부(52)는 자차 위치와 주행 경로의 편차에 기초하여 자동 조타 명령을 생성하고, 입출력 신호 처리부(7)를 통해 조타 모터(14)에 출력한다. 작업 제어부(53)는 작업 장치(30)의 움직임을 제어하기 위해, 작업 장치 기기군(72)에 제어 신호를 부여한다.

주행 제어부(50)는 자동 주행 시와 수동 주행 시에 있어서, 다른 제어 처리를 실행한다. 자동 주행 시에는 자차 위치 산출부(54)에 의해 산출된 자차 위치와 경로 생성부(58)에 의해 생성된 주행 경로를 비교 평가하여, 자차 위치와 주행 경로에 위치 어긋남이 발생하고 있으면, 차체(1)가 당해 주행 경로를 따르도록, 조타 변경 데이터를 생성하고, 자동 주행 제어부(52)에 부여하는 기능을 실현한다. 자차 위치 산출부(54)는 위성 측위 모듈(70)로부터 보내져 온 위성 측위 데이터에 기초하여, 자차 위치를 산출한다. 수동 주행 시에는 운전자에 의한 스티어링 휠(22)이나 브레이크 등의 조작에 의해, 작업 주행이 행해진다. 그때에도, 주행 가이던스로서, 주행 경로나 자차 위치를 터치 패널(73)이나 외부의 디스플레이에 표시하는 것도 가능하다.

작업지 관리부(57)는 작업 주행이 행해지는 포장에 관한 정보인 포장 정보(작업지 정보)를 관리한다. 포장 정보에는 포장의 지도 위치, 형상, 크기, 작부 품종 등의 데이터가 포함되어 있다. 포장 정보는 원격지의 관리 센터나 농가의 자택에 설치되어 있는 컴퓨터로부터 다운로드하는 것, 운전자가 지참하는 휴대 단말기로부터 다운로드하는 것, USB 메모리 등의 기록 매체로부터 판독하는 것 등에 의해, 작업지 관리부(57)에 부여하는 것이 가능하다.

경로 생성부(58)는 포장 정보로부터, 포장의 외형 데이터를 판독하고, 이 포장에 있어서의 적정한 주행 경로를 생성한다. 이 주행 경로의 생성은 운전자에 의해 입력되는 기본적인 초기 파라미터에 기초하여 자동으로 행해져도 되고, 다른 컴퓨터에서 생성된 주행 경로를 다운로드해도 된다. 어떻게 하든, 경로 생성부(58)에서 취득된 주행 경로는 메모리에 전개되고, 자동 조타 주행 또는 수동 조타 주행에 관계없이, 작업차가 주행 경로를 따라 주행하기 위해 이용된다.

제어 유닛(5)에는 본 발명에 특별히 관계되는 제어 기능으로서, 주위 부감 화상을 생성하는 감시 화상 생성 모듈(6)이 구비되어 있다. 감시 화상 생성 모듈(6)은 부감 화상 생성부(60)와 합성 패턴 변경부(61)와 화상 합성부(62)를 구비하고 있다. 도 2에서는, 합성 패턴 변경부(61)는 감시 화상 생성 모듈(6)에 내장되어 있다. 감시 화상 생성 모듈(6)은 기본적인 화상 처리 기능과, 부감 화상 생성 기능과, 부감 화상 합성 기능을 갖고 있다. 합성 패턴 변경부(61)는 합성 처리의 조정을 행하는 기능부이고, 합성 패턴 변경부(61)는 감시 화상 생성 모듈(6)과는 별도로 구성해도 된다. 부감 화상 생성부(60)는 4대의 카메라(4)에 의해 취득된 촬영 화상을 차체 중심의 상방의 시점으로의 시점 변환을 행하고, 카메라(4)마다의 부분 부감 화상을 생성한다. 이들 부분 부감 화상은 서로 오버랩된 화상 영역을 갖고, 이들 부분 부감 화상을 서로 연결시키도록 합성함으로써, 트랙터의 전체 주위의 부감 화상인 주변 부감 화상이 생성된다. 4개의 부분 부감 화상의 서로 연결은 다양하게 가능하고, 그 서로 연결 합성의 방식에 의해, 주변 부감 화상에 있어서의 각 부분 부감 화상의 점유 면적이 변화된다. 이 서로 연결 합성의 방식을, 여기서는 합성 패턴이라고 칭하고 있다. 합성 패턴은 주변 부감 화상에 있어서의 각 부분 부감 화상의 점유 면적을 규정하는 것이고, 이 합성 패턴을 변경함으로써, 주변 부감 화상에 있어서의 각 부분 부감 화상이 차지하는 비율이 바뀐다. 화상 합성부(62)는 합성 패턴 변경부(61)에 의해 설정된 합성 패턴에 기초하여 4개의 부분 부감 화상을 합성하여 주변 부감 화상을 생성한다. 합성 패턴 변경부(61)는 복수의 합성 패턴을 미리 준비해 두고, 적절한 것을 선택하여, 화상 합성부(62)에 부여해도 되고, 하나 이상의 기성의 기본 합성 패턴을 수정하여 적절한 것을 생성하고, 화상 합성부(62)에 부여해도 된다.

이어서, 도 3을 사용하여, 4개의 부분 부감 화상으로부터 합성 패턴을 사용하여 주변 부감 화상을 생성하는 제어의 흐름의 일례를 설명한다.

4대의 카메라(4)에 의해 취득된 촬영 화상은 부감 화상 생성부(60)로 보내진다. 도 3에서는 카메라(4)마다의 촬영 화상을 구별하기 위해 부호 A 내지 D가 부여되어 있다. 부호 C가 부여된 촬영 화상을 생성하는 카메라(4)는 작업 장치(30)의 주변 영역을 촬영 시야로 하고 있고, 차체(1)에 장비되는 모든 크기의 작업 장치(30)에 있어서 그 주변 영역이 적절하게 촬영 시야 내에 들어가도록 설정되어 있다. 부감 화상 생성부(60)로부터 출력된 4개의 부분 부감 화상은 화상 합성부(62)에서 서로 연결되어 합성되어, 주변 부감 화상이 된다. 이 합성에 있어서 중요한 것은, 차체(1)에 장비되어 있는 작업 장치(30)의 주변 영역이 적절하게 들어 있는 주변 부감 화상이 얻어지는 합성 패턴이 사용되는 것이다.

생성된 주변 부감 화상은 화상 합성부(62)에 있어서, 또한, 미리 준비되어 있는 차체도 상과, 장비되어 있는 작업 장치(30)에 대응하는 작업 장치도 상으로 이루어지는 작업차도 상이 주변 부감 화상의 중앙부에 부여된다. 화상 합성부(62)로부터 출력된 작업차도 상이 구비된 주변 부감 화상은 표시 화상 생성부(56)로 보내지고, 표시 화상 신호로 변환되어, 터치 패널(73), 또는 그 밖의 외부의 디스플레이로 보내진다.

합성 패턴 변경부(61)에 의해 합성 패턴이 변경되는 실시예를 이하에 열거한다;

(1) 운전자가, 터치 패널(73)을 사용하여, 장비되어 있는 작업 장치(30)마다를 선택함으로써, 합성 패턴 변경부(61)가, 선택된 작업 장치(30)에 최적인 합성 패턴을 선택하고, 화상 합성부(62)에 부여한다.

(2) 운전자가, 터치 패널(73)에 차례로 표시되는 주변 부감 화상으로부터 최적의 것을 선택하고, 합성 패턴 변경부(61)가, 이 선택된 주변 부감 화상을 생성하는 합성 패턴을 선택하고, 화상 합성부(62)에 부여한다.

(3) 도 4에서는 터치 패널(73)에 표시되어 있는 주변 부감 화상에 있어서, 횡폭의 작업 장치(30)의 주변 영역을 촬영 시야로 하는 카메라(4)의 부분 부감 화상의 영역(부호 C가 부여되어 있음)에, 작업 장치(30)의 양단이 끊어져 있는 경우에 의한, 합성 패턴의 수정이 도시되어 있다. 이 터치 패널(73)의 수정 버튼을 누름으로써, 주변 부감 화상과, 부분 부감 화상 사이의 화상 경계선이 표시된다. 이 화상 경계선을, 운전자가 드래그 앤드 드롭으로 이동시킴으로써, 적절한 부분 부감 화상의 전유 면적의 비율이 조정된다. 완료 버튼이 눌리면, 최종적인 화상 경계선의 위치를 변경 명령으로 하여 합성 패턴 변경부(61)로 보내진다. 이에 의해, 합성 패턴 변경부(61)가, 조정된 화상 경계선 위치에 기초하는 합성 패턴을 화상 합성부(62)에 부여한다.

(4) 인식부(83)에서 인식된 작업 장치(30)의 식별 코드로부터, 합성 패턴 변경부(61)가, 최적의 합성 패턴을 선택하고, 화상 합성부(62)에 부여한다.

(5) 주행 작업 중에 자세나 크기가 변경되는 작업 장치(30), 예를 들어 절첩 가능한 전식기의 식부 장치, 승강 동작하는 경운 장치나 버킷 장치, 선회ㆍ승강 동작하는 백호우 장치가 장착되어 있는 경우, 작업 장치(30)의 자세나 크기의 변경을 검출하는 센서[작업 상태 검출 센서군(82)에 포함됨]의 검출 결과에 따라, 합성 패턴 변경부(61)가, 최적의 합성 패턴을 선택하여, 화상 합성부(62)에 부여한다.

이들 실시예는 하나 이상의 조합으로 사용하는 것이 가능하다.

상술한 바와 같은, 복수의 카메라(4)의 촬영 화상으로부터, 주위 부감 화상을 생성하는 화상 처리의 효율적인 방법은 맵핑 테이블을 사용하는 것이다. 이 맵핑 테이블은 각 촬영 화상의 화소와 주위 부감 화상의 화소를 대응 짓는 테이블이다. 또한, 맵핑 테이블은 사용되는 합성 패턴마다에 미리 준비되어 있으면, 합성 패턴을 변경해도, 신속히 주위 부감 화상이 얻어진다.

〔다른 실시 형태〕

(1) 상술한 실시 형태에서는, 작업차의 주변을 촬영하기 위해, 4대의 카메라(4)가 사용되었지만, 그 이상이어도 된다. 또한, 적어도 작업 장치(30)의 주변을 촬영하는 카메라(4)와 그 이외를 촬영하는 카메라(4)의 조합이어도 된다.

(2) 상술한 실시 형태에서는, 감시 화상 생성 모듈(6)에서 생성된 주변 부감 화상은 자차의 터치 패널(73)이나 그 밖의 디스플레이에 표시되어 있다. 그러나, 자차가 무인 주행하고 있는 경우에는, 생성된 주변 부감 화상은 이 무인 주행을 감시하고 있는, 다른 작업차나 감시자가 휴대하고 있는 통신 단말기(태블릿 컴퓨터나 스마트폰 등)에 무선을 사용하여 송신하고, 거기에 구비되어 있는 디스플레이(표시 유닛의 일례)에 표시하는 것도 가능하다. 그때는, 주변 부감 화상뿐만 아니라, 촬영 화상 및 부분 부감 화상도 송신해도 된다. 또한, 입출력 신호 처리부(7)를 통해, 작업차의 제어계와 데이터 교환 가능한 태블릿 컴퓨터나 관리 컴퓨터 등을 이용하는 경우에는, 단순히 주변 부감 화상 등의 감시 화상의 표시뿐만 아니라, 상술한 합성 패턴의 변경 처리도, 태블릿 컴퓨터나 관리 컴퓨터 등을 사용하여 행하는 구성을 채용하는 것도 가능하다. 이에 의해, 작업차로부터 이격된 장소, 나아가 원격지의 관리 센터나 농가의 자택에 있어서, 필요에 따라 합성 패턴을 변경하여, 원하는 주변 부감 화상 등의 감시 화상을 볼 수 있다.

(3) 도 2에 도시된 기능 블록도에 있어서의 각 기능부는 주로 설명의 목적으로 구분되어 있다. 실제로는, 각 기능부는 다른 기능부와 통합하는 것, 또는 복수의 기능부로 나눌 수 있다. 예를 들어, 감시 화상 생성 모듈(6)에 표시 화상 생성부(56)를 내장해도 되고, 감시 화상 생성 모듈(6)로부터 합성 패턴 변경부(61)를 분리시켜도 된다.

(4) 상술한 실시 형태에서는, 작업차로서, 로터리 경운 장치를 작업 장치(30)로서 장비한 트랙터를, 작업차로서 들었지만, 그와 같은 트랙터 이외에도, 예를 들어 전식기, 시비기, 콤바인 등의 농작업차, 혹은 작업 장치(30)로서 도저나 롤러 등을 구비하는 건설 작업차 등의 다양한 작업차도, 실시 형태로서 채용할 수 있다.

본 발명은 복수의 카메라를 사용하여 부감 화상을 모니터에 표시시키는 작업차에 적용 가능하다.

1 : 차체
4 : 카메라
30 : 작업 장치
31 : 승강 기구
5 : 제어 유닛
50 : 주행 제어부
53 : 작업 제어부
54 : 자차 위치 산출부
56 : 표시 화상 생성부
57 : 작업지 관리부
58 : 경로 생성부
6 : 감시 화상 생성 모듈
60 : 부감 화상 생성부
61 : 합성 패턴 변경부
62 : 화상 합성부
70 : 위성 측위 모듈
73 : 터치 패널(표시 유닛, 입력 조작 디바이스)
74 : 수동 전환 조작구
8 : 작업차 센서군
81 : 주행 상태 검출 센서군
82 : 작업 상태 검출 센서군(사용 형태 검출 센서)
83 : 인식부

Claims

차체와 상기 차체에 장비된 작업 장치를 구비한 작업차이며,
상기 차체 및 상기 작업 장치의 주변 영역으로부터 할당된 주변 부분 영역을 촬영하는 복수의 카메라와,
상기 카메라마다의 주변 부분 영역의 촬영 화상을 시점 변환하여 생성된 카메라마다의 부분 부감 화상을, 변경 가능한 합성 패턴에 기초하여 합성 처리하고 상기 주변 영역을 부감하는 주변 부감 화상을 생성하는 감시 화상 생성 모듈과,
상기 합성 패턴을 변경하는 합성 패턴 변경부와,
상기 주변 부감 화상을 표시하는 표시 유닛과,
상기 작업 장치의 형식을 인식하는 인식부가 구비되고,
상기 합성 패턴 변경부는 상기 인식부에 의한 인식 결과에 기초하여 상기 합성 패턴을 변경하는 작업차.
제1항에 있어서, 상기 합성 패턴은 상기 주변 부감 화상에 있어서의 상기 부분 부감 화상의 점유 면적을 규정하는 작업차.
제1항 또는 제2항에 있어서, 상기 합성 패턴 변경부는 입력 조작 디바이스를 통한 변경 명령에 기초하여 상기 합성 패턴을 변경하는 작업차.
제3항에 있어서, 상기 입력 조작 디바이스는 터치 패널이고, 상기 터치 패널에 표시된 상기 주변 부감 화상에 있어서의 상기 부분 부감 화상 사이의 화상 경계선의 위치가 변경됨으로써 상기 변경 명령이 생성되는 작업차.
삭제
제1항 또는 제2항에 있어서, 상기 작업 장치의 사용 형태를 검출하는 사용 형태 검출 센서가 구비되고,
상기 합성 패턴 변경부는 상기 사용 형태 검출 센서에 의한 검출 결과에 기초하여 상기 합성 패턴을 변경하는 작업차.
제1항 또는 제2항에 있어서, 상기 주변 부감 화상의 중앙에는 상기 차체를 나타내는 차체도 상과 상기 작업 장치를 나타내는 작업 장치도 상으로 이루어지는 작업차도 상이 배치되어 있고, 상기 작업 장치도 상의 크기는 상기 합성 패턴의 변경에 수반하여 변경되는 작업차.