JP7317165B2 - Obstacle detection system for work vehicles - Google Patents

Obstacle detection system for work vehicles Download PDF

Info

Publication number
JP7317165B2
JP7317165B2 JP2022042632A JP2022042632A JP7317165B2 JP 7317165 B2 JP7317165 B2 JP 7317165B2 JP 2022042632 A JP2022042632 A JP 2022042632A JP 2022042632 A JP2022042632 A JP 2022042632A JP 7317165 B2 JP7317165 B2 JP 7317165B2
Authority
JP
Japan
Prior art keywords
obstacle
distance
image processing
range
tractor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022042632A
Other languages
Japanese (ja)
Other versions
JP2022069671A (en
Inventor
卓也 岩瀬
和寿 横山
士郎 ▲杉▼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018244266A external-priority patent/JP7044694B2/en
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Priority to JP2022042632A priority Critical patent/JP7317165B2/en
Publication of JP2022069671A publication Critical patent/JP2022069671A/en
Application granted granted Critical
Publication of JP7317165B2 publication Critical patent/JP7317165B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、トラクタや乗用草刈機などの乗用作業車両、及び、無人草刈機などの無人作業車両に使用される作業車両用の障害物検知システムに関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an obstacle detection system for work vehicles used in riding work vehicles such as tractors and riding lawn mowers, and unmanned work vehicles such as unmanned lawn mowers.

作業車両においては、作業車両の周囲に存在する障害物を検知して当該障害物の相対位置を取得する複数の障害物検知センサと、作業車両の周囲の画像を取得する複数のカメラと、複数のカメラによって取得される複数の画像に基づいて作業車両の周囲の俯瞰画像を取得する俯瞰画像取得部と、障害物の存在を運転者に対して警告する必要のある警告領域を設定する警告領域設定部と、俯瞰画像上において障害物の相対位置が警告領域内に位置する場合に障害物の存在を運転者に警告する警告部と、を備えて作業車両の周辺を監視するように構成された周辺監視装置が装備されたものがある(例えば特許文献1参照)。 In the work vehicle, a plurality of obstacle detection sensors that detect obstacles existing around the work vehicle and obtain the relative positions of the obstacles, a plurality of cameras that obtain images of the surroundings of the work vehicle, a plurality of A bird's-eye view image acquisition unit that acquires a bird's-eye view image of the surroundings of the work vehicle based on a plurality of images acquired by the camera, and a warning area that sets a warning area where it is necessary to warn the driver of the presence of obstacles. and a warning unit that warns the driver of the existence of the obstacle when the relative position of the obstacle is within the warning area on the bird's-eye view image, and is configured to monitor the surroundings of the work vehicle. Some are equipped with a perimeter monitoring device (see, for example, Patent Document 1).

国際公開第2012/169361号公報International Publication No. 2012/169361

前述した特許文献1に記載の周辺監視装置においては、障害物検知センサとして物体判別精度の低いレーダ装置が採用されている。そのため、前述した警告領域にて背の高い草が生えている場合や、警告領域にて埃や粉塵などが浮遊物として舞い上がった場合などにおいては、その背の高い草や浮遊物などを障害物検知センサが障害物として誤検出することがある。このような誤検出が生じると、作業車両の走行に支障を来たす障害物が存在していないにもかかわらず、警告部が、警告領域内に障害物が存在することを運転者に警告することになる。 In the perimeter monitoring device described in Patent Document 1 mentioned above, a radar device with low object discrimination accuracy is employed as an obstacle detection sensor. Therefore, if there is tall grass growing in the warning area, or if dust or dust particles are floating in the warning area, the tall grass or floating objects will become an obstacle. The detection sensor may erroneously detect it as an obstacle. If such an erroneous detection occurs, the warning unit warns the driver that there is an obstacle within the warning area even though there is no obstacle that would impede the running of the work vehicle. become.

この実情に鑑み、本発明の主たる課題は、作業車両の周囲に存在する障害物を精度良く検知することができる作業車両用の障害物検知システムを構築する点にある。 In view of this situation, a main object of the present invention is to construct an obstacle detection system for a work vehicle that can accurately detect obstacles existing around the work vehicle.

本発明の一態様に係る作業車両用の障害物検知システムは、作業車両の周囲を撮像する撮像装置からの画像に基づいて障害物を判別する障害物判別処理を行う画像処理装置を有する。前記画像処理装置は、前記作業車両の走行方向と車速との少なくとも一方に応じて、前記撮像装置に対する単位時間あたりの処理対象周期を変更する。 An obstacle detection system for a work vehicle according to one aspect of the present invention includes an image processing device that performs obstacle determination processing for determining an obstacle based on an image from an imaging device that captures an image of the surroundings of the work vehicle. The image processing device changes a processing target cycle per unit time for the imaging device according to at least one of a traveling direction and a vehicle speed of the work vehicle.

作業車両用の自動走行システムの概略構成を示す図Diagram showing schematic configuration of automatic driving system for work vehicle 各カメラの撮像範囲を示すトラクタの平面図Top view of the tractor showing the imaging range of each camera 各ライダーセンサ及びソナーの測定範囲などを示すトラクタの側面図Side view of the tractor showing the measurement range of each lidar sensor and sonar 各ライダーセンサ及びソナーの測定範囲などを示すトラクタの平面図Top view of the tractor showing the measurement range of each lidar sensor and sonar 自動走行用の目標経路の一例を示す平面図A plan view showing an example of a target route for automatic driving 作業車両用の自動走行システムの概略構成を示すブロック図Block diagram showing a schematic configuration of an automatic driving system for work vehicles 作業車両用の障害物検知システムの概略構成を示すブロック図Block diagram showing a schematic configuration of an obstacle detection system for work vehicles 前ライダーセンサの距離画像における障害物の検知範囲と非検知範囲とを示す図A diagram showing an obstacle detection range and non-detection range in the range image of the front lidar sensor. 後ライダーセンサの距離画像における作業装置下降状態での障害物の検知範囲と非検知範囲とを示す図FIG. 11 is a diagram showing an obstacle detection range and an obstacle non-detection range in the working device lowered state in the distance image of the rear rider sensor; 後ライダーセンサの距離画像における作業装置上昇状態での障害物の検知範囲と非検知範囲とを示す図FIG. 11 is a diagram showing an obstacle detection range and an obstacle non-detection range in a rear lidar sensor range image in the working device raised state; 画像処理における画像処理装置の処理手順を示すフローチャート4 is a flow chart showing a processing procedure of an image processing apparatus in image processing; 各カメラの搭載位置と車体座標原点及び距離算出基準点との位置関係などを示す平面図A plan view showing the positional relationship between the mounting position of each camera, the origin of the vehicle body coordinates, and the distance calculation reference point. 液晶モニタや表示デバイスにおけるカメラ画像の配置の一例を示す図A diagram showing an example of the arrangement of camera images on a liquid crystal monitor or display device 時分割方式における各カメラに対する単位時間あたりの処理対象周期を示す図A diagram showing the processing target cycle per unit time for each camera in the time division method 第1特定制御における障害物検知装置の制御作動を示すフローチャートFlowchart showing the control operation of the obstacle detection device in the first specific control 第3特定制御における障害物検知装置の制御作動を示すフローチャートFlowchart showing the control operation of the obstacle detection device in the third specific control 別実施形態での液晶モニタや表示デバイスにおけるカメラ画像の配置の一例を示す図A diagram showing an example of arrangement of camera images on a liquid crystal monitor or a display device in another embodiment.

以下、本発明を実施するための形態の一例として、本発明に係る作業車両用の障害物検知システムを、作業車両の一例であるトラクタに適用した実施形態を図面に基づいて説明する。
なお、本発明に係る作業車両用の障害物検知システムは、トラクタ以外の、例えば乗用草刈機、乗用田植機、コンバイン、運搬車、除雪車、ホイールローダ、などの乗用作業車両、及び、無人草刈機などの無人作業車両に適用することができる。
An embodiment in which an obstacle detection system for a work vehicle according to the present invention is applied to a tractor, which is an example of a work vehicle, will be described below as an example of a form for carrying out the present invention, based on the drawings.
In addition, the obstacle detection system for work vehicles according to the present invention is applicable to riding work vehicles other than tractors, such as riding lawn mowers, riding rice planters, combine harvesters, trucks, snow plows, wheel loaders, and unmanned grass cutting machines. It can be applied to unmanned working vehicles such as machines.

図1~4に示すように、本実施形態に例示されたトラクタ1は、その後部に3点リンク機構2を介して、作業装置の一例であるロータリ耕耘装置3が昇降可能かつローリング可能に連結されている。これにより、このトラクタ1はロータリ耕耘仕様に構成されている。トラクタ1は、作業車両用の自動走行システムを使用することにより、作業地の一例である図5に示す圃場Aなどにおいて自動走行することができる。
なお、トラクタ1の後部には、ロータリ耕耘装置3に代えて、プラウ、ディスクハロー、カルチベータ、サブソイラ、播種装置、散布装置、草刈装置、などの各種の作業装置を連結することができる。
As shown in FIGS. 1 to 4, a tractor 1 exemplified in this embodiment has a rotary tillage device 3, which is an example of a working device, connected via a three-point link mechanism 2 to its rear portion so as to be able to move up and down and roll. It is As a result, the tractor 1 is configured for rotary tillage. The tractor 1 can automatically travel in a farm field A shown in FIG.
Various working devices such as a plow, a disk harrow, a cultivator, a subsoiler, a seeding device, a spreading device, and a mowing device can be connected to the rear portion of the tractor 1 instead of the rotary tillage device 3.

図6に示すように、自動走行システムには、トラクタ1に搭載された自動走行ユニット4と、自動走行ユニット4と無線通信可能に通信設定された無線通信機器の一例である携帯通信端末5とが含まれている。携帯通信端末5には、自動走行に関する各種の情報表示や入力操作などを可能にするマルチタッチ式の表示デバイス(例えば液晶パネル)50などが備えられている。
なお、携帯通信端末5には、タブレット型のパーソナルコンピュータやスマートフォンなどを採用することができる。又、無線通信には、Wi-Fi(登録商標)などの無線LAN(Local Area Network)やBluetooth(登録商標)などの近距離無線通信などを採用することができる。
As shown in FIG. 6, the automatic traveling system includes an automatic traveling unit 4 mounted on a tractor 1, and a mobile communication terminal 5, which is an example of a wireless communication device set to be able to communicate wirelessly with the automatic traveling unit 4. It is included. The mobile communication terminal 5 is provided with a multi-touch display device (for example, a liquid crystal panel) 50 that enables various information display and input operations related to automatic driving.
As the mobile communication terminal 5, a tablet personal computer, a smart phone, or the like can be adopted. For wireless communication, a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark) or short-range wireless communication such as Bluetooth (registered trademark) can be employed.

図1~3、図6に示すように、トラクタ1には、駆動可能で操舵可能な左右の前輪10、駆動可能な左右の後輪11、搭乗式の運転部12を形成するキャビン13、コモンレールシステムを有する電子制御式のディーゼルエンジン(以下、エンジンと称する)14、エンジン14などを覆うボンネット15、エンジン14からの動力を変速する変速ユニット16、左右の前輪10を操舵する全油圧式のパワーステアリングユニット17、左右の後輪11を制動するブレーキユニット18、ロータリ耕耘装置3への伝動を断続する電子油圧制御式の作業クラッチユニット19、ロータリ耕耘装置3を昇降駆動する電子油圧制御式の昇降駆動ユニット20、ロータリ耕耘装置3をロール方向に駆動する電子油圧制御式のローリングユニット21、トラクタ1における各種の設定状態や各部の動作状態などを検出する各種のセンサやスイッチなどを含む車両状態検出機器22、及び、各種の制御部を有する車載制御ユニット23、などが備えられている。
なお、エンジン14には、電子ガバナを有する電子制御式のガソリンエンジンなどを採用してもよい。又、パワーステアリングユニット17には、操舵用の電動モータを有する電動式を採用してもよい。
As shown in FIGS. 1 to 3 and 6, the tractor 1 includes left and right drivable and steerable front wheels 10, left and right drivable rear wheels 11, a cabin 13 forming a ride-on driving section 12, a common rail An electronically controlled diesel engine (hereinafter referred to as the engine) 14 having a system, a bonnet 15 covering the engine 14, etc., a transmission unit 16 for shifting the power from the engine 14, and a full hydraulic power steering for the left and right front wheels 10. A steering unit 17, a brake unit 18 for braking the left and right rear wheels 11, an electro-hydraulic control type working clutch unit 19 for intermittently transmitting power to the rotary tillage device 3, and an electro-hydraulic control type elevation for driving the rotary tillage device 3 up and down. A drive unit 20, an electro-hydraulically controlled rolling unit 21 for driving the rotary tillage device 3 in the roll direction, and vehicle state detection including various sensors and switches for detecting various setting states and operating states of each part in the tractor 1. A device 22 and an in-vehicle control unit 23 having various control units are provided.
The engine 14 may be an electronically controlled gasoline engine having an electronic governor. Also, the power steering unit 17 may be of an electric type having an electric motor for steering.

図1、図3に示すように、運転部12には、手動操舵用のステアリングホイール25と、搭乗者用の座席26と、各種の情報表示や入力操作などを可能にするマルチタッチ式の液晶モニタ27とが備えられている。図示は省略するが、運転部12には、アクセルレバーや変速レバーなどの操作レバー類、及び、アクセルペダルやクラッチペダルなどの操作ペダル類、などが備えられている。 As shown in FIGS. 1 and 3, the operation unit 12 includes a steering wheel 25 for manual steering, a seat 26 for passengers, and a multi-touch liquid crystal display that enables various information displays and input operations. A monitor 27 is provided. Although not shown, the operation unit 12 includes operation levers such as an accelerator lever and a shift lever, and operation pedals such as an accelerator pedal and a clutch pedal.

図示は省略するが、変速ユニット16には、エンジン14からの動力を変速する電子制御式の無段変速装置、及び、無段変速装置による変速後の動力を前進用と後進用とに切り換える電子油圧制御式の前後進切換装置、などが含まれている。無段変速装置には、静油圧式無段変速装置(HST:Hydro Static Transmission)よりも伝動効率が高い油圧機械式無段変速装置の一例であるI-HMT(Integrated Hydro-static Mechanical Transmission)が採用されている。前後進切換装置には、前進動力断続用の油圧クラッチと、後進動力断続用の油圧クラッチと、それらに対するオイルの流れを制御する電磁バルブとが含まれている。
なお、無段変速装置には、I-HMTの代わりに、油圧機械式無段変速装置の一例であるHMT(Hydraulic Mechanical Transmission)、静油圧式無段変速装置、又は、ベルト式無段変速装置、などを採用してもよい。又、変速ユニット16には、無段変速装置の代わりに、複数の変速用の油圧クラッチとそれらに対するオイルの流れを制御する複数の電磁バルブとを有する電子油圧制御式の有段変速装置が含まれていてもよい。
Although not shown, the transmission unit 16 includes an electronically controlled continuously variable transmission that changes the speed of the power from the engine 14, and an electronic controller that switches the power after the speed change by the continuously variable transmission between forward and reverse. It includes a hydraulically controlled forward/reverse switching device. The continuously variable transmission includes the I-HMT (Integrated Hydro-static Mechanical Transmission), which is an example of a hydromechanical continuously variable transmission that has higher transmission efficiency than a hydrostatic transmission (HST). Adopted. The forward/reverse switching device includes a hydraulic clutch for connecting and disconnecting forward drive power, a hydraulic clutch for connecting and disconnecting reverse drive power, and an electromagnetic valve for controlling oil flow to them.
Instead of the I-HMT, the continuously variable transmission may be a hydraulic mechanical transmission (HMT), a hydrostatic continuously variable transmission, or a belt-type continuously variable transmission. , etc., may be employed. Further, instead of a continuously variable transmission, the transmission unit 16 includes an electrohydraulically controlled stepped transmission having a plurality of hydraulic clutches for transmission and a plurality of electromagnetic valves for controlling oil flow to them. It may be

図示は省略するが、ブレーキユニット18には、左右の後輪11を個別に制動する左右のブレーキ、運転部12に備えられた左右のブレーキペダルの踏み込み操作に連動して左右のブレーキを作動させるフットブレーキ系、運転部12に備えられたパーキングレバーの操作に連動して左右のブレーキを作動させるパーキングブレーキ系、及び、左右の前輪10の設定角度以上の操舵に連動して旋回内側のブレーキを作動させる旋回ブレーキ系、などが含まれている。 Although not shown, the brake unit 18 includes left and right brakes for individually braking the left and right rear wheels 11, and the left and right brakes are operated in conjunction with the stepping operation of the left and right brake pedals provided in the driving unit 12. A foot brake system, a parking brake system that operates the left and right brakes in conjunction with the operation of the parking lever provided in the driving unit 12, and a brake on the inside of the turn in conjunction with the steering of the left and right front wheels 10 at a set angle or more. It includes a turning brake system to operate.

車両状態検出機器22は、トラクタ1の各部に備えられた各種のセンサやスイッチなどの総称である。図7に示すように、車両状態検出機器22には、トラクタ1の車速を検出する車速センサ22A、前後進切り換え用のリバーサレバーの操作位置を検出するリバーサセンサ22B、及び、前輪10の操舵角を検出する舵角センサ22C、が含まれている。又、図示は省略するが、車両状態検出機器22には、エンジン14の出力回転数を検出する回転センサ、アクセルレバーの操作位置を検出するアクセルセンサ、及び、変速レバーの操作位置を検出する変速センサ、などが含まれている。 The vehicle state detection device 22 is a general term for various sensors, switches, etc. provided in each part of the tractor 1 . As shown in FIG. 7, the vehicle state detection device 22 includes a vehicle speed sensor 22A that detects the vehicle speed of the tractor 1, a reverser sensor 22B that detects the operating position of a reverser lever for switching forward and backward, and a steering angle of the front wheels 10. A steering angle sensor 22C for detecting is included. Although not shown, the vehicle state detection device 22 includes a rotation sensor for detecting the output rotation speed of the engine 14, an accelerator sensor for detecting the operating position of an accelerator lever, and a speed change sensor for detecting the operating position of a shift lever. sensors, etc.

図6~7に示すように、車載制御ユニット23には、エンジン14に関する制御を行うエンジン制御部23A、トラクタ1の車速や前後進の切り換えに関する制御を行う車速制御部23B、ステアリングに関する制御を行うステアリング制御部23C、ロータリ耕耘装置3などの作業装置に関する制御を行う作業装置制御部23D、液晶モニタ27などに対する表示や報知に関する制御を行う表示制御部23E、自動走行に関する制御を行う自動走行制御部23F、及び、圃場内に区分けされた走行領域に応じて生成された自動走行用の目標経路P(図5参照)などを記憶する不揮発性の車載記憶部23G、などが含まれている。各制御部23A~23Fは、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどによって構築されている。各制御部23A~23Fは、CAN(Controller Area Network)を介して相互通信可能に接続されている。
なお、各制御部23A~23Fの相互通信には、CAN以外の通信規格や次世代通信規格である、例えば、車載EthernetやCAN-FD(CAN with FLexible Data rate)などを採用してもよい。
As shown in FIGS. 6 and 7, the in-vehicle control unit 23 includes an engine control section 23A for controlling the engine 14, a vehicle speed control section 23B for controlling the vehicle speed of the tractor 1 and switching between forward and backward travel, and a steering control section. A steering control unit 23C, a work device control unit 23D that controls work devices such as the rotary tillage device 3, a display control unit 23E that controls display and notification on the liquid crystal monitor 27, and an automatic travel control unit that performs control related to automatic travel. 23F, and a non-volatile in-vehicle storage unit 23G that stores a target route P (see FIG. 5) for automatic travel generated according to the travel areas divided in the field. Each control section 23A to 23F is constructed by an electronic control unit in which a microcontroller or the like is integrated, various control programs, or the like. The controllers 23A to 23F are interconnected via CAN (Controller Area Network) so as to be able to communicate with each other.
For mutual communication between the control units 23A to 23F, a communication standard other than CAN or a next-generation communication standard such as in-vehicle Ethernet or CAN-FD (CAN with Flexible Data rate) may be adopted.

エンジン制御部23Aは、アクセルセンサからの検出情報と回転センサからの検出情報とに基づいて、エンジン回転数をアクセルレバーの操作位置に応じた回転数に維持するエンジン回転数維持制御、などを実行する。 The engine control unit 23A executes engine speed maintenance control for maintaining the engine speed at a speed corresponding to the operating position of the accelerator lever based on the detection information from the accelerator sensor and the detection information from the rotation sensor. do.

車速制御部23Bは、変速センサからの検出情報と車速センサ22Aからの検出情報などに基づいて、トラクタ1の車速が変速レバーの操作位置に応じた速度に変更されるように無段変速装置の作動を制御する車速制御、及び、リバーサセンサ22Bからの検出情報に基づいて前後進切換装置の伝動状態を切り換える前後進切り換え制御、などを実行する。車速制御には、変速レバーが零速位置に操作された場合に、無段変速装置を零速状態まで減速制御してトラクタ1の走行を停止させる減速停止処理が含まれている。 The vehicle speed control unit 23B controls the continuously variable transmission so that the vehicle speed of the tractor 1 is changed to a speed corresponding to the operation position of the shift lever based on the detection information from the shift sensor and the detection information from the vehicle speed sensor 22A. Vehicle speed control for controlling the operation and forward/reverse switching control for switching the transmission state of the forward/reverse switching device based on the information detected from the reverser sensor 22B are executed. The vehicle speed control includes deceleration stop processing for stopping the tractor 1 from traveling by controlling the speed reduction of the continuously variable transmission to the zero speed state when the shift lever is operated to the zero speed position.

作業装置制御部23Dには、PTOスイッチの操作などに基づいて作業クラッチユニット19の作動を制御する作業クラッチ制御、昇降スイッチの操作や高さ設定ダイヤルの設定値などに基づいて昇降駆動ユニット20の作動を制御する昇降制御、及び、ロール角設定ダイヤルの設定値などに基づいてローリングユニット21の作動を制御するローリング制御、などを実行する。PTOスイッチ、昇降スイッチ、高さ設定ダイヤル、及び、ロール角設定ダイヤルは、車両状態検出機器22に含まれている。 The work device control unit 23D includes a work clutch control that controls the operation of the work clutch unit 19 based on the operation of the PTO switch, etc. Elevation control for controlling the operation, rolling control for controlling the operation of the rolling unit 21 based on the set value of the roll angle setting dial, etc. are executed. A PTO switch, a lift switch, a height setting dial, and a roll angle setting dial are included in the vehicle state detection device 22 .

図6に示すように、トラクタ1には、トラクタ1の現在位置や現在方位などを測定する測位ユニット30が備えられている。測位ユニット30は、衛星測位システム(NSS:Navigation Satellite System)の一例であるGNSS(Global Navigation Satellite System)を利用してトラクタ1の現在位置と現在方位とを測定する衛星航法装置31、及び、3軸のジャイロスコープ及び3方向の加速度センサなどを有してトラクタ1の姿勢や方位などを測定する慣性計測装置(IMU:Inertial Measurement Unit)32、などを有している。GNSSを利用した測位方法には、DGNSS(Differential GNSS:相対測位方式)やRTK-GNSS(Real Time Kinematic GNSS:干渉測位方式)などがある。本実施形態においては、移動体の測位に適したRTK-GNSSが採用されている。そのため、図1に示すように、圃場周辺の既知位置には、RTK-GNSSによる測位を可能にする基準局6が設置されている。 As shown in FIG. 6, the tractor 1 is equipped with a positioning unit 30 for measuring the current position and current azimuth of the tractor 1 . The positioning unit 30 includes satellite navigation devices 31 and 3 that measure the current position and current direction of the tractor 1 using a GNSS (Global Navigation Satellite System), which is an example of a navigation satellite system (NSS). It has an inertial measurement unit (IMU) 32 which has an axial gyroscope, three-directional acceleration sensors, etc., and measures the attitude and orientation of the tractor 1, and the like. Positioning methods using GNSS include DGNSS (Differential GNSS: relative positioning system) and RTK-GNSS (Real Time Kinematic GNSS: interferometric positioning system). In this embodiment, RTK-GNSS suitable for positioning of mobile units is adopted. Therefore, as shown in FIG. 1, reference stations 6 that enable positioning by RTK-GNSS are installed at known positions around the field.

図1、図6に示すように、トラクタ1と基準局6とのそれぞれには、測位衛星7(図1参照)から送信された電波を受信するGNSSアンテナ33,60、及び、トラクタ1と基準局6との間における測位情報を含む各情報の無線通信を可能にする通信モジュール34,61、などが備えられている。これにより、測位ユニット30の衛星航法装置31は、トラクタ側のGNSSアンテナ33が測位衛星7からの電波を受信して得た測位情報と、基地局側のGNSSアンテナ60が測位衛星7からの電波を受信して得た測位情報とに基づいて、トラクタ1の現在位置及び現在方位を高い精度で測定することができる。又、測位ユニット30は、衛星航法装置31と慣性計測装置32とを有することにより、トラクタ1の現在位置、現在方位、姿勢角(ヨー角、ロール角、ピッチ角)を高精度に測定することができる。 As shown in FIGS. 1 and 6, the tractor 1 and the reference station 6 are provided with GNSS antennas 33 and 60 for receiving radio waves transmitted from the positioning satellite 7 (see FIG. 1). Communication modules 34, 61, etc. are provided to enable wireless communication of each information including positioning information between. As a result, the satellite navigation device 31 of the positioning unit 30 receives the positioning information obtained by the GNSS antenna 33 on the tractor side receiving the radio waves from the positioning satellite 7, and the GNSS antenna 60 on the base station side receives the radio waves from the positioning satellite 7. Based on the positioning information obtained by receiving , the current position and current azimuth of the tractor 1 can be measured with high accuracy. Further, the positioning unit 30 has a satellite navigation device 31 and an inertial measurement device 32, so that the current position, current azimuth, and attitude angle (yaw angle, roll angle, pitch angle) of the tractor 1 can be measured with high precision. can be done.

このトラクタ1において、測位ユニット30の慣性計測装置32、GNSSアンテナ33、及び、通信モジュール34は、図1に示すアンテナユニット35に含まれている。アンテナユニット35は、キャビン13の前面側における上部の左右中央箇所に配置されている。そして、トラクタ1におけるGNSSアンテナ33の取り付け位置が、GNSSを利用してトラクタ1の現在位置などを測定するときの測位対象位置となっている。 In this tractor 1, the inertial measurement device 32, the GNSS antenna 33, and the communication module 34 of the positioning unit 30 are included in the antenna unit 35 shown in FIG. The antenna unit 35 is arranged at the left-right central portion of the upper portion on the front side of the cabin 13 . And the attachment position of the GNSS antenna 33 in the tractor 1 becomes a positioning object position when measuring the present position of the tractor 1 using GNSS.

図6に示すように、携帯通信端末5には、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどを有する端末制御ユニット51、及び、トラクタ側の通信モジュール34との間における測位情報を含む各情報の無線通信を可能にする通信モジュール52、などが備えられている。端末制御ユニット51には、表示デバイス50などに対する表示や報知に関する制御を行う表示制御部51A、自動走行用の目標経路Pを生成する目標経路生成部51B、及び、目標経路生成部51Bが生成した目標経路Pなどを記憶する不揮発性の端末記憶部51C、などが含まれている。端末記憶部51Cには、目標経路Pの生成に使用する各種の情報として、トラクタ1の旋回半径や作業幅などの車体情報、及び、前述した測位情報から得られる圃場情報、などが記憶されている。圃場情報には、圃場Aの形状や大きさなどを特定する上において、トラクタ1を圃場Aの外周縁に沿って走行させたときにGNSSを利用して取得した圃場Aにおける複数の形状特定地点(形状特定座標)となる4つの角部地点Ap1~Ap4(図5参照)、及び、それらの角部地点Ap1~Ap4を繋いで圃場Aの形状や大きさなどを特定する矩形状の形状特定線AL(図5参照)、などが含まれている。 As shown in FIG. 6, the mobile communication terminal 5 includes an electronic control unit integrated with a microcontroller, a terminal control unit 51 having various control programs, and a positioning control unit 51 with a communication module 34 on the tractor side. A communication module 52 and the like are provided to enable wireless communication of each information including information. The terminal control unit 51 includes a display control unit 51A that controls display and notification on the display device 50, a target route generation unit 51B that generates a target route P for automatic driving, and a target route generation unit 51B that generates A non-volatile terminal storage unit 51C for storing the target route P and the like are included. The terminal storage unit 51C stores various types of information used to generate the target route P, such as vehicle body information such as the turning radius and working width of the tractor 1, and field information obtained from the positioning information described above. there is The field information includes a plurality of shape identification points in the field A obtained using GNSS when the tractor 1 is driven along the outer periphery of the field A in order to identify the shape and size of the field A. Four corner points Ap1 to Ap4 (see FIG. 5) that serve as (shape identification coordinates), and rectangular shape identification that connects the corner points Ap1 to Ap4 to identify the shape and size of the field A. line AL (see FIG. 5), and so on.

目標経路生成部51Bは、車体情報に含まれたトラクタ1の旋回半径や作業幅、及び、圃場情報に含まれた圃場Aの形状や大きさ、などに基づいて目標経路Pを生成する。
例えば、図5に示すように、矩形状の圃場Aにおいて、自動走行の開始地点p1と終了地点p2とが設定され、トラクタ1の作業走行方向が圃場Aの短辺に沿う方向に設定されている場合は、目標経路生成部51Bは、先ず、圃場Aを、前述した4つの角部地点Ap1~Ap4と矩形状の形状特定線ALとに基づいて、圃場Aの外周縁に隣接するマージン領域A1と、マージン領域A1の内側に位置する走行領域A2とに区分けする。
次に、目標経路生成部51Bは、トラクタ1の旋回半径や作業幅などに基づいて、走行領域A2に、圃場Aの長辺に沿う方向に作業幅に応じた一定間隔をあけて並列に配置される複数の並列経路P1を生成するとともに、走行領域A2における各長辺側の外縁部に配置されて複数の並列経路P1を走行順に接続する複数の旋回経路P2を生成する。
そして、走行領域A2を、走行領域A2における各長辺側の外縁部に設定される一対の非作業領域A2aと、一対の非作業領域A2aの間に設定される作業領域A2bとに区分けするとともに、各並列経路P1を、一対の非作業領域A2aに含まれる非作業経路P1aと、作業領域A2bに含まれる作業経路P1bとに区分けする。
これにより、目標経路生成部51Bは、図5に示す圃場Aにおいてトラクタ1を自動走行させるのに適した目標経路Pを生成することができる。
The target route generator 51B generates the target route P based on the turning radius and working width of the tractor 1 included in the vehicle body information, the shape and size of the farm field A included in the farm field information, and the like.
For example, as shown in FIG. 5, a start point p1 and an end point p2 of automatic traveling are set in a rectangular farm field A, and the work traveling direction of the tractor 1 is set along the short side of the farm field A. If so, the target path generation unit 51B first divides the farm field A into a margin area adjacent to the outer periphery of the farm field A based on the four corner points Ap1 to Ap4 and the rectangular shape identification line AL. A1 and a running area A2 located inside the margin area A1.
Next, based on the turning radius and working width of the tractor 1, the target route generating unit 51B is arranged in parallel in the traveling area A2 at regular intervals corresponding to the working width in the direction along the long side of the field A. A plurality of parallel routes P1 are generated, and a plurality of turning routes P2 are generated that are arranged at the outer edge of each long side of the travel area A2 and connect the plurality of parallel routes P1 in the order of travel.
Then, the traveling area A2 is divided into a pair of non-working areas A2a set at the outer edges of each long side of the traveling area A2, and a working area A2b set between the pair of non-working areas A2a. , each parallel path P1 is divided into a non-work path P1a included in a pair of non-work areas A2a and a work path P1b included in a pair of work areas A2b.
As a result, the target route generator 51B can generate a target route P suitable for automatically driving the tractor 1 in the farm field A shown in FIG.

図5に示す圃場Aにおいて、マージン領域A1は、トラクタ1が走行領域A2の外周部を自動走行するときに、ロータリ耕耘装置3などが圃場Aに隣接する畦などの他物に接触することを防止するために、圃場Aの外周縁と走行領域A2との間に確保された領域である。各非作業領域A2aは、トラクタ1が圃場Aの畦際において現在の作業経路P1bから次の作業経路P1bに旋回移動するための畦際旋回領域である。 In the farm field A shown in FIG. 5, the margin area A1 prevents the rotary tillage device 3 from coming into contact with other objects such as ridges adjacent to the farm field A when the tractor 1 automatically travels along the outer periphery of the travel area A2. This area is secured between the outer edge of the field A and the running area A2 in order to prevent this. Each non-work area A2a is a ridge turning area for the tractor 1 to turn from the current work path P1b to the next work path P1b on the ridge of the field A.

図5に示す目標経路Pにおいて、各非作業経路P1aと各旋回経路P2は、トラクタ1が耕耘作業を行わずに自動走行する経路であり、前述した各作業経路P1bは、トラクタ1が耕耘作業を行いながら自動走行する経路である。各作業経路P1bの始端地点p3は、トラクタ1が耕耘作業を開始する作業開始地点であり、各作業経路P1bの終端地点p4は、トラクタ1が耕耘作業を停止する作業停止地点である。各非作業経路P1aは、トラクタ1が旋回経路P2にて旋回走行する前の作業停止地点p4と、トラクタ1が旋回経路P2にて旋回走行した後の作業開始地点p3とを、トラクタ1の作業走行方向で揃えるための位置合せ経路である。各並列経路P1と各旋回経路P2との各接続地点p5,p6のうち、各並列経路P1における終端側の接続地点p5はトラクタ1の旋回開始地点であり、各並列経路P1における始端側の接続地点p6はトラクタ1の旋回終了地点である。 In the target path P shown in FIG. 5, each non-working path P1a and each turning path P2 are paths along which the tractor 1 automatically travels without performing tillage work. It is a route that automatically travels while performing A start point p3 of each work path P1b is a work start point at which the tractor 1 starts tillage work, and an end point p4 of each work path P1b is a work stop point at which the tractor 1 stops tillage work. Each non-working path P1a includes a work stop point p4 before the tractor 1 turns on the turning path P2 and a work start point p3 after the tractor 1 turns on the turning path P2. Alignment path for alignment in the direction of travel. Of the connection points p5 and p6 between each parallel path P1 and each turning path P2, the connection point p5 on the end side of each parallel path P1 is the turning start point of the tractor 1, and is the connection point on the beginning side of each parallel path P1. A point p6 is the turning end point of the tractor 1 .

なお、図5に示す目標経路Pはあくまでも一例であり、目標経路生成部51Bは、トラクタ1の機種や作業の種類などに応じて異なる車体情報、及び、圃場Aに応じて異なる圃場Aの形状や大きさなどの圃場情報、などに基づいて、それらに適した種々の目標経路Pを生成することができる。 Note that the target route P shown in FIG. 5 is merely an example, and the target route generation unit 51B generates vehicle body information that differs depending on the model of the tractor 1 and the type of work, and the shape of the farm field A that differs depending on the farm field A. Various target paths P suitable for them can be generated based on field information such as size and size.

目標経路Pは、車体情報や圃場情報などに関連付けされた状態で端末記憶部51Cに記憶されており、携帯通信端末5の表示デバイス50にて表示することができる。目標経路Pには、各並列経路P1におけるトラクタ1の目標車速、各旋回経路P2bにおけるトラクタ1の目標車速、各並列経路P1における前輪操舵角、及び、各旋回経路P2bにおける前輪操舵角、などが含まれている。 The target route P is stored in the terminal storage unit 51</b>C in a state of being associated with vehicle information, field information, etc., and can be displayed on the display device 50 of the mobile communication terminal 5 . The target path P includes the target vehicle speed of the tractor 1 on each parallel path P1, the target vehicle speed of the tractor 1 on each turning path P2b, the front wheel steering angle on each parallel path P1, and the front wheel steering angle on each turning path P2b. include.

端末制御ユニット51は、車載制御ユニット23からの送信要求指令に応じて、端末記憶部51Cに記憶されている圃場情報や目標経路Pなどを車載制御ユニット23に送信する。車載制御ユニット23は、受信した圃場情報や目標経路Pなどを車載記憶部23Gに記憶する。目標経路Pの送信に関しては、例えば、端末制御ユニット51が、トラクタ1が自動走行を開始する前の段階において、目標経路Pの全てを端末記憶部51Cから車載制御ユニット23に一挙に送信するようにしてもよい。又、端末制御ユニット51が、目標経路Pを所定距離ごとの複数の分割経路情報に分割して、トラクタ1が自動走行を開始する前の段階からトラクタ1の走行距離が所定距離に達するごとに、トラクタ1の走行順位に応じた所定数の分割経路情報を端末記憶部51Cから車載制御ユニット23に逐次送信するようにしてもよい。 The terminal control unit 51 transmits the field information, the target route P, and the like stored in the terminal storage section 51C to the in-vehicle control unit 23 in response to the transmission request command from the in-vehicle control unit 23 . The in-vehicle control unit 23 stores the received field information, the target route P, and the like in the in-vehicle storage section 23G. Regarding the transmission of the target route P, for example, the terminal control unit 51 may transmit all of the target route P from the terminal storage unit 51C to the vehicle-mounted control unit 23 at once before the tractor 1 starts automatic traveling. can be Further, the terminal control unit 51 divides the target route P into a plurality of divided route information for each predetermined distance, and every time the travel distance of the tractor 1 reaches the predetermined distance from the stage before the tractor 1 starts automatic travel Alternatively, a predetermined number of divided route information corresponding to the running order of the tractor 1 may be sequentially transmitted from the terminal storage section 51C to the vehicle-mounted control unit 23 .

車載制御ユニット23において、自動走行制御部23Fには、車両状態検出機器22に含まれた各種のセンサやスイッチなどからの検出情報が、車速制御部23Bやステアリング制御部23Cなどを介して入力されている。これにより、自動走行制御部23Fは、トラクタ1における各種の設定状態や各部の動作状態などを監視することができる。 In the in-vehicle control unit 23, detection information from various sensors, switches, and the like included in the vehicle state detection device 22 is input to the automatic driving control section 23F via the vehicle speed control section 23B, the steering control section 23C, and the like. ing. As a result, the automatic travel control unit 23F can monitor various setting states of the tractor 1, operating states of the respective units, and the like.

自動走行制御部23Fは、搭乗者や管理者などのユーザにより、各種の自動走行開始条件を満たすための手動操作が行われてトラクタ1の走行モードが自動走行モードに切り換えられた状態において、携帯通信端末5の表示デバイス50が操作されて自動走行の開始が指令された場合に、測位ユニット30にてトラクタ1の現在位置や現在方位などを取得しながら目標経路Pに従ってトラクタ1を自動走行させる自動走行制御を開始する。 The automatic traveling control unit 23F is operated in a state in which the traveling mode of the tractor 1 has been switched to the automatic traveling mode by manual operation for satisfying various automatic traveling start conditions by a user such as a passenger or an administrator. When the display device 50 of the communication terminal 5 is operated to instruct the start of automatic traveling, the tractor 1 automatically travels according to the target route P while acquiring the current position and current direction of the tractor 1 with the positioning unit 30. Start automatic driving control.

自動走行制御部23Fは、自動走行制御の実行中に、例えば、ユーザにより携帯通信端末5の表示デバイス50が操作されて自動走行の終了が指令された場合や、運転部12に搭乗しているユーザによってステアリングホイール25やアクセルペダルなどの手動操作具が操作された場合は、自動走行制御を終了するとともに走行モードを自動走行モードから手動走行モードに切り換える。このように自動走行制御が終了された後に自動走行制御を再開させる場合は、先ず、ユーザが運転部12に乗り込んで、トラクタ1の走行モードを自動走行モードから手動走行モードに切り換える。次に、各種の自動走行開始条件を満たすための手動操作を行ってから、トラクタ1の走行モードを手動走行モードから自動走行モードに切り換える。そして、この状態において、携帯通信端末5の表示デバイス50を操作して自動走行の開始を指令することで、自動走行制御を再開させることができる。 During the execution of the automatic driving control, the automatic driving control unit 23F, for example, when the display device 50 of the mobile communication terminal 5 is operated by the user to issue an instruction to end the automatic driving, or when the driving unit 12 is on board. When the user operates a manual operation tool such as the steering wheel 25 or an accelerator pedal, the automatic travel control is ended and the travel mode is switched from the automatic travel mode to the manual travel mode. When the automatic travel control is to be restarted after the automatic travel control has ended in this way, the user first gets into the driving unit 12 and switches the travel mode of the tractor 1 from the automatic travel mode to the manual travel mode. Next, after performing manual operation for satisfying various automatic traveling start conditions, the traveling mode of the tractor 1 is switched from the manual traveling mode to the automatic traveling mode. In this state, by operating the display device 50 of the mobile communication terminal 5 to issue a command to start automatic driving, the automatic driving control can be restarted.

自動走行制御部23Fによる自動走行制御には、エンジン14に関する自動走行用の制御指令をエンジン制御部23Aに送信するエンジン用自動制御処理、トラクタ1の車速や前後進の切り換えに関する自動走行用の制御指令を車速制御部23Bに送信する車速用自動制御処理、ステアリングに関する自動走行用の制御指令をステアリング制御部23Cに送信するステアリング用自動制御処理、及び、ロータリ耕耘装置3などの作業装置に関する自動走行用の制御指令を作業装置制御部23Dに送信する作業用自動制御処理、などが含まれている。 The automatic driving control by the automatic driving control unit 23F includes automatic driving control processing for transmitting an automatic driving control command for the engine 14 to the engine control unit 23A, automatic driving control for switching the vehicle speed and forward/backward movement of the tractor 1. Automatic vehicle speed control processing for transmitting a command to the vehicle speed control unit 23B, automatic steering control processing for transmitting a steering control command for automatic travel to the steering control unit 23C, and automatic travel for work devices such as the rotary tillage device 3 automatic control processing for work, which transmits a control command for work to the work device control unit 23D, and the like.

自動走行制御部23Fは、エンジン用自動制御処理においては、目標経路Pに含まれた設定回転数などに基づいてエンジン回転数の変更を指示するエンジン回転数変更指令、などをエンジン制御部23Aに送信する。エンジン制御部23Aは、自動走行制御部23Fから送信されたエンジン14に関する各種の制御指令に応じてエンジン回転数を自動で変更するエンジン回転数変更制御、などを実行する。 In the automatic engine control process, the automatic driving control unit 23F issues an engine rotation speed change command to the engine control unit 23A to change the engine rotation speed based on the set rotation speed included in the target route P. Send. The engine control unit 23A executes engine speed change control for automatically changing the engine speed in accordance with various control commands relating to the engine 14 transmitted from the automatic travel control unit 23F.

自動走行制御部23Fは、車速用自動制御処理においては、目標経路Pに含まれた目標車速に基づいて無段変速装置の変速操作を指示する変速操作指令、及び、目標経路Pに含まれたトラクタ1の進行方向などに基づいて前後進切換装置の前後進切り換え操作を指示する前後進切り換え指令、などを車速制御部23Bに送信する。車速制御部23Bは、自動走行制御部23Fから送信された無段変速装置や前後進切換装置などに関する各種の制御指令に応じて、無段変速装置の作動を自動で制御する自動車速制御、及び、前後進切換装置の作動を自動で制御する自動前後進切り換え制御、などを実行する。自動車速制御には、例えば、目標経路Pに含まれた目標車速が零速である場合に、無段変速装置を零速状態まで減速制御してトラクタ1の走行を停止させる自動減速停止処理などが含まれている。 In the vehicle speed automatic control process, the automatic driving control unit 23F provides a gear shift operation command for instructing a gear shift operation of the continuously variable transmission based on the target vehicle speed included in the target path P, and Based on the traveling direction of the tractor 1, a forward/rearward switching command for instructing the forward/rearward switching operation of the forward/rearward switching device is transmitted to the vehicle speed control unit 23B. The vehicle speed control unit 23B automatically controls the operation of the continuously variable transmission according to various control commands regarding the continuously variable transmission, the forward/reverse switching device, and the like, which are transmitted from the automatic driving control unit 23F. , automatic forward/reverse switching control that automatically controls the operation of the forward/reverse switching device, and the like. The vehicle speed control includes, for example, an automatic deceleration stop process in which, when the target vehicle speed included in the target route P is zero speed, the continuously variable transmission is controlled to decelerate to the zero speed state to stop the tractor 1 from traveling. It is included.

自動走行制御部23Fは、ステアリング用自動制御処理においては、目標経路Pに含まれた前輪操舵角などに基づいて左右の前輪10の操舵を指示する操舵指令、などをステアリング制御部23Cに送信する。ステアリング制御部23Cは、自動走行制御部23Fから送信された操舵指令に応じて、パワーステアリングユニット17の作動を制御して左右の前輪10を操舵する自動操舵制御、及び、左右の前輪10が設定角度以上に操舵された場合に、ブレーキユニット18を作動させて旋回内側のブレーキを作動させる自動ブレーキ旋回制御、などを実行する。 In the steering automatic control process, the automatic driving control unit 23F transmits a steering command for steering the left and right front wheels 10 based on the front wheel steering angle included in the target route P, etc. to the steering control unit 23C. . The steering control unit 23C controls the operation of the power steering unit 17 to steer the left and right front wheels 10 according to the steering command sent from the automatic driving control unit 23F, and the left and right front wheels 10 are set. When the vehicle is steered beyond the angle, automatic brake turn control is executed to operate the brake unit 18 to operate the brake on the inner side of the turn.

自動走行制御部23Fは、作業用自動制御処理においては、目標経路Pに含まれた作業開始地点p3に基づいてロータリ耕耘装置3の作業状態への切り換えを指示する作業開始指令、及び、目標経路Pに含まれた作業停止地点p4に基づいてロータリ耕耘装置3の非作業状態への切り換えを指示する作業停止指令、などを作業装置制御部23Dに送信する。作業装置制御部23Dは、自動走行制御部23Fから送信されたロータリ耕耘装置3に関する各種の制御指令に応じて、作業クラッチユニット19と昇降駆動ユニット20の作動を制御して、ロータリ耕耘装置3を作業高さまで下降させて作動させる自動作業開始制御、及び、ロータリ耕耘装置3を停止させて非作業高さまで上昇させる自動作業停止制御、などを実行する。 In the automatic work control process, the automatic travel control unit 23F issues a work start command that instructs the rotary tiller 3 to switch to the work state based on the work start point p3 included in the target route P, and the target route P. Based on the work stop point p4 included in P, a work stop command for instructing switching to the non-working state of the rotary tillage device 3 and the like are transmitted to the working device control unit 23D. The work device control section 23D controls the operation of the work clutch unit 19 and the lifting drive unit 20 in accordance with various control commands regarding the rotary tillage device 3 transmitted from the automatic traveling control section 23F, thereby operating the rotary tillage device 3. Automatic work start control for lowering to the working height and automatic work stop control for stopping the rotary tillage device 3 and raising it to the non-working height, etc. are executed.

つまり、前述した自動走行ユニット4には、パワーステアリングユニット17、ブレーキユニット18、作業クラッチユニット19、昇降駆動ユニット20、ローリングユニット21、車両状態検出機器22、車載制御ユニット23、測位ユニット30、及び、通信モジュール34、などが含まれている。そして、これらが適正に作動することにより、トラクタ1を目標経路Pに従って精度よく自動走行させることができるとともに、ロータリ耕耘装置3による耕耘を適正に行うことができる。 That is, the automatic traveling unit 4 described above includes a power steering unit 17, a brake unit 18, a work clutch unit 19, an elevation drive unit 20, a rolling unit 21, a vehicle state detection device 22, an in-vehicle control unit 23, a positioning unit 30, and , a communication module 34, and the like. By appropriately operating these, the tractor 1 can be automatically traveled accurately along the target route P, and the rotary tillage device 3 can properly perform tillage.

図6~7に示すように、トラクタ1には、トラクタ1の周囲を監視して、その周囲に存在する障害物を検知する障害物検知システム80が備えられている。障害物検知システム80が検知する障害物には、圃場Aにて作業する作業者などの人物や他の作業車両、及び、圃場Aに既存の電柱や樹木などが含まれている。 As shown in FIGS. 6-7, the tractor 1 is equipped with an obstacle detection system 80 that monitors the surroundings of the tractor 1 and detects obstacles that are present therearound. Obstacles detected by the obstacle detection system 80 include persons such as workers working in the field A, other work vehicles, and existing utility poles and trees in the field A.

図1~4、図6~7に示すように、障害物検知システム80は、トラクタ1の周囲を撮像する4台のカメラ(撮像装置の一例)81~84、トラクタ1の周囲に存在する測定対象物までの距離を測定するアクティブセンサユニット85、各カメラ81~84からの画像を処理する画像処理装置86、及び、画像処理装置86からの情報とアクティブセンサユニット85からの測定情報とを統合処理して障害物を検知する障害物検知装置87、を有している。画像処理装置86及び障害物検知装置87は、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどによって構築されている。アクティブセンサユニット85、画像処理装置86、及び、障害物検知装置87は、車載制御ユニット23にCANを介して相互通信可能に接続されている。 As shown in FIGS. 1 to 4 and FIGS. 6 to 7, the obstacle detection system 80 includes four cameras (examples of imaging devices) 81 to 84 for imaging the surroundings of the tractor 1, and measurement sensors existing around the tractor 1. An active sensor unit 85 that measures the distance to an object, an image processor 86 that processes images from each of the cameras 81-84, and integration of information from the image processor 86 and measurement information from the active sensor unit 85. and an obstacle detection device 87 for processing and detecting obstacles. The image processing device 86 and the obstacle detection device 87 are constructed by an electronic control unit in which a microcontroller and the like are integrated, various control programs, and the like. The active sensor unit 85, the image processing device 86, and the obstacle detection device 87 are connected to the in-vehicle control unit 23 via CAN so as to be able to communicate with each other.

図1~3、図7に示すように、障害物検知システム80は、4台のカメラ81~84として、キャビン13から前方の第1撮像範囲Ri1が撮像範囲に設定された前カメラ81、キャビン13から後方の第2撮像範囲Ri2が撮像範囲に設定された後カメラ82、キャビン13から右方の第3撮像範囲Ri3が撮像範囲に設定された右カメラ83、及び、キャビン13から左方の第4撮像範囲Ri4が撮像範囲に設定された左カメラ84、を有している。 As shown in FIGS. 1 to 3 and 7, the obstacle detection system 80 includes four cameras 81 to 84, a front camera 81 whose imaging range is set to a first imaging range Ri1 in front of the cabin 13, a cabin A rear camera 82 whose imaging range is set to a second imaging range Ri2 behind 13, a right camera 83 whose imaging range is set to a third imaging range Ri3 on the right from the cabin 13, and a left camera 83 from the cabin 13 It has a left camera 84 whose imaging range is set to the fourth imaging range Ri4.

前カメラ81及び後カメラ82は、トラクタ1の左右中心線上に配置されている。前カメラ81は、キャビン13の前端側における上部の左右中央箇所に、トラクタ1の前方側を斜め上方側から見下ろす前下がり姿勢で配置されている。これにより、前カメラ81は、トラクタ1の左右中心線を対称軸とする車体前方側の所定範囲が第1撮像範囲Ri1に設定されている。後カメラ82は、キャビン13の後端側における上部の左右中央箇所に、トラクタ1の後方側を斜め上方側から見下ろす後下がり姿勢で配置されている。これにより、後カメラ82は、トラクタ1の左右中心線を対称軸とする車体後方側の所定範囲が第2撮像範囲Ri2に設定されている。右カメラ83は、キャビン13の右端側における上部の前後中央箇所に、トラクタ1の右方側を斜め上方側から見下ろす右下がり姿勢で配置されている。これにより、右カメラ83は、車体右方側の所定範囲が第3撮像範囲Ri3に設定されている。左カメラ84は、キャビン13の左端側における上部の前後中央箇所に、トラクタ1の左方側を斜め上方側から見下ろす左下がり姿勢で配置されている。これにより、左カメラ84は、車体左方側の所定範囲が第4撮像範囲Ri4に設定されている。 The front camera 81 and the rear camera 82 are arranged on the left-right center line of the tractor 1 . The front camera 81 is arranged at the left-right central portion of the upper portion of the front end side of the cabin 13 in a front-down posture that looks down on the front side of the tractor 1 from obliquely above. As a result, the front camera 81 has a predetermined range on the front side of the vehicle body with the center line of the tractor 1 as the axis of symmetry set as the first imaging range Ri1. The rear camera 82 is arranged in a left-right center portion of the upper portion on the rear end side of the cabin 13 so as to look down on the rear side of the tractor 1 obliquely from above. As a result, the rear camera 82 sets a predetermined range on the rear side of the vehicle body with the center line of the tractor 1 as the axis of symmetry as the second imaging range Ri2. The right camera 83 is arranged at the upper front-rear central position on the right end side of the cabin 13 in a right-down posture that looks down on the right side of the tractor 1 from obliquely above. As a result, the predetermined range on the right side of the vehicle body of the right camera 83 is set as the third imaging range Ri3. The left camera 84 is arranged at the upper front-rear central position on the left end side of the cabin 13 in a left-down attitude that looks down on the left side of the tractor 1 from obliquely above. As a result, the predetermined range on the left side of the vehicle body of the left camera 84 is set as the fourth imaging range Ri4.

図1、図3~4、図7に示すように、アクティブセンサユニット85は、キャビン13から前方の第1測定範囲Rm1が測定範囲に設定された前ライダーセンサ(アクティブセンサの一例)85A、キャビン13から後方の第2測定範囲Rm2が測定範囲に設定された後ライダーセンサ(アクティブセンサの一例)85B、及び、キャビン13から右方の第3測定範囲Rm3とキャビン13から左方の第4測定範囲Rm4とが測定範囲に設定されたソナー(アクティブセンサの一例)85C、を有している。各ライダーセンサ85A,85Bは、測定光の一例であるレーザ光(例えばパルス状の近赤外レーザ光)を使用して第1測定範囲Rm1又は第2測定範囲Rm2での測定を行う測定部85Aa,85Baと、測定部85Aa,85Baからの測定情報に基づいて距離画像の生成などを行うライダー制御部85Ab,85Bbとを有している。ソナー85Cは、右超音波センサ85Caと左超音波センサ85Cbと単一のソナー制御部85Ccとを有している。各ライダー制御部85Ab,85Bb及びソナー制御部85Ccは、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどによって構築されている。各ライダー制御部85Ab,85Bb及びソナー制御部85Ccは、障害物検知装置87にCANを介して相互通信可能に接続されている。 As shown in FIGS. 1, 3 to 4, and 7, the active sensor unit 85 includes a front rider sensor (an example of an active sensor) 85A whose measurement range is set to a first measurement range Rm1 in front of the cabin 13; A rear rider sensor (an example of an active sensor) 85B in which the second measurement range Rm2 behind 13 is set as the measurement range, and a third measurement range Rm3 on the right from the cabin 13 and a fourth measurement on the left from the cabin 13. It has a sonar (an example of an active sensor) 85C in which the range Rm4 is set to the measurement range. Each lidar sensor 85A, 85B uses a laser beam (for example, a pulsed near-infrared laser beam), which is an example of measurement light, to perform measurement in the first measurement range Rm1 or the second measurement range Rm2. , 85Ba, and rider control units 85Ab and 85Bb for generating distance images based on the measurement information from the measurement units 85Aa and 85Ba. The sonar 85C has a right ultrasonic sensor 85Ca, a left ultrasonic sensor 85Cb and a single sonar control 85Cc. Each of the rider control units 85Ab and 85Bb and the sonar control unit 85Cc is constructed by an electronic control unit in which microcontrollers and the like are integrated, various control programs, and the like. The rider control units 85Ab and 85Bb and the sonar control unit 85Cc are connected to the obstacle detection device 87 via CAN so as to be able to communicate with each other.

各ライダーセンサ85A,85Bにおいて、各測定部85Aa,85Baは、照射したレーザ光が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するTOF(Time Of Flight)方式により、各測定部85Aa,85Baから第1測定範囲Rm1又は第2測定範囲Rm2の各測距点(測定対象物の一例)までの距離を測定する。各測定部85Aa,85Baは、第1測定範囲Rm1又は第2測定範囲Rm2の全体にわたって、レーザ光を高速で縦横に走査して、走査角(座標)ごとの測距点までの距離を順次測定することで、第1測定範囲Rm1又は第2測定範囲Rm2において3次元の測定を行う。各測定部85Aa,85Baは、第1測定範囲Rm1又は第2測定範囲Rm2の全体にわたってレーザ光を高速で縦横に走査したときに得られる各測距点からの反射光の強度(以下、反射強度と称する)を順次測定する。各測定部85Aa,85Baは、第1測定範囲Rm1又は第2測定範囲Rm2の各測距点までの距離や各反射強度などをリアルタイムで繰り返し測定する。各ライダー制御部85Ab,85Bbは、各測定部85Aa,85Baが測定した各測距点までの距離や各測距点に対する走査角(座標)などの測定情報から、距離画像を生成するとともに障害物と推定される測距点群を抽出し、抽出した測距点群に関する測定情報を、障害物候補に関する測定情報として障害物検知装置87に送信する。 In each lidar sensor 85A, 85B, each measurement unit 85Aa, 85Ba measures the distance to the range-finding point based on the round-trip time for the irradiated laser light to reach and return to the range-finding point. ) method, the distance from each of the measuring units 85Aa and 85Ba to each distance measuring point (an example of an object to be measured) in the first measuring range Rm1 or the second measuring range Rm2 is measured. Each of the measurement units 85Aa and 85Ba scans the laser light vertically and horizontally over the entire first measurement range Rm1 or second measurement range Rm2 at high speed, and sequentially measures the distance to the distance measurement point for each scanning angle (coordinate). By doing so, three-dimensional measurement is performed in the first measurement range Rm1 or the second measurement range Rm2. Each of the measuring units 85Aa and 85Ba measures the intensity of the reflected light (hereinafter referred to as reflected intensity ) are measured sequentially. Each measurement unit 85Aa, 85Ba repeatedly measures in real time the distance to each ranging point in the first measurement range Rm1 or the second measurement range Rm2, each reflection intensity, and the like. Each rider control unit 85Ab, 85Bb generates a distance image from measurement information such as the distance to each ranging point measured by each measuring unit 85Aa, 85Ba and the scanning angle (coordinates) for each ranging point, and also generates an obstacle. is extracted, and the measurement information about the extracted range-finding point group is transmitted to the obstacle detection device 87 as the measurement information about the obstacle candidate.

各ライダー制御部85Ab,85Bbは、各測定部85Aa,85Baが測定した各測距点の距離値が無効条件に適合するか否かを判定し、無効条件に適合する距離値を無効値として障害物検知装置87に送信する。
具体的には、各ライダー制御部85Ab,85Bbは、各ライダーセンサ85A,85Bからの至近距離に存在するという各ライダーセンサ85A,85Bにおけるセンサ表面の汚れの特徴を利用して、その特徴を有する測距点の距離値を無効値とする。これにより、センサ表面の汚れに関する測距点の距離値が、障害物検知装置87において障害物に関する情報として使用されることを防止している。
各ライダー制御部85Ab,85Bbは、各ライダーセンサ85A,85Bの近距離に存在しながら反射強度が非常に弱いという埃や霧などの浮遊物の特徴を利用して、その特徴を有する測距点の距離値を無効値とする。これにより、浮遊物に関する測距点の距離値が、障害物検知装置87において障害物に関する情報として使用されることを防止している。
Each rider control section 85Ab, 85Bb determines whether or not the distance value of each ranging point measured by each measuring section 85Aa, 85Ba satisfies the invalid condition, and treats the distance value that satisfies the invalid condition as an invalid value. It is transmitted to the object detection device 87 .
Specifically, each of the rider control units 85Ab and 85Bb utilizes the feature of contamination on the sensor surface of each of the rider sensors 85A and 85B, which is present at a close distance from each of the rider sensors 85A and 85B, to have the feature. Disable the distance value of the AF point. This prevents the obstacle detection device 87 from using the distance value of the range-finding point related to dirt on the sensor surface as information about the obstacle.
Each lidar control unit 85Ab, 85Bb utilizes the characteristics of floating objects such as dust and fog that are present at a short distance from the respective lidar sensors 85A, 85B but have very low reflection intensity, so that the distance measuring points having the characteristics are detected. The distance value of is an invalid value. This prevents the obstacle detection device 87 from using the distance value of the distance measuring point for the floating object as information about the obstacle.

図1、図3~4に示すように、前ライダーセンサ85A及び後ライダーセンサ85Bは、前カメラ81及び後カメラ82と同様にトラクタ1の左右中心線上に配置されている。前ライダーセンサ85Aは、キャビン13の前端側における上部の左右中央箇所に、トラクタ1の前方側を斜め上方側から見下ろす前下がり姿勢で配置されている。これにより、前ライダーセンサ85Aは、トラクタ1の左右中心線を対称軸とする車体前方側の所定範囲が測定部85Aaによる第1測定範囲Rm1に設定されている。後ライダーセンサ85Bは、キャビン13の後端側における上部の左右中央箇所に、トラクタ1の後方側を斜め上方側から見下ろす後下がり姿勢で配置されている。これにより、後ライダーセンサ85Bは、トラクタ1の左右中心線を対称軸とする車体後方側の所定範囲が測定部85Baによる第2測定範囲Rm2に設定されている。 As shown in FIGS. 1 and 3-4, the front lidar sensor 85A and the rear lidar sensor 85B are arranged on the left-right center line of the tractor 1, like the front camera 81 and the rear camera 82. As shown in FIG. The front rider sensor 85A is arranged in a left-right center portion of the upper portion of the front end side of the cabin 13 in a front-down posture that looks down on the front side of the tractor 1 from an obliquely upper side. As a result, the front rider sensor 85A sets a predetermined range on the front side of the vehicle body with the center line of the tractor 1 as the axis of symmetry as the first measurement range Rm1 by the measuring section 85Aa. The rear rider sensor 85B is arranged in a left-right central position on the upper portion of the rear end side of the cabin 13 in a rearwardly lowered posture in which the rearward side of the tractor 1 is viewed obliquely from above. As a result, the rear rider sensor 85B sets a predetermined range on the rear side of the vehicle body with the center line of the tractor 1 as the axis of symmetry as the second measurement range Rm2 by the measuring section 85Ba.

前ライダーセンサ85A及び後ライダーセンサ85Bは、変速ユニット16の前後進切換装置が前進伝動状態に切り換えられたトラクタ1の前進走行時には、その切り換えに連動して、前ライダーセンサ85Aが作動状態になり、後ライダーセンサ85Bが作動停止状態になる。又、変速ユニット16の前後進切換装置が後進伝動状態に切り換えられたトラクタ1の後進走行時には、その切り換えに連動して、前ライダーセンサ85Aが作動停止状態になり、後ライダーセンサ85Bが作動状態になる。 The front rider sensor 85A and the rear rider sensor 85B are interlocked with the forward travel of the tractor 1 when the forward/reverse switching device of the transmission unit 16 is switched to the forward transmission state, and the front rider sensor 85A is activated. , the rear rider sensor 85B is deactivated. Further, when the tractor 1 travels in reverse when the forward/rearward travel switching device of the transmission unit 16 is switched to the reverse transmission state, the front rider sensor 85A stops operating and the rear rider sensor 85B operates in conjunction with the switching. become.

図1、図3~4、図7に示すように、ソナー85Cにおいて、ソナー制御部85Ccは、左右の超音波センサ85Ca,85Cbによる超音波の送受信に基づいて、第3測定範囲Rm3又は第4測定範囲Rm4における測定対象物の存否を判定する。ソナー制御部85Ccは、発信した超音波が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するTOF(Time Of Flight)方式により、各超音波センサ85Ca,85Cbから測定対象物までの距離を測定し、測定した測定対象物までの距離と測定対象物の方向とを、障害物候補に関する測定情報として障害物検知装置87に送信する。 As shown in FIGS. 1, 3 to 4, and 7, in the sonar 85C, the sonar control unit 85Cc controls the third measurement range Rm3 or the fourth The presence or absence of the measurement object in the measurement range Rm4 is determined. The sonar control unit 85Cc uses a TOF (Time Of Flight) method for measuring the distance to the range-finding point based on the round-trip time for the transmitted ultrasonic waves to reach and return to the range-finding point. The distance from 85Cb to the object to be measured is measured, and the measured distance to the object to be measured and the direction of the object to be measured are transmitted to the obstacle detection device 87 as measurement information regarding the obstacle candidate.

図1~3に示すように、右超音波センサ85Caは、右側の前輪10と右側の後輪11との間に配置された右側の乗降ステップ24に車体右外向き姿勢で取り付けられている。これにより、右超音波センサ85Caは、車体右外側の所定範囲が第3測定範囲Rm3に設定されている。左超音波センサ85Cbは、左側の前輪10と左側の後輪11との間に配置された左側の乗降ステップ24に車体左外向き姿勢で取り付けられている。これにより、左超音波センサ85Cbは、車体左外側の所定範囲が第4測定範囲Rm4に設定されている。 As shown in FIGS. 1 to 3, the right ultrasonic sensor 85Ca is attached to the right step 24 located between the right front wheel 10 and the right rear wheel 11 so as to face outward to the right of the vehicle body. As a result, the right ultrasonic sensor 85Ca has a predetermined range on the right outer side of the vehicle body set as the third measurement range Rm3. The left ultrasonic sensor 85Cb is attached to the left step 24 arranged between the left front wheel 10 and the left rear wheel 11 so as to face left outward of the vehicle body. As a result, the left ultrasonic sensor 85Cb has a predetermined range on the left outer side of the vehicle body set as the fourth measurement range Rm4.

図4、図8~10に示すように、各ライダー制御部85Ab,85Bbは、各測定部85Aa,85Baの測定範囲Rm1,Rm2に対して車体情報などに基づくカット処理とマスキング処理とを施すことにより、前述した障害物候補を検知対象とする第1検知範囲Rd1と第2検知範囲Rd2とを設定している。各ライダー制御部85Ab,85Bbは、カット処理においては、車載制御ユニット23との通信によってロータリ耕耘装置3を含む車体の最大左右幅(本実施形態ではロータリ耕耘装置3の左右幅)を取得し、この車体の最大左右幅に所定の安全帯域を加えることで障害物候補の検知対象幅Wdを設定する。そして、第1測定範囲Rm1及び第2測定範囲Rm2において、検知対象幅Wdから外れる左右の範囲をカット処理による第1非検知範囲Rnd1に設定して各検知範囲Rd1,Rd2から除外する。各ライダー制御部85Ab,85Bbは、マスキング処理においては、第1測定範囲Rm1に対してトラクタ1の前端側が入り込む範囲、及び、第2測定範囲Rm2に対してロータリ耕耘装置3の後端側が入り込む範囲に所定の安全帯域を加えた範囲をマスキング処理による第2非検知範囲Rnd2に設定して各検知範囲Rd1,Rd2から除外する。これにより、各ライダーセンサ85A,85Bによる障害物候補の検知対象範囲が第1検知範囲Rd1と第2検知範囲Rd2とに制限されている。そして、この制限により、各ライダーセンサ85A,85Bが、検知対象幅Wdから外れていてトラクタ1と衝突する虞のない障害物候補を検知することによる検知負荷の増大や、第1測定範囲Rm1又は第2測定範囲Rm2に入り込んでいるトラクタ1の前端側やロータリ耕耘装置3などのトラクタ1の後端側を障害物候補として誤検知する虞を回避している。
なお、図8に示す第2非検知範囲Rnd2は、左右の前輪10やボンネット15が存在する車体の前部側に適した非検知範囲の一例である。図9に示す第2非検知範囲Rnd2は、車体の後部側においてロータリ耕耘装置3を作業高さまで下降させた作業状態に適した非検知範囲の一例である。図10に示す第2非検知範囲Rnd2は、車体の後部側においてロータリ耕耘装置3を退避高さまで上昇させた非作業状態に適した非検知範囲の一例である。車体後部側の第2非検知範囲Rnd2は、ロータリ耕耘装置3の昇降に連動して適正に切り換わる。
As shown in FIGS. 4 and 8 to 10, the rider control units 85Ab and 85Bb perform cutting processing and masking processing on the measurement ranges Rm1 and Rm2 of the measurement units 85Aa and 85Ba based on vehicle body information. , a first detection range Rd1 and a second detection range Rd2 are set for detecting the obstacle candidates described above. In the cutting process, each of the rider control units 85Ab and 85Bb acquires the maximum lateral width of the vehicle body including the rotary tillage device 3 (in this embodiment, the lateral width of the rotary tillage device 3) through communication with the vehicle-mounted control unit 23, By adding a predetermined safety band to the maximum lateral width of the vehicle body, the detection target width Wd of the obstacle candidate is set. Then, in the first measurement range Rm1 and the second measurement range Rm2, the left and right ranges deviating from the detection target width Wd are set as the first non-detection range Rnd1 by the cutting process and excluded from the detection ranges Rd1 and Rd2. In the masking process, each of the rider control units 85Ab and 85Bb controls the range in which the front end side of the tractor 1 enters the first measurement range Rm1 and the range in which the rear end side of the rotary tillage device 3 enters the second measurement range Rm2. plus a predetermined safety band is set as the second non-detection range Rnd2 by the masking process, and excluded from the detection ranges Rd1 and Rd2. As a result, the obstacle candidate detection target ranges of the rider sensors 85A and 85B are limited to the first detection range Rd1 and the second detection range Rd2. Due to this limitation, the lidar sensors 85A and 85B detect an obstacle candidate that is out of the detection target width Wd and has no danger of colliding with the tractor 1, which increases the detection load and increases the detection load. This avoids the risk of erroneously detecting the front end side of the tractor 1 and the rear end side of the tractor 1, such as the rotary tillage device 3, which is in the second measurement range Rm2, as an obstacle candidate.
The second non-detection range Rnd2 shown in FIG. 8 is an example of a non-detection range suitable for the front side of the vehicle body where the left and right front wheels 10 and the bonnet 15 are present. A second non-detection range Rnd2 shown in FIG. 9 is an example of a non-detection range suitable for a working state in which the rotary tillage device 3 is lowered to the working height on the rear side of the vehicle body. A second non-detection range Rnd2 shown in FIG. 10 is an example of a non-detection range suitable for a non-working state in which the rotary tillage device 3 is raised to the retraction height on the rear side of the vehicle body. The second non-detection range Rnd2 on the rear side of the vehicle body switches appropriately in conjunction with the elevation of the rotary tillage device 3 .

第1検知範囲Rd1、第2検知範囲Rd2、第1非検知範囲Rnd1、及び、第2非検知範囲Rnd2に関する情報は、前述した距離画像に含まれており、前述した距離画像とともに障害物検知装置87に送信されている。 Information about the first detection range Rd1, the second detection range Rd2, the first non-detection range Rnd1, and the second non-detection range Rnd2 is included in the distance image described above, and the distance image and the obstacle detection apparatus 87 has been sent.

図4に示すように、各ライダーセンサ85A,85Bの検知範囲Rd1,Rd2は、衝突予測時間が設定時間(例えば3秒)になる衝突判定処理に基づいて、ライダーセンサ85A,85Bから衝突判定処理の判定基準位置までの範囲に設定される停止制御範囲Rscと、判定基準位置から減速開始位置までの範囲に設定される減速制御範囲Rdcと、減速開始位置からライダーセンサ85A,85Bの測定限界位置までの範囲に設定される報知制御範囲Rncとに区画される。第1検知範囲Rd1の判定基準位置は、ロータリ耕耘装置3を含む車体の前端又は後端から車体前後方向に一定距離L(例えば2000mm)離れた位置に設定されている。 As shown in FIG. 4, the detection ranges Rd1 and Rd2 of the rider sensors 85A and 85B are detected by the rider sensors 85A and 85B based on the collision determination process in which the collision prediction time is a set time (for example, 3 seconds). a deceleration control range Rdc set from the determination reference position to the deceleration start position; and a measurement limit position of the rider sensors 85A and 85B from the deceleration start position. and a notification control range Rnc that is set to a range up to . The determination reference position of the first detection range Rd1 is set at a position a certain distance L (for example, 2000 mm) away from the front end or rear end of the vehicle body including the rotary tillage device 3 in the longitudinal direction of the vehicle body.

画像処理装置86は、各カメラ81~84から順次送信される画像に対して画像処理を行う。
なお、画像処理装置86には、圃場Aにて作業する作業者などの人物や他の作業車両、及び、圃場Aに既存の電柱や樹木などを障害物として認識するための学習処理が施されている。
The image processing device 86 performs image processing on the images sequentially transmitted from each of the cameras 81-84.
The image processing device 86 is subjected to learning processing for recognizing persons such as workers working in the field A, other working vehicles, and existing utility poles and trees in the field A as obstacles. ing.

以下、図11に示すフローチャートに基づいて、画像処理における画像処理装置86の処理手順について説明する。
画像処理装置86は、各カメラ81~84から順次送信される画像に対して、先ず、全カメラ81~84からの画像を合成してトラクタ1の全周囲画像(例えばサラウンドビュー)を生成する全周囲画像生成処理を行い(ステップ#1)、生成した全周囲画像や各カメラ81~84からの画像を、トラクタ側の表示制御部23Eや携帯通信端末側の表示制御部51Aに送信する画像送信処理を行う(ステップ#2)。
これにより、全周囲画像生成部86Aが生成した全周囲画像やトラクタ1の走行方向の画像などを、トラクタ1の液晶モニタ27や携帯通信端末5の表示デバイス50などにおいて表示することができる。そして、この表示により、トラクタ1の周囲の状況や走行方向の状況をユーザに視認させることができる。
次に、画像処理装置86は、各カメラ81~84から順次送信される画像に基づいて、各カメラ81~84のいずれかの撮像範囲Ri1~Ri4においてトラクタ1の走行に支障を来たす障害物が存在するか否かを判別する障害物判別処理を行う(ステップ#3)。障害物が存在する場合は、障害物が存在する画像上での障害物の座標を求める座標算出処理を行い(ステップ#4)、求めた障害物の座標を、各カメラ81~84の取り付け位置や取り付け角度などに基づいて、車体座標原点を基準にした座標に変換する座標変換処理を行う(ステップ#5)。そして、その変換後の座標と予め設定した距離算出基準点とにわたる直線距離を、距離算出基準点から障害物までの距離として求める距離算出処理を行い(ステップ#6)、変換後の座標と求めた障害物までの距離とを障害物に関する検知情報として障害物検知装置87に送信する検知情報送信処理を行う(ステップ#7)。その後、ステップ#1に戻る。一方、障害物が存在しない場合は、障害物が未検知であることを障害物検知装置87に送信する未検知送信処理を行い(ステップ#8)、その後、ステップ#1に戻る。
このように、各カメラ81~84の撮像範囲Ri1~Ri4のいずれかに障害物が存在する場合は、画像処理装置86が、障害物の検知情報を障害物検知装置87に送信することから、障害物検知装置87は、その障害物の検知情報を受け取ることにより、各カメラ81~84のいずれかの撮像範囲Ri1~Ri4に障害物が存在することを検知することができるとともに、その障害物の位置及び障害物までの距離を検知することができる。又、各カメラ81~84の撮像範囲Ri1~Ri4のいずれにも障害物が存在しない場合は、画像処理装置86が、障害物の未検知を障害物検知装置87に送信することから、障害物検知装置87は、各カメラ81~84の撮像範囲Ri1~Ri4のいずれにも障害物が存在しないことを検知することができる。
The processing procedure of the image processing device 86 in image processing will be described below based on the flowchart shown in FIG.
The image processing device 86 first synthesizes the images from all the cameras 81 to 84 with the images sequentially transmitted from the cameras 81 to 84 to generate an all-around image of the tractor 1 (for example, a surround view). Surrounding image generation processing is performed (step #1), and image transmission for transmitting the generated omnidirectional image and images from the cameras 81 to 84 to the display control unit 23E on the tractor side and the display control unit 51A on the mobile communication terminal side Processing is performed (step #2).
As a result, the omnidirectional image generated by the omnidirectional image generator 86A, the image in the traveling direction of the tractor 1, and the like can be displayed on the liquid crystal monitor 27 of the tractor 1, the display device 50 of the mobile communication terminal 5, and the like. This display enables the user to visually recognize the surrounding conditions of the tractor 1 and the conditions in the running direction.
Next, based on the images sequentially transmitted from the cameras 81 to 84, the image processing device 86 determines whether there is an obstacle that hinders the traveling of the tractor 1 in any of the imaging ranges Ri1 to Ri4 of the cameras 81 to 84. An obstacle determination process is performed to determine whether or not an obstacle exists (step #3). If an obstacle exists, coordinate calculation processing is performed to obtain the coordinates of the obstacle on the image in which the obstacle exists (step #4). , mounting angle, etc., a coordinate conversion process is performed to convert the coordinates to the coordinates based on the origin of the vehicle body coordinates (step #5). Then, a distance calculation process is performed to obtain the distance from the distance calculation reference point to the obstacle by straight line distance between the converted coordinates and the preset distance calculation reference point (step #6), and the converted coordinates are obtained. Detection information transmission processing is performed to transmit the detected distance to the obstacle to the obstacle detection device 87 as detection information on the obstacle (step #7). After that, return to step #1. On the other hand, if no obstacle exists, a non-detection transmission process is performed to transmit to the obstacle detection device 87 that the obstacle has not been detected (step #8), and then the process returns to step #1.
In this way, when an obstacle exists in any of the imaging ranges Ri1 to Ri4 of the cameras 81 to 84, the image processing device 86 transmits obstacle detection information to the obstacle detection device 87. By receiving the obstacle detection information, the obstacle detection device 87 can detect the presence of an obstacle in the imaging ranges Ri1 to Ri4 of any one of the cameras 81 to 84, and detect the presence of the obstacle. position and distance to obstacles. Further, when there is no obstacle in any of the imaging ranges Ri1 to Ri4 of the cameras 81 to 84, the image processing device 86 transmits non-detection of the obstacle to the obstacle detection device 87. The detection device 87 can detect that there is no obstacle in any of the imaging ranges Ri1-Ri4 of the cameras 81-84.

上記の座標変換処理における車体座標原点、及び、距離算出処理における距離算出基準点は、各カメラ81~84の搭載位置に応じて設定されている。具体的には、図12に示すように、前カメラ81に対しては、その搭載位置に応じて車体座標原点O1と距離算出基準点Rp1とが設定されている。後カメラ82に対しては、その搭載位置に応じて車体座標原点O2と距離算出基準点Rp2とが設定されている。右カメラ83に対しては、その搭載位置に応じて車体座標原点O3と距離算出基準点Rp3とが設定されている。左カメラ84に対しては、その搭載位置に応じて車体座標原点O4と距離算出基準点Rp4とが設定されている。
これにより、画像処理装置86は、例えば、前カメラ81の第1撮像範囲Ri1において障害物が存在する場合は、障害物が存在する前カメラ81の画像上での障害物の座標を求め(座標算出処理)、求めた障害物の座標を、前カメラ81の取り付け位置や取り付け角度などに基づいて、図12に示す車体座標原点O1を基準にした座標(x、y)に変換し(座標変換処理)、変換後の座標(x、y)と距離算出基準点Rp1とにわたる直線距離を、距離算出基準点Rp1から障害物Oまでの距離Laとして求める(距離算出処理)。
なお、前述した車体座標原点O1~O4と距離算出基準点Rp1~Rp4と各カメラ81~84の搭載位置との関係は種々の設定変更が可能である。
The vehicle body coordinate origin in the coordinate conversion process and the distance calculation reference point in the distance calculation process are set according to the mounting positions of the cameras 81-84. Specifically, as shown in FIG. 12, a vehicle body coordinate origin O1 and a distance calculation reference point Rp1 are set for the front camera 81 according to its mounting position. For the rear camera 82, a vehicle body coordinate origin O2 and a distance calculation reference point Rp2 are set according to its mounting position. For the right camera 83, a vehicle body coordinate origin O3 and a distance calculation reference point Rp3 are set according to its mounting position. For the left camera 84, a vehicle body coordinate origin O4 and a distance calculation reference point Rp4 are set according to its mounting position.
As a result, for example, when an obstacle exists in the first imaging range Ri1 of the front camera 81, the image processing device 86 obtains the coordinates of the obstacle on the image of the front camera 81 where the obstacle exists (coordinates calculation process), the obtained coordinates of the obstacle are converted into coordinates (x, y) based on the vehicle body coordinate origin O1 shown in FIG. process), the linear distance between the converted coordinates (x, y) and the distance calculation reference point Rp1 is obtained as the distance La from the distance calculation reference point Rp1 to the obstacle O (distance calculation process).
The relationship between the vehicle body coordinate origins O1 to O4, the distance calculation reference points Rp1 to Rp4, and the mounting positions of the cameras 81 to 84 can be changed in various settings.

ちなみに、前述した全周囲画像生成処理においては、例えば、画像処理装置86が、図13に示す液晶モニタ27や表示デバイス50などの全周囲画像表示領域90のうちの前方画像表示領域90Aに、前カメラ81の画像から所定領域を切り出した処理画像を配置し、後方画像表示領域90Bに、後カメラ82の画像から所定領域を切り出した処理画像を配置し、右方画像表示領域90Cに、右カメラ83の画像から所定領域を切り出した処理画像を配置し、左方画像表示領域90Dに、左カメラ84の画像から所定領域を切り出した処理画像を配置することで、全周囲画像を生成することなどが考えられる。 Incidentally, in the omnidirectional image generation process described above, for example, the image processing device 86 displays the front image display area 90A of the omnidirectional image display area 90 such as the liquid crystal monitor 27 and the display device 50 shown in FIG. A processed image obtained by cutting out a predetermined area from the image of the camera 81 is arranged, a processed image obtained by cutting out a predetermined area from the image of the rear camera 82 is arranged in the rear image display area 90B, and a right camera is displayed in the right image display area 90C. By arranging a processed image obtained by cutting out a predetermined area from the image of 83, and arranging the processed image obtained by cutting out a predetermined area from the image of the left camera 84 in the left image display area 90D, generating an all-surrounding image. can be considered.

画像処理装置86は、前述した障害物判別処理においては、各カメラ81~84から順次送信される画像に対して、毎秒数十コマ(例えば30コマ)の超高速で障害物の存否を判別する。画像処理装置86は、各カメラ81~84に対する障害物判別処理を時分割方式で行う。画像処理装置86は、時分割方式における各カメラ81~84に対する単位時間あたりの処理対象周期を、トラクタ1の走行方向と車速に応じて変更する。
具体的には、画像処理装置86は、トラクタ1の走行方向が前方直進方向で車速が標準速度(例えば10km/h)であれば、単位時間あたりの処理対象周期を、例えば、図14の(a)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を4コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された標準前方直進用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が後方直進方向で車速が標準速度であれば、単位時間あたりの処理対象周期を、例えば、図14の(b)に示すように、後カメラ82からの後方画像を処理対象とする画像処理を4コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された標準後方直進用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前進右旋回方向で車速が標準速度であれば、単位時間あたりの処理対象周期を、例えば、図14の(c)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を3コマ分連続して行った後に、右カメラ83からの右方画像を処理対象とする画像処理を2コマ分連続して行う、又は、右カメラ83からの右方画像を処理対象とする画像処理と左カメラ84からの左方画像を処理対象とする画像処理とを1コマ分ずつ行うように設定された標準前進右旋回用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前進左旋回方向で車速が標準速度であれば、単位時間あたりの処理対象周期を、例えば、図14の(d)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を3コマ分連続して行った後に、左カメラ84からの左方画像を処理対象とする画像処理を2コマ分連続して行う、又は、右カメラ83からの右方画像を処理対象とする画像処理と左カメラ84からの左方画像を処理対象とする画像処理とを1コマ分ずつ行うように設定された標準前進左旋回用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前方直進方向で車速が標準速度から減速されていれば、単位時間あたりの処理対象周期を、例えば、図14の(e)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を3コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された低速前方直進用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前方直進方向で車速が標準速度から増速されていれば、単位時間あたりの処理対象周期を、例えば、図14の(f)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を5コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された高速前方直進用の処理対象周期に変更する。
In the obstacle discrimination process described above, the image processing device 86 discriminates the existence or non-existence of obstacles at an ultra-high speed of several tens of frames (for example, 30 frames) per second for the images sequentially transmitted from the cameras 81 to 84. . The image processing device 86 performs obstacle discrimination processing for each of the cameras 81 to 84 in a time-division manner. The image processing device 86 changes the processing target period per unit time for each of the cameras 81 to 84 in the time division method according to the running direction and vehicle speed of the tractor 1 .
Specifically, if the traveling direction of the tractor 1 is the straight ahead direction and the vehicle speed is a standard speed (for example, 10 km/h), the image processing device 86 sets the processing target cycle per unit time to, for example, ( As shown in a), after four frames of image processing are continuously performed on the front image from the front camera 81, the right image from the right camera 83 or the left image from the left camera 84 is processed. The processing target cycle is changed to that for standard forward straight movement, which is set so that the image processing to be processed is performed for one frame.
If the traveling direction of the tractor 1 is the backward straight direction and the vehicle speed is the standard speed, the image processing device 86 calculates the processing target cycle per unit time from the rear camera 82 as shown in FIG. 14B, for example. After continuously performing image processing for four frames on the rearward image of the camera 83, image processing on the right image from the right camera 83 or the left image from the left camera 84 is performed for one frame. Change to the processing target cycle for standard backward straight running set as follows.
If the traveling direction of the tractor 1 is the forward turning right direction and the vehicle speed is the standard speed, the image processing device 86 determines the processing target cycle per unit time as shown in FIG. After performing image processing on the front image from 81 continuously for three frames, image processing on the right image from the right camera 83 is performed continuously for two frames, or A process for standard forward and right turn that is set to perform image processing for the right image from the camera 83 and image processing for the left image from the left camera 84 for each frame. Change to the target period.
If the traveling direction of the tractor 1 is the forward left turning direction and the vehicle speed is the standard speed, the image processing device 86 calculates the processing target cycle per unit time as shown in FIG. After performing image processing for three consecutive frames on the front image from the left camera 84, image processing for two consecutive frames on the left image from the left camera 84 is performed, or the right camera A processing target period for standard forward left turn, which is set so that image processing for the right image from 83 and image processing for the left image from the left camera 84 are performed one frame at a time. change to
If the traveling direction of the tractor 1 is the forward straight direction and the vehicle speed is decelerated from the standard speed, the image processing device 86 sets the processing target cycle per unit time to, for example, forward as shown in (e) of FIG. After image processing for three frames of the front image from the camera 81 is continuously performed, image processing for the right image from the right camera 83 or the left image from the left camera 84 is performed once. Change to the processing target cycle for low-speed forward straight movement, which is set to be performed for each frame.
If the traveling direction of the tractor 1 is the straight forward direction and the vehicle speed is increased from the standard speed, the image processing device 86 determines the processing target cycle per unit time as shown in FIG. After performing image processing for five consecutive frames on the front image from the front camera 81, image processing on the right image from the right camera 83 or the left image from the left camera 84 is performed. The cycle is changed to that for high-speed forward straight movement, which is set to be performed for one frame.

上記のように、画像処理装置86が障害物判別処理を時分割方式で行うことにより、処理負荷の大きい各カメラ81~84からの画像に対する障害物判別処理を、単一の画像処理装置86によって順次滞りなく速やかに行える。
又、画像処理装置86が、トラクタ1の前後進の切り換えに応じて前方画像と後方画像とのいずれか一方を処理対象とする状態と処理対象としない状態とに切り換えることにより、不要な画像処理を行うことによる処理速度の低下を回避している。
そして、画像処理装置86が、トラクタ1の走行方向に応じて、トラクタ1の走行方向を撮像範囲とする各カメラ81~84に対する単位時間あたりの処理対象周期を早くし、トラクタ1の走行方向を撮像範囲としない各カメラ81~84に対する単位時間あたりの処理対象周期を遅くすることにより、各カメラ81~84からの画像に対する障害物判別処理を、単一の画像処理装置86によって順次滞りなく速やかに行いながら、トラクタ1の走行方向における障害物の存否判別を重点的に行うことができ、障害物に対する衝突回避が行い易くなる。
更に、画像処理装置86が、トラクタ1の車速が速くなるほど、トラクタ1の走行方向を撮像範囲とする各カメラ81~84に対する単位時間あたりの処理対象周期を早くし、かつ、トラクタ1の走行方向を撮像範囲としない各カメラ81~84に対する単位時間あたりの処理対象周期を遅くすることにより、各カメラ81~84からの画像に対する障害物判別処理を、単一の画像処理装置86によって順次滞りなく速やかに行いながら、トラクタ1の車速が速くなるほど、トラクタ1の走行方向における障害物の存否判別を重点的に行うことができ、障害物に対する衝突回避が行い易くなる。
As described above, the image processing device 86 performs the obstacle discrimination processing in a time-sharing manner, so that the obstacle discrimination processing for the images from the cameras 81 to 84 with a large processing load can be performed by the single image processing device 86. It can be done quickly without delay.
Further, the image processing device 86 switches between a state in which either one of the front image and the rear image is processed and a state in which it is not processed according to the switching of the forward and backward movement of the tractor 1, thereby eliminating unnecessary image processing. This avoids a decrease in processing speed due to
Then, the image processing device 86 shortens the processing target period per unit time for each of the cameras 81 to 84 having an imaging range in the traveling direction of the tractor 1 according to the traveling direction of the tractor 1, thereby adjusting the traveling direction of the tractor 1. By slowing down the processing target period per unit time for each camera 81 to 84 that is not included in the imaging range, obstacle discrimination processing for images from each camera 81 to 84 can be sequentially and quickly performed by a single image processing device 86. In addition, the presence or absence of an obstacle in the traveling direction of the tractor 1 can be determined intensively, and collision avoidance with respect to the obstacle can be easily performed.
Furthermore, as the vehicle speed of the tractor 1 increases, the image processing device 86 shortens the processing target period per unit time for each of the cameras 81 to 84 whose imaging range is the traveling direction of the tractor 1, and By delaying the processing target period per unit time for each camera 81 to 84 that does not have an imaging range of , the obstacle discrimination processing for the images from each camera 81 to 84 is sequentially and smoothly performed by a single image processing device 86. As the vehicle speed of the tractor 1 increases, the presence or absence of obstacles in the direction of travel of the tractor 1 can be determined more intensively, making it easier to avoid collisions with obstacles.

なお、前述した各カメラ81~84に対する単位時間あたりの処理対象周期は、あくまでも一例であり、作業の種類や圃場の状況などに応じて種々の変更が可能である。
又、図7に示すように、画像処理装置86は、車速制御部23Bを介して、車速センサ22Aが検出するトラクタ1の車速を取得する。画像処理装置86は、車速制御部23Bを経由して得られるリバーサレバーの操作位置と、ステアリング制御部23Cを経由して得られる前輪10の操舵角とに基づいて、トラクタ1の走行方向を判別する。
It should be noted that the processing target period per unit time for each of the cameras 81 to 84 described above is merely an example, and can be changed in various ways according to the type of work and the condition of the field.
Further, as shown in FIG. 7, the image processing device 86 acquires the vehicle speed of the tractor 1 detected by the vehicle speed sensor 22A via the vehicle speed control section 23B. The image processing device 86 determines the traveling direction of the tractor 1 based on the operating position of the reverser lever obtained via the vehicle speed control section 23B and the steering angle of the front wheels 10 obtained via the steering control section 23C. do.

障害物検知装置87は、トラクタ1の前進走行時に、画像処理装置86からの障害物に関する検知情報に基づいて、前カメラ81の第1撮像範囲Ri1において障害物の存在が検知されていることを検知した場合に、第1撮像範囲Ri1における障害物の位置及び障害物までの距離を特定する第1特定制御を実行する。 The obstacle detection device 87 detects the presence of an obstacle in the first imaging range Ri1 of the front camera 81 based on the obstacle detection information from the image processing device 86 when the tractor 1 is traveling forward. When the obstacle is detected, the first identification control is executed to identify the position of the obstacle in the first imaging range Ri1 and the distance to the obstacle.

以下、図15に示すフローチャートに基づいて、第1特定制御における障害物検知装置87の制御作動について説明する。
障害物検知装置87は、画像処理装置86からの障害物に関する検知情報に含まれた障害物の座標と障害物までの距離とに基づいて、障害物が前ライダーセンサ85Aの第1検知範囲Rd1に位置しているか否かを判定する第1位置判定処理を行う(ステップ#11)。障害物が第1検知範囲Rd1に位置している場合は、障害物が第1検知範囲Rd1の報知制御範囲Rncに位置しているか否かを判定する第2位置判定処理を行う(ステップ#12)。障害物が報知制御範囲Rncに位置している場合は、画像処理装置86から得た障害物までの距離を車載制御ユニット23に送信する第1距離送信処理を行い(ステップ#13)、その後、ステップ#11に戻る。障害物が報知制御範囲Rncに位置していない場合は、障害物が第1検知範囲Rd1の減速制御範囲Rdc又は停止制御範囲Rscに位置していることから、画像処理装置86からの障害物に関する検知情報に含まれた図12に示す障害物Oの座標(x,y)と障害物Oまでの距離La、及び、前ライダーセンサ85Aからの障害物候補(測距点群)に関する測定情報に含まれた図12に示す障害物候補Ocの座標(走査角)と障害物候補Ocまでの距離Lb、などに基づいて、障害物Oの位置と障害物候補Ocの位置とが整合するか否かを判定する整合判定処理を行う(ステップ#14)。整合している場合は、測距精度の高い前ライダーセンサ85Aから得た障害物候補までの距離を、障害物までの距離として車載制御ユニット23に送信する第2距離送信処理を行い(ステップ#15)、その後、ステップ#11に戻る。整合していない場合は、前ライダーセンサ85Aからの障害物候補に関する測定情報が障害物に関する測定情報ではないと判断して、画像処理装置86から得た障害物までの距離を車載制御ユニット23に送信する第3距離送信処理を行い(ステップ#16)、その後、ステップ#11に戻る。ステップ#11の第1位置判定処理において障害物が第1検知範囲Rd1に位置していない場合は、前カメラ81の第1撮像範囲Ri1において障害物の存在が検知されているか否か判定する障害物検知判定処理を行う(ステップ#17)。障害物の存在が検知されている場合は、ステップ#11に戻って第1特定制御を継続する。障害物の存在が検知されていない場合は、第1特定制御を終了する。
The control operation of the obstacle detection device 87 in the first specific control will be described below based on the flowchart shown in FIG.
The obstacle detection device 87 determines whether the obstacle is within the first detection range Rd1 of the front rider sensor 85A based on the coordinates of the obstacle and the distance to the obstacle included in the detection information about the obstacle from the image processing device 86. A first position determination process is performed to determine whether or not the position is located at (step #11). If the obstacle is positioned within the first detection range Rd1, a second position determination process is performed to determine whether or not the obstacle is positioned within the notification control range Rnc of the first detection range Rd1 (step #12). ). If the obstacle is located within the notification control range Rnc, a first distance transmission process is performed to transmit the distance to the obstacle obtained from the image processing device 86 to the vehicle-mounted control unit 23 (step #13). Return to step #11. When the obstacle is not located in the notification control range Rnc, the obstacle is located in the deceleration control range Rdc or the stop control range Rsc of the first detection range Rd1. The coordinates (x, y) of the obstacle O and the distance La to the obstacle O shown in FIG. Whether the position of the obstacle O and the position of the obstacle candidate Oc match based on the coordinates (scanning angle) of the obstacle candidate Oc and the distance Lb to the obstacle candidate Oc shown in FIG. Matching determination processing for determining whether or not is performed (step #14). If they match, a second distance transmission process is performed to transmit the distance to the obstacle candidate obtained from the front lidar sensor 85A with high ranging accuracy to the in-vehicle control unit 23 as the distance to the obstacle (step # 15), and then return to step #11. If they do not match, it is determined that the measurement information about the obstacle candidate from the front rider sensor 85A is not the measurement information about the obstacle, and the distance to the obstacle obtained from the image processing device 86 is sent to the in-vehicle control unit 23. A third distance transmission process for transmission is performed (step #16), and then the process returns to step #11. If the obstacle is not located in the first detection range Rd1 in the first position determination process of step #11, it is determined whether or not the presence of the obstacle is detected in the first imaging range Ri1 of the front camera 81. Object detection determination processing is performed (step #17). If the presence of the obstacle is detected, the process returns to step #11 to continue the first specific control. If the presence of the obstacle is not detected, the first specific control is ended.

障害物検知装置87は、トラクタ1の後進走行時に、画像処理装置86からの障害物に関する検知情報に基づいて、後カメラ82の第2撮像範囲Ri2において障害物の存在が検知されていることを検知した場合に、第2撮像範囲Ri2における障害物の位置及び障害物までの距離を特定する第2特定制御を実行する。
なお、第2特定制御においては、上記の第1特定制御における前ライダーセンサ85Aの第1検知範囲Rd1が後ライダーセンサ85Bの第2検知範囲Rd2に変わるだけで、制御内容は同じであることから、第2特定制御に関する説明は省略する。
The obstacle detection device 87 detects the presence of an obstacle in the second imaging range Ri2 of the rear camera 82 based on the obstacle detection information from the image processing device 86 when the tractor 1 is traveling backward. When the obstacle is detected, the second identification control is executed to identify the position of the obstacle in the second imaging range Ri2 and the distance to the obstacle.
In the second specific control, the contents of the control are the same except that the first detection range Rd1 of the front rider sensor 85A in the first specific control is changed to the second detection range Rd2 of the rear rider sensor 85B. , the description of the second specific control is omitted.

障害物検知装置87は、トラクタ1の前後進走行時にかかわらず、画像処理装置86からの障害物に関する検知情報に基づいて、右カメラ83の第3撮像範囲Ri3において障害物の存在が検知されていることを検知した場合に、第3撮像範囲Ri3における障害物の位置及び障害物までの距離を特定する第3特定制御を実行する。 The obstacle detection device 87 detects the presence of an obstacle in the third imaging range Ri3 of the right camera 83 based on the obstacle detection information from the image processing device 86 regardless of whether the tractor 1 is traveling forward or backward. When the presence of the obstacle is detected, the third identification control is executed to identify the position of the obstacle in the third imaging range Ri3 and the distance to the obstacle.

以下、図16に示すフローチャートに基づいて、第3特定制御における障害物検知装置87の制御作動について説明する。
障害物検知装置87は、画像処理装置86からの障害物に関する検知情報に含まれた障害物の座標と障害物までの距離とに基づいて、障害物がソナー85Cの第3測定範囲Rm3に位置しているか否かを判定する第3位置判定処理を行う(ステップ#21)。障害物が第3測定範囲Rm3に位置している場合は、画像処理装置86からの障害物に関する検知情報に含まれた障害物の座標と障害物までの距離、及び、ソナー85Cからの障害物候補に関する測定情報に含まれた障害物候補までの距離と障害物候補の方向、などに基づいて、障害物の位置と障害物候補の位置とが整合するか否かを判定する整合判定処理を行う(ステップ#22)。整合している場合は、測距精度の高いソナー85Cから得た障害物候補までの距離を、障害物までの距離として車載制御ユニット23に送信する第4距離送信処理を行い(ステップ#23)、その後、ステップ#21に戻る。整合していない場合は、前ライダーセンサ85Aからの障害物候補に関する測定情報が障害物に関する測定情報ではないと判断して、画像処理装置86から得た障害物までの距離を車載制御ユニット23に送信する第5距離送信処理を行い(ステップ#24)、その後、ステップ#21に戻る。ステップ#21の第3位置判定処理にて障害物が第3測定範囲Rm3に位置していない場合は、右カメラ83の第3撮像範囲Ri3において障害物の存在が検知されているか否か判定する障害物検知判定処理を行う(ステップ#25)。障害物の存在が検知されている場合は、ステップ#21に戻って第3特定制御を継続する。障害物の存在が検知されていない場合は、第3特定制御を終了する。
Hereinafter, based on the flowchart shown in FIG. 16, the control operation of the obstacle detection device 87 in the third specific control will be described.
Based on the coordinates of the obstacle and the distance to the obstacle included in the detection information about the obstacle from the image processing device 86, the obstacle detection device 87 detects the position of the obstacle in the third measurement range Rm3 of the sonar 85C. A third position determination process is performed to determine whether or not the vehicle is moving (step #21). If the obstacle is located in the third measurement range Rm3, the coordinates of the obstacle and the distance to the obstacle included in the detection information about the obstacle from the image processing device 86, and the obstacle from the sonar 85C. Based on the distance to the obstacle candidate and the direction of the obstacle candidate included in the measurement information about the candidate, matching determination processing is performed to determine whether or not the position of the obstacle matches the position of the obstacle candidate. (step #22). If they match, a fourth distance transmission process is performed to transmit the distance to the obstacle candidate obtained from the sonar 85C with high ranging accuracy to the in-vehicle control unit 23 as the distance to the obstacle (step #23). , and then returns to step #21. If they do not match, it is determined that the measurement information about the obstacle candidate from the front rider sensor 85A is not the measurement information about the obstacle, and the distance to the obstacle obtained from the image processing device 86 is sent to the in-vehicle control unit 23. A fifth distance transmission process for transmission is performed (step #24), and then the process returns to step #21. If the obstacle is not located in the third measurement range Rm3 in the third position determination process of step #21, it is determined whether or not the presence of the obstacle is detected in the third imaging range Ri3 of the right camera 83. Obstacle detection determination processing is performed (step #25). If the presence of the obstacle is detected, the process returns to step #21 to continue the third specific control. If the presence of the obstacle is not detected, the third specific control is terminated.

障害物検知装置87は、トラクタ1の前後進走行時にかかわらず、画像処理装置86からの障害物に関する検知情報に基づいて、左カメラ84の第4撮像範囲Ri4において障害物の存在が検知されていることを検知した場合に、第4撮像範囲Ri4における障害物の位置及び障害物までの距離を特定する第4特定制御を実行する。
なお、第4特定制御においては、上記の第3特定制御におけるソナー85Cの第3測定範囲Rm3が第4測定範囲Rm4に変わるだけで、制御内容は同じであることから、第4特定制御に関する説明は省略する。
The obstacle detection device 87 detects the presence of an obstacle in the fourth imaging range Ri4 of the left camera 84 based on the obstacle detection information from the image processing device 86 regardless of whether the tractor 1 is traveling forward or backward. When the presence of the obstacle is detected, fourth identification control is performed to identify the position of the obstacle in the fourth imaging range Ri4 and the distance to the obstacle.
Note that in the fourth specific control, only the third measurement range Rm3 of the sonar 85C is changed to the fourth measurement range Rm4 in the above-described third specific control, and the contents of the control are the same. are omitted.

障害物検知装置87は、画像処理装置86からの障害物に関する検知情報に基づいて、各カメラ81~84の撮像範囲Ri1~Ri4において障害物の存在が検知されていないことを検知した場合は、アクティブセンサユニット85からの測定情報を無効にする測定情報無効処理を行う。 When the obstacle detection device 87 detects that the presence of an obstacle is not detected in the imaging ranges Ri1 to Ri4 of the cameras 81 to 84 based on the obstacle detection information from the image processing device 86, Measurement information invalidation processing for invalidating the measurement information from the active sensor unit 85 is performed.

以上のように、障害物検知装置87は、物体の判別精度が高い画像処理装置86が判別した障害物の位置と、アクティブセンサユニット85が判別した障害物候補の位置とが整合した場合にのみ、測距精度の高いアクティブセンサユニット85から得た障害物候補までの距離を障害物までの距離として採用することから、アクティブセンサユニット85が障害物候補として誤判別したときの障害物候補までの距離が障害物までの距離として採用される虞を回避することができる。その結果、障害物検知装置87は、物体の判別精度及び測距精度の高い障害物に関する検知情報を取得することができる。
又、障害物検知装置87は、精度が高いカメラ画像に基づく障害物判別処理を行う画像処理装置86からの障害物に関する検知情報を取得することから、アクティブセンサユニット85の各測定範囲Rm1~Rm4において、例えば、背の高い草などが存在している場合に、その背の高い草などをトラクタ1の走行に支障を来たす障害物として誤検知する虞を回避することができる。又、各ライダーセンサ85A,85Bの検知範囲Rd1,Rd2において、埃や粉塵などが浮遊物として舞い上がることなどで、アクティブセンサユニット85が測定した各検知範囲Rd1,Rd2の全測距点までの距離値が無効値になった場合や、アクティブセンサユニット85においてセンサ表面の汚れなどの異常が生じた場合には、画像処理装置86からの障害物に関する検知情報に基づいて、障害物の存在や障害物までの距離を検知することができる。
As described above, the obstacle detection device 87 operates only when the position of the obstacle determined by the image processing device 86 with high object determination accuracy matches the position of the obstacle candidate determined by the active sensor unit 85. Since the distance to the obstacle candidate obtained from the active sensor unit 85 with high ranging accuracy is adopted as the distance to the obstacle, the distance to the obstacle candidate when the active sensor unit 85 erroneously discriminates it as an obstacle candidate. It is possible to avoid the possibility that the distance is adopted as the distance to the obstacle. As a result, the obstacle detection device 87 can acquire detection information regarding obstacles with high object discrimination accuracy and range finding accuracy.
In addition, since the obstacle detection device 87 acquires detection information regarding obstacles from the image processing device 86 that performs obstacle discrimination processing based on highly accurate camera images, each measurement range Rm1 to Rm4 of the active sensor unit 85 is obtained. , for example, when there is tall grass or the like, it is possible to avoid the risk of erroneously detecting the tall grass or the like as an obstacle that hinders the running of the tractor 1. In the detection ranges Rd1 and Rd2 of the lidar sensors 85A and 85B, the distance to all the distance measurement points in the detection ranges Rd1 and Rd2 measured by the active sensor unit 85 may be affected by dust, dust, etc. When the value becomes an invalid value, or when an abnormality such as contamination of the sensor surface occurs in the active sensor unit 85, based on the detection information regarding the obstacle from the image processing device 86, the existence of the obstacle or the obstacle is detected. It can detect the distance to an object.

図6~7に示すように、車載制御ユニット23には、障害物検知装置87からの検知情報に基づいて、障害物との衝突を回避する衝突回避制御を実行する衝突回避制御部23Hが含まれている。衝突回避制御部23Hは、マイクロコントローラなどが集積された電子制御ユニットや各種の制御プログラムなどによって構築されている。衝突回避制御部23Hは、車載制御ユニット23の他の制御部23A~23F、アクティブセンサユニット85、画像処理装置86、及び、障害物検知装置87に、CAN(Controller Area Network)を介して相互通信可能に接続されている。 As shown in FIGS. 6 and 7, the in-vehicle control unit 23 includes a collision avoidance control section 23H that executes collision avoidance control for avoiding collisions with obstacles based on detection information from the obstacle detection device 87. is The collision avoidance control section 23H is constructed by an electronic control unit in which a microcontroller and the like are integrated, various control programs, and the like. The collision avoidance control section 23H communicates with the other control sections 23A to 23F of the in-vehicle control unit 23, the active sensor unit 85, the image processing device 86, and the obstacle detection device 87 via CAN (Controller Area Network). connected as possible.

以下、衝突回避制御部23Hによる衝突回避制御について説明する。
衝突回避制御部23Hは、障害物検知装置87からの第1距離送信処理によって障害物までの距離を取得した場合は、図4に示す第1検知範囲Rd1又は第2検知範囲Rd2の報知制御範囲Rncに障害物が位置していることから、報知制御範囲Rncでの障害物の存在を報知する第1報知制御の実行を車載制御ユニット23の表示制御部23Eと端末制御ユニット51の表示制御部51Aとに指令する。これにより、各表示制御部23E,51Aにおいて第1報知制御が実行されて、トラクタ1に対する第1検知範囲Rd1又は第2検知範囲Rd2の報知制御範囲Rncに障害物が存在することを、運転部12の搭乗者や車外の管理者などのユーザに知らせることができる。
衝突回避制御部23Hは、障害物検知装置87からの第2距離送信処理又は第3距離送信処理によって障害物までの距離を取得した場合は、図4に示す第1検知範囲Rd1又は第2検知範囲Rd2の減速制御範囲Rdc又は停止制御範囲Rscに障害物が位置していることから、取得した障害物までの距離に基づいて、障害物の位置が減速制御範囲Rdcか停止制御範囲Rscかを判定する。
衝突回避制御部23Hは、減速制御範囲Rdcに障害物が位置していると判定した場合は、減速制御範囲Rdcでの障害物の存在を報知する第2報知制御の実行を各表示制御部23E,51Aに指令するとともに、自動減速制御の実行を車速制御部23Bに指令する。これにより、各表示制御部23E,51Aにおいて第2報知制御を実行されて、トラクタ1に対する第1検知範囲Rd1又は第2検知範囲Rd2の減速制御範囲Rdcに障害物が存在することをユーザに知らせることができる。又、車速制御部23Bにおいて自動減速制御が実行されて、障害物との相対距離が短くなるに連れてトラクタ1の車速が低下す。
衝突回避制御部81bは、第1検知範囲Rd1又は第2検知範囲Rd2の停止制御範囲Rscに障害物が位置していると判定した場合は、停止制御範囲Rscでの障害物の存在を報知する第3報知制御の実行を各表示制御部23E,51Aに指令する第3報知開始指令処理を行うとともに、自動停止制御の実行を車速制御部23Bに指令する。これにより、各表示制御部23E,51Aにおいて第3報知制御が実行されて、トラクタ1に対する第1検知範囲Rd1又は第2検知範囲Rd2の停止制御範囲Rscに障害物が存在することをユーザに知らせることができる。又、車速制御部23Bにおいて自動停止制御が実行されて、停止制御範囲Rscに障害物が存在する段階においてトラクタ1が停止する。その結果、障害物に対するトラクタ1の衝突を回避することができる。
衝突回避制御部23Hは、障害物検知装置87からの第4距離送信処理又は第5距離送信処理によって障害物までの距離を取得した場合は、図4に示す第3測定範囲Rm3又は第4測定範囲Rm4に障害物が位置していることから、第3測定範囲Rm3又は第4測定範囲Rm4での障害物の存在を報知する第4報知制御の実行を各表示制御部23E,51Aに指令するとともに、自動停止制御の実行を車速制御部23Bに指令する。これにより、各表示制御部23E,51Aにおいて第4報知制御が実行されて、トラクタ1に対する第3測定範囲Rm3又は第4測定範囲Rm4に障害物が存在することをユーザに知らせることができる。又、車速制御部23Bにおいては自動停止制御が実行されて、第3測定範囲Rm3又は第4測定範囲Rm4に障害物が存在する段階においてトラクタ1が停止する。その結果、障害物に対するトラクタ1の衝突を回避することができる。
The collision avoidance control by the collision avoidance control section 23H will be described below.
When the distance to the obstacle is acquired by the first distance transmission process from the obstacle detection device 87, the collision avoidance control unit 23H determines the notification control range of the first detection range Rd1 or the second detection range Rd2 shown in FIG. Since the obstacle is located in Rnc, the display control section 23E of the in-vehicle control unit 23 and the display control section of the terminal control unit 51 execute the first notification control to notify the existence of the obstacle in the notification control range Rnc. Command 51A. Accordingly, the first notification control is executed in each of the display control units 23E and 51A, and the presence of an obstacle in the notification control range Rnc of the first detection range Rd1 or the second detection range Rd2 for the tractor 1 is notified to the operation unit. Users such as 12 passengers and managers outside the vehicle can be notified.
When the distance to the obstacle is acquired by the second distance transmission processing or the third distance transmission processing from the obstacle detection device 87, the collision avoidance control section 23H uses the first detection range Rd1 or the second detection range Rd1 shown in FIG. Since the obstacle is positioned in the deceleration control range Rdc or the stop control range Rsc of the range Rd2, it is determined whether the position of the obstacle is in the deceleration control range Rdc or the stop control range Rsc based on the obtained distance to the obstacle. judge.
When the collision avoidance control unit 23H determines that an obstacle is positioned within the deceleration control range Rdc, the collision avoidance control unit 23H causes each display control unit 23E to execute second notification control to notify the existence of the obstacle within the deceleration control range Rdc. , 51A, and the vehicle speed controller 23B to execute automatic deceleration control. As a result, the display control units 23E and 51A execute the second notification control to inform the user that an obstacle exists in the deceleration control range Rdc of the first detection range Rd1 or the second detection range Rd2 for the tractor 1. be able to. Further, automatic deceleration control is executed in the vehicle speed control section 23B, and the vehicle speed of the tractor 1 decreases as the relative distance to the obstacle becomes shorter.
When the collision avoidance control unit 81b determines that an obstacle is positioned in the stop control range Rsc of the first detection range Rd1 or the second detection range Rd2, it notifies the presence of the obstacle in the stop control range Rsc. A third notification start command process is performed to command the display control units 23E and 51A to execute the third notification control, and the vehicle speed control unit 23B is commanded to execute the automatic stop control. As a result, the display control units 23E and 51A execute the third notification control to notify the user that an obstacle exists in the stop control range Rsc of the first detection range Rd1 or the second detection range Rd2 for the tractor 1. be able to. Further, automatic stop control is executed in the vehicle speed control section 23B, and the tractor 1 stops when an obstacle exists in the stop control range Rsc. As a result, collision of the tractor 1 against obstacles can be avoided.
When the distance to the obstacle is acquired by the fourth distance transmission process or the fifth distance transmission process from the obstacle detection device 87, the collision avoidance control unit 23H uses the third measurement range Rm3 or the fourth measurement range Rm3 shown in FIG. Since the obstacle is located in the range Rm4, the display control units 23E and 51A are instructed to execute the fourth notification control to notify the presence of the obstacle in the third measurement range Rm3 or the fourth measurement range Rm4. At the same time, it commands the vehicle speed control section 23B to execute the automatic stop control. As a result, the display control units 23E and 51A execute the fourth notification control to notify the user that an obstacle exists in the third measurement range Rm3 or the fourth measurement range Rm4 with respect to the tractor 1. FIG. Further, automatic stop control is executed in the vehicle speed control section 23B, and the tractor 1 stops when an obstacle exists in the third measurement range Rm3 or the fourth measurement range Rm4. As a result, collision of the tractor 1 against obstacles can be avoided.

以上のように、障害物が各ライダーセンサ85A,85Bの検知範囲Rd1,Rd2のうちの減速制御範囲Rdc又は停止制御範囲Rsc、あるいは、ソナー85Cの第3測定範囲Rm3又は第4測定範囲Rm4に位置する場合は、衝突回避制御部23Hの衝突回避制御に基づく車速制御部23Bの自動減速制御や自動停止制御による障害物との衝突回避が行われる。そのため、障害物検知装置87は、画像処理装置86からの障害物に関する検知情報に基づいて、障害物が前述した減速制御範囲Rdc、停止制御範囲Rsc、第3測定範囲Rm3、又は、第4測定範囲Rm4に位置することを検知した場合は、前述した整合判定処理を行って、画像処理装置86が判別した障害物の位置と、アクティブセンサユニット85が判別した障害物候補の位置とが整合した場合に、測距精度の高いアクティブセンサユニット85が測定した障害物候補までの距離を障害物までの距離とし、この距離を衝突回避制御部23Hに送信している。これにより、測距精度の高いアクティブセンサユニット85が測定した障害物までの距離に基づいて、衝突回避制御部23Hの衝突回避制御に基づく車速制御部23Bの自動減速制御や自動停止制御による障害物との衝突回避が行われることになる。その結果、障害物との衝突回避を精度良く行うことができる。
又、障害物が各ライダーセンサ85A,85Bの検知範囲Rd1,Rd2のうちの報知制御範囲Rncに位置する場合は、衝突回避制御部23Hの衝突回避制御に基づく車速制御部23Bの自動減速制御や自動停止制御による障害物との衝突回避が行われないことから、障害物検知装置87は、前述した整合判定処理を行わずに、画像処理装置86からの障害物に関する検知情報に含まれている障害物までの距離を衝突回避制御部23Hに送信している。これにより、整合判定処理を行うことによる処理負荷の増大を回避している。
As described above, an obstacle is detected in the deceleration control range Rdc or the stop control range Rsc in the detection ranges Rd1 and Rd2 of the rider sensors 85A and 85B, or in the third measurement range Rm3 or the fourth measurement range Rm4 of the sonar 85C. If so, collision avoidance with an obstacle is performed by automatic deceleration control and automatic stop control of the vehicle speed control section 23B based on the collision avoidance control of the collision avoidance control section 23H. Therefore, based on the detection information about the obstacle from the image processing device 86, the obstacle detection device 87 detects that the obstacle is within the aforementioned deceleration control range Rdc, the stop control range Rsc, the third measurement range Rm3, or the fourth measurement range. When it is detected that it is located in the range Rm4, the matching determination process described above is performed, and the position of the obstacle determined by the image processing device 86 matches the position of the obstacle candidate determined by the active sensor unit 85. In this case, the distance to the obstacle candidate measured by the active sensor unit 85 with high ranging accuracy is set as the distance to the obstacle, and this distance is transmitted to the collision avoidance control section 23H. As a result, based on the distance to the obstacle measured by the active sensor unit 85 with high ranging accuracy, the obstacle is detected by the automatic deceleration control and automatic stop control of the vehicle speed control unit 23B based on the collision avoidance control of the collision avoidance control unit 23H. Collision avoidance with As a result, collision avoidance with obstacles can be performed with high accuracy.
Further, when an obstacle is positioned within the notification control range Rnc of the detection ranges Rd1 and Rd2 of the rider sensors 85A and 85B, the automatic deceleration control of the vehicle speed control section 23B based on the collision avoidance control of the collision avoidance control section 23H and the Since collision avoidance with an obstacle is not performed by automatic stop control, the obstacle detection device 87 does not perform the match determination process described above, and the detection information about the obstacle from the image processing device 86 includes The distance to the obstacle is transmitted to the collision avoidance control section 23H. This avoids an increase in the processing load due to the consistency determination process.

〔別実施形態〕
本発明の別実施形態について説明する。
なお、以下に説明する各別実施形態の構成は、それぞれ単独で適用することに限らず、他の別実施形態の構成と組み合わせて適用することも可能である。
[Another embodiment]
Another embodiment of the present invention will be described.
It should be noted that the configuration of each of the embodiments described below is not limited to being applied alone, and can be applied in combination with the configurations of other embodiments.

(1)作業車両の構成は種々の変更が可能である。
例えば、作業車両は、左右の後輪11に代えて左右のクローラを備えるセミクローラ仕様に構成されていてもよい。
例えば、作業車両は、左右の前輪10及び左右の後輪11に代えて左右のクローラを備えるフルクローラ仕様に構成されていてもよい。
例えば、作業車両は、左右の後輪11が操舵輪として機能する後輪ステアリング仕様に構成されていてもよい。
例えば、作業車両は、エンジン14の代わりに電動モータを備える電動仕様に構成されていてもよい。
例えば、作業車両は、エンジン14と走行用の電動モータとを備えるハイブリッド仕様に構成されていてもよい。
(1) The configuration of the work vehicle can be modified in various ways.
For example, the work vehicle may have a semi-crawler specification that includes left and right crawlers instead of the left and right rear wheels 11 .
For example, the work vehicle may be configured with full crawler specifications having left and right crawlers instead of the left and right front wheels 10 and the left and right rear wheels 11 .
For example, the work vehicle may be configured with a rear wheel steering specification in which the left and right rear wheels 11 function as steering wheels.
For example, the work vehicle may be configured to be electrically powered with an electric motor instead of the engine 14 .
For example, the work vehicle may have a hybrid specification that includes the engine 14 and an electric motor for traveling.

(2)アクティブセンサ85A~85Cとして、ライダーセンサ85A,85Bやソナー85Cに代えて、レーダーセンサを採用してもよい。又、全てのアクティブセンサ85A~85Cにライダーセンサを採用してもよい。 (2) Radar sensors may be employed as the active sensors 85A to 85C instead of the lidar sensors 85A and 85B and the sonar 85C. Also, lidar sensors may be employed for all of the active sensors 85A to 85C.

(3)アクティブセンサ85A~85Cは、それらの測定範囲Rm1~Rm4において画像処理装置86にて障害物が検知された場合に、障害物までの距離を測定するように構成されていてもよい。
この構成によると、アクティブセンサ85A~85Cは、それらの測定範囲Rm1~Rm4での測定を常時行う必要がなく、それらの測定範囲Rm1~Rm4において画像処理装置86にて障害物が検知された場合にのみ、障害物までの距離を測定することから、測距に要する負荷の軽減を図りながら、障害物に対する測距の精度を高くすることができる。
(3) The active sensors 85A-85C may be configured to measure the distance to the obstacle when the image processing device 86 detects the obstacle in their measurement ranges Rm1-Rm4.
According to this configuration, the active sensors 85A to 85C do not always need to perform measurements in their measurement ranges Rm1 to Rm4. Since the distance to the obstacle is measured only in this case, the accuracy of distance measurement to the obstacle can be improved while reducing the load required for distance measurement.

(4)アクティブセンサ85A~85Cは、それらの測定範囲Rm1~Rm4での測定を常時行うとともに、その測定値を障害物検知装置87に常時送信するように構成されていてもよい。
この構成によると、障害物検知装置87は、アクティブセンサ85A~85Cからの測定値を常に受け取ることができ、これにより、いずれかの撮像装置81~84にて障害物が検知された場合には、アクティブセンサ85A~85Cからの測定値に基づく障害物の位置及び障害物までの距離の特定を、障害物の検知からタイムラグの少ない段階で行うことができる。
(4) The active sensors 85A to 85C may be configured to constantly perform measurements in their measurement ranges Rm1 to Rm4 and constantly transmit the measured values to the obstacle detection device 87.
According to this configuration, the obstacle detection device 87 can always receive the measurement values from the active sensors 85A-85C, so that if any of the imaging devices 81-84 detects an obstacle, , the position of the obstacle and the distance to the obstacle based on the measured values from the active sensors 85A to 85C can be specified at a stage with little time lag from the detection of the obstacle.

(5)撮像装置81~84には、ステレオカメラなどを採用してもよい。
又、撮像装置81~84として、前述した前カメラ81、後カメラ82、右カメラ83、左カメラ84に加えて、前カメラ81と画角の異なる前カメラを備えるようにしてもよい。
この場合、例えば、図17に示すように、液晶モニタ27や表示デバイス50などの全周囲画像表示領域90に、前カメラ81の画像が配置される前方画像表示領域90A、後カメラ82の画像が配置される後方画像表示領域90B、右カメラ83の画像が配置される右方画像表示領域90C、及び、左カメラ84の画像が配置される左方画像表示領域90Dに加えて、画角の異なる前カメラの画像が配置される第2前方画像表示領域90Eを備えるようにしてもよい。
(5) A stereo camera or the like may be adopted as the imaging devices 81 to 84 .
In addition to the front camera 81, rear camera 82, right camera 83, and left camera 84 described above, a front camera having a different angle of view from the front camera 81 may be provided as the imaging devices 81-84.
In this case, for example, as shown in FIG. 17, a front image display area 90A in which an image of the front camera 81 is arranged and an image of the rear camera 82 are displayed in a full-circumference image display area 90 such as the liquid crystal monitor 27 or the display device 50. In addition to the rear image display area 90B arranged, the right image display area 90C where the image of the right camera 83 is arranged, and the left image display area 90D where the image of the left camera 84 is arranged, A second forward image display area 90E in which the image of the front camera is arranged may be provided.

<発明の付記>
本発明の第1特徴構成は、作業車両用の障害物検知システムにおいて、
作業車両の周囲を撮像する複数の撮像装置と、複数の前記撮像装置からの画像に基づいて障害物を判別する障害物判別処理を時分割方式で行う画像処理装置とを有し、
前記画像処理装置は、前記作業車両の走行方向と車速に応じて、時分割方式における複数の前記撮像装置に対する単位時間あたりの処理対象周期を変更する点にある。
<Additional remarks of the invention>
A first characteristic configuration of the present invention is an obstacle detection system for a work vehicle,
a plurality of imaging devices that capture images of the surroundings of the work vehicle; and an image processing device that performs an obstacle discrimination process for discriminating obstacles based on the images from the plurality of imaging devices in a time-sharing manner,
The image processing device changes a processing target period per unit time for the plurality of imaging devices in a time-division system according to the traveling direction and vehicle speed of the work vehicle.

本構成によれば、画像処理装置が、物体の判別精度が高い撮像画像に基づく障害物判別処理を行うことにより、例えば、作業車両の走行方向に背の高い草などが存在している場合に、その背の高い草などを作業車両の走行に支障を来たす障害物として誤検知する虞を回避することができる。又、作業車両の周囲において、埃や粉塵などが浮遊物として舞い上がった場合においても、その浮遊物を作業車両の走行に支障を来たす障害物として誤検知する虞を回避することができる。
そして、画像処理装置が障害物判別処理を時分割方式で行うことにより、処理負荷の大きい各撮像装置からの画像に対する障害物判別処理を、単一の画像処理装置によって順次滞りなく速やかに行える。
又、例えば、画像処理装置が、作業車両の走行方向に応じて、作業車両の走行方向を撮像範囲とする各撮像装置に対する単位時間あたりの処理対象周期を早くし、作業車両の走行方向を撮像範囲としない各撮像装置に対する単位時間あたりの処理対象周期を遅くすれば、各撮像装置からの画像に対する障害物判別処理を、単一の画像処理装置によって順次滞りなく速やかに行いながら、作業車両の走行方向に存在する物体が障害物か否かの判別を重点的に行うことができる。
更に、例えば、画像処理装置が、作業車両の車速が速くなるほど、作業車両の走行方向を撮像範囲とする各撮像装置に対する単位時間あたりの処理対象周期を早くし、かつ、作業車両の走行方向を撮像範囲としない各撮像装置に対する単位時間あたりの処理対象周期を遅くすれば、各撮像装置からの画像に対する障害物判別処理を、単一の画像処理装置によって順次滞りなく速やかに行いながら、作業車両の車速が速くなるほど、作業車両の走行方向に存在する物体が障害物か否かの判別を迅速かつ重点的に行うことができる。
その結果、構成の簡素化を図りながら、作業車両の周囲に存在する障害物を精度良く検知することができる作業車両用の障害物検知システムを構築することができた。
According to this configuration, the image processing device performs obstacle discrimination processing based on the captured image with high object discrimination accuracy. Therefore, it is possible to avoid the risk of erroneously detecting tall grass or the like as an obstacle that hinders the running of the work vehicle. In addition, even if dust, dust, or the like floats up around the working vehicle, it is possible to avoid the risk of erroneously detecting the floating matter as an obstacle that hinders the traveling of the working vehicle.
Then, the image processing apparatus performs the obstacle discrimination processing in a time-division manner, so that the obstacle discrimination processing for the images from the imaging devices with a large processing load can be sequentially and quickly performed by a single image processing device.
Further, for example, the image processing device shortens the processing target cycle per unit time for each imaging device having an imaging range in the traveling direction of the work vehicle according to the traveling direction of the work vehicle, and images the traveling direction of the work vehicle. By slowing down the processing target period per unit time for each image pickup device that is not within the range, the obstacle discrimination processing for the images from each image pickup device can be sequentially and quickly performed by a single image processing device, and the work vehicle can be operated. It is possible to focus on determining whether or not an object existing in the running direction is an obstacle.
Furthermore, for example, as the vehicle speed of the work vehicle increases, the image processing device shortens the processing target period per unit time for each imaging device whose imaging range is the travel direction of the work vehicle, and also adjusts the travel direction of the work vehicle. By slowing down the processing target period per unit time for each imaging device that is not included in the imaging range, the obstacle discrimination processing for the images from each imaging device can be sequentially and smoothly performed by a single image processing device, and the working vehicle can be operated. As the vehicle speed increases, it is possible to quickly and intensively determine whether or not an object existing in the traveling direction of the work vehicle is an obstacle.
As a result, it was possible to construct an obstacle detection system for a work vehicle that can accurately detect obstacles existing around the work vehicle while simplifying the configuration.

本発明の第2特徴構成は、
前記作業車両の周囲に存在する測定対象物までの距離を測定する複数のアクティブセンサと、
前記画像処理装置からの判別情報と前記アクティブセンサからの測定情報とに基づいて、前記障害物の位置及び前記障害物までの距離を検知する障害物検知装置とを有している点にある。
The second characteristic configuration of the present invention is
a plurality of active sensors for measuring a distance to a measurement target existing around the work vehicle;
The obstacle detecting device detects the position of the obstacle and the distance to the obstacle based on the determination information from the image processing device and the measurement information from the active sensor.

本構成によれば、物体の判別精度が高いカメラ画像に基づく障害物判別処理を行う画像処理装置からの判別情報と、測距精度の高いアクティブセンサユニットからの測定情報とに基づいて、障害物検知装置が障害物の位置及び障害物までの距離を検知することから、作業車両の走行方向に存在する背の高い草や、作業車両の周囲において舞い上がった埃や粉塵などの浮遊物、などを障害物として誤検知する虞を回避しながら、障害物の位置及び作業車両から障害物までの距離を精度良く検知することができる。 According to this configuration, based on the determination information from the image processing device that performs the obstacle determination process based on the camera image with high object determination accuracy and the measurement information from the active sensor unit with high ranging accuracy, the obstacle is detected. Since the detection device detects the position of the obstacle and the distance to the obstacle, tall grass that exists in the direction of travel of the work vehicle and floating objects such as dust and dust that have risen around the work vehicle can be detected. It is possible to accurately detect the position of the obstacle and the distance from the work vehicle to the obstacle while avoiding the possibility of erroneous detection as an obstacle.

本発明の第3特徴構成は、
前記画像処理装置は、前記撮像装置からの画像に基づいて、画像上での前記障害物の座標及び前記障害物までの距離を求め、
前記アクティブセンサは、前記作業車両の周囲に前記測定対象物として存在する複数の測距点の座標ごとの距離を順次測定して障害物候補の測距点群を抽出するライダーセンサであり、
前記障害物検知装置は、前記画像処理装置からの前記障害物の座標及び前記障害物までの距離と、前記ライダーセンサからの前記測距点群の座標ごとの距離とが整合した場合に、整合した前記測距点群の距離を前記障害物までの距離として採用し、整合しない場合は前記画像処理装置からの前記障害物までの距離を採用する点にある。
The third characteristic configuration of the present invention is
The image processing device obtains the coordinates of the obstacle on the image and the distance to the obstacle based on the image from the imaging device,
The active sensor is a lidar sensor that sequentially measures the distance for each coordinate of a plurality of ranging points that exist as the measurement object around the work vehicle and extracts ranging point groups of obstacle candidates,
The obstacle detection device detects a match when the coordinates of the obstacle and the distance to the obstacle from the image processing device match the distance for each coordinate of the range-finding point group from the lidar sensor. The distance of the range-finding point group is adopted as the distance to the obstacle, and if they do not match, the distance from the image processing device to the obstacle is adopted.

本構成によれば、障害物検知装置は、物体の判別精度が高い画像処理装置が判別した障害物の座標及び障害物までの距離と、ライダーセンサが抽出した障害物候補となる測距点群の座標ごとの距離とが整合した場合にのみ、測距精度の高いライダーセンサから得た障害物候補までの距離を障害物までの距離として採用することから、ライダーセンサが障害物候補として誤判別したときの障害物候補までの距離が障害物までの距離として採用される虞を回避することができる。
その結果、障害物検知装置は、物体の判別精度及び測距精度の高い障害物に関する検知情報を取得することができる。
又、障害物検知装置は、ライダーセンサの周囲において、埃や粉塵などが浮遊物として舞い上がることなどで、ライダーセンサの測定精度が低下した場合や、ライダーセンサにおいてセンサ表面の汚れなどの異常が生じた場合には、画像処理装置から障害物までの距離を取得することができる。
According to this configuration, the obstacle detection device includes the coordinates of the obstacle and the distance to the obstacle determined by the image processing device with high object determination accuracy, and the distance measurement point group as the obstacle candidate extracted by the lidar sensor. The distance to the obstacle candidate obtained from the lidar sensor with high ranging accuracy is adopted as the distance to the obstacle only when the distance for each coordinate matches the distance to the obstacle candidate. Therefore, it is possible to avoid the possibility that the distance to the obstacle candidate at the time is adopted as the distance to the obstacle.
As a result, the obstacle detection device can acquire detection information related to obstacles with high object discrimination accuracy and distance measurement accuracy.
In addition, the obstacle detection device may be affected by dust, dust, etc. floating around the lidar sensor as floating matter, which may cause the measurement accuracy of the lidar sensor to drop, or may cause an abnormality such as soiling of the sensor surface of the lidar sensor. In this case, the distance to the obstacle can be obtained from the image processing device.

本発明の第4特徴構成は、
前記アクティブセンサは、前記画像処理装置にて前記障害物が検知された場合に当該障害物に対する測距を行う点にある。
The fourth characteristic configuration of the present invention is
The active sensor measures the distance to the obstacle when the obstacle is detected by the image processing device.

本構成によれば、画像処理装置にて障害物が検知された場合に、その障害物に対する測距をアクティブセンサが行うことから、測距に要する負荷の軽減を図りながら、障害物に対する測距の精度を高くすることができる。 According to this configuration, when an obstacle is detected by the image processing device, the active sensor measures the distance to the obstacle. accuracy can be improved.

1 作業車両
81 撮像装置(前カメラ)
82 撮像装置(前カメラ)
83 撮像装置(右カメラ)
84 撮像装置(左カメラ)
86 画像処理装置
85A アクティブセンサ(前ライダーセンサ)
85B アクティブセンサ(後ライダーセンサ)
85C アクティブセンサ(ソナー)
87 障害物検知装置
1 work vehicle 81 imaging device (front camera)
82 imaging device (front camera)
83 Imaging device (right camera)
84 imaging device (left camera)
86 Image processing device 85A Active sensor (front lidar sensor)
85B active sensor (rear rider sensor)
85C Active Sensor (Sonar)
87 Obstacle detector

Claims (4)

作業車両の周囲を撮像する複数の撮像装置からの画像に基づいて障害物を判別する障害物判別処理を時分割方式で行う画像処理装置を有し、
前記画像処理装置は、前記作業車両の走行方向と車速との少なくとも一方に応じて、時分割方式における前記複数の撮像装置に対する単位時間あたりの処理対象周期を変更する作業車両用の障害物検知システム。
An image processing device that performs an obstacle discrimination process for discriminating obstacles based on images from a plurality of imaging devices that capture images of the surroundings of the work vehicle in a time-sharing manner ,
The image processing device is an obstacle detection system for a work vehicle that changes a processing target period per unit time for the plurality of imaging devices in a time-division system according to at least one of a traveling direction and a vehicle speed of the work vehicle. .
前記作業車両の周囲に存在する測定対象物までの距離を測定する複数のアクティブセンサからの測定情報と前記画像処理装置からの判別情報とに基づいて、前記障害物の位置及び前記障害物までの距離を検知する障害物検知装置を有している請求項1に記載の作業車両用の障害物検知システム。 Based on the measurement information from a plurality of active sensors that measure the distance to the measurement object existing around the work vehicle and the determination information from the image processing device, the position of the obstacle and the distance to the obstacle 2. The obstacle detection system for a work vehicle according to claim 1, further comprising an obstacle detection device for detecting distance. 前記画像処理装置は、前記複数の撮像装置からの画像に基づいて、画像上での前記障害物の座標及び前記障害物までの距離を求め、
前記アクティブセンサは、前記作業車両の周囲に前記測定対象物として存在する複数の測距点の座標ごとの距離を順次測定して障害物候補の測距点群を抽出するライダーセンサであり、
前記障害物検知装置は、前記画像処理装置からの前記障害物の座標及び前記障害物までの距離と、前記ライダーセンサからの前記測距点群の座標ごとの距離とが整合した場合に、整合した前記測距点群の距離を前記障害物までの距離として採用し、整合しない場合は前記画像処理装置からの前記障害物までの距離を採用する請求項2に記載の作業車両用の障害物検知システム。
The image processing device obtains the coordinates of the obstacle on the image and the distance to the obstacle based on the images from the plurality of imaging devices,
The active sensor is a lidar sensor that sequentially measures the distance for each coordinate of a plurality of ranging points that exist as the measurement object around the work vehicle and extracts ranging point groups of obstacle candidates,
The obstacle detection device detects a match when the coordinates of the obstacle and the distance to the obstacle from the image processing device match the distance for each coordinate of the range-finding point group from the lidar sensor. 3. The obstacle for a work vehicle according to claim 2, wherein the distance of said range-finding point group is adopted as the distance to said obstacle, and if they do not match, the distance from said image processing device to said obstacle is adopted. detection system.
前記アクティブセンサは、前記画像処理装置にて前記障害物が検知された場合に当該障害物に対する測距を行う請求項2又は3に記載の作業車両用の障害物検知システム。 4. The obstacle detection system for a work vehicle according to claim 2, wherein the active sensor measures the distance to the obstacle when the image processing device detects the obstacle.
JP2022042632A 2018-12-27 2022-03-17 Obstacle detection system for work vehicles Active JP7317165B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022042632A JP7317165B2 (en) 2018-12-27 2022-03-17 Obstacle detection system for work vehicles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018244266A JP7044694B2 (en) 2018-12-27 2018-12-27 Obstacle detection system for work vehicles
JP2022042632A JP7317165B2 (en) 2018-12-27 2022-03-17 Obstacle detection system for work vehicles

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018244266A Division JP7044694B2 (en) 2018-12-27 2018-12-27 Obstacle detection system for work vehicles

Publications (2)

Publication Number Publication Date
JP2022069671A JP2022069671A (en) 2022-05-11
JP7317165B2 true JP7317165B2 (en) 2023-07-28

Family

ID=87378542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022042632A Active JP7317165B2 (en) 2018-12-27 2022-03-17 Obstacle detection system for work vehicles

Country Status (1)

Country Link
JP (1) JP7317165B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282929A (en) 2008-05-26 2009-12-03 Fujitsu Ten Ltd Vehicle periphery monitoring device and method
JP2015115760A (en) 2013-12-11 2015-06-22 三菱電機株式会社 Video processing device, video processing system, and video processing method
JP2017216557A (en) 2016-05-31 2017-12-07 株式会社Jvcケンウッド Display controller for vehicle, display system for vehicle, vehicle display control method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282929A (en) 2008-05-26 2009-12-03 Fujitsu Ten Ltd Vehicle periphery monitoring device and method
JP2015115760A (en) 2013-12-11 2015-06-22 三菱電機株式会社 Video processing device, video processing system, and video processing method
JP2017216557A (en) 2016-05-31 2017-12-07 株式会社Jvcケンウッド Display controller for vehicle, display system for vehicle, vehicle display control method and program

Also Published As

Publication number Publication date
JP2022069671A (en) 2022-05-11

Similar Documents

Publication Publication Date Title
JP7044694B2 (en) Obstacle detection system for work vehicles
JP7349277B2 (en) Automated driving system for work vehicles
JP7402608B2 (en) Collision avoidance system for work vehicles
US11805720B2 (en) Automatic travel system for work vehicle
JP7355902B2 (en) Automatic driving system for work vehicles and control method for work vehicles
US20210018617A1 (en) Obstacle Detection System for Work Vehicle
WO2021075315A1 (en) Obstacle detection system
JP7470843B2 (en) Autonomous driving system and method
JP2023126466A (en) Automatic traveling method and automatic traveling system
JP2022188155A (en) Automatic travel system for work vehicle
JP7317165B2 (en) Obstacle detection system for work vehicles
JP7399680B2 (en) Work support system
JP7317169B2 (en) Control system for work vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230718

R150 Certificate of patent or registration of utility model

Ref document number: 7317165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150