WO2023238827A1 - 農業管理システム - Google Patents

農業管理システム Download PDF

Info

Publication number
WO2023238827A1
WO2023238827A1 PCT/JP2023/020863 JP2023020863W WO2023238827A1 WO 2023238827 A1 WO2023238827 A1 WO 2023238827A1 JP 2023020863 W JP2023020863 W JP 2023020863W WO 2023238827 A1 WO2023238827 A1 WO 2023238827A1
Authority
WO
WIPO (PCT)
Prior art keywords
implement
work vehicle
processing device
work
information
Prior art date
Application number
PCT/JP2023/020863
Other languages
English (en)
French (fr)
Inventor
俊介 江戸
隼輔 宮下
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Publication of WO2023238827A1 publication Critical patent/WO2023238827A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B63/00Lifting or adjusting devices or arrangements for agricultural machines or implements
    • A01B63/02Lifting or adjusting devices or arrangements for agricultural machines or implements for implements mounted on tractors
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track

Definitions

  • the present disclosure relates to an agricultural management system.
  • ICT Information and Communication Technology
  • IoT Internet of Things
  • work vehicles such as tractors used in fields.
  • a positioning system such as GNSS (Global Navigation Satellite System) that can perform precise positioning are being put into practical use.
  • GNSS Global Navigation Satellite System
  • Patent Document 1 discloses a technology that uses a LiDAR (Light Detection and Ranging) sensor to detect obstacles around a tractor that can be driven automatically.
  • LiDAR Light Detection and Ranging
  • the work vehicle can perform agricultural work using the implement while automatically traveling within the field.
  • the present disclosure provides a technique for setting a warning area suitable for an implement connected to a work vehicle.
  • An agricultural management system includes a server that acquires implement information regarding a plurality of types of implements from a plurality of users, stores the acquired implement information, and a first server connected to a work vehicle.
  • a processing device configured to set the size of a warning area around the implement; the processing device acquires identification information that specifies the first implement, and transmits the implement information corresponding to the identification information to the first implement.
  • the size of the warning area is set based on the acquired implement information obtained from the server.
  • Computer-readable storage media may include volatile storage media or non-volatile storage media.
  • the device may be composed of multiple devices. When a device is composed of two or more devices, the two or more devices may be placed within a single device, or may be separated into two or more separate devices. .
  • implement information regarding multiple types of implements provided by multiple users is acquired, and the acquired implement information is stored in the server.
  • the processing device acquires implement information corresponding to the identification information of the implement connected to the work vehicle from the server, and sets the size of the warning area based on the acquired implement information.
  • FIG. 1 is a diagram for explaining an overview of an agricultural management system according to an exemplary embodiment of the present disclosure.
  • FIG. 1 is a side view schematically showing an example of a work vehicle and a work machine connected to the work vehicle.
  • FIG. 2 is a block diagram showing an example of the configuration of a work vehicle and a work machine.
  • FIG. 2 is a conceptual diagram showing an example of a work vehicle that performs positioning using RTK-GNSS.
  • FIG. 3 is a diagram showing an example of an operation terminal and a group of operation switches provided inside the cabin.
  • FIG. 2 is a block diagram illustrating the hardware configuration of a management device and a terminal device.
  • FIG. 2 is a diagram schematically showing an example of a work vehicle that automatically travels along a target route in a field.
  • FIG. 3 is a diagram showing an example of a work vehicle traveling along a target route P.
  • FIG. 3 is a diagram showing an example of a work vehicle in a position shifted to the right from a target route P.
  • FIG. 2 is a diagram showing an example of a work vehicle in a position shifted to the left from a target route P.
  • FIG. 3 is a diagram showing an example of a work vehicle facing in a direction inclined with respect to a target route P.
  • FIG. FIG. 2 is a diagram schematically showing an example of a situation in which a plurality of work vehicles are automatically traveling on roads inside and outside a field.
  • FIG. 3 is a diagram illustrating an example of a sensing region sensed by a sensing device.
  • FIG. 2 is a diagram showing the relationship between a sensing area sensed by a LiDAR sensor and a search area where an object is searched.
  • FIG. 3 is a diagram showing the relationship between a search area and a caution area.
  • FIG. 1 is a diagram showing an agricultural management system 1 that stores implement information provided by a plurality of users in a server.
  • FIG. 3 is a diagram illustrating an example of an input screen for implement information displayed on a display of a terminal device.
  • FIG. 3 is a diagram illustrating an example of implement information stored in a server.
  • FIG. 3 is a diagram illustrating an example of implement information stored in a server.
  • FIG. 7 is a flowchart illustrating an example of processing for setting a warning area using implement information stored in a server.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of an implement.
  • FIG. 3 is a diagram illustrating an example of a method for calculating the position of at least a portion of the outer shape of an implement in a local coordinate system.
  • FIG. 3 is a diagram illustrating an example of a warning area set around an instrument. It is a flowchart which shows the example of a process when it is determined that a person exists in a warning area.
  • FIG. 3 is a diagram illustrating an example of a method for calculating the position of at least a portion of the outer shape of an implement in a local coordinate system.
  • FIG. 3 is a diagram illustrating an example of a warning area set around an instrument. It is a figure showing an example of a plurality of warning areas.
  • agricultural machinery refers to machinery used in agricultural applications.
  • the agricultural machine of the present disclosure may be a mobile agricultural machine that can perform agricultural work while moving.
  • Examples of agricultural machinery include tractors, harvesters, rice transplanters, riding management machines, vegetable transplanters, mowers, seeders, fertilizer spreaders, and agricultural mobile robots.
  • a work vehicle such as a tractor function as an "agricultural machine” alone, but the implements attached to or towed by the work vehicle and the work vehicle as a whole function as a single "agricultural machine.”
  • Agricultural machines perform agricultural work such as plowing, sowing, pest control, fertilization, planting crops, or harvesting on the ground within a field. These agricultural works are sometimes referred to as "ground work” or simply “work.”
  • the movement of a vehicle-type agricultural machine while performing agricultural work is sometimes referred to as "work driving.”
  • Automatic operation means that the movement of agricultural machinery is controlled by the function of a control device, without manual operation by a driver.
  • Agricultural machinery that operates automatically is sometimes called “self-driving agricultural machinery” or “robotic agricultural machinery.”
  • self-driving agricultural machinery or “robotic agricultural machinery.”
  • the control device can control at least one of steering necessary for movement of the agricultural machine, adjustment of movement speed, start and stop of movement.
  • the control device may control operations such as raising and lowering the work implement, starting and stopping the operation of the work implement, and the like.
  • Movement by automatic driving may include not only movement of the agricultural machine toward a destination along a predetermined route, but also movement of the agricultural machine to follow a tracking target.
  • a self-driving agricultural machine may move partially based on user instructions.
  • agricultural machinery that performs automatic driving may operate in a manual driving mode in which the agricultural machine moves by manual operation by a driver.
  • the act of steering agricultural machinery by means of a control device, rather than manually, is called "automatic steering.”
  • Part or all of the control device may be external to the agricultural machine. Communication such as control signals, commands, or data may occur between a control device external to the agricultural machine and the agricultural machine.
  • Agricultural machines that operate automatically may move autonomously while sensing the surrounding environment, without humans being involved in controlling the movement of the agricultural machines.
  • Agricultural machinery capable of autonomous movement can run unmanned within a field or outside the field (for example, on a road). Obstacle detection and obstacle avoidance operations may be performed during autonomous movement.
  • Work plan is data that determines the schedule of one or more agricultural tasks to be performed by agricultural machinery.
  • the work plan may include, for example, information indicating the order of agricultural operations to be performed by agricultural machinery and the fields in which each agricultural operation is performed.
  • the work plan may include information on the days and times each agricultural work is scheduled to be performed.
  • the work plan may be created by a processing device that communicates with the agricultural machine to manage farm work, or by a processing device mounted on the agricultural machine.
  • the processing device can create a work plan based on information input by a user (such as an agricultural manager or a farm worker) by operating a terminal device.
  • a processing device that communicates with agricultural machinery and manages agricultural work is referred to as a "management device.”
  • the management device may manage agricultural work of a plurality of agricultural machines.
  • the management device may create a work plan that includes information regarding each agricultural work performed by each of the plurality of agricultural machines.
  • the work plan may be downloaded by each farm machine and stored in storage. Each agricultural machine can automatically head to the field and perform the scheduled agricultural work according to the work plan.
  • Environmental map is data that expresses the positions or areas of objects in the environment in which agricultural machinery moves using a predetermined coordinate system.
  • Environmental maps are sometimes simply referred to as "maps" or “map data.”
  • the coordinate system defining the environmental map may be, for example, a world coordinate system, such as a geographic coordinate system fixed relative to the earth.
  • the environmental map may include information other than location (for example, attribute information and other information) about objects existing in the environment.
  • Environmental maps include maps in various formats, such as point cloud maps or grid maps. Local map or partial map data generated or processed in the process of constructing an environmental map is also referred to as a "map" or "map data.”
  • “Rural road” means a road primarily used for agricultural purposes.
  • a farm road is not limited to a road paved with asphalt, but also includes an unpaved road covered with dirt or gravel.
  • Farm roads include roads (including private roads) that are exclusively traversable by vehicle-type agricultural machinery (for example, work vehicles such as tractors), and roads that are also traversable by general vehicles (passenger cars, trucks, buses, etc.). The work vehicle may automatically travel on general roads in addition to farm roads.
  • a general road is a road maintained for general vehicle traffic.
  • FIG. 1 is a diagram for explaining an overview of an agricultural management system 1 according to an exemplary embodiment of the present disclosure.
  • Agricultural management system 1 shown in FIG. 1 includes a work vehicle 100, a terminal device 400, and a management device 600.
  • Terminal device 400 is a computer used by a user who remotely monitors work vehicle 100.
  • the management device 600 is a computer managed by a business operator that operates the agricultural management system 1.
  • Work vehicle 100, terminal device 400, and management device 600 can communicate with each other via network 80.
  • the agricultural management system 1 may include a plurality of work vehicles or other agricultural machines.
  • the work vehicle 100 in this embodiment is a tractor.
  • Work vehicle 100 can be equipped with a work implement at one or both of the rear and front parts.
  • the work vehicle 100 can travel within a field while performing agricultural work depending on the type of work machine.
  • the work vehicle 100 may travel within or outside the field without a work implement attached thereto.
  • the work vehicle 100 is equipped with an automatic driving function. In other words, the work vehicle 100 can be driven not manually but by the action of the control device.
  • the control device in this embodiment is provided inside the work vehicle 100 and can control both the speed and steering of the work vehicle 100.
  • the work vehicle 100 can automatically travel not only inside the field but also outside the field (for example, on a road).
  • the work vehicle 100 is equipped with devices used for positioning or self-position estimation, such as a GNSS receiver and a LiDAR sensor.
  • the control device of the work vehicle 100 automatically causes the work vehicle 100 to travel based on the position of the work vehicle 100 and information on the target route.
  • the control device also controls the operation of the work machine.
  • the work vehicle 100 can perform agricultural work using the work machine while automatically traveling in the field.
  • the work vehicle 100 can automatically travel along a target route on a road outside the field (for example, a farm road or a general road).
  • the work vehicle 100 automatically travels along a road outside the field while utilizing data output from sensing devices such as a camera 120, an obstacle sensor 130, and a LiDAR sensor 140.
  • the management device 600 is a computer that manages agricultural work performed by the work vehicle 100.
  • the management device 600 may be, for example, a server computer that centrally manages information regarding fields on the cloud and supports agriculture by utilizing data on the cloud.
  • the management device 600 creates a work plan for the work vehicle 100 and causes the work vehicle 100 to perform agricultural work according to the work plan.
  • the management device 600 generates a target route within the field based on information input by the user using the terminal device 400 or another device.
  • the management device 600 may further generate and edit an environmental map based on data collected by the work vehicle 100 or other moving body using a sensing device such as a LiDAR sensor.
  • the management device 600 transmits the generated work plan, target route, and environmental map data to the work vehicle 100.
  • the work vehicle 100 automatically performs movement and agricultural work based on the data.
  • the terminal device 400 is a computer used by a user located away from the work vehicle 100. Although the terminal device 400 shown in FIG. 1 is a laptop computer, it is not limited to this.
  • the terminal device 400 may be a stationary computer such as a desktop PC (personal computer), or may be a mobile terminal such as a smartphone or a tablet computer.
  • Terminal device 400 can be used to remotely monitor work vehicle 100 or remotely control work vehicle 100.
  • the terminal device 400 can display images captured by one or more cameras (imaging devices) included in the work vehicle 100 on a display.
  • the terminal device 400 can also display a setting screen on the display for the user to input information necessary for creating a work plan (for example, a schedule for each agricultural work) for the work vehicle 100.
  • the terminal device 400 transmits the input information to the management device 600.
  • Management device 600 creates a work plan based on the information.
  • the terminal device 400 may further include a function of displaying a setting screen on the display for the user to input information necessary for setting the target route.
  • FIG. 2 is a side view schematically showing an example of the work vehicle 100 and the work machine 300 connected to the work vehicle 100.
  • Work vehicle 100 in this embodiment can operate in both manual driving mode and automatic driving mode. In the automatic driving mode, the work vehicle 100 can run unmanned.
  • the work vehicle 100 is capable of automatic operation both inside and outside the field.
  • the work vehicle 100 includes a vehicle body 101, a prime mover (engine) 102, and a transmission 103.
  • the vehicle body 101 is provided with wheels 104 with tires and a cabin 105.
  • the wheels 104 include a pair of front wheels 104F and a pair of rear wheels 104R.
  • a driver's seat 107, a steering device 106, an operation terminal 200, and a group of switches for operation are provided inside the cabin 105.
  • one or both of the front wheels 104F and the rear wheels 104R may be a plurality of wheels (crawlers) equipped with tracks instead of wheels with tires. .
  • the work vehicle 100 may include at least one sensing device that senses the environment around the work vehicle 100, and a processing device that processes sensor data output from the at least one sensing device.
  • work vehicle 100 includes a plurality of sensing devices.
  • the sensing device includes multiple cameras 120, LiDAR sensors 140, and multiple obstacle sensors 130.
  • the cameras 120 may be provided, for example, on the front, rear, left and right sides of the work vehicle 100. Camera 120 photographs the environment around work vehicle 100 and generates image data. The image acquired by camera 120 may be output to a processing device mounted on work vehicle 100 and transmitted to terminal device 400 for remote monitoring. Further, the image may be used to monitor work vehicle 100 during unmanned operation. The camera 120 is also used to generate images for recognizing surrounding features, obstacles, white lines, signs, signs, etc. when the work vehicle 100 travels on a road outside the field (farm road or general road). can be used.
  • the LiDAR sensor 140 in the example of FIG. 2 is arranged at the lower front of the vehicle body 101.
  • LiDAR sensor 140 may be provided at other locations.
  • LiDAR sensor 140 may be provided in the upper part of cabin 105.
  • LiDAR sensor 140 may be a 3D-LiDAR sensor, but may also be a 2D-LiDAR sensor.
  • LiDAR sensor 140 senses the environment around work vehicle 100 and outputs sensor data. While the work vehicle 100 is mainly traveling outside the field, the LiDAR sensor 140 measures the distance and direction of objects in the surrounding environment to each measurement point, or the three-dimensional or two-dimensional coordinate values of each measurement point. Repeatedly outputs sensor data indicating .
  • Sensor data output from LiDAR sensor 140 is processed by the control device of work vehicle 100.
  • the control device can estimate the self-position of the work vehicle 100 by matching the sensor data with the environmental map.
  • the control device can further detect objects such as obstacles that exist around the work vehicle 100 based on the sensor data.
  • the control device can also generate or edit an environmental map using an algorithm such as SLAM (Simultaneous Localization and Mapping).
  • Work vehicle 100 may include a plurality of LiDAR sensors arranged at different positions and in different orientations.
  • a plurality of obstacle sensors 130 shown in FIG. 2 are provided at the front and rear of the cabin 105. Obstacle sensor 130 may also be placed at other locations. For example, one or more obstacle sensors 130 may be provided at arbitrary positions on the side, front, and rear of the vehicle body 101. Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 is used to detect surrounding obstacles during automatic driving and to stop work vehicle 100 or take a detour. LiDAR sensor 140 may be used as one of the obstacle sensors 130.
  • the work vehicle 100 further includes a GNSS unit 110.
  • GNSS unit 110 includes a GNSS receiver.
  • the GNSS receiver may include an antenna that receives signals from GNSS satellites and a processor that calculates the position of work vehicle 100 based on the signals received by the antenna.
  • the GNSS unit 110 receives satellite signals transmitted from a plurality of GNSS satellites, and performs positioning based on the satellite signals.
  • GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System, such as Michibiki), GLONASS, Galileo, and BeiDou.
  • GPS Global Positioning System
  • QZSS Quadasi-Zenith Satellite System
  • Galileo Galileo
  • BeiDou BeiDou.
  • the GNSS unit 110 may include an inertial measurement unit (IMU). Signals from the IMU can be used to supplement the position data.
  • the IMU can measure the tilt and minute movements of the work vehicle 100. By using data acquired by the IMU to supplement position data based on satellite signals, positioning performance can be improved.
  • the control device of the work vehicle 100 may use sensor data acquired by a sensing device such as the camera 120 and/or the LiDAR sensor 140 for positioning.
  • a sensing device such as the camera 120 and/or the LiDAR sensor 140
  • the data acquired by camera 120 and/or LiDAR sensor 140 When there is a feature that functions as a feature point in the environment in which work vehicle 100 travels, such as a farm road, forest road, general road, or orchard, the data acquired by camera 120 and/or LiDAR sensor 140;
  • the position and orientation of work vehicle 100 can be estimated with high accuracy based on the environmental map stored in advance in the storage device.
  • the position of work vehicle 100 can be specified with higher accuracy.
  • the prime mover 102 may be, for example, a diesel engine.
  • An electric motor may be used instead of a diesel engine.
  • Transmission device 103 can change the propulsive force and moving speed of work vehicle 100 by shifting. The transmission 103 can also switch the work vehicle 100 between forward movement and reverse movement.
  • the steering device 106 includes a steering wheel, a steering shaft connected to the steering wheel, and a power steering device that assists steering with the steering wheel.
  • the front wheel 104F is a steered wheel, and by changing its turning angle (also referred to as a "steering angle"), the traveling direction of the work vehicle 100 can be changed.
  • the steering angle of the front wheels 104F can be changed by operating the steering wheel.
  • the power steering device includes a hydraulic device or an electric motor that supplies an auxiliary force to change the steering angle of the front wheels 104F. When automatic steering is performed, the steering angle is automatically adjusted by the power of a hydraulic system or an electric motor under control from a control device disposed within work vehicle 100.
  • a coupling device 108 is provided at the rear of the vehicle body 101.
  • the coupling device 108 includes, for example, a three-point support device (also referred to as a "three-point link” or “three-point hitch"), a PTO (Power Take Off) shaft, a universal joint, and a communication cable.
  • the work implement 300 can be attached to and detached from the work vehicle 100 by the coupling device 108.
  • the coupling device 108 can change the position or posture of the working machine 300 by raising and lowering the three-point link using, for example, a hydraulic device.
  • power can be sent from the work vehicle 100 to the work implement 300 via the universal joint.
  • the work vehicle 100 can cause the work machine 300 to perform a predetermined work while pulling the work machine 300.
  • the coupling device may be provided at the front of the vehicle body 101. In that case, the work machine 300 can be connected to the front part of the work vehicle 100.
  • the working machine 300 shown in FIG. 2 is a rotary tiller
  • the working machine 300 is not limited to a rotary tiller.
  • any implement such as a seeder, spreader, transplanter, mower, rake, baler, harvester, sprayer, or harrow. It can be used by connecting to the work vehicle 100.
  • the work vehicle 100 shown in FIG. 2 is capable of manned operation, it may also support only unmanned operation. In that case, components necessary only for manned operation, such as the cabin 105, the steering device 106, and the driver's seat 107, may not be provided in the work vehicle 100.
  • the unmanned work vehicle 100 can run autonomously or by remote control by a user.
  • FIG. 3 is a block diagram showing a configuration example of the work vehicle 100 and the work machine 300.
  • Work vehicle 100 and work implement 300 can communicate with each other via a communication cable included in coupling device 108 .
  • Work vehicle 100 can communicate with terminal device 400 and management device 600 via network 80 .
  • the work vehicle 100 in the example of FIG. 3 includes, in addition to a GNSS unit 110, a camera 120, an obstacle sensor 130, a LiDAR sensor 140, and an operation terminal 200, a sensor group 150 that detects the operating state of the work vehicle 100, a control system 160, It includes a communication device 190, a group of operation switches 210, a buzzer 220, and a drive device 240. These components are communicatively connected to each other via a bus.
  • the GNSS unit 110 includes a GNSS receiver 111 , an RTK receiver 112 , an inertial measurement unit (IMU) 115 , and a processing circuit 116 .
  • IMU inertial measurement unit
  • Sensor group 150 includes a steering wheel sensor 152, a turning angle sensor 154, and an axle sensor 156.
  • the control system 160 includes a processing device 161, a storage device 170, and a control device 180.
  • Control device 180 includes a plurality of electronic control units (ECU) 181 to 185.
  • Work machine 300 includes a drive device 340, a control device 380, and a communication device 390. Note that FIG. 3 shows components that are relatively highly relevant to the automatic driving operation of the work vehicle 100, and illustration of other components is omitted.
  • the GNSS receiver 111 in the GNSS unit 110 receives satellite signals transmitted from multiple GNSS satellites, and generates GNSS data based on the satellite signals.
  • GNSS data is generated in a predetermined format, such as NMEA-0183 format.
  • GNSS data may include, for example, values indicating the identification number, elevation, azimuth, and reception strength of each satellite from which the satellite signal was received.
  • the GNSS unit 110 shown in FIG. 3 performs positioning of the work vehicle 100 using RTK (Real Time Kinematic)-GNSS.
  • FIG. 4 is a conceptual diagram showing an example of a work vehicle 100 that performs positioning using RTK-GNSS.
  • a correction signal transmitted from the reference station 60 is used in positioning using RTK-GNSS.
  • the reference station 60 may be installed near a field where the work vehicle 100 travels for work (for example, within 10 km from the work vehicle 100).
  • the reference station 60 generates, for example, a correction signal in RTCM format based on the satellite signals received from the plurality of GNSS satellites 50, and transmits it to the GNSS unit 110.
  • RTK receiver 112 includes an antenna and a modem, and receives the correction signal transmitted from reference station 60.
  • the processing circuit 116 of the GNSS unit 110 corrects the positioning result by the GNSS receiver 111 based on the correction signal.
  • RTK-GNSS it is possible to perform positioning with an accuracy of a few centimeters, for example.
  • Location data including latitude, longitude, and altitude information is obtained through high-precision positioning using RTK-GNSS.
  • GNSS unit 110 calculates the position of work vehicle 100 at a frequency of about 1 to 10 times per second, for example.
  • the positioning method is not limited to RTK-GNSS, and any positioning method (interferometric positioning method, relative positioning method, etc.) that can obtain position data with the necessary accuracy can be used.
  • positioning may be performed using VRS (Virtual Reference Station) or DGPS (Differential Global Positioning System). If position data with the necessary accuracy can be obtained without using the correction signal transmitted from the reference station 60, the position data may be generated without using the correction signal.
  • GNSS unit 110 may not include RTK receiver 112.
  • the position of work vehicle 100 is estimated.
  • the position of work vehicle 100 can be estimated by matching data output from LiDAR sensor 140 and/or camera 120 with a high-precision environmental map.
  • the GNSS unit 110 in this embodiment further includes an IMU 115.
  • IMU 115 may include a 3-axis acceleration sensor and a 3-axis gyroscope.
  • the IMU 115 may include an orientation sensor such as a 3-axis geomagnetic sensor.
  • IMU 115 functions as a motion sensor and can output signals indicating various quantities such as acceleration, speed, displacement, and posture of work vehicle 100.
  • Processing circuit 116 can estimate the position and orientation of work vehicle 100 with higher accuracy based on the signal output from IMU 115 in addition to the satellite signal and correction signal.
  • the signal output from IMU 115 may be used to correct or supplement the position calculated based on the satellite signal and the correction signal.
  • IMU 115 outputs signals more frequently than GNSS receiver 111.
  • the processing circuit 116 can measure the position and orientation of the work vehicle 100 at a higher frequency (eg, 10 Hz or more).
  • a 3-axis acceleration sensor and a 3-axis gyroscope may be provided separately.
  • IMU 115 may be provided as a separate device from GNSS unit 110.
  • the camera 120 is an imaging device that photographs the environment around the work vehicle 100.
  • the camera 120 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • Camera 120 may also include an optical system including one or more lenses, and signal processing circuitry.
  • the camera 120 photographs the environment around the work vehicle 100 while the work vehicle 100 is traveling, and generates image (for example, video) data.
  • the camera 120 can shoot moving images at a frame rate of 3 frames per second (fps) or more, for example.
  • the image generated by camera 120 can be used, for example, when a remote monitor uses terminal device 400 to check the environment around work vehicle 100. Images generated by camera 120 may be used for positioning or obstacle detection. As shown in FIG.
  • a plurality of cameras 120 may be provided at different positions on the work vehicle 100, or a single camera may be provided.
  • a visible camera that generates visible light images and an infrared camera that generates infrared images may be provided separately. Both a visible camera and an infrared camera may be provided as cameras that generate images for surveillance. Infrared cameras can also be used to detect obstacles at night.
  • the obstacle sensor 130 detects objects existing around the work vehicle 100.
  • Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 outputs a signal indicating that an obstacle exists when an object exists closer than a predetermined distance from obstacle sensor 130 .
  • a plurality of obstacle sensors 130 may be provided at different positions of work vehicle 100. For example, multiple laser scanners and multiple ultrasonic sonars may be placed at different positions on work vehicle 100. By providing such a large number of obstacle sensors 130, blind spots in monitoring obstacles around the work vehicle 100 can be reduced.
  • the steering wheel sensor 152 measures the rotation angle of the steering wheel of the work vehicle 100.
  • the turning angle sensor 154 measures the turning angle of the front wheel 104F, which is a steered wheel. Measured values by the steering wheel sensor 152 and turning angle sensor 154 are used for steering control by the control device 180.
  • the axle sensor 156 measures the rotational speed of the axle connected to the wheel 104, that is, the number of rotations per unit time.
  • the axle sensor 156 may be a sensor using a magnetoresistive element (MR), a Hall element, or an electromagnetic pickup, for example.
  • the axle sensor 156 outputs, for example, a numerical value indicating the number of revolutions per minute (unit: rpm) of the axle.
  • Axle sensor 156 is used to measure the speed of work vehicle 100.
  • the drive device 240 includes various devices necessary for running the work vehicle 100 and driving the work machine 300, such as the above-mentioned prime mover 102, transmission device 103, steering device 106, and coupling device 108.
  • Prime mover 102 may include, for example, an internal combustion engine such as a diesel engine.
  • the drive device 240 may include an electric motor for traction instead of or in addition to the internal combustion engine.
  • the buzzer 220 is an audio output device that emits a warning sound to notify of an abnormality. For example, the buzzer 220 emits a warning sound when an obstacle is detected during automatic driving. Buzzer 220 is controlled by control device 180.
  • the processing device 161 is, for example, a microprocessor or a microcontroller.
  • the processing device 161 processes sensor data output from sensing devices such as the camera 120, the obstacle sensor 130, and the LiDAR sensor 140.
  • processing device 161 detects objects located around work vehicle 100 based on data output from camera 120, obstacle sensor 130, and LiDAR sensor 140.
  • the storage device 170 includes one or more storage media such as flash memory or magnetic disks.
  • the storage device 170 stores various data generated by the GNSS unit 110, camera 120, obstacle sensor 130, LiDAR sensor 140, sensor group 150, and control device 180.
  • the data stored in the storage device 170 may include map data in the environment in which the work vehicle 100 travels (environmental map) and data on a target route for automatic driving.
  • the environmental map includes information on a plurality of fields where the work vehicle 100 performs agricultural work and roads around the fields.
  • the environmental map and target route may be generated by a processor in management device 600.
  • the control device 180 may have a function of generating or editing an environmental map and a target route. Control device 180 can edit the environmental map and target route acquired from management device 600 according to the driving environment of work vehicle 100.
  • the storage device 170 also stores work plan data that the communication device 190 receives from the management device 600.
  • the storage device 170 also stores computer programs that cause the processing device 161 and each ECU in the control device 180 to execute various operations described below.
  • a computer program may be provided to work vehicle 100 via a storage medium (eg, semiconductor memory or optical disk, etc.) or a telecommunications line (eg, the Internet).
  • Such computer programs may be sold as commercial software.
  • the control device 180 includes multiple ECUs.
  • the plurality of ECUs include, for example, an ECU 181 for speed control, an ECU 182 for steering control, an ECU 183 for work machine control, an ECU 184 for automatic operation control, and an ECU 185 for route generation.
  • ECU 181 controls the speed of work vehicle 100 by controlling prime mover 102, transmission 103, and brakes included in drive device 240.
  • the ECU 182 controls the steering of the work vehicle 100 by controlling the hydraulic system or electric motor included in the steering device 106 based on the measured value of the steering wheel sensor 152.
  • the ECU 183 controls the operations of the three-point link, PTO axis, etc. included in the coupling device 108 in order to cause the work machine 300 to perform a desired operation. ECU 183 also generates a signal to control the operation of work machine 300 and transmits the signal from communication device 190 to work machine 300.
  • the ECU 184 performs calculations and controls to realize automatic driving based on data output from the GNSS unit 110, camera 120, obstacle sensor 130, LiDAR sensor 140, sensor group 150, and processing device 161. For example, ECU 184 identifies the position of work vehicle 100 based on data output from at least one of GNSS unit 110, camera 120, and LiDAR sensor 140. In the field, ECU 184 may determine the position of work vehicle 100 based only on data output from GNSS unit 110. ECU 184 may estimate or correct the position of work vehicle 100 based on data acquired by camera 120 and/or LiDAR sensor 140. By using the data acquired by the camera 120 and/or the LiDAR sensor 140, the accuracy of positioning can be further improved.
  • ECU 184 estimates the position of work vehicle 100 using data output from LiDAR sensor 140 and/or camera 120. For example, ECU 184 may estimate the position of work vehicle 100 by matching data output from LiDAR sensor 140 and/or camera 120 with an environmental map. During automatic driving, the ECU 184 performs calculations necessary for the work vehicle 100 to travel along the target route based on the estimated position of the work vehicle 100.
  • the ECU 184 sends a speed change command to the ECU 181 and a steering angle change command to the ECU 182.
  • ECU 181 changes the speed of work vehicle 100 by controlling prime mover 102, transmission 103, or brake in response to a speed change command.
  • the ECU 182 changes the steering angle by controlling the steering device 106 in response to a command to change the steering angle.
  • the ECU 185 can determine the destination of the work vehicle 100 based on the work plan stored in the storage device 170, and determine the target route from the start point to the destination point of the movement of the work vehicle 100.
  • ECU 185 may perform processing to detect objects located around work vehicle 100 based on data output from camera 120, obstacle sensor 130, and LiDAR sensor 140.
  • control device 180 realizes automatic operation.
  • control device 180 controls drive device 240 based on the measured or estimated position of work vehicle 100 and the target route. Thereby, the control device 180 can cause the work vehicle 100 to travel along the target route.
  • a plurality of ECUs included in the control device 180 can communicate with each other, for example, according to a vehicle bus standard such as CAN (Controller Area Network). Instead of CAN, a faster communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • CAN Controller Area Network
  • FIG. 3 each of the ECUs 181 to 185 is shown as an individual block, but the functions of each of these may be realized by a plurality of ECUs.
  • An on-vehicle computer that integrates at least some of the functions of the ECUs 181 to 185 may be provided.
  • the control device 180 may include ECUs other than the ECUs 181 to 185, and any number of ECUs may be provided depending on the function.
  • Each ECU includes processing circuitry including one or more processors.
  • the control device 180 may include the processing device 161.
  • the processing device 161 may be integrated with any of the ECUs included in the control device 180.
  • the communication device 190 is a device that includes a circuit that communicates with the work machine 300, the terminal device 400, and the management device 600.
  • Communication device 190 includes a circuit that transmits and receives signals compliant with the ISOBUS standard, such as ISOBUS-TIM, to and from communication device 390 of working machine 300. Thereby, it is possible to cause the work machine 300 to perform a desired operation or to acquire information from the work machine 300.
  • Communication device 190 may further include an antenna and a communication circuit for transmitting and receiving signals via network 80 with respective communication devices of terminal device 400 and management device 600.
  • Network 80 may include, for example, a cellular mobile communications network such as 3G, 4G or 5G and the Internet.
  • the communication device 190 may have a function of communicating with a mobile terminal used by a supervisor near the work vehicle 100. Communication with such mobile terminals may be conducted in accordance with any wireless communication standard, such as Wi-Fi (registered trademark), cellular mobile communications such as 3G, 4G or 5G, or Bluetooth (registered trademark). I can.
  • Wi-Fi registered trademark
  • cellular mobile communications such as 3G, 4G or 5G
  • Bluetooth registered trademark
  • the operation terminal 200 is a terminal for a user to perform operations related to traveling of the work vehicle 100 and operation of the work machine 300, and is also referred to as a virtual terminal (VT).
  • Operation terminal 200 may include a display device such as a touch screen and/or one or more buttons.
  • the display device may be a display such as a liquid crystal or an organic light emitting diode (OLED), for example.
  • OLED organic light emitting diode
  • the operating terminal 200 may be configured to be detachable from the work vehicle 100. A user located away from work vehicle 100 may operate detached operation terminal 200 to control the operation of work vehicle 100. Instead of the operation terminal 200, the user may control the operation of the work vehicle 100 by operating a computer, such as the terminal device 400, in which necessary application software is installed.
  • FIG. 5 is a diagram showing an example of the operation terminal 200 and the operation switch group 210 provided inside the cabin 105.
  • an operation switch group 210 including a plurality of switches that can be operated by a user is arranged inside the cabin 105.
  • the operation switch group 210 includes, for example, a switch for selecting the main gear or the auxiliary gear, a switch for switching between automatic operation mode and manual operation mode, a switch for switching between forward and reverse, and a switch for switching the work machine. It may include a switch for raising and lowering 300, etc. Note that if the work vehicle 100 performs only unmanned operation and does not have the function of manned operation, the work vehicle 100 does not need to include the operation switch group 210.
  • the drive device 340 in the work machine 300 shown in FIG. 3 performs operations necessary for the work machine 300 to perform a predetermined work.
  • the drive device 340 includes a device depending on the use of the working machine 300, such as a hydraulic device, an electric motor, or a pump, for example.
  • Control device 380 controls the operation of drive device 340.
  • Control device 380 causes drive device 340 to perform various operations in response to signals transmitted from work vehicle 100 via communication device 390. Further, a signal depending on the state of the work machine 300 can also be transmitted from the communication device 390 to the work vehicle 100.
  • FIG. 6 is a block diagram illustrating a schematic hardware configuration of the management device 600 and the terminal device 400.
  • the management device 600 includes a storage device 650, a processor 660, a ROM (Read Only Memory) 670, a RAM (Random Access Memory) 680, and a communication device 690. These components are communicatively connected to each other via a bus.
  • the management device 600 can function as a cloud server that manages the schedule of agricultural work in the field performed by the work vehicle 100 and supports agriculture by utilizing the managed data.
  • a user can input information necessary for creating a work plan using the terminal device 400 and upload the information to the management device 600 via the network 80.
  • the management device 600 can create an agricultural work schedule, that is, a work plan, based on the information.
  • the management device 600 can further generate or edit an environmental map. The environmental map may be distributed from a computer external to the management device 600.
  • the communication device 690 is a communication module for communicating with the work vehicle 100 and the terminal device 400 via the network 80.
  • the communication device 690 can perform wired communication based on a communication standard such as IEEE1394 (registered trademark) or Ethernet (registered trademark), for example.
  • the communication device 690 may perform wireless communication based on the Bluetooth (registered trademark) standard or the Wi-Fi standard, or cellular mobile communication such as 3G, 4G, or 5G.
  • the processor 660 may be, for example, a semiconductor integrated circuit including a central processing unit (CPU).
  • Processor 660 may be implemented by a microprocessor or microcontroller.
  • the processor 660 is selected from an FPGA (Field Programmable Gate Array) equipped with a CPU, a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), an ASSP (Application Specific Standard Product), or one of these circuits. It can also be realized by a combination of two or more circuits.
  • the processor 660 sequentially executes a computer program stored in the ROM 670 that describes a group of instructions for executing at least one process, thereby realizing a desired process.
  • the ROM 670 is, for example, a writable memory (eg, PROM), a rewritable memory (eg, flash memory), or a read-only memory.
  • ROM 670 stores a program that controls the operation of processor 660.
  • the ROM 670 does not need to be a single storage medium, and may be a collection of multiple storage media. A portion of the collection of storage media may be removable memory.
  • the RAM 680 provides a work area for temporarily expanding the control program stored in the ROM 670 at boot time.
  • RAM 680 does not need to be a single storage medium, and may be a collection of multiple storage media.
  • the storage device 650 mainly functions as database storage.
  • Storage device 650 may be, for example, a magnetic storage device or a semiconductor storage device.
  • An example of a magnetic storage device is a hard disk drive (HDD).
  • An example of a semiconductor storage device is a solid state drive (SSD).
  • Storage device 650 may be a device independent of management device 600.
  • the storage device 650 may be a storage device connected to the management device 600 via the network 80, such as a cloud storage.
  • the terminal device 400 includes an input device 420, a display device 430, a storage device 450, a processor 460, a ROM 470, a RAM 480, and a communication device 490. These components are communicatively connected to each other via a bus.
  • the input device 420 is a device for converting instructions from a user into data and inputting the data into the computer.
  • Input device 420 may be, for example, a keyboard, mouse, or touch panel.
  • Display device 430 may be, for example, a liquid crystal display or an organic EL display. Descriptions regarding each of the processor 460, ROM 470, RAM 480, storage device 450, and communication device 490 are as described in the hardware configuration example of the management device 600, and their descriptions will be omitted.
  • the work vehicle 100 in this embodiment can automatically travel both inside and outside the field.
  • the work vehicle 100 drives the work machine 300 and performs predetermined agricultural work while traveling along a preset target route.
  • the work vehicle 100 detects an obstacle while traveling in the field, the work vehicle 100 stops traveling, and performs operations such as emitting a warning sound from the buzzer 220 and transmitting a warning signal to the terminal device 400.
  • positioning of the work vehicle 100 is performed mainly based on data output from the GNSS unit 110.
  • the work vehicle 100 automatically travels along a target route set on a farm road or a general road outside the field.
  • the work vehicle 100 uses data acquired by the camera 120 and/or the LiDAR sensor 140 while traveling outside the field. When an obstacle is detected outside the field, the work vehicle 100 either avoids the obstacle or stops on the spot. Outside the field, the position of work vehicle 100 is estimated based on data output from LiDAR sensor 140 and/or camera 120 in addition to positioning data output from GNSS unit 110.
  • FIG. 7 is a diagram schematically showing an example of a work vehicle 100 that automatically travels along a target route in a field.
  • the farm field 70 includes a work area 72 where the work vehicle 100 works using the work machine 300, and a headland 74 located near the outer periphery of the farm field 70. Which area of the field 70 corresponds to the work area 72 or the headland 74 on the map can be set in advance by the user.
  • the target route in this example includes a plurality of parallel main routes P1 and a plurality of turning routes P2 connecting the plurality of main routes P1.
  • the main route P1 is located within the work area 72, and the turning route P2 is located within the headland 74.
  • each main route P1 may include a curved portion.
  • the broken line in FIG. 7 represents the working width of the working machine 300.
  • the working width is set in advance and recorded in the storage device 170.
  • the working width can be set and recorded by the user operating the operating terminal 200 or the terminal device 400. Alternatively, the working width may be automatically recognized and recorded when the working machine 300 is connected to the working vehicle 100.
  • the intervals between the plurality of main routes P1 may be set according to the working width.
  • the target route may be created based on a user's operation before automatic driving is started.
  • the target route may be created to cover the entire work area 72 within the field 70, for example.
  • the work vehicle 100 automatically travels along a target route as shown in FIG. 7 from a work start point to a work end point while repeating back and forth movements. Note that the target route shown in FIG. 7 is only an example, and the method of determining the target route is arbitrary.
  • control device 180 Next, an example of control during automatic operation in a field by the control device 180 will be explained.
  • FIG. 8 is a flowchart showing an example of the operation of steering control during automatic driving executed by the control device 180.
  • the control device 180 performs automatic steering by executing the operations from steps S121 to S125 shown in FIG. 8 while the work vehicle 100 is traveling. Regarding the speed, for example, it is maintained at a preset speed.
  • the control device 180 acquires data indicating the position of the work vehicle 100 generated by the GNSS unit 110 (step S121).
  • control device 180 calculates the deviation between the position of work vehicle 100 and the target route (step S122). The deviation represents the distance between the position of work vehicle 100 at that point and the target route.
  • the control device 180 determines whether the calculated positional deviation exceeds a preset threshold (step S123).
  • control device 180 changes the steering angle by changing the control parameters of the steering device included in the drive device 240 so that the deviation becomes smaller. If the deviation does not exceed the threshold in step S123, the operation in step S124 is omitted. In subsequent step S125, control device 180 determines whether or not it has received an instruction to end the operation.
  • the instruction to end the operation may be issued, for example, when a user remotely instructs to stop automatic driving or when work vehicle 100 reaches a destination. If the instruction to end the operation has not been issued, the process returns to step S121, and a similar operation is executed based on the newly measured position of the work vehicle 100.
  • the control device 180 repeats the operations from steps S121 to S125 until an instruction to end the operation is issued. The above operations are executed by the ECUs 182 and 184 in the control device 180.
  • the control device 180 controls the drive device 240 based only on the deviation between the position of the work vehicle 100 specified by the GNSS unit 110 and the target route, but also takes into account the deviation in the direction. May be controlled. For example, when the azimuth deviation, which is the angular difference between the direction of the work vehicle 100 specified by the GNSS unit 110 and the direction of the target route, exceeds a preset threshold, the control device 180 drives the vehicle according to the deviation. Control parameters (eg, steering angle) of the steering device of device 240 may be changed.
  • FIG. 9A is a diagram showing an example of the work vehicle 100 traveling along the target route P.
  • FIG. 9B is a diagram showing an example of work vehicle 100 in a position shifted to the right from target route P.
  • FIG. 9C is a diagram showing an example of work vehicle 100 in a position shifted to the left from target route P.
  • FIG. 9D is a diagram illustrating an example of work vehicle 100 facing in a direction inclined with respect to target route P.
  • the pose indicating the position and orientation of the work vehicle 100 measured by the GNSS unit 110 is expressed as r(x, y, ⁇ ).
  • (x, y) are coordinates representing the position of the reference point of work vehicle 100 in the XY coordinate system, which is a two-dimensional coordinate system fixed to the earth.
  • the reference point of the work vehicle 100 is located at the location where the GNSS antenna is installed on the cabin, but the location of the reference point is arbitrary.
  • is an angle representing the measured direction of work vehicle 100.
  • the target route P is parallel to the Y-axis, but generally the target route P is not necessarily parallel to the Y-axis.
  • control device 180 maintains the steering angle and speed of work vehicle 100 unchanged.
  • the control device 180 steers the work vehicle 100 so that the traveling direction of the work vehicle 100 leans to the left and approaches the route P. Change the corner.
  • the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, depending on the magnitude of the positional deviation ⁇ x.
  • the control device 180 steers the work vehicle 100 so that the traveling direction of the work vehicle 100 leans to the right and approaches the route P. Change the corner. In this case as well, the speed may be changed in addition to the steering angle. The amount of change in the steering angle can be adjusted, for example, depending on the magnitude of the positional deviation ⁇ x.
  • the control device 180 steers the work vehicle 100 so that the azimuth deviation ⁇ becomes smaller. Change the corner.
  • the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, depending on the magnitude of each of the positional deviation ⁇ x and the azimuth deviation ⁇ . For example, the smaller the absolute value of the positional deviation ⁇ x, the larger the amount of change in the steering angle according to the azimuth deviation ⁇ .
  • the absolute value of the positional deviation ⁇ x is large, the steering angle will be changed significantly in order to return to the route P, so the absolute value of the azimuth deviation ⁇ will inevitably become large. Conversely, when the absolute value of the positional deviation ⁇ x is small, it is necessary to bring the azimuth deviation ⁇ close to zero. Therefore, it is appropriate to relatively increase the weight (ie, control gain) of the azimuth deviation ⁇ for determining the steering angle.
  • a control technique such as PID control or MPC control (model predictive control) may be applied to the steering control and speed control of the work vehicle 100. By applying these control techniques, it is possible to smoothly control the work vehicle 100 to approach the target route P.
  • the control device 180 stops the work vehicle 100. At this time, the buzzer 220 may be made to emit a warning sound, or a warning signal may be transmitted to the terminal device 400. If the obstacle can be avoided, the control device 180 may control the drive device 240 to avoid the obstacle.
  • the work vehicle 100 in this embodiment can automatically travel not only inside the field but also outside the field. Outside the field, the processing device 161 and/or the control device 180 detects objects (e.g. , other vehicles or pedestrians). By using camera 120 and LiDAR sensor 140, objects that are located relatively far from work vehicle 100 can be detected. The control device 180 can realize automatic driving on roads outside the field by performing speed control and steering control to avoid the detected object.
  • objects e.g. , other vehicles or pedestrians.
  • the control device 180 can realize automatic driving on roads outside the field by performing speed control and steering control to avoid the detected object.
  • FIG. 10 is a diagram schematically showing an example of a situation in which a plurality of work vehicles 100 are automatically traveling on a road 76 inside the farm field 70 and outside the farm field 70.
  • the storage device 170 records an environmental map of an area including a plurality of fields 70 and roads around them, and a target route.
  • the environmental map and the target route may be generated by management device 600 or ECU 185.
  • the work vehicle 100 senses the surrounding area using sensing devices such as the camera 120, the obstacle sensor 130, and the LiDAR sensor 140, with the work implement 300 raised. Drive along the target route.
  • the warning area is an area in which, for example, at least one of issuing an alarm, stopping the work of the implement 300, and slowing down the work of the implement 300 is executed when it is determined that a person exists in the area. be.
  • sensing devices such as the camera 120, the obstacle sensor 130, and the LiDAR sensor 140 sense the environment around the work vehicle 100 and output sensor data.
  • the work vehicle 100 of this embodiment includes a sensing system 10 (FIG. 3) that detects objects located around the work vehicle 100 using sensor data output by a sensing device.
  • the sensing system 10 includes a processing device 161, a camera 120, an obstacle sensor 130, and a LiDAR sensor 140.
  • FIG. 11 is a diagram showing an example of a sensing region 710 sensed by a sensing device.
  • the sensing region 710 includes a front sensing region 710F, a rear sensing region 710Re, a left sensing region 710L, and a right sensing region 710R.
  • FIG. 11 shows the sensing area in a plan view from the vertical direction in a state where the work vehicle 100 is located on a horizontal ground.
  • the work vehicle 100 is provided with sensing devices 700F, 700Re, 700L, and 700R as sensing devices.
  • Sensing device 700F is disposed at the front of work vehicle 100 and mainly senses the surrounding environment extending in front of work vehicle 100.
  • the sensing device 700Re is disposed at the rear of the work vehicle 100 and mainly senses the surrounding environment extending behind the work vehicle 100.
  • the sensing device 700L is disposed on the left side of the work vehicle 100 and primarily senses the surrounding environment extending to the left side of the work vehicle 100.
  • the sensing device 700R is disposed on the right side of the work vehicle 100 and mainly senses the surrounding environment extending to the right side of the work vehicle 100.
  • the sensing devices 700Re, 700L, and 700R may be provided, for example, in the cabin 105 (FIG. 2) of the work vehicle 100.
  • the sensing device 700Re may be provided in the implement 300.
  • a camera 120 and a LiDAR sensor 140 are arranged at the front of the work vehicle 100 as a sensing device 700F.
  • a camera 120 and a LiDAR sensor 140 are arranged at the rear of the work vehicle 100 as a sensing device 700Re.
  • a camera 120, an obstacle sensor 130, and a LiDAR sensor 140 are arranged on the left side of the work vehicle 100 as a sensing device 700L.
  • a camera 120, an obstacle sensor 130, and a LiDAR sensor 140 are arranged on the right side of the work vehicle 100 as a sensing device 700R.
  • Obstacle sensor 130 may be included in sensing devices 700F and 700Re.
  • the LiDAR sensor 140 emits laser beam pulses (hereinafter abbreviated as "laser pulses”) one after another while changing the emission direction, and calculates each pulse based on the time difference between the emission time and the time when the reflected light of each laser pulse is acquired. The distance to the reflection point can be measured.
  • a “reflection point” may be an object located in the environment around work vehicle 100.
  • the LiDAR sensor 140 can measure the distance from the LiDAR sensor 140 to an object using any method. Measurement methods for the LiDAR sensor 140 include, for example, a mechanical rotation method, a MEMS method, and a phased array method. These measurement methods differ in the method of emitting laser pulses (scanning method).
  • a mechanical rotation type LiDAR sensor rotates a cylindrical head that emits laser pulses and detects reflected light of the laser pulses to scan the surrounding environment in all directions of 360 degrees around the rotation axis.
  • a MEMS LiDAR sensor uses a MEMS mirror to swing the emission direction of a laser pulse, and scans the surrounding environment within a predetermined angular range around the swing axis.
  • a phased array type LiDAR sensor controls the phase of light to swing the light emission direction, and scans the surrounding environment within a predetermined angular range around the swing axis.
  • the sensing region 710 includes a front sensing region 710F, a rear sensing region 710Re, a left sensing region 710L, and a right sensing region 710R.
  • the front sensing area 710F is an area sensed by the LiDAR sensor 140 disposed at the front of the work vehicle 100.
  • the rear sensing region 710Re is a region sensed by the LiDAR sensor 140 disposed at the rear of the work vehicle 100.
  • the left side sensing region 710L is a region sensed by the LiDAR sensor 140 disposed on the left side of the work vehicle 100.
  • the right side sensing region 710R is a region sensed by the LiDAR sensor 140 disposed on the right side of the work vehicle 100.
  • the processing device 161 detects objects located in the search area around the work vehicle 100 based on the sensor data output by the LiDAR sensor 140.
  • the search area is an area of the sensing area 710 in which an object is searched.
  • the search area may be the same size as the sensing area 710 or may be smaller than the sensing area 710.
  • the search region may also be referred to as a region of interest (ROI).
  • ROI region of interest
  • FIG. 12 is a diagram showing the relationship between a sensing area 710 sensed by the LiDAR sensor 140 and a search area 720 where an object is searched.
  • the shape, size, and position of the search area can be realized, for example, by changing the data portion used for searching for an object in the three-dimensional point group data output by the LiDAR sensor 140.
  • the three-dimensional point cloud data output by the LiDAR sensor 140 includes information regarding the positions of multiple points and information (attribute information) such as the reception intensity of the photodetector.
  • the information regarding the positions of the plurality of points is, for example, information about the emission direction of the laser pulse corresponding to the points and the distance between the LiDAR sensor and the points. Further, for example, the information regarding the positions of the plurality of points is information on the coordinates of the points in the local coordinate system.
  • the local coordinate system is a coordinate system that moves together with the work vehicle 100, and is also referred to as a sensor coordinate system. The coordinates of each point can be calculated from the emission direction of the laser pulse corresponding to the point and the distance between the LiDAR sensor and the point.
  • a search area can be set based on the coordinates of each point.
  • a search area of the desired shape can be set.
  • the search area 720 includes a front search area 720F, a rear search area 720Re, a left search area 720L, and a right search area 720R.
  • the search area 720F is selected. can be set.
  • the search area 720Re is searched by selecting points located within a predetermined shape in the local coordinate system from among a plurality of points indicated by the three-dimensional point cloud data output by the LiDAR sensor 140 disposed at the rear of the work vehicle 100. Can be set.
  • the search area 720L is set.
  • the search area 720R is can be set.
  • FIG. 13 is a diagram showing the relationship between the search area 720 and the caution area 730.
  • the warning area 730 may be set in a predetermined area within the search area 720.
  • the caution area 730 can be set by selecting a point located within a predetermined shape in the local coordinate system from among a plurality of points indicated by the three-dimensional point cloud data output by the LiDAR sensor 140.
  • a warning area 730 is set around the implement 300 connected to the work vehicle 100.
  • the control system 160 (FIG. 3) determines whether or not a person exists within the set warning area 730, and if it determines that a person exists, issues an alarm, stops the work of the implement 300, and controls the implement 300. At least one of the 300 work decelerations is controlled.
  • FIG. 13 shows the warning area 730 in a plan view from the vertical direction in a state where the work vehicle 100 and the implement 300 are located on a horizontal ground.
  • the size of the warning area 730 in plan view from the vertical direction is changed depending on the implement 300 used.
  • the size and operation of the implement may differ from implement to implement, it is conceivable that the size of the warning area 730 differs from implement to implement. It is conceivable to set the size of the warning area 730 for each implement using information specific to each implement, such as the size of the implement.
  • implement information regarding multiple types of implements provided by multiple users is acquired, and the acquired implement information is accumulated in the server 600.
  • Implement information corresponding to the identification information of the implement 300 connected to the work vehicle 100 is acquired from the server 600, and the size of the warning area 730 is set based on the acquired implement information.
  • FIG. 14 is a diagram showing an agricultural management system 1 that stores implement information provided by a plurality of users in a server 600. Each of the users can use the terminal device 800 to upload information about the implements they own and/or use to the server 600.
  • Terminal device 800 is a computer used by a user.
  • the terminal device 800 may be, for example, a stationary computer such as a laptop computer, a desktop PC (personal computer), or a mobile terminal such as a smartphone or a tablet computer.
  • FIG. 15 is a diagram showing an example of an input screen for implement information displayed on the display of the terminal device 800.
  • the user inputs the implement type, model number, overall length, overall width, overall height, and offset length as the implement information.
  • the user can also upload image data of the implement as implement information.
  • Types of implements include, for example, tillers, seeders, spreaders, transplanters, mowers, rakes, balers, harvesters, sprayers, and harrows. etc. These types of implements are just examples and are not limited thereto.
  • the model number is a number given by the manufacturer to each type of implement, and can be composed of a combination of a plurality of arbitrary symbols such as numbers and alphabets.
  • the total length is the length of the implement in the front-rear direction.
  • the total width is the length of the implement in the left and right direction.
  • the total height is the length of the implement in the height direction.
  • the offset length is the amount of deviation from the connecting part of the implement to which the connecting device is connected.
  • the front-rear offset length is the length in the front-rear direction between the front end of the implement and the connecting portion.
  • the left-right offset length is the length in the left-right direction between the center of the implement in the left-right direction and the connecting portion.
  • the position of the connecting portion that serves as a reference for the offset length may be, for example, the position of the implement to which the PTO shaft is connected.
  • Information regarding the length of the implement can be obtained, for example, by the user measuring the length of each part of the implement.
  • the size information of the implement used for setting the warning area 730 does not need to be strictly accurate, and may be an approximate value. For example, a measurement error of about ⁇ 10 percent can be tolerated. Since the width of the security area 730 can be several meters, the security area 730 can be set even if the size value is an approximate value.
  • the user can upload the above implement information to the server 600 via the terminal device 800.
  • Server 600 stores implement information collected from multiple users.
  • 16 and 17 are diagrams showing examples of implement information stored in the server 600.
  • Implement information collected from multiple users can be organized by model number and stored in the server 600.
  • FIG. 18 is a flowchart illustrating an example of a process for setting a warning area 730 using implement information stored in the server 600.
  • identification information identifying the implement 300 connected to the work vehicle 100 is acquired (step S201).
  • the processing device 161 of the work vehicle 100 acquires identification information from the implement 300 connected to the work vehicle 100, for example.
  • the identification information indicates the model number of the implement 300, for example.
  • FIG. 19 is a block diagram showing an example of the hardware configuration of the implement 300.
  • the implement 300 includes a control device 380, a communication device 390, and a drive device 340. These components are communicatively connected to each other via a bus.
  • Control device 380 includes a processor 381, ROM382, and RAM383.
  • the communication device 190 (FIG. 3) of the work vehicle 100 and the communication device 390 of the implement 300 perform data communication between the work vehicle 100 and the implement 300.
  • a communication control standard such as ISOBUS based on ISO 11783
  • the work vehicle 100 and the implement 300 are compatible with a tractor-implement management (TIM) system such as ISOBUS-TIM
  • TIM tractor-implement management
  • the work vehicle 100 can control the implement 300
  • the implement 300 can control the implement 300. Control of the work vehicle 100 is possible.
  • These communications may be performed by wired communication, but may also be performed by wireless communication.
  • the identification information is stored in advance in a storage device within the implement 300, for example, the ROM 382.
  • the work vehicle 100 and the implement 300 can communicate in accordance with communication control standards such as ISOBUS.
  • the processor 381 When the implement 300 is connected to the work vehicle 100, the processor 381 reads the identification information from the ROM 382 and outputs it to the work vehicle 100 via the communication device 390. Processing device 161 of work vehicle 100 outputs the received identification information to server 600 via communication device 190. Processing device 161 requests server 600 to transmit implement information corresponding to the identification information to work vehicle 100.
  • the processor 660 of the server 600 reads the implement information corresponding to the model number indicated by the received identification information from the storage device 650 and transmits it to the work vehicle 100 via the communication device 690.
  • the communication device 190 of the work vehicle 100 can receive the implement information transmitted from the server 600, and the processing device 161 can acquire the implement information (step S202).
  • the implement information includes size information such as the overall length, overall width, overall height, and offset length of the implement 300.
  • the processing device 161 sets the size of the warning area 730 using, for example, this size information.
  • the processing device 161 calculates the position of at least a portion of the outer shape of the implement 300 in the local coordinate system of the work vehicle 100 and the implement 300 that are connected to each other (step S203).
  • FIG. 20 is a diagram illustrating an example of a method for calculating the position of at least a portion of the outer shape of the implement 300 in the local coordinate system.
  • the processing device 161 executes the calculation described below, for example, and calculates the coordinates of at least a portion of the outer shape of the implement 300.
  • the front-rear direction of the vehicle is the X direction
  • the left-right direction is the Y direction
  • the direction from the rear to the front is the +X direction
  • the direction from the left to the right is the +Y direction.
  • ISO 11783 defines device geometry as "the X-axis specifies the normal direction of travel as positive” and "the Y-axis specifies the right side of the device as positive with respect to the normal direction of travel”. ing. Based on the definition of the device geometry, the X direction and Y direction in the local coordinate system of this embodiment are defined.
  • the unit of the coordinate values of the local coordinate system is arbitrary, and as an example, it is assumed here to be millimeters.
  • the XY directions and units of coordinate values are defined in the same way as above.
  • a tiller which is an example of the implement 300, is connected to the work vehicle 100.
  • the total length of the implement 300 is L1X, and the total width is L1Y.
  • the offset length shall be zero in both the front-back direction and the left-right direction.
  • Reference point R1 in the local coordinate system may be set at any position on work vehicle 100.
  • the coordinate values of reference point R1 are stored in advance in storage device 170 of work vehicle 100.
  • the reference point R1 is set on a center line CL1 that passes through the center position of the work vehicle 100 in the left-right direction and extends in the front-rear direction.
  • the Y coordinate of the reference point R1 is the same as the Y coordinate of the center line CL1.
  • the X coordinate of the reference point R1 is set to the X coordinate of the connection position between the work vehicle 100 and the coupling device 108 (that is, the position approximately at the front end of the coupling device 108).
  • the PTO axis extends rearward from a position where the center line CL1 of the rear part of the work vehicle 100 passes.
  • the value of the longitudinal length L2X of the coupling device 108 is stored in advance in the storage device 170 of the work vehicle 100.
  • the value of length L2X may be input by the user using the input device 420, for example.
  • the offset length is zero. Therefore, the X coordinate of the position rearward from the reference point R1 by the length L2X is set as the X coordinate of the front end portion of the implement 300.
  • the X coordinate of the position rearward from the reference point R1 by the sum of the length L1X and the length L2X is defined as the X coordinate of the rear end of the implement 300.
  • the Y-coordinate of the center position of the implement in the left-right direction is the same as the Y-coordinate of the center line CL1.
  • the length L2Y between the center line CL1 and the left end of the implement 300 is 1/2 of the full width L1Y.
  • the length L3Y between the center line CL1 and the right end of the implement 300 is 1/2 of the full width L1Y.
  • the processing device 161 calculates the X coordinates of the front end and rear end of the implement 300, and also calculates the Y coordinate of the left end and right end of the implement 300. Using these coordinates, the processing device 161 can acquire data on a rectangular outer shape 740 (FIG. 21) that roughly follows the outer shape of the implement 300 and the coordinates of each part of the outer shape 740. This rectangular outer shape 740 passes through the front end, rear end, left end, and right end of the implement 300.
  • FIG. 21 is a diagram showing an example of a warning area 730 set around the implement 300.
  • the processing device 161 sets a range at a predetermined distance from at least a part of the calculated outer shape of the implement 300 as the warning area 730.
  • a range at a predetermined distance Li from the outer shape 740 is set as the warning area 730 (step S204 in FIG. 18).
  • the predetermined distance Li is, for example, 2-7 m, but is not limited to that value.
  • the processing device 161 uses sensor data output from one or more of the camera 120, the obstacle sensor 130, and the LiDAR sensor 140 to detect whether a human is in the set warning area 730. It is determined whether or not there exists (step S205).
  • areas that are difficult for one sensor to sense can be complemented by another sensor.
  • an area that is a blind spot of the LiDAR sensor 140 can be supplemented by sensing using the camera 120 and/or the obstacle sensor 130.
  • the processing device 161 uses an estimation model generated by machine learning to estimate whether or not point cloud data representing a human exists in the three-dimensional point cloud data output by the LiDAR sensor 140. It is determined whether a person exists within the warning area 730. For example, the processing device 161 uses an estimation model generated by machine learning to estimate whether or not there is image data representing a human in the image data output by the camera 120. Determine whether or not there is a human inside. Such an estimation model is stored in advance in the storage device 170.
  • the processing device 161 may use the three-dimensional point cloud data output by the LiDAR sensor 140 and the image data output by the camera 120 to determine whether a human is present within the warning area 730. For example, if it is determined that there is an object that is likely to be a human using 3D point cloud data, it is possible to further determine whether or not it is a human by analyzing image data that corresponds to the position of the object. good.
  • the processing device 161 repeats the process of step S205 until an instruction to end the operation is issued (step S206).
  • FIG. 22 is a flowchart illustrating an example of processing when it is determined that a person exists within the warning area 730.
  • the control device 180 causes the buzzer 220 to emit a warning sound, stop the implement 300 from working, and deceleration of the work of the implement 300 (step S302).
  • the control device 180 can stop or decelerate the operation of the implement 300 by stopping or decelerating the rotation of the PTO shaft.
  • the control device 180 may communicate with the control device 380 of the implement 300 to stop or slow down the operation of the implement 300.
  • the work of the implement 300 may be stopped or decelerated while the buzzer 220 emits a warning sound. Further, traveling of the work vehicle 100 may be stopped or decelerated in parallel.
  • step S304 If the processing device 161 determines that a person is no longer detected within the warning area 730 due to movement of the person, the control device 180 restarts the normal operation of the implement 300 (step S304), and in step S206 shown in FIG. Return to processing.
  • implement information regarding multiple types of implements provided by multiple users is acquired, and the acquired implement information is accumulated in the server 600.
  • the processing device 161 acquires implement information corresponding to the identification information of the implement 300 connected to the work vehicle 100 from the server 600, and sets the size of the warning area 730 based on the acquired implement information.
  • warning area 730 can be set.
  • FIG. 23 is a diagram illustrating an example of a method for calculating the position of at least a portion of the outer shape of the implement 300 in the local coordinate system.
  • an offset-type mower which is an example of the implement 300, is connected to the work vehicle 100.
  • the implement 300 shown in FIG. 23 includes a grass cutting section 311 that cuts grass, and a connection frame 312 attached to the grass cutting section 311.
  • the connecting frame 312 has a shape extending in the left-right direction, and the right side of the connecting frame 312 and the left side of the mowing section 311 are connected.
  • a connecting portion 313 provided on the left side of the connecting frame 312 is connected to the connecting device 108 .
  • the offset length L4X in the longitudinal direction is the length in the longitudinal direction between the front end of the implement 300 and the connecting portion.
  • the offset length L4Y in the left-right direction is the length in the left-right direction between the center position of the implement 300 in the left-right direction and the connecting portion.
  • the X coordinate of the position rearward from the reference point R1 by the value of the difference between the length L2X and the length L4X is set as the X coordinate of the front end of the implement 300.
  • the X coordinate of the rear end of the implement 300 is defined as the X coordinate of the rear end of the implement 300 by a distance L1X from the X coordinate of the front end.
  • the sum of 1/2 of the full width L1Y and the offset length L4Y is the length L3Y between the center line CL1 and the right end of the implement 300.
  • the value of the difference between 1/2 of the full width L1Y and the offset length L4Y is the length L2Y between the center line CL1 and the left end of the implement 300.
  • the processing device 161 calculates the X coordinates of the front end and rear end of the implement 300, and also calculates the Y coordinate of the left end and right end of the implement 300. Using these coordinates, the processing device 161 can obtain data on a rectangular outer shape 740 (FIG. 24) that roughly follows the outer shape of the implement 300 and the coordinates of each part of the outer shape 740. This rectangular outer shape 740 passes through the front end, rear end, left end, and right end of the implement 300.
  • FIG. 24 is a diagram showing an example of a warning area 730 set around the implement 300.
  • the processing device 161 sets a range at a predetermined distance Li from the outer shape 740 as the warning area 730.
  • the predetermined distance Li may be changed depending on the type of implement 300 connected to the work vehicle 100.
  • the processing device 161 changes the predetermined distance Li depending on the type of the implement 300 connected to the work vehicle 100. For example, when the implement 300 is a grass cutter, the predetermined distance Li is set larger than when the implement 300 is a tiller.
  • the desired distance for a person from the implement 300 may vary depending on the type of implement.
  • FIG. 25 is a diagram showing an example of a plurality of warning areas 730.
  • the processing device 161 sets a plurality of warning areas 730a, 730b, and 730c having different sizes.
  • the guard area 730a is the largest, the guard area 730b is the second largest, and the guard area 730c is the smallest.
  • the control device 180 changes the operation to be executed when a person is present in the security area for each of the security areas 730a, 730b, and 730c. For example, if the processing device 161 determines that there is a person in the warning area 730a but not in the warning areas 730b and 730c, the control device 180 controls the buzzer 220 to emit a warning sound. . When the processing device 161 determines that there is a person in the warning area 730b but not in the warning area 730c, the control device 180 controls the buzzer 220 to emit a warning sound and controls the implement 300 to perform the operation. Performs control to decelerate the speed. When the processing device 161 determines that a person is present in the warning area 730c, the control device 180 controls the buzzer 220 to emit a warning sound and controls the implement 300 to stop working.
  • the processing device 161 acquires implement information from the server 600 and sets the warning area 730 using the acquired implement information.
  • the identification information of the implement 300 cannot be acquired or if the implement information corresponding to the identification information is not stored in the server 600, it is difficult to acquire the implement information from the server 600.
  • the position of at least a portion of the outer shape of the implement 300 in the local coordinate system may be detected by sensing the implement 300 using the sensing device 700.
  • the processing device 161 If the processing device 161 cannot acquire the identification information or cannot acquire the implement information corresponding to the identification information, the processing device 161 performs control to sense the implement 300 using the sensing device 700.
  • the implement 300 is sensed using the LiDAR sensor 140.
  • the three-dimensional point group data output by the LiDAR sensor 140 includes, for example, information on the coordinates of each of a plurality of points in the local coordinate system.
  • the processing device 161 uses, for example, an estimation model generated by machine learning to identify point cloud data representing the implement 300 from the three-dimensional point cloud data output by the LiDAR sensor 140.
  • the processing device 161 calculates the coordinates of a plurality of positions on the outer shape of the implement 300 using information on the coordinates of each of the plurality of points included in the point cloud data representing the implement 300.
  • the processing device 161 sets a range at a predetermined distance Li from the calculated position of the outer shape of the implement 300 as the warning area 730. Thereby, even if identification information cannot be acquired or implement information cannot be acquired from the server 600, the caution area 730 can be set.
  • the sensing device that senses the implement 300 may be provided not in the work vehicle 100 but in another machine.
  • the implement 300 may be sensed using a LiDAR sensor and/or a camera provided on the drone.
  • the implement 300 may be sensed using a camera installed in a storage area of the work vehicle 100 or in a field.
  • the sensing system 10 of this embodiment can also be later attached to agricultural machinery that does not have these functions.
  • Such systems can be manufactured and sold independently of agricultural machinery.
  • the computer programs used in such systems may also be manufactured and sold independently of the agricultural machinery.
  • the computer program may be provided, for example, stored in a computer readable non-transitory storage medium. Computer programs may also be provided by download via telecommunications lines (eg, the Internet).
  • a part or all of the processing executed by the processing device 161 in the sensing system 10 may be executed by another device.
  • Such other device may be at least one of the processor 660 of the management device 600, the processor 460 of the terminal device 400, and the operation terminal 200.
  • such other device and processing device 161 function as a processing device of sensing system 10, or such other device functions as a processing device of sensing system 10.
  • the processing device 161 and the processor 660 function as the processing devices of the sensing system 10.
  • Part or all of the processing executed by the processing device 161 may be executed by the control device 180.
  • the control device 180 and the processing device 161 function as a processing device of the sensing system 10, or the control device 180 functions as a processing device of the sensing system 10.
  • the present disclosure includes the agricultural management system described below.
  • a server 600 that acquires implement information regarding multiple types of implements from multiple users and stores the acquired implement information; a processing device 161 that sets the size of a warning area 730 around the implement 300 connected to the work vehicle 100; Equipped with The processing device 161 is Obtaining identification information that identifies the implement 300, Obtaining implement information corresponding to the identification information from the server 600, Agricultural management system 1 that sets the size of warning area 730 based on acquired implement information.
  • the implement information corresponding to the identification information includes size information indicating the size of the implement 300, The agricultural management system 1 according to item 1, wherein the processing device 161 sets the size of the warning area 730 based on size information.
  • the processing device 161 is Calculating the position of at least a portion of the outer shape of the implement 300 connected to the work vehicle 100 based on the size information, The agricultural management system 1 according to item 2, wherein the size of the warning area 730 is set based on the calculated position of at least a part of the outer shape of the implement 300.
  • Agricultural management system 1 further comprising a first sensing device 700 that senses at least a portion of the outer shape of the implement 300 and outputs sensor data; If the processing device 161 cannot acquire the identification information or cannot acquire the implement information corresponding to the identification information, the processing device 161 sets the size of the warning area 730 based on the sensor data, items 1 to 5. Agricultural management system 1 according to any one of the above.
  • FIG. 7 Further comprising a second sensing device 700 that senses the set warning area 730 and outputs sensor data, Based on the sensor data output by the second sensing device 700, it is determined whether or not a human exists in the set warning area 730, and if it is determined that a human is present, an alarm is issued and the work of the implement 300 is stopped.
  • the agricultural management system 1 according to any one of items 1 to 6, further comprising a control device 180 that controls at least one of the following: , and deceleration of the work of the implement 300.
  • the processing device 161 sets a plurality of warning areas 730 having different sizes, The agricultural management system 1 according to any one of items 1 to 7, wherein the operation to be executed when a person is present in the warning area 730 is different for each of the plurality of warning areas 730.
  • the processing device 161 is provided in the work vehicle 100, The processing device 161 requests the server 600 for implement information corresponding to the identification information, The server 600 outputs the implement information requested by the processing device 161, The processing device 161 is the agricultural management system 1 according to any one of items 1 to 8, which acquires the implement information output from the server 600.
  • the technology of the present disclosure is particularly useful in the field of agricultural machinery, such as tractors, harvesters, rice transplanters, riding management machines, vegetable transplanters, grass cutters, seeders, fertilizer spreaders, or agricultural robots.
  • Agricultural management system 10: Sensing system, 50: GNSS satellite, 60: Reference station, 70: Field, 72: Work area, 74: Headland, 76: Road, 80: Network, 100: Work vehicle, 101: Vehicle Main body, 102: Engine, 103: Transmission, 104: Wheels, 105: Cabin, 106: Steering device, 107: Driver's seat, 108: Connection device, 110: Positioning device, 111: GNSS receiver , 112: RTK receiver, 115: Inertial measurement unit (IMU), 116: Processing circuit, 120: Camera, 130: Obstacle sensor, 140: LiDAR sensor, 150: Sensor group, 152: Steering wheel sensor, 154: Off Angle sensor, 156: Rotation sensor, 160: Control system, 161: Processing device, 170: Storage device, 180: Control device, 181-185: ECU, 190: Communication device, 200: Operation terminal, 210: Operation switch group, 220: Buzzer, 240: Drive device, 300

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

ある実施形態に係る農業管理システムは、複数のユーザから複数種類のインプルメントに関するインプルメント情報を取得し、取得したインプルメント情報を記憶するサーバと、作業車両に接続されたインプルメントの周囲の警戒領域の大きさを設定する処理装置とを備える。処理装置は、第1インプルメントを特定する識別情報を取得し、識別情報に対応したインプルメント情報をサーバから取得し、取得したインプルメント情報に基づいて、警戒領域の大きさを設定する。

Description

農業管理システム
 本開示は、農業管理システムに関する。
 次世代農業として、ICT(Information and Communication Technology)およびIoT(Internet of Things)を活用したスマート農業の研究開発が進められている。圃場で使用されるトラクタなどの作業車両の自動化および無人化に向けた研究開発も進められている。例えば、精密な測位が可能なGNSS(Global Navigation Satellite System)などの測位システムを利用して自動操舵で走行する作業車両が実用化されてきている。
 また、障害物センサを用いて作業車両の周辺の領域のサーチを行い、作業車両の周辺にある障害物を検出する技術の開発も進められている。例えば特許文献1は、自動運転可能なトラクタの周辺にある障害物を、LiDAR(Light Detection and Ranging)センサを用いて検出する技術を開示している。
特開2019-175059号公報
 作業車両にインプルメントが接続された場合、作業車両は圃場内を自動で走行しながらインプルメントを用いて農作業を実行することができる。
 自動運転モード下において作業を行うインプルメントの近傍の領域には人間が立ち入らないことが望ましい場合がある。インプルメントの周囲に警戒領域を設定し、その警戒領域に人間が存在するか否か検出することが考えられる。
 本開示は、作業車両に接続されるインプルメントに適した警戒領域の設定を行うための技術を提供する。
 本開示のある実施形態に係る農業管理システムは、複数のユーザから複数種類のインプルメントに関するインプルメント情報を取得し、取得した前記インプルメント情報を記憶するサーバと、作業車両に接続された第1インプルメントの周囲の警戒領域の大きさを設定する処理装置と、を備え、前記処理装置は、前記第1インプルメントを特定する識別情報を取得し、前記識別情報に対応したインプルメント情報を前記サーバから取得し、取得した前記インプルメント情報に基づいて、前記警戒領域の大きさを設定する。
 本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が二つ以上の装置で構成される場合、当該二つ以上の装置は、一つの機器内に配置されてもよいし、分離した二つ以上の機器内に分かれて配置されていてもよい。
 本開示の実施形態によれば、複数のユーザから提供された複数種類のインプルメントに関するインプルメント情報を取得し、取得したインプルメント情報をサーバに蓄積する。処理装置は、作業車両に接続されたインプルメントの識別情報に対応したインプルメント情報をサーバから取得し、取得したインプルメント情報に基づいて、警戒領域の大きさを設定する。
 警戒領域の大きさの設定に必要な情報がメーカから公開されていないインプルメントを用いる場合でも、ユーザから提供されたインプルメント情報を用いることで、インプルメントそれぞれに適した大きさの警戒領域を設定することができる。
本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。 作業車両、および作業車両に連結された作業機の例を模式的に示す側面図である。 作業車両および作業機の構成例を示すブロック図である。 RTK-GNSSによる測位を行う作業車両の例を示す概念図である。 キャビンの内部に設けられる操作端末および操作スイッチ群の例を示す図である。 管理装置および端末装置のハードウェア構成を例示するブロック図である。 圃場内を目標経路に沿って自動で走行する作業車両の例を模式的に示す図である。 自動運転時の操舵制御の動作の例を示すフローチャートである。 目標経路Pに沿って走行する作業車両の例を示す図である。 目標経路Pから右にシフトした位置にある作業車両の例を示す図である。 目標経路Pから左にシフトした位置にある作業車両の例を示す図である。 目標経路Pに対して傾斜した方向を向いている作業車両の例を示す図である。 複数の作業車両が圃場の内部および圃場の外側の道を自動走行している状況の例を模式的に示す図である。 センシング装置がセンシングするセンシング領域の例を示す図である。 LiDARセンサがセンシングするセンシング領域と、物体のサーチを行うサーチ領域との関係を示す図である。 サーチ領域と警戒領域との関係を示す図である。 複数のユーザから提供されたインプルメント情報をサーバに蓄積する農業管理システム1を示す図である。 端末装置のディスプレイに表示される、インプルメント情報の入力画面の例を示す図である。 サーバに記憶されたインプルメント情報の例を示す図である。 サーバに記憶されたインプルメント情報の例を示す図である。 サーバに記憶されたインプルメント情報を用いて警戒領域を設定する処理の例を示すフローチャートである。 インプルメントのハードウェア構成例を示すブロック図である。 ローカル座標系におけるインプルメントの外形の少なくとも一部の位置を演算する方法の例を示す図である。 インプルメントの周囲に設定される警戒領域の例を示す図である。 警戒領域内に人間が存在すると判断した場合の処理の例を示すフローチャートである。 ローカル座標系におけるインプルメントの外形の少なくとも一部の位置を演算する方法の例を示す図である。 インプルメントの周囲に設定される警戒領域の例を示す図である。 複数の警戒領域の例を示す図である。
 (用語の定義)
 本開示において「農業機械」は、農業用途で使用される機械を意味する。本開示の農業機械は、移動しながら農作業を行うことが可能な移動型の農業機械(Mobile Agricultural Machine)であり得る。農業機械の例は、トラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、および農業用移動ロボットを含む。トラクタのような作業車両が単独で「農業機械」として機能する場合だけでなく、作業車両に装着または牽引される作業機(インプルメント)と作業車両の全体が一つの「農業機械」として機能する場合がある。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う。これらの農作業を「対地作業」または単に「作業」と称することがある。車両型の農業機械が農作業を行いながら走行することを「作業走行」と称することがある。
 「自動運転」は、運転者による手動操作によらず、制御装置の働きによって農業機械の移動を制御することを意味する。自動運転を行う農業機械は「自動運転農機」または「ロボット農機」と呼ばれることがある。自動運転中、農業機械の移動だけでなく、農作業の動作(例えば作業機の動作)も自動で制御されてもよい。農業機械が車両型の機械である場合、自動運転によって農業機械が走行することを「自動走行」と称する。制御装置は、農業機械の移動に必要な操舵、移動速度の調整、移動の開始および停止の少なくとも一つを制御し得る。作業機が装着された作業車両を制御する場合、制御装置は、作業機の昇降、作業機の動作の開始および停止などの動作を制御してもよい。自動運転による移動には、農業機械が所定の経路に沿って目的地に向かう移動のみならず、追尾目標に追従する移動も含まれ得る。自動運転を行う農業機械は、部分的にユーザの指示に基づいて移動してもよい。また、自動運転を行う農業機械は、自動運転モードに加えて、運転者の手動操作によって移動する手動運転モードで動作してもよい。手動によらず、制御装置の働きによって農業機械の操舵を行うことを「自動操舵」と称する。制御装置の一部または全部が農業機械の外部にあってもよい。農業機械の外部にある制御装置と農業機械との間では、制御信号、コマンド、またはデータなどの通信が行われ得る。自動運転を行う農業機械は、人がその農業機械の移動の制御に関与することなく、周辺の環境をセンシングしながら自律的に移動してもよい。自律的な移動が可能な農業機械は、無人で圃場内または圃場外(例えば道路)を走行することができる。自律移動中に、障害物の検出および障害物の回避動作を行ってもよい。
 「作業計画」は、農業機械によって実行される一つ以上の農作業の予定を定めるデータである。作業計画は、例えば、農業機械によって実行される農作業の順序および各農作業が行われる圃場を示す情報を含み得る。作業計画は、各農作業が行われる予定の日および時刻の情報を含んでいてもよい。作業計画は、農業機械と通信して農作業を管理する処理装置、または農業機械に搭載された処理装置によって作成され得る。処理装置は、例えば、ユーザ(農業経営者または農作業者など)が端末装置を操作して入力した情報に基づいて作業計画を作成することができる。本明細書において、農業機械と通信して農作業を管理する処理装置を「管理装置」と称する。管理装置は、複数の農業機械の農作業を管理してもよい。その場合、管理装置は、複数の農業機械の各々が実行する各農作業に関する情報を含む作業計画を作成してもよい。作業計画は、各農業機械によってダウンロードされ、記憶装置に格納され得る。各農業機械は、作業計画に従って、予定された農作業を実行するために、自動で圃場に向かい、農作業を実行することができる。
 「環境地図」は、農業機械が移動する環境に存在する物の位置または領域を所定の座標系によって表現したデータである。環境地図を単に「地図」または「地図データ」と称することがある。環境地図を規定する座標系は、例えば、地球に対して固定された地理座標系などのワールド座標系であり得る。環境地図は、環境に存在する物について、位置以外の情報(例えば、属性情報その他の情報)を含んでいてもよい。環境地図は、点群地図または格子地図など、さまざまな形式の地図を含む。環境地図を構築する過程で生成または処理される局所地図または部分地図のデータについても、「地図」または「地図データ」と呼ぶ。
 「農道」は、主に農業目的で利用される道を意味する。農道は、アスファルトで舗装された道に限らず、土または砂利等で覆われた未舗装の道も含む。農道は、車両型の農業機械(例えばトラクタ等の作業車両)のみが専ら通行可能な道(私道を含む)と、一般の車両(乗用車、トラック、バス等)も通行可能な道路とを含む。作業車両は、農道に加えて一般道を自動で走行してもよい。一般道は、一般の車両の交通のために整備された道路である。
 (実施形態)
 以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細な説明および実質的に同一の構成に関する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同一の参照符号を付している。
 以下の実施形態は例示であり、本開示の技術は以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、ステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
 以下、農業機械の一例であるトラクタなどの作業車両に本開示の技術を適用した実施形態を主に説明する。本開示の技術は、トラクタなどの作業車両に限らず、他の種類の農業機械にも適用することができる。
 図1は、本開示の例示的な実施形態による農業管理システム1の概要を説明するための図である。図1に示す農業管理システム1は、作業車両100と、端末装置400と、管理装置600とを備える。端末装置400は、作業車両100を遠隔で監視するユーザが使用するコンピュータである。管理装置600は、農業管理システム1を運営する事業者が管理するコンピュータである。作業車両100、端末装置400、および管理装置600は、ネットワーク80を介して互いに通信することができる。図1には1台の作業車両100が例示されているが、農業管理システム1は、複数の作業車両またはその他の農業機械を含んでいてもよい。
 本実施形態における作業車両100はトラクタである。作業車両100は、後部および前部の一方または両方に作業機を装着することができる。作業車両100は、作業機の種類に応じた農作業を行いながら圃場内を走行することができる。作業車両100は、作業機を装着しない状態で圃場内または圃場外を走行してもよい。
 作業車両100は、自動運転機能を備える。すなわち、作業車両100は、手動によらず、制御装置の働きによって走行することができる。本実施形態における制御装置は、作業車両100の内部に設けられ、作業車両100の速度および操舵の両方を制御することができる。作業車両100は、圃場内に限らず、圃場外(例えば道路)を自動走行することもできる。
 作業車両100は、GNSS受信機およびLiDARセンサなどの、測位あるいは自己位置推定のために利用される装置を備える。作業車両100の制御装置は、作業車両100の位置と、目標経路の情報とに基づいて、作業車両100を自動で走行させる。制御装置は、作業車両100の走行制御に加えて、作業機の動作の制御も行う。これにより、作業車両100は、圃場内を自動で走行しながら作業機を用いて農作業を実行することができる。さらに、作業車両100は、圃場外の道(例えば、農道または一般道)を目標経路に沿って自動で走行することができる。作業車両100は、カメラ120、障害物センサ130およびLiDARセンサ140などのセンシング装置から出力されるデータを活用しながら、圃場外の道に沿って自動走行を行う。
 管理装置600は、作業車両100による農作業を管理するコンピュータである。管理装置600は、例えば圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援するサーバコンピュータであり得る。管理装置600は、例えば、作業車両100の作業計画を作成し、その作業計画に従って、作業車両100に農作業を実行させる。管理装置600は、例えば、ユーザが端末装置400または他のデバイスを用いて入力した情報に基づいて圃場内の目標経路を生成する。管理装置600は、さらに、作業車両100または他の移動体がLiDARセンサなどのセンシング装置を用いて収集したデータに基づいて、環境地図の生成および編集を行ってもよい。管理装置600は、生成した作業計画、目標経路、および環境地図のデータを作業車両100に送信する。作業車両100は、それらのデータに基づいて、移動および農作業を自動で行う。
 端末装置400は、作業車両100から離れた場所にいるユーザが使用するコンピュータである。図1に示す端末装置400はラップトップコンピュータであるが、これに限定されない。端末装置400は、デスクトップPC(personal computer)などの据え置き型のコンピュータであってもよいし、スマートフォンまたはタブレットコンピュータなどのモバイル端末でもよい。端末装置400は、作業車両100を遠隔監視したり、作業車両100を遠隔操作したりするために用いられ得る。例えば、端末装置400は、作業車両100が備える1台以上のカメラ(撮像装置)が撮影した映像をディスプレイに表示させることができる。端末装置400は、さらに、作業車両100の作業計画(例えば各農作業のスケジュール)を作成するために必要な情報をユーザが入力するための設定画面をディスプレイに表示することもできる。ユーザが設定画面上で必要な情報を入力し送信の操作を行うと、端末装置400は、入力された情報を管理装置600に送信する。管理装置600は、その情報に基づいて作業計画を作成する。端末装置400は、さらに、目標経路を設定するために必要な情報をユーザが入力するための設定画面をディスプレイに表示する機能を備えていてもよい。
 以下、本実施形態におけるシステムの構成および動作をより詳細に説明する。
 [1.構成]
 図2は、作業車両100、および作業車両100に連結された作業機300の例を模式的に示す側面図である。本実施形態における作業車両100は、手動運転モードと自動運転モードの両方で動作することができる。自動運転モードにおいて、作業車両100は無人で走行することができる。作業車両100は、圃場内と圃場外の両方で自動運転が可能である。
 図2に示すように、作業車両100は、車両本体101と、原動機(エンジン)102と、変速装置(トランスミッション)103とを備える。車両本体101には、タイヤ付きの車輪104と、キャビン105とが設けられている。車輪104は、一対の前輪104Fと一対の後輪104Rとを含む。キャビン105の内部に運転席107、操舵装置106、操作端末200、および操作のためのスイッチ群が設けられている。作業車両100が圃場内で作業走行を行うとき、前輪104Fおよび後輪104Rの一方または両方は、タイヤ付き車輪ではなく、無限軌道(track)を装着した複数の車輪(クローラ)であってもよい。
 作業車両100は、作業車両100の周辺の環境をセンシングする少なくとも1つのセンシング装置と、少なくとも1つのセンシング装置から出力されるセンサデータを処理する処理装置とを備え得る。図2に示す例では、作業車両100は複数のセンシング装置を備える。センシング装置は、複数のカメラ120と、LiDARセンサ140と、複数の障害物センサ130とを含む。
 カメラ120は、例えば作業車両100の前後左右に設けられ得る。カメラ120は、作業車両100の周辺の環境を撮影し、画像データを生成する。カメラ120が取得した画像は、作業車両100に搭載された処理装置に出力され、遠隔監視を行うための端末装置400に送信され得る。また、当該画像は、無人運転時に作業車両100を監視するために用いられ得る。カメラ120は、作業車両100が圃場外の道(農道または一般道)を走行するときに、周辺の地物もしくは障害物、白線、標識、または表示などを認識するための画像を生成する用途でも使用され得る。
 図2の例におけるLiDARセンサ140は、車両本体101の前面下部に配置されている。LiDARセンサ140は、他の位置に設けられていてもよい。例えばLiDARセンサ140は、キャビン105の上部に設けられていてもよい。LiDARセンサ140は、3D-LiDARセンサであり得るが、2D-LiDARセンサであってもよい。LiDARセンサ140は、作業車両100の周辺の環境をセンシングして、センサデータを出力する。LiDARセンサ140は、作業車両100が主に圃場外を走行している間、周辺の環境に存在する物体の各計測点までの距離および方向、または各計測点の3次元もしくは2次元の座標値を示すセンサデータを繰り返し出力する。LiDARセンサ140から出力されたセンサデータは、作業車両100の制御装置によって処理される。制御装置は、センサデータと、環境地図とのマッチングにより、作業車両100の自己位置推定を行うことができる。制御装置は、さらに、センサデータに基づいて、作業車両100の周辺に存在する障害物などの物体を検出することができる。制御装置は、例えばSLAM(Simultaneous Localization and Mapping)などのアルゴリズムを利用して、環境地図を生成または編集することもできる。作業車両100は、異なる位置に異なる向きで配置された複数のLiDARセンサを備えていてもよい。
 図2に示す複数の障害物センサ130は、キャビン105の前部および後部に設けられている。障害物センサ130は、他の部位にも配置され得る。例えば、車両本体101の側部、前部、および後部の任意の位置に、一つまたは複数の障害物センサ130が設けられ得る。障害物センサ130は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ130は、自動走行時に周辺の障害物を検出して作業車両100を停止したり迂回したりするために用いられる。LiDARセンサ140が障害物センサ130の一つとして利用されてもよい。
 作業車両100は、さらに、GNSSユニット110を備える。GNSSユニット110は、GNSS受信機を含む。GNSS受信機は、GNSS衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて作業車両100の位置を計算するプロセッサとを備え得る。GNSSユニット110は、複数のGNSS衛星から送信される衛星信号を受信し、衛星信号に基づいて測位を行う。GNSSは、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System、例えばみちびき)、GLONASS、Galileo、およびBeiDouなどの衛星測位システムの総称である。本実施形態におけるGNSSユニット110は、キャビン105の上部に設けられているが、他の位置に設けられていてもよい。
 GNSSユニット110は、慣性計測装置(IMU)を含み得る。IMUからの信号を利用して位置データを補完することができる。IMUは、作業車両100の傾きおよび微小な動きを計測することができる。IMUによって取得されたデータを用いて、衛星信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
 作業車両100の制御装置は、GNSSユニット110による測位結果に加えて、カメラ120および/またはLiDARセンサ140などのセンシング装置が取得したセンサデータを測位に利用してもよい。農道、林道、一般道、または果樹園のように、作業車両100が走行する環境内に特徴点として機能する地物が存在する場合、カメラ120および/またはLiDARセンサ140によって取得されたデータと、予め記憶装置に格納された環境地図とに基づいて、作業車両100の位置および向きを高い精度で推定することができる。カメラ120および/またはLiDARセンサ140が取得したデータを用いて、衛星信号に基づく位置データを補正または補完することで、より高い精度で作業車両100の位置を特定できる。
 原動機102は、例えばディーゼルエンジンであり得る。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置103は、変速によって作業車両100の推進力および移動速度を変化させることができる。変速装置103は、作業車両100の前進と後進とを切り換えることもできる。
 操舵装置106は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪104Fは操舵輪であり、その切れ角(「操舵角」とも称する。)を変化させることにより、作業車両100の走行方向を変化させることができる。前輪104Fの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪104Fの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、作業車両100内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
 車両本体101の後部には、連結装置108が設けられている。連結装置108は、例えば3点支持装置(「3点リンク」または「3点ヒッチ」とも称する。)、PTO(Power Take Off)軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置108によって作業機300を作業車両100に着脱することができる。連結装置108は、例えば油圧装置によって3点リンクを昇降させ、作業機300の位置または姿勢を変化させることができる。また、ユニバーサルジョイントを介して作業車両100から作業機300に動力を送ることができる。作業車両100は、作業機300を引きながら、作業機300に所定の作業を実行させることができる。連結装置は、車両本体101の前部に設けられていてもよい。その場合、作業車両100の前部に作業機300を接続することができる。
 図2に示す作業機300は、ロータリ耕耘機であるが、作業機300はロータリ耕耘機に限定されない。例えば、シーダ(播種機)、スプレッダ(施肥機)、移植機、モーア(草刈機)、レーキ、ベーラ(集草機)、ハーベスタ(収穫機)、スプレイヤ、またはハローなどの、任意の作業機を作業車両100に接続して使用することができる。
 図2に示す作業車両100は、有人運転が可能であるが、無人運転のみに対応していてもよい。その場合には、キャビン105、操舵装置106、および運転席107などの、有人運転にのみ必要な構成要素は、作業車両100に設けられていなくてもよい。無人の作業車両100は、自律走行、またはユーザによる遠隔操作によって走行することができる。
 図3は、作業車両100および作業機300の構成例を示すブロック図である。作業車両100と作業機300は、連結装置108に含まれる通信ケーブルを介して互いに通信することができる。作業車両100は、ネットワーク80を介して、端末装置400および管理装置600と通信することができる。
 図3の例における作業車両100は、GNSSユニット110、カメラ120、障害物センサ130、LiDARセンサ140、および操作端末200に加え、作業車両100の動作状態を検出するセンサ群150、制御システム160、通信装置190、操作スイッチ群210、ブザー220、および駆動装置240を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。GNSSユニット110は、GNSS受信機111と、RTK受信機112と、慣性計測装置(IMU)115と、処理回路116とを備える。センサ群150は、ステアリングホイールセンサ152と、切れ角センサ154、車軸センサ156とを含む。制御システム160は、処理装置161、記憶装置170と、制御装置180とを備える。制御装置180は、複数の電子制御ユニット(ECU)181から185を備える。作業機300は、駆動装置340と、制御装置380と、通信装置390とを備える。なお、図3には、作業車両100による自動運転の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
 GNSSユニット110におけるGNSS受信機111は、複数のGNSS衛星から送信される衛星信号を受信し、衛星信号に基づいてGNSSデータを生成する。GNSSデータは、例えばNMEA-0183フォーマットなどの所定のフォーマットで生成される。GNSSデータは、例えば、衛星信号が受信されたそれぞれの衛星の識別番号、仰角、方位角、および受信強度を示す値を含み得る。
 図3に示すGNSSユニット110は、RTK(Real Time Kinematic)-GNSSを利用して作業車両100の測位を行う。図4は、RTK-GNSSによる測位を行う作業車両100の例を示す概念図である。RTK-GNSSによる測位では、複数のGNSS衛星50から送信される衛星信号に加えて、基準局60から送信される補正信号が利用される。基準局60は、作業車両100が作業走行を行う圃場の付近(例えば、作業車両100から10km以内の位置)に設置され得る。基準局60は、複数のGNSS衛星50から受信した衛星信号に基づいて、例えばRTCMフォーマットの補正信号を生成し、GNSSユニット110に送信する。RTK受信機112は、アンテナおよびモデムを含み、基準局60から送信される補正信号を受信する。GNSSユニット110の処理回路116は、補正信号に基づき、GNSS受信機111による測位結果を補正する。RTK-GNSSを用いることにより、例えば誤差数cmの精度で測位を行うことが可能である。緯度、経度、および高度の情報を含む位置データが、RTK-GNSSによる高精度の測位によって取得される。GNSSユニット110は、例えば1秒間に1回から10回程度の頻度で、作業車両100の位置を計算する。
 なお、測位方法はRTK-GNSSに限らず、必要な精度の位置データが得られる任意の測位方法(干渉測位法または相対測位法など)を用いることができる。例えば、VRS(Virtual Reference Station)またはDGPS(Differential Global Positioning System)を利用した測位を行ってもよい。基準局60から送信される補正信号を用いなくても必要な精度の位置データが得られる場合は、補正信号を用いずに位置データを生成してもよい。その場合、GNSSユニット110は、RTK受信機112を備えていなくてもよい。
 RTK-GNSSを利用する場合であっても、基準局60からの補正信号が得られない場所(例えば圃場から遠く離れた道路上)では、RTK受信機112からの信号によらず、他の方法で作業車両100の位置が推定される。例えば、LiDARセンサ140および/またはカメラ120から出力されたデータと、高精度の環境地図とのマッチングによって、作業車両100の位置が推定され得る。
 本実施形態におけるGNSSユニット110は、さらにIMU115を備える。IMU115は、3軸加速度センサおよび3軸ジャイロスコープを備え得る。IMU115は、3軸地磁気センサなどの方位センサを備えていてもよい。IMU115は、モーションセンサとして機能し、作業車両100の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。処理回路116は、衛星信号および補正信号に加えて、IMU115から出力された信号に基づいて、作業車両100の位置および向きをより高い精度で推定することができる。IMU115から出力された信号は、衛星信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。IMU115は、GNSS受信機111よりも高い頻度で信号を出力する。その高頻度の信号を利用して、処理回路116は、作業車両100の位置および向きをより高い頻度(例えば、10Hz以上)で計測することができる。IMU115に代えて、3軸加速度センサおよび3軸ジャイロスコープを別々に設けてもよい。IMU115は、GNSSユニット110とは別の装置として設けられていてもよい。
 カメラ120は、作業車両100の周辺の環境を撮影する撮像装置である。カメラ120は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを備える。カメラ120は、他にも、一つ以上のレンズを含む光学系、および信号処理回路を備え得る。カメラ120は、作業車両100の走行中、作業車両100の周辺の環境を撮影し、画像(例えば動画)のデータを生成する。カメラ120は、例えば、3フレーム/秒(fps: frames per second)以上のフレームレートで動画を撮影することができる。カメラ120によって生成された画像は、例えば遠隔の監視者が端末装置400を用いて作業車両100の周辺の環境を確認するときに利用され得る。カメラ120によって生成された画像は、測位または障害物の検出に利用されてもよい。図2に示すように、複数のカメラ120が作業車両100の異なる位置に設けられていてもよいし、単数のカメラが設けられていてもよい。可視光画像を生成する可視カメラと、赤外線画像を生成する赤外カメラとが別々に設けられていてもよい。可視カメラと赤外カメラの両方が監視用の画像を生成するカメラとして設けられていてもよい。赤外カメラは、夜間において障害物の検出にも用いられ得る。
 障害物センサ130は、作業車両100の周辺に存在する物体を検出する。障害物センサ130は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ130は、障害物センサ130から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ130が作業車両100の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、作業車両100の異なる位置に配置されていてもよい。そのような多くの障害物センサ130を備えることにより、作業車両100の周辺の障害物の監視における死角を減らすことができる。
 ステアリングホイールセンサ152は、作業車両100のステアリングホイールの回転角を計測する。切れ角センサ154は、操舵輪である前輪104Fの切れ角を計測する。ステアリングホイールセンサ152および切れ角センサ154による計測値は、制御装置180による操舵制御に利用される。
 車軸センサ156は、車輪104に接続された車軸の回転速度、すなわち単位時間あたりの回転数を計測する。車軸センサ156は、例えば磁気抵抗素子(MR)、ホール素子、または電磁ピックアップを利用したセンサであり得る。車軸センサ156は、例えば、車軸の1分あたりの回転数(単位:rpm)を示す数値を出力する。車軸センサ156は、作業車両100の速度を計測するために使用される。
 駆動装置240は、前述の原動機102、変速装置103、操舵装置106、および連結装置108などの、作業車両100の走行および作業機300の駆動に必要な各種の装置を含む。原動機102は、例えばディーゼル機関などの内燃機関を備え得る。駆動装置240は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
 ブザー220は、異常を報知するための警告音を発する音声出力装置である。ブザー220は、例えば、自動運転時に、障害物が検出された場合に警告音を発する。ブザー220は、制御装置180によって制御される。
 処理装置161は、例えばマイクロプロセッサまたはマイクロコントローラである。処理装置161は、カメラ120、障害物センサ130およびLiDARセンサ140などのセンシング装置から出力されるセンサデータを処理する。例えば処理装置161は、カメラ120、障害物センサ130およびLiDARセンサ140から出力されたデータに基づいて、作業車両100の周辺に位置する物体を検出する。
 記憶装置170は、フラッシュメモリまたは磁気ディスクなどの一つ以上の記憶媒体を含む。記憶装置170は、GNSSユニット110、カメラ120、障害物センサ130、LiDARセンサ140、センサ群150、および制御装置180が生成する各種のデータを記憶する。記憶装置170が記憶するデータには、作業車両100が走行する環境内の地図データ(環境地図)、および自動運転のための目標経路のデータが含まれ得る。環境地図は、作業車両100が農作業を行う複数の圃場およびその周辺の道の情報を含む。環境地図および目標経路は、管理装置600におけるプロセッサによって生成され得る。なお、制御装置180が、環境地図および目標経路を生成または編集する機能を備えていてもよい。制御装置180は、管理装置600から取得した環境地図および目標経路を、作業車両100の走行環境に応じて編集することができる。記憶装置170は、通信装置190が管理装置600から受信した作業計画のデータも記憶する。
 記憶装置170は、処理装置161、および制御装置180における各ECUに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体(例えば半導体メモリまたは光ディスク等)または電気通信回線(例えばインターネット)を介して作業車両100に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
 制御装置180は、複数のECUを含む。複数のECUは、例えば、速度制御用のECU181、ステアリング制御用のECU182、作業機制御用のECU183、自動運転制御用のECU184、および経路生成用のECU185を含む。
 ECU181は、駆動装置240に含まれる原動機102、変速装置103、およびブレーキを制御することによって作業車両100の速度を制御する。
 ECU182は、ステアリングホイールセンサ152の計測値に基づいて、操舵装置106に含まれる油圧装置または電動モータを制御することによって作業車両100のステアリングを制御する。
 ECU183は、作業機300に所望の動作を実行させるために、連結装置108に含まれる3点リンクおよびPTO軸などの動作を制御する。ECU183はまた、作業機300の動作を制御する信号を生成し、その信号を通信装置190から作業機300に送信する。
 ECU184は、GNSSユニット110、カメラ120、障害物センサ130、LiDARセンサ140、センサ群150、および処理装置161から出力されたデータに基づいて、自動運転を実現するための演算および制御を行う。例えば、ECU184は、GNSSユニット110、カメラ120、およびLiDARセンサ140の少なくとも1つから出力されたデータに基づいて、作業車両100の位置を特定する。圃場内においては、ECU184は、GNSSユニット110から出力されたデータのみに基づいて作業車両100の位置を決定してもよい。ECU184は、カメラ120および/またはLiDARセンサ140が取得したデータに基づいて作業車両100の位置を推定または補正してもよい。カメラ120および/またはLiDARセンサ140が取得したデータを利用することにより、測位の精度をさらに高めることができる。また、圃場外においては、ECU184は、LiDARセンサ140および/またはカメラ120から出力されるデータを利用して作業車両100の位置を推定する。例えば、ECU184は、LiDARセンサ140および/またはカメラ120から出力されるデータと、環境地図とのマッチングにより、作業車両100の位置を推定してもよい。自動運転中、ECU184は、推定された作業車両100の位置に基づいて、目標経路に沿って作業車両100が走行するために必要な演算を行う。ECU184は、ECU181に速度変更の指令を送り、ECU182に操舵角変更の指令を送る。ECU181は、速度変更の指令に応答して原動機102、変速装置103、またはブレーキを制御することによって作業車両100の速度を変化させる。ECU182は、操舵角変更の指令に応答して操舵装置106を制御することによって操舵角を変化させる。
 ECU185は、記憶装置170に格納された作業計画に基づいて作業車両100の移動先を決定し、作業車両100の移動の開始地点から目的地点までの目標経路を決定し得る。ECU185は、カメラ120、障害物センサ130およびLiDARセンサ140から出力されたデータに基づいて、作業車両100の周辺に位置する物体を検出する処理を行ってもよい。
 これらのECUの働きにより、制御装置180は、自動運転を実現する。自動運転時において、制御装置180は、計測または推定された作業車両100の位置と、目標経路とに基づいて、駆動装置240を制御する。これにより、制御装置180は、作業車両100を目標経路に沿って走行させることができる。
 制御装置180に含まれる複数のECUは、例えばCAN(Controller Area Network)などのビークルバス規格に従って、相互に通信することができる。CANに代えて、車載イーサネット(登録商標)などの、より高速の通信方式が用いられてもよい。図3において、ECU181から185のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のECUによって実現されていてもよい。ECU181から185の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置180は、ECU181から185以外のECUを備えていてもよく、機能に応じて任意の個数のECUが設けられ得る。各ECUは、一つ以上のプロセッサを含む処理回路を備える。制御装置180に処理装置161が含まれていてもよい。処理装置161は制御装置180が含むECUのいずれかと統合されていてもよい。
 通信装置190は、作業機300、端末装置400、および管理装置600と通信を行う回路を含む装置である。通信装置190は、例えばISOBUS-TIM等のISOBUS規格に準拠した信号の送受信を、作業機300の通信装置390との間で実行する回路を含む。これにより、作業機300に所望の動作を実行させたり、作業機300から情報を取得したりすることができる。通信装置190は、さらに、ネットワーク80を介した信号の送受信を、端末装置400および管理装置600のそれぞれの通信装置との間で実行するためのアンテナおよび通信回路を含み得る。ネットワーク80は、例えば、3G、4Gもしくは5Gなどのセルラー移動体通信網およびインターネットを含み得る。通信装置190は、作業車両100の近くにいる監視者が使用する携帯端末と通信する機能を備えていてもよい。そのような携帯端末との間では、Wi-Fi(登録商標)、3G、4Gもしくは5Gなどのセルラー移動体通信、またはBluetooth(登録商標)などの、任意の無線通信規格に準拠した通信が行われ得る。
 操作端末200は、作業車両100の走行および作業機300の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル(VT)とも称される。操作端末200は、タッチスクリーンなどの表示装置、および/または一つ以上のボタンを備え得る。表示装置は、例えば液晶または有機発光ダイオード(OLED)などのディスプレイであり得る。ユーザは、操作端末200を操作することにより、例えば自動運転モードのオン/オフの切り替え、環境地図の記録または編集、目標経路の設定、および作業機300のオン/オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群210を操作することによっても実現され得る。操作端末200は、作業車両100から取り外せるように構成されていてもよい。作業車両100から離れた場所にいるユーザが、取り外された操作端末200を操作して作業車両100の動作を制御してもよい。ユーザは、操作端末200の代わりに、端末装置400などの、必要なアプリケーションソフトウェアがインストールされたコンピュータを操作して作業車両100の動作を制御してもよい。
 図5は、キャビン105の内部に設けられる操作端末200および操作スイッチ群210の例を示す図である。キャビン105の内部には、ユーザが操作可能な複数のスイッチを含む操作スイッチ群210が配置されている。操作スイッチ群210は、例えば、主変速または副変速の変速段を選択するためのスイッチ、自動運転モードと手動運転モードとを切り替えるためのスイッチ、前進と後進とを切り替えるためのスイッチ、および作業機300を昇降するためのスイッチ等を含み得る。なお、作業車両100が無人運転のみを行い、有人運転の機能を備えていない場合、作業車両100が操作スイッチ群210を備えている必要はない。
 図3に示す作業機300における駆動装置340は、作業機300が所定の作業を実行するために必要な動作を行う。駆動装置340は、例えば油圧装置、電気モータ、またはポンプなどの、作業機300の用途に応じた装置を含む。制御装置380は、駆動装置340の動作を制御する。制御装置380は、通信装置390を介して作業車両100から送信された信号に応答して、駆動装置340に各種の動作を実行させる。また、作業機300の状態に応じた信号を通信装置390から作業車両100に送信することもできる。
 次に、図6を参照しながら、管理装置600および端末装置400の構成を説明する。図6は、管理装置600および端末装置400の概略的なハードウェア構成を例示するブロック図である。
 管理装置600は、記憶装置650と、プロセッサ660と、ROM(Read Only Memory)670と、RAM(Random Access Memory)680と、通信装置690とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。管理装置600は、作業車両100が実行する圃場における農作業のスケジュール管理を行い、管理するデータを活用して農業を支援するクラウドサーバとして機能し得る。ユーザは、端末装置400を用いて作業計画の作成に必要な情報を入力し、その情報をネットワーク80を介して管理装置600にアップロードすることが可能である。管理装置600は、その情報に基づき、農作業のスケジュール、すなわち作業計画を作成することができる。管理装置600は、さらに、環境地図の生成または編集を実行することができる。環境地図は、管理装置600の外部のコンピュータから配信されてもよい。
 通信装置690は、ネットワーク80を介して作業車両100および端末装置400と通信するための通信モジュールである。通信装置690は、例えば、IEEE1394(登録商標)またはイーサネット(登録商標)などの通信規格に準拠した有線通信を行うことができる。通信装置690は、Bluetooth(登録商標)規格もしくはWi-Fi規格に準拠した無線通信、または、3G、4Gもしくは5Gなどのセルラー移動体通信を行ってもよい。
 プロセッサ660は、例えば中央演算処理装置(CPU)を含む半導体集積回路であり得る。プロセッサ660は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。あるいは、プロセッサ660は、CPUを搭載したFPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)、または、これら回路の中から選択される二つ以上の回路の組み合わせによっても実現され得る。プロセッサ660は、ROM670に格納された、少なくとも一つの処理を実行するための命令群を記述したコンピュータプログラムを逐次実行し、所望の処理を実現する。
 ROM670は、例えば、書き込み可能なメモリ(例えばPROM)、書き換え可能なメモリ(例えばフラッシュメモリ)、または読み出し専用のメモリである。ROM670は、プロセッサ660の動作を制御するプログラムを記憶する。ROM670は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。複数の記憶媒体の集合体の一部は、取り外し可能なメモリであってもよい。
 RAM680は、ROM670に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。RAM680は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。
 記憶装置650は、主としてデータベースのストレージとして機能する。記憶装置650は、例えば、磁気記憶装置または半導体記憶装置であり得る。磁気記憶装置の例は、ハードディスクドライブ(HDD)である。半導体記憶装置の例は、ソリッドステートドライブ(SSD)である。記憶装置650は、管理装置600とは独立した装置であってもよい。例えば、記憶装置650は、管理装置600にネットワーク80を介して接続される記憶装置、例えばクラウドストレージであってもよい。
 端末装置400は、入力装置420と、表示装置430と、記憶装置450と、プロセッサ460と、ROM470と、RAM480と、通信装置490とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。入力装置420は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置420は、例えば、キーボード、マウス、またはタッチパネルであり得る。表示装置430は、例えば液晶ディスプレイまたは有機ELディスプレイであり得る。プロセッサ460、ROM470、RAM480、記憶装置450、および通信装置490のそれぞれに関する説明は、管理装置600のハードウェア構成例において記載したとおりであり、それらの説明を省略する。
 [2.動作]
 次に、作業車両100、端末装置400、および管理装置600の動作を説明する。
 [2-1.自動走行動作]
 まず、作業車両100による自動走行の動作の例を説明する。本実施形態における作業車両100は、圃場内および圃場外の両方で自動で走行することができる。圃場内において、作業車両100は、予め設定された目標経路に沿って走行しながら、作業機300を駆動して所定の農作業を行う。作業車両100は、圃場内を走行中に障害物が検出された場合、走行を停止し、ブザー220からの警告音の発出、および端末装置400への警告信号の送信などの動作を行う。圃場内において、作業車両100の測位は、主にGNSSユニット110から出力されるデータに基づいて行われる。一方、圃場外において、作業車両100は、圃場外の農道または一般道に設定された目標経路に沿って自動で走行する。作業車両100は、圃場外を走行中、カメラ120および/またはLiDARセンサ140によって取得されたデータを活用して走行する。圃場外において、作業車両100は、障害物が検出されると、障害物を回避するか、その場で停止する。圃場外においては、GNSSユニット110から出力される測位データに加え、LiDARセンサ140および/またはカメラ120から出力されるデータに基づいて作業車両100の位置が推定される。
 以下、作業車両100が圃場内を自動走行する場合の動作の例を説明する。
 図7は、圃場内を目標経路に沿って自動で走行する作業車両100の例を模式的に示す図である。この例において、圃場70は、作業車両100が作業機300を用いて作業を行う作業領域72と、圃場70の外周縁付近に位置する枕地74とを含む。地図上で圃場70のどの領域が作業領域72または枕地74に該当するかは、ユーザによって事前に設定され得る。この例における目標経路は、並列する複数の主経路P1と、複数の主経路P1を接続する複数の旋回経路P2とを含む。主経路P1は作業領域72内に位置し、旋回経路P2は枕地74内に位置する。図7に示す各主経路P1は直線状の経路であるが、各主経路P1は曲線状の部分を含んでいてもよい。図7における破線は、作業機300の作業幅を表している。作業幅は、予め設定され、記憶装置170に記録される。作業幅は、ユーザが操作端末200または端末装置400を操作することによって設定され、記録され得る。あるいは、作業幅は、作業機300を作業車両100に接続したときに自動で認識され、記録されてもよい。複数の主経路P1の間隔は、作業幅に合わせて設定され得る。目標経路は、自動運転が開始される前に、ユーザの操作に基づいて作成され得る。目標経路は、例えば圃場70内の作業領域72の全体をカバーするように作成され得る。作業車両100は、図7に示すような目標経路に沿って、作業の開始地点から作業の終了地点まで、往復を繰り返しながら自動で走行する。なお、図7に示す目標経路は一例に過ぎず、目標経路の定め方は任意である。
 次に、制御装置180による圃場内における自動運転時の制御の例を説明する。
 図8は、制御装置180によって実行される自動運転時の操舵制御の動作の例を示すフローチャートである。制御装置180は、作業車両100の走行中、図8に示すステップS121からS125の動作を実行することにより、自動操舵を行う。速度に関しては、例えば予め設定された速度に維持される。制御装置180は、作業車両100の走行中、GNSSユニット110によって生成された作業車両100の位置を示すデータを取得する(ステップS121)。次に、制御装置180は、作業車両100の位置と、目標経路との偏差を算出する(ステップS122)。偏差は、その時点における作業車両100の位置と、目標経路との距離を表す。制御装置180は、算出した位置の偏差が予め設定された閾値を超えるか否かを判定する(ステップS123)。偏差が閾値を超える場合、制御装置180は、偏差が小さくなるように、駆動装置240に含まれる操舵装置の制御パラメータを変更することにより、操舵角を変更する。ステップS123において偏差が閾値を超えない場合、ステップS124の動作は省略される。続くステップS125において、制御装置180は、動作終了の指令を受けたか否かを判定する。動作終了の指令は、例えばユーザが遠隔操作で自動運転の停止を指示したり、作業車両100が目的地に到達したりした場合に出され得る。動作終了の指令が出されていない場合、ステップS121に戻り、新たに計測された作業車両100の位置に基づいて、同様の動作を実行する。制御装置180は、動作終了の指令が出されるまで、ステップS121からS125の動作を繰り返す。上記の動作は、制御装置180におけるECU182、184によって実行される。
 図8に示す例では、制御装置180は、GNSSユニット110によって特定された作業車両100の位置と目標経路との偏差のみに基づいて駆動装置240を制御するが、方位の偏差もさらに考慮して制御してもよい。例えば、制御装置180は、GNSSユニット110によって特定された作業車両100の向きと、目標経路の方向との角度差である方位偏差が予め設定された閾値を超える場合に、その偏差に応じて駆動装置240の操舵装置の制御パラメータ(例えば操舵角)を変更してもよい。
 以下、図9Aから図9Dを参照しながら、制御装置180による操舵制御の例をより具体的に説明する。
 図9Aは、目標経路Pに沿って走行する作業車両100の例を示す図である。図9Bは、目標経路Pから右にシフトした位置にある作業車両100の例を示す図である。図9Cは、目標経路Pから左にシフトした位置にある作業車両100の例を示す図である。図9Dは、目標経路Pに対して傾斜した方向を向いている作業車両100の例を示す図である。これらの図において、GNSSユニット110によって計測された作業車両100の位置および向きを示すポーズがr(x,y,θ)と表現されている。(x,y)は、地球に固定された2次元座標系であるXY座標系における作業車両100の基準点の位置を表す座標である。図9Aから図9Dに示す例において、作業車両100の基準点はキャビン上のGNSSアンテナが設置された位置にあるが、基準点の位置は任意である。θは、作業車両100の計測された向きを表す角度である。図示されている例においては、目標経路PがY軸に平行であるが、一般的には目標経路PはY軸に平行であるとは限らない。
 図9Aに示すように、作業車両100の位置および向きが目標経路Pから外れていない場合には、制御装置180は、作業車両100の操舵角および速度を変更せずに維持する。
 図9Bに示すように、作業車両100の位置が目標経路Pから右側にシフトしている場合には、制御装置180は、作業車両100の走行方向が左寄りに傾き、経路Pに近付くように操舵角を変更する。このとき、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δxの大きさに応じて調整され得る。
 図9Cに示すように、作業車両100の位置が目標経路Pから左側にシフトしている場合には、制御装置180は、作業車両100の走行方向が右寄りに傾き、経路Pに近付くように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の変化量は、例えば位置偏差Δxの大きさに応じて調整され得る。
 図9Dに示すように、作業車両100の位置は目標経路Pから大きく外れていないが、向きが目標経路Pの方向とは異なる場合は、制御装置180は、方位偏差Δθが小さくなるように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δxおよび方位偏差Δθのそれぞれの大きさに応じて調整され得る。例えば、位置偏差Δxの絶対値が小さいほど方位偏差Δθに応じた操舵角の変化量を大きくしてもよい。位置偏差Δxの絶対値が大きい場合には、経路Pに戻るために操舵角を大きく変化させることになるため、必然的に方位偏差Δθの絶対値が大きくなる。逆に、位置偏差Δxの絶対値が小さい場合には、方位偏差Δθをゼロに近づけることが必要である。このため、操舵角を決定するための方位偏差Δθの重み(すなわち制御ゲイン)を相対的に大きくすることが妥当である。
 作業車両100の操舵制御および速度制御には、PID制御またはMPC制御(モデル予測制御)などの制御技術が適用され得る。これらの制御技術を適用することにより、作業車両100を目標経路Pに近付ける制御を滑らかにすることができる。
 なお、走行中にカメラ120、障害物センサ130およびLiDARセンサ140などのセンシング装置によって障害物が検出された場合には、制御装置180は、作業車両100を停止させる。このとき、ブザー220に警告音を発出させたり、警告信号を端末装置400に送信したりしてもよい。障害物の回避が可能な場合、制御装置180は、障害物を回避するように駆動装置240を制御してもよい。
 本実施形態における作業車両100は、圃場内だけでなく、圃場外でも自動走行が可能である。圃場外において、処理装置161および/または制御装置180は、カメラ120、障害物センサ130およびLiDARセンサ140などのセンシング装置から出力されたデータに基づいて、作業車両100の周辺に存在する物体(例えば、他の車両または歩行者等)を検出することができる。カメラ120およびLiDARセンサ140を用いることで、作業車両100から比較的離れた位置に存在する物体を検出することができる。制御装置180は、検出された物体を回避するように速度制御および操舵制御を行うことにより、圃場外の道における自動走行を実現できる。
 このように、本実施形態における作業車両100は、無人で圃場内および圃場外を自動で走行できる。図10は、複数の作業車両100が圃場70の内部および圃場70の外側の道76を自動走行している状況の例を模式的に示す図である。記憶装置170には、複数の圃場70およびその周辺の道を含む領域の環境地図および目標経路が記録される。環境地図および目標経路は、管理装置600またはECU185によって生成され得る。作業車両100が道路上を走行する場合、作業車両100は、作業機300を上昇させた状態で、カメラ120、障害物センサ130およびLiDARセンサ140などのセンシング装置を用いて周辺をセンシングしながら、目標経路に沿って走行する。
 [2-2.インプルメントに応じた警戒領域の設定]
 次に、作業車両100に接続される作業機(インプルメント)300に応じて警戒領域を設定する処理を説明する。
 圃場内等で作業を行うインプルメント300の近傍の領域には人間が立ち入らないことが望ましい場合がある。そのため、インプルメント300の周囲に警戒領域を設定することが考えられる。警戒領域は、その領域内に人間が存在すると判断した場合に、例えば、警報の発出、インプルメント300の作業の停止、およびインプルメント300の作業の減速のうちの少なくとも一つを実行する領域である。
 まず、センシング領域、サーチ領域および警戒領域のそれぞれについて説明する。
 上述したように、カメラ120、障害物センサ130およびLiDARセンサ140などのセンシング装置は、作業車両100の周辺の環境をセンシングして、センサデータを出力する。本実施形態の作業車両100は、センシング装置が出力したセンサデータを用いて、作業車両100の周辺に位置する物体を検出するセンシングシステム10(図3)を備える。センシングシステム10は、処理装置161、カメラ120、障害物センサ130およびLiDARセンサ140を備える。
 図11は、センシング装置がセンシングするセンシング領域710の例を示す図である。
 センシング領域710は、前方センシング領域710F、後方センシング領域710Re、左側方センシング領域710L、右側方センシング領域710Rを含む。図11は、作業車両100が水平な地面に位置している状態における、鉛直方向から見た平面視におけるセンシング領域を示している。
 この例では、センシング装置として、作業車両100にはセンシング装置700F、700Re、700L、700Rが設けられている。センシング装置700Fは、作業車両100の前部に配置されており、主に作業車両100の前方に広がる周辺環境をセンシングする。センシング装置700Reは、作業車両100の後部に配置されており、主に作業車両100の後方に広がる周辺環境をセンシングする。センシング装置700Lは、作業車両100の左側部に配置されており、主に作業車両100の左側方に広がる周辺環境をセンシングする。センシング装置700Rは、作業車両100の右側部に配置されており、主に作業車両100の右側方に広がる周辺環境をセンシングする。センシング装置700Re、700L、700Rは、例えば作業車両100のキャビン105(図2)に設けられ得る。センシング装置700Reは、インプルメント300に設けられていてもよい。
 本実施形態では、作業車両100の前部には、センシング装置700Fとして、カメラ120およびLiDARセンサ140が配置される。作業車両100の後部には、センシング装置700Reとして、カメラ120およびLiDARセンサ140が配置される。作業車両100の左側部には、センシング装置700Lとして、カメラ120、障害物センサ130およびLiDARセンサ140が配置される。作業車両100の右側部には、センシング装置700Rとして、カメラ120、障害物センサ130およびLiDARセンサ140が配置される。センシング装置700Fおよび700Reに障害物センサ130が含まれてもよい。
 以下では、特徴を分かりやすく説明するために、センシング領域710として、LiDARセンサ140がセンシングする領域を例示して説明する。
 LiDARセンサ140は、レーザビームのパルス(以下「レーザパルス」と略記する。)を、出射方向を変えながら次々と出射し、出射時刻と各レーザパルスの反射光を取得した時刻との時間差から各反射点の位置までの距離を計測することができる。「反射点」は、作業車両100の周辺の環境に位置する物体であり得る。
 LiDARセンサ140は、任意の方法により、LiDARセンサ140から物体までの距離を計測し得る。LiDARセンサ140の計測方法としては、例えば機械回転方式、MEMS方式、フェーズドアレイ方式がある。これらの計測方法は、それぞれレーザパルスを出射する方法(スキャンの方法)が異なっている。例えば、機械回転方式のLiDARセンサは、レーザパルスの出射およびレーザパルスの反射光の検出を行う筒状のヘッドを回転させて、回転軸の周囲360度全方位の周辺環境をスキャンする。MEMS方式のLiDARセンサは、MEMSミラーを用いてレーザパルスの出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の周辺環境をスキャンする。フェーズドアレイ方式のLiDARセンサは、光の位相を制御して光の出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の周辺環境をスキャンする。
 上述したように、センシング領域710は、前方センシング領域710F、後方センシング領域710Re、左側方センシング領域710L、右側方センシング領域710Rを含む。前方センシング領域710Fは、作業車両100の前部に配置されたLiDARセンサ140がセンシングする領域である。後方センシング領域710Reは、作業車両100の後部に配置されたLiDARセンサ140がセンシングする領域である。左側方センシング領域710Lは、作業車両100の左側部に配置されたLiDARセンサ140がセンシングする領域である。右側方センシング領域710Rは、作業車両100の右側部に配置されたLiDARセンサ140がセンシングする領域である。
 処理装置161(図3)は、LiDARセンサ140が出力したセンサデータに基づいて、作業車両100の周辺のサーチ領域に位置する物体を検出する。サーチ領域は、センシング領域710のうち、物体のサーチを行う領域のことである。サーチ領域は、センシング領域710と同じ大きさであってもよいし、センシング領域710より小さくてもよい。サーチ領域は、関心領域(Region of Interest:ROI)とも称され得る。
 図12は、LiDARセンサ140がセンシングするセンシング領域710と、物体のサーチを行うサーチ領域720との関係を示す図である。サーチ領域の形状、大きさおよび位置は、例えば、LiDARセンサ140が出力する3次元点群データのうちの、物体のサーチに用いるデータ部分を変更することで実現することができる。
 LiDARセンサ140が出力する3次元点群データは、複数の点の位置に関する情報および光検出器の受信強度などの情報(属性情報)を含んでいる。複数の点の位置に関する情報は、例えば、点に対応するレーザパルスの出射方向と、LiDARセンサと点との間の距離の情報である。また例えば、複数の点の位置に関する情報は、ローカル座標系における点の座標の情報である。ローカル座標系は、作業車両100とともに移動する座標系であり、センサ座標系とも称される。点に対応するレーザパルスの出射方向と、LiDARセンサと点との間の距離とから、各点の座標を算出することができる。
 例えば各点の座標に基づいてサーチ領域を設定することができる。物体のサーチに用いる点として、ローカル座標系における所望の形状内に位置する点を選択することで、その所望の形状のサーチ領域を設定することができる。
 サーチ領域720は、前方サーチ領域720F、後方サーチ領域720Re、左側方サーチ領域720L、右側方サーチ領域720Rを含む。
 作業車両100の前部に配置されたLiDARセンサ140が出力した3次元点群データが示す複数の点のうち、ローカル座標系における所定の形状内に位置する点を選択することで、サーチ領域720Fを設定することができる。作業車両100の後部に配置されたLiDARセンサ140が出力した3次元点群データが示す複数の点のうち、ローカル座標系における所定の形状内に位置する点を選択することで、サーチ領域720Reを設定することができる。
 作業車両100の左側部に配置されたLiDARセンサ140が出力した3次元点群データが示す複数の点のうち、ローカル座標系における所定の形状内に位置する点を選択することで、サーチ領域720Lを設定することができる。作業車両100の右側部に配置されたLiDARセンサ140が出力した3次元点群データが示す複数の点のうち、ローカル座標系における所定の形状内に位置する点を選択することで、サーチ領域720Rを設定することができる。
 図13は、サーチ領域720と警戒領域730との関係を示す図である。警戒領域730は、サーチ領域720内の所定の領域に設定され得る。LiDARセンサ140が出力した3次元点群データが示す複数の点のうち、ローカル座標系における所定の形状内に位置する点を選択することで、警戒領域730を設定することができる。本実施形態では、作業車両100に接続されたインプルメント300の周囲に警戒領域730を設定する。制御システム160(図3)は、設定した警戒領域730内に人間が存在するか否かを判断し、人間が存在すると判断した場合に警報の発出、インプルメント300の作業の停止、およびインプルメント300の作業の減速のうちの少なくとも一つの動作の制御を行う。
 図13は、作業車両100およびインプルメント300が水平な地面に位置している状態における、鉛直方向から見た平面視における警戒領域730を示している。本実施形態では、使用するインプルメント300に応じて、鉛直方向から見た平面視における警戒領域730の大きさを変更する。
 インプルメントのサイズおよび動作はインプルメント毎に異なり得るため、インプルメント毎に警戒領域730の大きさは異ならせることが考えられる。インプルメントのサイズなど、インプルメント毎に固有の情報を用いて、インプルメント毎に警戒領域730の大きさを設定することが考えられる。
 一方で、インプルメントを製造するメーカは多数有り、各メーカが様々なインプルメントを販売している。世の中に流通するインプルメントには非常に多くの機種がある。サイズなどの情報がメーカから公開されていない機種も多い。
 使用するインプルメントのサイズなど、警戒領域730の大きさの設定に必要な情報が得られない場合、警戒領域730の大きさを設定することは困難である。警戒領域730の大きさの設定に必要な情報がメーカから公開されていないインプルメントを用いる場合でも、警戒領域730の大きさを設定できることが求められる。
 本実施形態の農業管理システム1では、複数のユーザから提供された複数種類のインプルメントに関するインプルメント情報を取得し、取得したインプルメント情報をサーバ600に蓄積する。作業車両100に接続されたインプルメント300の識別情報に対応したインプルメント情報をサーバ600から取得し、取得したインプルメント情報に基づいて、警戒領域730の大きさを設定する。
 図14は、複数のユーザから提供されたインプルメント情報をサーバ600に蓄積する農業管理システム1を示す図である。ユーザのそれぞれは、端末装置800を用いて、自身が所有および/または使用するインプルメントに関する情報をサーバ600にアップロードすることができる。端末装置800は、ユーザが使用するコンピュータである。端末装置800は、例えば、ラップトップコンピュータ、デスクトップPC(personal computer)などの据え置き型のコンピュータ、スマートフォンまたはタブレットコンピュータなどのモバイル端末であり得る。
 図15は、端末装置800のディスプレイに表示される、インプルメント情報の入力画面の例を示す図である。
 図15に示す例では、ユーザは、インプルメント情報として、インプルメントの種類、型番、全長、全幅、全高、オフセット長さを入力する。ユーザは、インプルメント情報として、インプルメントの画像データをアップロードすることもできる。
 インプルメントの種類は、例えば、耕耘機、シーダ(播種機)、スプレッダ(施肥機)、移植機、モーア(草刈機)、レーキ、ベーラ(集草機)、ハーベスタ(収穫機)、スプレイヤ、ハローなどである。これらのインプルメントの種類は一例であり、これらに限定されない。
 型番は、インプルメントの型ごとにメーカから付与される番号であり、数字およびアルファベット等の任意の記号を複数個組み合わせて構成され得る。全長は、インプルメントの前後方向の長さである。全幅は、インプルメントの左右方向の長さである。全高は、インプルメントの高さ方向の長さである。
 オフセット長さは、連結装置が連結されるインプルメントの連結部からのズレ量である。前後のオフセット長さは、インプルメントの前端部と連結部との間の前後方向の長さである。左右のオフセット長さは、インプルメントの左右方向の中心と連結部との間の左右方向の長さである。オフセット長さの基準となる連結部の位置は、例えば、PTO軸が接続されるインプルメントの位置であり得る。
 インプルメントの長さに関する情報は、例えばユーザがインプルメントの各部の長さを測定することで得ることができる。警戒領域730の設定に用いるインプルメントのサイズ情報は、厳密に正確である必要は無く、概略値であってもよい。例えば、±10パーセント程度の測定誤差は許容され得る。警戒領域730の幅は数メートルになり得るため、サイズ値は概略値であっても警戒領域730の設定は可能である。
 ユーザは、端末装置800を介して上記のようなインプルメント情報をサーバ600にアップロードすることができる。サーバ600は、複数のユーザから集まったインプルメント情報を記憶する。
 図16および図17は、サーバ600に記憶されたインプルメント情報の例を示す図である。複数のユーザから集められたインプルメント情報は、型番ごとに整理されてサーバ600に記憶され得る。
 次に、サーバ600に記憶されたインプルメント情報を用いて警戒領域730を設定する処理を説明する。図18は、サーバ600に記憶されたインプルメント情報を用いて警戒領域730を設定する処理の例を示すフローチャートである。
 まず、作業車両100に接続されたインプルメント300を特定する識別情報を取得する(ステップS201)。作業車両100の処理装置161は、例えば作業車両100に接続されたインプルメント300から識別情報を取得する。識別情報は例えばインプルメント300の型番を示す。
 図19は、インプルメント300のハードウェア構成例を示すブロック図である。インプルメント300は、制御装置380、通信装置390、駆動装置340を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。制御装置380は、プロセッサ381、ROM382およびRAM383を備える。
 作業車両100の通信装置190(図3)およびインプルメント300の通信装置390は、作業車両100とインプルメント300との間でデータ通信を行う。例えば、ISO 11783に基づくISOBUSなどの通信制御規格に準拠した通信を行う場合は、作業車両100とインプルメント300との間で双方向に通信を行うことが可能である。作業車両100とインプルメント300が、例えばISOBUS-TIMなどの、トラクタ-インプルメントマネジメント(TIM)システムに対応している場合には、作業車両100からインプルメント300への制御、およびインプルメント300から作業車両100への制御が可能である。これらの通信は有線通信で行われ得るが、無線通信により行われてもよい。
 識別情報は、インプルメント300内の記憶装置、例えばROM382に予め記憶されている。上述したように、作業車両100とインプルメント300とは、ISOBUSなどの通信制御規格に準拠した通信を行うことが可能である。
 インプルメント300が作業車両100に連結されると、プロセッサ381は、ROM382から識別情報を読み出し、通信装置390を介して作業車両100に出力する。作業車両100の処理装置161は、受信した識別情報を、通信装置190を介してサーバ600に出力する。処理装置161は、識別情報に対応したインプルメント情報を作業車両100に送信するようにサーバ600に要求する。
 サーバ600のプロセッサ660は、受け取った識別情報が示す型番に該当するインプルメント情報を記憶装置650から読み出し、通信装置690を介して作業車両100に送信する。作業車両100の通信装置190は、サーバ600から送信されたインプルメント情報を受信し、処理装置161はインプルメント情報を取得することができる(ステップS202)。
 インプルメント情報は、インプルメント300の全長、全幅、全高、オフセット長さ等のサイズ情報を含む。処理装置161は、例えばこれらのサイズ情報を用いて警戒領域730の大きさを設定する。
 処理装置161は、サイズ情報に基づいて、互いに連結された作業車両100およびインプルメント300のローカル座標系における、インプルメント300の外形の少なくとも一部の位置を演算する(ステップS203)。
 図20は、ローカル座標系におけるインプルメント300の外形の少なくとも一部の位置を演算する方法の例を示す図である。処理装置161は、例えば以下に説明する演算を実行し、インプルメント300の外形の少なくとも一部の座標を演算する。
 本実施形態のローカル座標系では、互いに連結された作業車両100およびインプルメント300が平坦地を直進走行する状態における、車両の前後方向をX方向、左右方向をY方向とする。後方から前方に向かう方向を+X方向、左から右に向かう方向を+Y方向とする。ISO 11783では、デバイスジオメトリについて、「X軸は、通常の走行方向を正として指定する」、および「Y軸は、通常の走行方向に対して、デバイスの右側を正として指定する」と定義されている。そのデバイスジオメトリの定義に基づいて本実施形態のローカル座標系におけるX方向およびY方向が定義される。ローカル座標系の座標値の単位は任意であり、一例としてここではミリメートルとする。
 作業車両100単独におけるローカル座標系、およびインプルメント300単独におけるローカル座標系においても、上記と同様にXY方向および座標値の単位が定義される。
 図20に示す例では、インプルメント300の一例である耕耘機が作業車両100に接続されている。インプルメント300の全長をL1X、全幅をL1Yとする。オフセット長さは、前後方向および左右方向ともにゼロとする。
 作業車両100とインプルメント300とは連結装置108を用いて接続される。ローカル座標系における基準点R1は、作業車両100の任意の位置に設定され得る。基準点R1の座標値は、作業車両100の記憶装置170に予め記憶されている。図20に示す例では、基準点R1は、作業車両100の左右方向の中心位置を通って前後方向に延びる中心線CL1上に設定されている。基準点R1のY座標は、中心線CL1のY座標と同じである。基準点R1のX座標は、作業車両100と連結装置108との接続位置(すなわち連結装置108の概ね前端部の位置)のX座標に設定されている。PTO軸は、作業車両100後部の中心線CL1が通る位置から後方に延びている。
 連結装置108の前後方向の長さL2Xの値は、作業車両100の記憶装置170に予め記憶されている。長さL2Xの値は、例えばユーザが入力装置420等を用いて入力してもよい。連結装置108の後端部の位置A1のX座標をインプルメント300の前端部のX座標とする。
 図20に示す例ではオフセット長さはゼロである。このため、長さL2Xだけ基準点R1から後方の位置のX座標を、インプルメント300の前端部のX座標とする。長さL1Xと長さL2Xとを足した長さの分だけ基準点R1から後方の位置のX座標を、インプルメント300の後端部のX座標とする。
 インプルメントの左右方向の中心位置のY座標は、中心線CL1のY座標と同じとする。中心線CL1とインプルメント300の左端部との間の長さL2Yは、全幅L1Yの1/2の長さとなる。中心線CL1とインプルメント300の右端部との間の長さL3Yは、全幅L1Yの1/2の長さになる。中心線CL1から左方に長さL2Yだけ延びた位置のY座標を、インプルメント300の左端部のY座標とする。中心線CL1から右方に長さL3Yだけ延びた位置のY座標を、インプルメント300の右端部のY座標とする。
 処理装置161は、上記のようにインプルメント300の前端部および後端部それぞれのX座標を演算するとともに、インプルメント300の左端部および右端部それぞれのY座標を演算する。処理装置161は、これらの座標を用いて、インプルメント300の外形に概ね沿った矩形の外形740(図21)のデータ、およびその外形740の各部の座標を取得することができる。この矩形の外形740は、インプルメント300の前端部、後端部、左端部および右端部を通る。
 図21は、インプルメント300の周囲に設定される警戒領域730の例を示す図である。
 処理装置161は、演算したインプルメント300の外形の少なくとも一部の位置から所定距離にある範囲を、警戒領域730に設定する。図21に示す例では外形740から所定距離Liにある範囲を、警戒領域730に設定する(図18のステップS204)。所定距離Liは例えば2-7mであるが、その値に限定されない。
 圃場内でのインプルメント300の作業中、処理装置161は、カメラ120、障害物センサ130およびLiDARセンサ140のうちの一つ以上が出力したセンサデータを用いて、設定した警戒領域730内に人間が存在するか否かを判断する(ステップS205)。二種類以上のセンサを用いることで、あるセンサがセンシングすることが難しい領域を、別のセンサで補完することができる。例えば、LiDARセンサ140の死角となる領域については、カメラ120および/または障害物センサ130を用いてセンシングすることで補完することができる。
 処理装置161は、例えば、機械学習により生成した推定モデルを用いて、LiDARセンサ140が出力する3次元点群データの中に人間を表す点群データが存在するか否かを推定することで、警戒領域730内に人間が存在するか否かを判断する。また、例えば、処理装置161は、機械学習により生成した推定モデルを用いて、カメラ120が出力する画像データの中に人間を表す画像データが存在するか否かを推定することで、警戒領域730内に人間が存在するか否かを判断する。そのような推定モデルは、記憶装置170に予め記憶されている。
 処理装置161は、LiDARセンサ140が出力する3次元点群データと、カメラ120が出力する画像データとを併用して、警戒領域730内に人間が存在するか否かを判断してもよい。例えば、3次元点群データを用いて人間である可能性が高い物体が存在すると判断した場合、その物体の位置に該当する画像データを分析して人間であるか否かをさらに判断してもよい。
 処理装置161は、動作終了の指令が出されるまで、ステップS205の処理を繰り返す(ステップS206)。
 警戒領域730内に人間が存在すると判断した場合は、警報の発出、インプルメント300の作業の停止、およびインプルメント300の作業の減速のうちの少なくとも一つの動作の制御を行う。図22は、警戒領域730内に人間が存在すると判断した場合の処理の例を示すフローチャートである。
 処理装置161が警戒領域730内に位置する人間を検出したと判断した場合(ステップS301)、制御装置180(図3)は、ブザー220からの警告音の発出、インプルメント300の作業の停止、およびインプルメント300の作業の減速のうちの少なくとも一つの動作の制御を行う(ステップS302)。制御装置180は、PTO軸の回転を停止または減速させることで、インプルメント300の作業を停止または減速させ得る。制御装置180は、インプルメント300の制御装置380と通信を行い、インプルメント300の作業を停止または減速させてもよい。例えば、ブザー220から警告音を発出させながら、インプルメント300の作業を停止または減速させてもよい。また、並行して作業車両100の走行を停止または減速させてもよい。
 人間が移動するなどして警戒領域730内に人間を検出しなくなったと処理装置161が判断した場合、制御装置180はインプルメント300の通常動作を再開させ(ステップS304)、図18に示すステップS206の処理に戻る。
 上述したように、本実施形態では、複数のユーザから提供された複数種類のインプルメントに関するインプルメント情報を取得し、取得したインプルメント情報をサーバ600に蓄積する。処理装置161は、作業車両100に接続されたインプルメント300の識別情報に対応したインプルメント情報をサーバ600から取得し、取得したインプルメント情報に基づいて警戒領域730の大きさを設定する。
 これにより、警戒領域730の大きさの設定に必要な情報がメーカから公開されていないインプルメントを用いる場合でも、ユーザから提供されたインプルメント情報を用いることで、インプルメントそれぞれに適した大きさの警戒領域730を設定することができる。
 次に、オフセットを考慮した警戒領域730の設定を説明する。図23は、ローカル座標系におけるインプルメント300の外形の少なくとも一部の位置を演算する方法の例を示す図である。
 図23に示す例では、インプルメント300の一例であるオフセット型の草刈機が作業車両100に接続されている。
 図23に示すインプルメント300は、草を刈る草刈部311と、草刈部311に取り付けられた連結フレーム312とを備える。連結フレーム312は左右方向に延びる形状を有し、連結フレーム312の右部と草刈部311の左部とが接続されている。連結フレーム312の左部に設けられた連結部313は連結装置108に接続される。
 前後方向のオフセット長さL4Xは、インプルメント300の前端部と連結部との間の前後方向の長さである。左右方向のオフセット長さL4Yは、インプルメント300の左右方向の中心位置と連結部との間の左右方向の長さである。
 長さL2Xと長さL4Xとの差の値の分だけ基準点R1から後方の位置のX座標を、インプルメント300の前端部のX座標とする。その前端部のX座標から長さL1Xだけ後方の位置のX座標を、インプルメント300の後端部のX座標とする。
 全幅L1Yの1/2の長さとオフセット長さL4Yとの和の値が、中心線CL1とインプルメント300の右端部との間の長さL3Yとなる。全幅L1Yの1/2の長さとオフセット長さL4Yとの差の値が、中心線CL1とインプルメント300の左端部との間の長さL2Yとなる。中心線CL1から左方に長さL2Yだけ延びた位置のY座標を、インプルメント300の左端部のY座標とする。中心線CL1から右方に長さL3Yだけ延びた位置のY座標を、インプルメント300の右端部のY座標とする。
 処理装置161は、上記のようにインプルメント300の前端部および後端部それぞれのX座標を演算するとともに、インプルメント300の左端部および右端部それぞれのY座標を演算する。処理装置161は、これらの座標を用いて、インプルメント300の外形に概ね沿った矩形の外形740(図24)のデータ、およびその外形740の各部の座標を取得することができる。この矩形の外形740は、インプルメント300の前端部、後端部、左端部および右端部を通る。
 図24は、インプルメント300の周囲に設定される警戒領域730の例を示す図である。図24に示す例では、処理装置161は、外形740から所定距離Liにある範囲を、警戒領域730に設定している。
 所定距離Liは、作業車両100に接続されたインプルメント300の種類に応じて変更されてもよい。処理装置161は、作業車両100に接続されたインプルメント300の種類に応じて所定距離Liを変更する。例えば、インプルメント300が草刈機である場合は、耕耘機である場合よりも、所定距離Liを大きくする。人間がインプルメント300からどの程度離れているのが望ましいかは、インプルメントの種類に応じて異なり得る。インプルメント300の種類に応じて所定距離Liを変更することで、作業車両100に接続されたインプルメント300に適した大きさの警戒領域730を設定することができる。
 設定する警戒領域730は一つに限定されず、複数の警戒領域730を設定してもよい。図25は、複数の警戒領域730の例を示す図である。図25に示す例では、処理装置161は、大きさが互いに異なる複数の警戒領域730a、730b、730cを設定する。警戒領域730aが一番大きく、警戒領域730bは二番目に大きく、警戒領域730cは一番小さい。
 制御装置180は、警戒領域内に人間が存在した場合に実行する動作を、複数の警戒領域730a、730b、730cごとに異ならせる。例えば、警戒領域730a内に人間が存在するが、警戒領域730bおよび730c内には人間は存在しないと処理装置161が判断した場合、制御装置180は、ブザー220に警告音を発出させる制御を行う。警戒領域730b内に人間が存在するが、警戒領域730c内には人間は存在しないと処理装置161が判断した場合、制御装置180は、ブザー220に警告音を発出させる制御およびインプルメント300の作業を減速させる制御を行う。警戒領域730c内に人間が存在すると処理装置161が判断した場合、制御装置180は、ブザー220に警告音を発出させる制御およびインプルメント300の作業を停止させる制御を行う。
 複数の警戒領域ごとに動作を異ならせることで、インプルメント300と人間との間の距離に応じた適切な動作を行うことができる。
 上述した実施形態では、処理装置161は、サーバ600からインプルメント情報を取得し、その取得したインプルメント情報を用いて警戒領域730を設定していた。しかし、インプルメント300の識別情報を取得できなかったり、識別情報に対応したインプルメント情報がサーバ600内に記憶されていなかったりした場合は、サーバ600からインプルメント情報を取得することは困難である。この場合は、センシング装置700を用いてインプルメント300をセンシングして、ローカル座標系におけるインプルメント300の外形の少なくとも一部の位置を検出してもよい。
 処理装置161は、識別情報を取得できなかった場合、または識別情報に対応したインプルメント情報を取得できなかった場合は、センシング装置700を用いてインプルメント300をセンシングする制御を行う。例えば、LiDARセンサ140を用いてインプルメント300をセンシングする。LiDARセンサ140が出力する3次元点群データは、例えば、複数の点それぞれのローカル座標系における座標の情報を含んでいる。
 処理装置161は、例えば、機械学習により生成した推定モデルを用いて、LiDARセンサ140が出力する3次元点群データからインプルメント300を表す点群データを特定する。処理装置161は、インプルメント300を表す点群データに含まれる複数の点のそれぞれの座標の情報を用いて、インプルメント300の外形における複数の位置の座標を演算する。処理装置161は、演算したインプルメント300の外形の位置から所定距離Liにある範囲を、警戒領域730に設定する。これにより、識別情報を取得できなかったり、サーバ600からインプルメント情報を取得できなかったりした場合でも、警戒領域730を設定することができる。
 なお、インプルメント300をセンシングするセンシング装置は、作業車両100ではなく別の機械に設けられていてもよい。例えば、ドローンに設けられたLiDARセンサおよび/またはカメラを用いてインプルメント300をセンシングしてもよい。また、例えば、作業車両100の保管場所または圃場に設置されたカメラ等を用いてインプルメント300をセンシングしてもよい。
 本実施形態のセンシングシステム10は、それらの機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線(例えばインターネット)を介したダウンロードによっても提供され得る。
 センシングシステム10において処理装置161が実行する処理の一部または全部は、他の装置によって実行されてもよい。そのような他の装置は、管理装置600のプロセッサ660、端末装置400のプロセッサ460および操作端末200の少なくとも一つであってもよい。その場合、そのような他の装置と処理装置161とがセンシングシステム10の処理装置として機能する、または、そのような他の装置がセンシングシステム10の処理装置として機能する。例えば、処理装置161が実行する処理の一部が、管理装置600のプロセッサ660によって実行される場合、処理装置161とプロセッサ660とが、センシングシステム10の処理装置として機能する。
 処理装置161が実行する処理の一部または全部は、制御装置180によって実行されてもよい。その場合、制御装置180と処理装置161とがセンシングシステム10の処理装置として機能する、または制御装置180がセンシングシステム10の処理装置として機能する。
 以上のように、本開示は、以下に記載の農業管理システムを含む。
 [項目1]
 複数のユーザから複数種類のインプルメントに関するインプルメント情報を取得し、取得したインプルメント情報を記憶するサーバ600と、
 作業車両100に接続されたインプルメント300の周囲の警戒領域730の大きさを設定する処理装置161と、
 を備え、
 処理装置161は、
  インプルメント300を特定する識別情報を取得し、
  識別情報に対応したインプルメント情報をサーバ600から取得し、
  取得したインプルメント情報に基づいて、警戒領域730の大きさを設定する、農業管理システム1。
 [項目2]
 識別情報に対応したインプルメント情報は、インプルメント300のサイズを示すサイズ情報を含み、
 処理装置161は、サイズ情報に基づいて警戒領域730の大きさを設定する、項目1に記載の農業管理システム1。
 [項目3]
 処理装置161は、
  サイズ情報に基づいて、作業車両100に接続されたインプルメント300の外形の少なくとも一部の位置を演算し、
  演算したインプルメント300の外形の少なくとも一部の位置に基づいて、警戒領域730の大きさを設定する、項目2に記載の農業管理システム1。
 [項目4]
 処理装置161は、演算したインプルメント300の外形の少なくとも一部の位置から所定距離Liにある範囲を、警戒領域730に設定する、項目3に記載の農業管理システム1。
 [項目5]
 処理装置161は、作業車両100に接続されたインプルメント300の種類に応じて所定距離Liを変更する、項目4に記載の農業管理システム1。
 [項目6]
 インプルメント300の外形の少なくとも一部をセンシングしてセンサデータを出力する第1センシング装置700をさらに備え、
 処理装置161は、識別情報を取得できなかった場合、または識別情報に対応したインプルメント情報を取得できなかった場合、センサデータに基づいて警戒領域730の大きさを設定する、項目1から5のいずれかに記載の農業管理システム1。
 [項目7]
 設定した警戒領域730をセンシングして、センサデータを出力する第2センシング装置700をさらに備え、
 第2センシング装置700が出力したセンサデータに基づいて、設定した警戒領域730に人間が存在するか否かを判断し、人間が存在すると判断した場合に警報の発出、インプルメント300の作業の停止、およびインプルメント300の作業の減速のうちの少なくとも一つの動作の制御を行う制御装置180をさらに備える、項目1から6のいずれかに記載の農業管理システム1。
 [項目8]
 処理装置161は、大きさが互いに異なる複数の警戒領域730を設定し、
 警戒領域730に人間が存在した場合に実行する動作は、複数の警戒領域730ごとに異なる、項目1から7のいずれかに記載の農業管理システム1。
 [項目9]
 処理装置161は、作業車両100に設けられており、
 処理装置161は、識別情報に対応したインプルメント情報をサーバ600に要求し、
 サーバ600は、処理装置161から要求されたインプルメント情報を出力し、
 処理装置161は、サーバ600から出力されたインプルメント情報を取得する、項目1から8のいずれかに記載の農業管理システム1。
 本開示の技術は、例えばトラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、または農業用ロボットなどの農業機械の分野において特に有用である。
 1:農業管理システム、 10:センシングシステム、 50:GNSS衛星、 60:基準局、 70:圃場、 72:作業領域、 74:枕地、 76:道路、 80:ネットワーク、 100:作業車両、 101:車両本体、 102:原動機(エンジン)、 103:変速装置(トランスミッション)、 104:車輪、 105:キャビン、 106:操舵装置、 107:運転席、 108:連結装置、 110:測位装置、 111:GNSS受信機、 112:RTK受信機、 115:慣性計測装置(IMU)、 116:処理回路、 120:カメラ、 130:障害物センサ、 140:LiDARセンサ、 150:センサ群、 152:ステアリングホイールセンサ、 154:切れ角センサ、 156:回転センサ、 160:制御システム、 161:処理装置、 170:記憶装置、 180:制御装置、 181-185:ECU、 190:通信装置、 200:操作端末、 210:操作スイッチ群、 220:ブザー、 240:駆動装置、 300:作業機、 340:駆動装置、 380:制御装置、 390:通信装置、 400:端末装置、 420:入力装置、 430:表示装置、 450:記憶装置、 460:プロセッサ、 470:ROM、 480:RAM、 490:通信装置、 600:管理装置(サーバ)、 660:プロセッサ、 650:記憶装置、 670:ROM、 680:RAM、 690:通信装置、 700:センシング装置、 710:センシング領域、 720:サーチ領域、 730:警戒領域

Claims (9)

  1.  複数のユーザから複数種類のインプルメントに関するインプルメント情報を取得し、取得した前記インプルメント情報を記憶するサーバと、
     作業車両に接続された第1インプルメントの周囲の警戒領域の大きさを設定する処理装置と、
     を備え、
     前記処理装置は、
      前記第1インプルメントを特定する識別情報を取得し、
      前記識別情報に対応したインプルメント情報を前記サーバから取得し、
      取得した前記インプルメント情報に基づいて、前記警戒領域の大きさを設定する、農業管理システム。
  2.  前記識別情報に対応した前記インプルメント情報は、前記第1インプルメントのサイズを示すサイズ情報を含み、
     前記処理装置は、前記サイズ情報に基づいて前記警戒領域の大きさを設定する、請求項1に記載の農業管理システム。
  3.  前記処理装置は、
      前記サイズ情報に基づいて、前記作業車両に接続された前記第1インプルメントの外形の少なくとも一部の位置を演算し、
      演算した前記第1インプルメントの外形の少なくとも一部の位置に基づいて、前記警戒領域の大きさを設定する、請求項2に記載の農業管理システム。
  4.  前記処理装置は、演算した前記第1インプルメントの外形の少なくとも一部の位置から所定距離にある範囲を、前記警戒領域に設定する、請求項3に記載の農業管理システム。
  5.  前記処理装置は、前記作業車両に接続された前記第1インプルメントの種類に応じて前記所定距離を変更する、請求項4に記載の農業管理システム。
  6.  前記第1インプルメントの外形の少なくとも一部をセンシングしてセンサデータを出力する第1センシング装置をさらに備え、
     前記処理装置は、前記識別情報を取得できなかった場合、または前記識別情報に対応したインプルメント情報を取得できなかった場合、前記センサデータに基づいて前記警戒領域の大きさを設定する、請求項1から5のいずれかに記載の農業管理システム。
  7.  設定した前記警戒領域をセンシングして、センサデータを出力する第2センシング装置をさらに備え、
     前記第2センシング装置が出力した前記センサデータに基づいて、設定した前記警戒領域に人間が存在するか否かを判断し、人間が存在すると判断した場合に警報の発出、前記第1インプルメントの作業の停止、および前記第1インプルメントの作業の減速のうちの少なくとも一つの動作の制御を行う制御装置をさらに備える、請求項1から5のいずれかに記載の農業管理システム。
  8.  前記処理装置は、大きさが互いに異なる複数の警戒領域を設定し、
     警戒領域に人間が存在した場合に実行する動作は、前記複数の警戒領域ごとに異なる、請求項1から5のいずれかに記載の農業管理システム。
  9.  前記処理装置は、前記作業車両に設けられており、
     前記処理装置は、前記識別情報に対応したインプルメント情報を前記サーバに要求し、
     前記サーバは、前記処理装置から要求されたインプルメント情報を出力し、
     前記処理装置は、前記サーバから出力された前記インプルメント情報を取得する、請求項1から5のいずれかに記載の農業管理システム。
PCT/JP2023/020863 2022-06-08 2023-06-05 農業管理システム WO2023238827A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022092949 2022-06-08
JP2022-092949 2022-06-08

Publications (1)

Publication Number Publication Date
WO2023238827A1 true WO2023238827A1 (ja) 2023-12-14

Family

ID=89118425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020863 WO2023238827A1 (ja) 2022-06-08 2023-06-05 農業管理システム

Country Status (1)

Country Link
WO (1) WO2023238827A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549306A (ja) * 1991-08-29 1993-03-02 Iseki & Co Ltd 作業機識別装置付トラクタ−
US5905433A (en) * 1996-11-25 1999-05-18 Highwaymaster Communications, Inc. Trailer communications system
JP2006296261A (ja) * 2005-04-19 2006-11-02 Mitsubishi Agricult Mach Co Ltd 農業機械
WO2018070392A1 (ja) * 2016-10-12 2018-04-19 株式会社クボタ 作業装置、作業車両、作業機及び管理システム
WO2020240983A1 (ja) * 2019-05-27 2020-12-03 ヤンマー株式会社 障害物判定システム及び自律走行システム
JP2021036772A (ja) * 2019-08-30 2021-03-11 井関農機株式会社 作業車両
JP2021097711A (ja) * 2020-05-01 2021-07-01 株式会社クボタ 走行支援システム及び作業車

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549306A (ja) * 1991-08-29 1993-03-02 Iseki & Co Ltd 作業機識別装置付トラクタ−
US5905433A (en) * 1996-11-25 1999-05-18 Highwaymaster Communications, Inc. Trailer communications system
JP2006296261A (ja) * 2005-04-19 2006-11-02 Mitsubishi Agricult Mach Co Ltd 農業機械
WO2018070392A1 (ja) * 2016-10-12 2018-04-19 株式会社クボタ 作業装置、作業車両、作業機及び管理システム
WO2020240983A1 (ja) * 2019-05-27 2020-12-03 ヤンマー株式会社 障害物判定システム及び自律走行システム
JP2021036772A (ja) * 2019-08-30 2021-03-11 井関農機株式会社 作業車両
JP2021097711A (ja) * 2020-05-01 2021-07-01 株式会社クボタ 走行支援システム及び作業車

Similar Documents

Publication Publication Date Title
CN106132187B (zh) 作业车辆的控制装置
WO2016076320A1 (ja) 圃場状態検知システム
US20220287218A1 (en) Work vehicle and control system for work vehicle
US20240172577A1 (en) Control system for agricultural machine and agriculture management system
WO2023119871A1 (ja) 自動走行を行う農業機械のための経路計画システムおよび経路計画方法
WO2023127391A1 (ja) 遠隔操作走行が可能な農業機械の走行制御システム
WO2023238827A1 (ja) 農業管理システム
JP7433267B2 (ja) 作業車両、および作業車両の制御システム
WO2024004463A1 (ja) 走行制御システム、走行制御方法およびコンピュータプログラム
WO2023238724A1 (ja) 農業機械の自動走行のための経路生成システムおよび経路生成方法
WO2023127556A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023119996A1 (ja) 障害物検出システム、農業機械および障害物検出方法
WO2024004486A1 (ja) 作業車両、制御方法および制御システム
WO2023127557A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023234255A1 (ja) センシングシステム、農業機械、およびセンシング装置
WO2023248909A1 (ja) 走行制御システム、農業機械および走行制御方法
WO2023218688A1 (ja) 地図作成システムおよび経路計画システム
WO2023243369A1 (ja) 映像表示システムおよび作業車両
WO2023276340A1 (ja) 農業機械のための管理システム
WO2023112515A1 (ja) 地図生成システムおよび地図生成方法
WO2023234076A1 (ja) 表示システムおよび作業車両
WO2023007836A1 (ja) 農業支援システムおよび農業支援方法
JP2023183840A (ja) 農業機械の自動走行のための経路生成システムおよび経路生成方法
WO2023127353A1 (ja) 農業機械、センシングシステム、センシング方法、遠隔操縦システム、および制御方法
WO2023106071A1 (ja) 農道識別システム、制御システムおよび農業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819807

Country of ref document: EP

Kind code of ref document: A1