WO2023106071A1 - 農道識別システム、制御システムおよび農業機械 - Google Patents

農道識別システム、制御システムおよび農業機械 Download PDF

Info

Publication number
WO2023106071A1
WO2023106071A1 PCT/JP2022/042918 JP2022042918W WO2023106071A1 WO 2023106071 A1 WO2023106071 A1 WO 2023106071A1 JP 2022042918 W JP2022042918 W JP 2022042918W WO 2023106071 A1 WO2023106071 A1 WO 2023106071A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
farm
work vehicle
agricultural
information
Prior art date
Application number
PCT/JP2022/042918
Other languages
English (en)
French (fr)
Inventor
隼輔 宮下
裕亮 村田
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Priority to JP2023566203A priority Critical patent/JPWO2023106071A1/ja
Publication of WO2023106071A1 publication Critical patent/WO2023106071A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • the present disclosure relates to a farm road identification system for agricultural machines that operate automatically, a control system including such a farm road identification system, and an agricultural machine including such a control system.
  • Patent Literature 1 discloses a system that automatically drives an unmanned working vehicle between two fields separated by a road.
  • Patent Literature 1 also discloses a system that stores data on farm roads connecting a plurality of farm fields and determines whether or not the farm roads are passable.
  • Japanese Patent Laid-Open No. 2002-200003 discloses a control device that increases the driving force transmitted to the rear wheels of a four-wheel drive vehicle to a predetermined level or more when predetermined conditions are met, such as that the road on which the four-wheel drive vehicle is traveling is a farm road. ing.
  • the control device of Patent Document 2 determines whether or not the road on which the vehicle travels is a farm road by acquiring information on the type of road stored in the information providing server of the intelligent transportation system.
  • the present disclosure provides a system that can identify whether or not a road on which an agricultural machine that automatically operates is a farm road in various environments.
  • a farm road identification system is a farm road identification system for an agricultural machine that automatically operates, wherein the ground on which the agricultural machine travels is sensed to acquire first sensing data, and the at least one sensing device for sensing a surrounding environment to obtain second sensing data; obtaining first information about a cross-sectional profile of the ground based on the first sensing data; and obtaining first information about a transverse profile of the ground based on the second sensing data. and a processing device that acquires second information about the surrounding environment by using the first information and the second information, and identifies whether the road on the ground is a farm road or not based on the first information and the second information.
  • a computer-readable storage medium may include both volatile and non-volatile storage media.
  • a device may consist of a plurality of devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. .
  • a system for an agricultural machine that operates automatically, which can identify whether a road on which the agricultural machine is to travel is a farm road or not in various environments. be.
  • FIG. 1 is a diagram for explaining an overview of an agricultural management system according to an exemplary embodiment of the present disclosure
  • FIG. FIG. 2 is a side view schematically showing an example of a work vehicle and implements connected to the work vehicle
  • 1 is a block diagram showing a configuration example of a work vehicle and implements
  • FIG. 1 is a conceptual diagram showing an example of a work vehicle that performs positioning by RTK-GNSS
  • FIG. 3 is a diagram showing an example of an operation terminal and an operation switch group provided inside a cabin; It is a block diagram which illustrates the hardware constitutions of a management apparatus and a terminal device.
  • FIG. 4 is a diagram schematically showing an example of a working vehicle that automatically travels along a target route in a field; 4 is a flowchart showing an example of steering control operation during automatic driving; FIG. 3 is a diagram showing an example of a working vehicle that travels along a target route P; FIG. 4 is a diagram showing an example of a work vehicle that is shifted to the right from a target path P; FIG. 4 is a diagram showing an example of a work vehicle that is shifted to the left from a target path P; FIG. 4 is a diagram showing an example of a work vehicle facing in a direction that is inclined with respect to a target path P; FIG.
  • FIG. 4 is a diagram schematically showing an example of a situation in which a plurality of work vehicles are automatically traveling on roads inside and outside a field; 1 is a flow chart illustrating an example method of route planning and cruise control using a farm road identification system; It is a flowchart which shows the example of the method to identify whether it is a farm road.
  • FIG. 4 is a diagram showing a monochrome image corresponding to an example of an image acquired by a camera of a work vehicle;
  • FIG. 4 is a diagram showing a monochrome image corresponding to an example of an image acquired by a camera of a work vehicle;
  • FIG. 10 is a plan view schematically showing an example of how a work vehicle automatically travels outside a field while using a farm road identification system;
  • FIG. 10 is a plan view schematically showing an example of how a work vehicle automatically travels outside a field while using a farm road identification system
  • FIG. 10 is a plan view schematically showing an example of how a work vehicle automatically travels outside a field while using a farm road identification system
  • It is a flowchart which shows the example of the method to identify whether it is a farm road.
  • FIG. 4 is a diagram showing an example of global and local paths generated in an environment with obstacles;
  • agricultural machinery means machinery used in agricultural applications.
  • Examples of agricultural machinery include tractors, harvesters, rice transplanters, ride-on tenders, vegetable transplanters, lawn mowers, seeders, fertilizer applicators, and agricultural mobile robots.
  • a work vehicle such as a tractor function as an "agricultural machine” on its own, but a work vehicle (implement) attached to or towed by the work vehicle and the work vehicle as a whole function as one "agricultural machine”.
  • Agricultural machines perform farm work such as plowing, sowing, pest control, fertilization, planting of crops, or harvesting on the ground in fields. These agricultural operations are sometimes referred to as “ground operations” or simply “operations.” Traveling while a vehicle-type agricultural machine performs farm work is sometimes referred to as "working travel.”
  • “Automated operation” means that the movement of agricultural machinery is controlled by the operation of the control device, not by manual operation by the driver.
  • Agricultural machines that operate automatically are sometimes called “automatic driving farm machines” or “robot farm machines”.
  • automated driving farm machines not only the movement of the agricultural machine but also the operation of agricultural work (for example, the operation of the working machine) may be automatically controlled.
  • the agricultural machine is a vehicle-type machine
  • the automatic driving of the agricultural machine is called “automatic driving”.
  • the controller may control at least one of steering, movement speed adjustment, movement start and stop required for movement of the agricultural machine.
  • the control device may control operations such as raising and lowering the work implement and starting and stopping the operation of the work implement.
  • Movement by automatic operation may include not only movement of the agricultural machine toward a destination along a predetermined route, but also movement following a tracking target.
  • An agricultural machine that operates automatically may move partially based on a user's instruction.
  • the agricultural machine that automatically operates may operate in a manual operation mode in which the agricultural machine is moved by manual operation by the driver.
  • the act of steering an agricultural machine not by manual operation but by the action of a control device is called "automatic steering".
  • Part or all of the controller may be external to the agricultural machine.
  • Communication, such as control signals, commands, or data, may occur between a control device external to the agricultural machine and the agricultural machine.
  • An agricultural machine that operates automatically may move autonomously while sensing the surrounding environment without a human being involved in controlling the movement of the agricultural machine.
  • Agricultural machines capable of autonomous movement can run unmanned inside or outside a field (for example, on roads). Obstacle detection and obstacle avoidance operation may be performed during autonomous movement.
  • a "work plan” is data that defines a schedule for one or more farm work to be performed by an agricultural machine.
  • a work plan may include, for example, information indicating the order of farm work to be performed by the agricultural machine and the field on which each farm work is to be performed.
  • the work plan may include information about the days and times each farm work is scheduled to occur.
  • a work plan that includes information on the days and times each farm work is scheduled to be performed is specifically referred to as a "work schedule" or simply a "schedule".
  • the work schedule may include information on the scheduled start time and/or the scheduled end time of each farm work to be performed on each work day.
  • the work plan or work schedule may include information such as the content of work, the implements used, and/or the types and amounts of agricultural materials used for each agricultural work.
  • agricultural material means a material used in agricultural work performed by agricultural machinery. Agricultural materials are sometimes simply referred to as “materials.” Agricultural materials may include materials consumed by agricultural operations, such as pesticides, fertilizers, seeds, or seedlings.
  • the work plan may be created by a processing device that communicates with the agricultural machine to manage farm work, or a processing device mounted on the agricultural machine. The processing device can, for example, create a work plan based on information input by a user (a farmer, farm worker, etc.) by operating a terminal device.
  • a processing device that communicates with agricultural machines and manages farm work is referred to as a “management device”.
  • the management device may manage farm work of a plurality of agricultural machines.
  • the management device may create a work plan including information on each farm work performed by each of the plurality of agricultural machines.
  • the work plan may be downloaded by each agricultural machine and stored in storage. According to the work plan, each agricultural machine can automatically go to the field and perform the scheduled agricultural work.
  • Environmental map is data expressing the position or area of an object existing in the environment in which the agricultural machine moves, using a predetermined coordinate system.
  • Environmental maps are sometimes simply referred to as "maps" or “map data”.
  • the coordinate system that defines the environment map can be, for example, a world coordinate system, such as a geographic coordinate system fixed with respect to the earth.
  • the environment map may include information other than position (for example, attribute information and other information) about objects existing in the environment.
  • Environmental maps include various types of maps, such as point cloud maps or grid maps. Local map or partial map data generated or processed in the process of constructing an environment map is also referred to as a "map" or "map data”.
  • Global path means the data of the route from the starting point to the destination point when the agricultural machine moves automatically, generated by the processing device that performs the route planning. Generating a global path is called global path planning or global path design. In the following description, the global route is also called “target route” or simply “route”.
  • a global path may be defined, for example, by coordinate values of points through which the agricultural machine should pass. A point through which the agricultural machine should pass is called a "waypoint", and a line segment connecting adjacent waypoints is called a "link”.
  • Local path means a local path capable of avoiding obstacles, which is sequentially generated when the agricultural machine automatically moves along the global path. Generating local paths is called local path planning or local path design.
  • a local route is sequentially generated based on data acquired by one or more sensing devices provided on the agricultural machine while the agricultural machine is moving.
  • a local route may be defined by multiple waypoints along a portion of the global route. However, if an obstacle exists in the vicinity of the global path, waypoints may be set to bypass the obstacle.
  • the length of the links between waypoints in the local path is shorter than the length of the links between waypoints in the global path.
  • the device that generates the local route may be the same as or different from the device that generates the global route.
  • a management device that manages farm work by an agricultural machine may generate a global route, and a controller mounted on the agricultural machine may generate a local route.
  • the combination of the management device and the control device functions as the "processing device" that performs the route planning.
  • a farm machine controller may function as a processor that performs both global and local path design.
  • “Farm road” means a road that is mainly used for agricultural purposes.
  • Agricultural roads are not limited to roads paved with asphalt, but also include unpaved roads covered with soil or gravel.
  • Agricultural roads include roads (including private roads) exclusively passable by vehicle-type agricultural machines (for example, work vehicles such as tractors) and roads passable by general vehicles (passenger cars, trucks, buses, etc.). The work vehicle may automatically travel on general roads in addition to farm roads.
  • General roads are roads maintained for general vehicle traffic.
  • FIG. 1 is a diagram for explaining an overview of an agricultural management system according to an exemplary embodiment of the present disclosure.
  • the agricultural management system shown in FIG. 1 includes a work vehicle 100 , a terminal device 400 and a management device 600 .
  • Terminal device 400 is a computer used by a user who remotely monitors work vehicle 100 .
  • the management device 600 is a computer managed by a business operator who operates an agricultural management system.
  • Work vehicle 100 , terminal device 400 , and management device 600 can communicate with each other via network 80 .
  • a farm management system may include multiple work vehicles or other agricultural machinery.
  • the work vehicle 100 in this embodiment is a tractor.
  • Work vehicle 100 can be equipped with implements on one or both of the rear and front portions.
  • the work vehicle 100 can travel in a field while performing farm work according to the type of implement.
  • the work vehicle 100 may travel inside or outside the field without the implements attached.
  • the work vehicle 100 has an automatic driving function.
  • the work vehicle 100 can be driven not by manual operation but by the function of the control device.
  • the control device in this embodiment is provided inside the work vehicle 100 and can control both the speed and steering of the work vehicle 100 .
  • the work vehicle 100 can automatically travel not only inside the farm field but also outside the farm field (for example, roads).
  • the work vehicle 100 is equipped with devices such as a GNSS receiver and a LiDAR sensor, which are used for positioning or self-position estimation.
  • the control device of work vehicle 100 automatically causes work vehicle 100 to travel based on the position of work vehicle 100 and information on the target route.
  • the control device controls the operation of the implements in addition to the travel control of the work vehicle 100 .
  • the work vehicle 100 can perform farm work using implements while automatically traveling in the field.
  • the work vehicle 100 can automatically travel along the target route on a road outside the field (for example, a farm road or a general road).
  • the work vehicle 100 When the work vehicle 100 automatically travels along a road outside a field, the work vehicle 100 follows a target route along a local route capable of avoiding obstacles based on data output from a sensing device such as a camera or a LiDAR sensor. Run while generating. The work vehicle 100 can also detect farm roads based on the data output from the sensing device, and travel while generating a local route on the farm roads. As a result, even if the global route is not correctly set on the farm road, it is possible to appropriately automatically travel on the farm road. Work vehicle 100 may travel in a field while generating a local route in the same manner as described above, or may travel along a target route without generating a local route and an obstacle is detected. You may perform the operation
  • a sensing device such as a camera or a LiDAR sensor
  • the management device 600 is a computer that manages farm work by the work vehicle 100 .
  • the management device 600 may be a server computer that centrally manages information about agricultural fields on the cloud and supports agriculture by utilizing data on the cloud, for example.
  • the management device 600 for example, creates a work plan for the work vehicle 100 and performs global route planning for the work vehicle 100 according to the work plan.
  • the management device 600 generates a global route (target route) using different methods inside and outside the field.
  • the management device 600 generates a target route in the field based on information about the field.
  • the management device 600 can store the pre-registered outline of the field, the area of the field, the position of the entrance/exit of the field, the width of the work vehicle 100, the width of the implement, the content of the work, the type of crops to be cultivated, and the growth of the crops.
  • a target path in a field can be generated based on a variety of information, such as area, crop growth, or crop row or furrow spacing.
  • Management device 600 generates a target course in a field based on information which a user inputted using terminal device 400 or other devices, for example.
  • the management device 600 generates a route in the field so as to cover the entire work area where work is performed, for example.
  • the management device 600 generates a target route outside the field according to the work plan or the instruction of the user.
  • the management device 600 can determine the order of farm work indicated by the work plan, the position of the farm field where each farm work is performed, the position of the entrance/exit of the farm field, the scheduled start and end times of each farm work, road surface conditions, weather conditions, or traffic conditions.
  • a target route outside the farm field can be generated based on various information such as.
  • the management device 600 may generate a target route based on information indicating a route or waypoints designated by the user by operating the terminal device 400, regardless of the work plan.
  • Management device 600 may further generate and edit an environment map based on data collected by work vehicle 100 or other moving objects using sensing devices such as LiDAR sensors.
  • Management device 600 transmits the generated work plan, target route, and environment map data to work vehicle 100 . Work vehicle 100 automatically performs movement and farm work based on those data.
  • the global route design and the generation (or editing) of the environment map are not limited to the management device 600, and may be performed by another device.
  • the control device of work vehicle 100 may perform global route design or environment map generation or editing.
  • the terminal device 400 is a computer used by a user who is remote from the work vehicle 100 .
  • the terminal device 400 shown in FIG. 1 is a laptop computer, but is not limited to this.
  • the terminal device 400 may be a stationary computer such as a desktop PC (personal computer), or a mobile terminal such as a smart phone or tablet computer.
  • the terminal device 400 can be used to remotely monitor the work vehicle 100 or remotely operate the work vehicle 100 .
  • the terminal device 400 can display images captured by one or more cameras (imaging devices) included in the work vehicle 100 on the display. The user can view the image, check the surroundings of work vehicle 100, and send an instruction to stop or start work vehicle 100.
  • the terminal device 400 can also display on the display a setting screen for the user to input information necessary for creating a work plan (for example, a schedule for each agricultural work) for the work vehicle 100 .
  • a work plan for example, a schedule for each agricultural work
  • the terminal device 400 transmits the input information to the management device 600 .
  • Management device 600 creates a work plan based on the information.
  • the terminal device 400 may further have a function of displaying on the display a setting screen for the user to input information necessary for setting the target route.
  • FIG. 2 is a side view schematically showing an example of work vehicle 100 and implement 300 coupled to work vehicle 100.
  • the work vehicle 100 in this embodiment can operate in both manual operation mode and automatic operation mode. In the automatic operation mode, work vehicle 100 can run unmanned. The work vehicle 100 can be automatically driven both inside and outside the field.
  • the work vehicle 100 includes a vehicle body 101 , a prime mover (engine) 102 and a transmission (transmission) 103 .
  • a vehicle body 101 is provided with wheels 104 with tires and a cabin 105 .
  • Wheels 104 include a pair of front wheels 104F and a pair of rear wheels 104R.
  • a driver's seat 107 , a steering device 106 , an operation terminal 200 , and a group of switches for operation are provided inside the cabin 105 .
  • the work vehicle 100 travels in a field, one or both of the front wheels 104F and the rear wheels 104R are replaced with (a plurality of) wheels (crawlers) equipped with tracks instead of wheels with tires. good too.
  • the work vehicle 100 includes a plurality of sensing devices that sense the surroundings of the work vehicle 100.
  • the sensing device includes multiple cameras 120 , LiDAR sensors 140 and multiple obstacle sensors 130 .
  • the cameras 120 may be provided on the front, rear, left, and right of the work vehicle 100, for example. Camera 120 photographs the environment around work vehicle 100 and generates image data. Images acquired by the camera 120 can be transmitted to the terminal device 400 for remote monitoring. The image may be used to monitor work vehicle 100 during unmanned operation. The camera 120 can also be used to generate images for recognizing surrounding features or obstacles, white lines, signs, displays, etc. when the work vehicle 100 travels on a road outside the field (farm road or general road). can be used.
  • the LiDAR sensor 140 in the example of FIG. 2 is arranged at the lower front portion of the vehicle body 101. LiDAR sensor 140 may be provided at other locations.
  • the LiDAR sensor 140 detects the distance and direction to each measurement point of an object present in the surrounding environment, or two-dimensional or three-dimensional coordinate values of each measurement point, while the work vehicle 100 is mainly traveling outside the farm field. Repeatedly outputs sensor data indicating The sensor data output from LiDAR sensor 140 is processed by the control device of work vehicle 100 .
  • the control device can estimate the self-location of the work vehicle 100 by matching the sensor data and the environment map.
  • the control device further detects objects such as obstacles existing around work vehicle 100 based on the sensor data, and generates a local route along which work vehicle 100 should actually travel along the global route. be able to.
  • the controller can also generate or edit an environment map using algorithms such as SLAM (Simultaneous Localization and Mapping).
  • Work vehicle 100 may include multiple LiDAR sensors arranged at different locations and with
  • a plurality of obstacle sensors 130 shown in FIG. 2 are provided at the front and rear of the cabin 105. Obstacle sensors 130 may be placed at other locations as well. For example, one or more obstacle sensors 130 may be provided at any position on the side, front, and rear of the vehicle body 101 . Obstacle sensors 130 may include, for example, laser scanners or ultrasonic sonars. The obstacle sensor 130 is used to detect surrounding obstacles and stop or detour the work vehicle 100 during automatic travel.
  • a LiDAR sensor 140 may be utilized as one of the obstacle sensors 130 .
  • the work vehicle 100 further includes a GNSS unit 110.
  • GNSS unit 110 includes a GNSS receiver.
  • the GNSS receiver may include an antenna that receives signals from GNSS satellites and a processor that calculates the position of work vehicle 100 based on the signals received by the antenna.
  • the GNSS unit 110 receives satellite signals transmitted from multiple GNSS satellites and performs positioning based on the satellite signals.
  • GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System, eg, Michibiki), GLONASS, Galileo, and BeiDou.
  • GPS Global Positioning System
  • QZSS Quadasi-Zenith Satellite System
  • GLONASS Galileo
  • BeiDou BeiDou.
  • the GNSS unit 110 may include an inertial measurement unit (IMU). Signals from the IMU can be used to supplement the location data.
  • the IMU can measure the tilt and minute movements of work vehicle 100 . Positioning performance can be improved by using data obtained by the IMU to supplement position data based on satellite signals.
  • the control device of the work vehicle 100 may use sensing data acquired by a sensing device such as the camera 120 or the LiDAR sensor 140 for positioning in addition to the positioning results obtained by the GNSS unit 110 .
  • a sensing device such as the camera 120 or the LiDAR sensor 140
  • the control device of the work vehicle 100 may use sensing data acquired by a sensing device such as the camera 120 or the LiDAR sensor 140 for positioning in addition to the positioning results obtained by the GNSS unit 110 .
  • a sensing device such as the camera 120 or the LiDAR sensor 140 for positioning in addition to the positioning results obtained by the GNSS unit 110 .
  • a feature functioning as a feature point in the environment in which the work vehicle 100 travels such as a farm road, a forest road, a general road, or an orchard
  • data acquired by the camera 120 or the LiDAR sensor 140 and pre-stored Based on the environment map stored in the device, the position and orientation of work vehicle 100 can be estimated with high accuracy.
  • the prime mover 102 may be, for example, a diesel engine.
  • An electric motor may be used instead of the diesel engine.
  • the transmission 103 can change the propulsive force and the moving speed of the work vehicle 100 by shifting.
  • the transmission 103 can also switch between forward and reverse travel of the work vehicle 100 .
  • the steering device 106 includes a steering wheel, a steering shaft connected to the steering wheel, and a power steering device that assists steering by the steering wheel.
  • the front wheels 104F are steerable wheels, and the running direction of the work vehicle 100 can be changed by changing the turning angle (also referred to as the "steering angle") of the front wheels 104F.
  • the steering angle of the front wheels 104F can be changed by operating the steering wheel.
  • the power steering system includes a hydraulic system or an electric motor that supplies an assist force for changing the steering angle of the front wheels 104F. When automatic steering is performed, the steering angle is automatically adjusted by the power of the hydraulic system or the electric motor under the control of the control device arranged in the work vehicle 100 .
  • a coupling device 108 is provided at the rear portion of the vehicle body 101 .
  • the coupling device 108 includes, for example, a three-point support device (also called a "three-point link” or “three-point hitch"), a PTO (Power Take Off) shaft, a universal joint, and a communication cable.
  • the implement 300 can be attached to and detached from the work vehicle 100 by the coupling device 108 .
  • the coupling device 108 can change the position or posture of the implement 300 by elevating the three-point link by, for example, a hydraulic device.
  • power can be sent from the work vehicle 100 to the implement 300 via the universal joint.
  • the work vehicle 100 can cause the implement 300 to perform a predetermined work while pulling the implement 300 .
  • the connecting device may be provided in front of the vehicle body 101 . In that case, implements can be connected to the front of work vehicle 100 .
  • the implement 300 shown in FIG. 2 is a rotary tiller, but the implement 300 is not limited to the rotary tiller. Any implement such as seeder, spreader, transplanter, mower, rake, baler, harvester, sprayer, or harrow. It can be used by connecting to the work vehicle 100 .
  • the work vehicle 100 shown in FIG. 2 is capable of manned operation, but may only be compatible with unmanned operation. In that case, components required only for manned operation, such as cabin 105 , steering device 106 and driver's seat 107 , may not be provided in work vehicle 100 .
  • the unmanned work vehicle 100 can travel autonomously or remotely controlled by a user.
  • FIG. 3 is a block diagram showing a configuration example of the work vehicle 100 and the implement 300. As shown in FIG. Work vehicle 100 and implement 300 may communicate with each other via a communication cable included in coupling device 108 . Work vehicle 100 can communicate with terminal device 400 and management device 600 via network 80 .
  • the GNSS unit 110 comprises a GNSS receiver 111 , an RTK receiver 112 , an inertial measurement unit (IMU) 115 and processing circuitry 116 .
  • the sensor group 150 includes a steering wheel sensor 152 , a steering angle sensor 154 and an axle sensor 156 .
  • Control system 160 includes storage device 170 and control device 180 .
  • the controller 180 comprises a plurality of electronic control units (ECUs) 181-186.
  • the implement 300 includes a drive device 340 , a control device 380 and a communication device 390 . Note that FIG. 3 shows constituent elements that are relatively highly relevant to the operation of automatic driving by the work vehicle 100, and illustration of other constituent elements is omitted.
  • the GNSS receiver 111 in the GNSS unit 110 receives satellite signals transmitted from multiple GNSS satellites and generates GNSS data based on the satellite signals.
  • GNSS data is generated in a predetermined format, eg, NMEA-0183 format.
  • GNSS data may include, for example, values indicating the identification number, elevation, azimuth, and received strength of each satellite from which the satellite signal was received.
  • the GNSS unit 110 shown in FIG. 3 performs positioning of the work vehicle 100 using RTK (Real Time Kinematic)-GNSS.
  • FIG. 4 is a conceptual diagram showing an example of the work vehicle 100 that performs positioning by RTK-GNSS. Positioning by RTK-GNSS uses correction signals transmitted from the reference station 60 in addition to satellite signals transmitted from a plurality of GNSS satellites 50 .
  • the reference station 60 can be installed near the field where the work vehicle 100 travels (for example, within 10 km from the work vehicle 100).
  • the reference station 60 generates a correction signal, for example in RTCM format, based on the satellite signals received from the plurality of GNSS satellites 50 and transmits it to the GNSS unit 110 .
  • RTK receiver 112 includes an antenna and modem to receive correction signals transmitted from reference station 60 .
  • the processing circuit 116 of the GNSS unit 110 corrects the positioning result by the GNSS receiver 111 based on the correction signal.
  • RTK-GNSS it is possible to perform positioning with an accuracy of, for example, an error of several centimeters.
  • Location information including latitude, longitude and altitude information, is obtained through RTK-GNSS high-precision positioning.
  • the GNSS unit 110 calculates the position of the work vehicle 100, for example, at a frequency of about 1 to 10 times per second.
  • the positioning method is not limited to RTK-GNSS, and any positioning method (interferometric positioning method, relative positioning method, etc.) that can obtain position information with the required accuracy can be used.
  • positioning may be performed using VRS (Virtual Reference Station) or DGPS (Differential Global Positioning System). If position information with required accuracy can be obtained without using the correction signal transmitted from the reference station 60, the position information may be generated without using the correction signal.
  • GNSS unit 110 may not include RTK receiver 112 .
  • the position of work vehicle 100 is estimated.
  • the position of work vehicle 100 may be estimated by matching data output from LiDAR sensor 140 and/or camera 120 with a highly accurate environmental map.
  • the GNSS unit 110 in this embodiment further includes an IMU 115 .
  • IMU 115 may include a 3-axis accelerometer and a 3-axis gyroscope.
  • the IMU 115 may include an orientation sensor, such as a 3-axis geomagnetic sensor.
  • IMU 115 functions as a motion sensor and can output signals indicating various quantities such as acceleration, speed, displacement, and attitude of work vehicle 100 .
  • Processing circuitry 116 may more accurately estimate the position and orientation of work vehicle 100 based on signals output from IMU 115 in addition to satellite signals and correction signals. Signals output from IMU 115 may be used to correct or impute positions calculated based on satellite signals and correction signals.
  • IMU 115 outputs signals more frequently than GNSS receiver 111 .
  • processing circuitry 116 can measure the position and orientation of work vehicle 100 at a higher frequency (eg, 10 Hz or higher).
  • a higher frequency eg, 10 Hz or higher.
  • IMU 115 may be provided as a separate device from GNSS unit 110 .
  • the camera 120 is an imaging device that captures the environment around the work vehicle 100 .
  • the camera 120 includes an image sensor such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor).
  • Camera 120 may also include an optical system, including one or more lenses, and signal processing circuitry.
  • the camera 120 captures an image of the environment around the work vehicle 100 while the work vehicle 100 is traveling, and generates image (for example, moving image) data.
  • the camera 120 can capture moving images at a frame rate of 3 frames per second (fps) or higher, for example.
  • the image generated by the camera 120 can be used, for example, when a remote monitor uses the terminal device 400 to check the environment around the work vehicle 100 .
  • the images generated by camera 120 may be used for positioning or obstacle detection.
  • a plurality of cameras 120 may be provided at different positions on work vehicle 100, or a single camera may be provided. There may be separate visible cameras for generating visible light images and infrared cameras for generating infrared images. Both visible and infrared cameras may be provided as cameras for generating images for surveillance. Infrared cameras can also be used to detect obstacles at night.
  • the obstacle sensor 130 detects objects existing around the work vehicle 100 .
  • Obstacle sensors 130 may include, for example, laser scanners or ultrasonic sonars. Obstacle sensor 130 outputs a signal indicating the presence of an obstacle when an object is present closer than a predetermined distance from obstacle sensor 130 .
  • a plurality of obstacle sensors 130 may be provided at different positions on work vehicle 100 . For example, multiple laser scanners and multiple ultrasonic sonars may be placed at different locations on work vehicle 100 . By providing such many obstacle sensors 130, blind spots in monitoring obstacles around the work vehicle 100 can be reduced.
  • the steering wheel sensor 152 measures the rotation angle of the steering wheel of the work vehicle 100.
  • the steering angle sensor 154 measures the steering angle of the front wheels 104F, which are steered wheels. Measured values by the steering wheel sensor 152 and the steering angle sensor 154 are used for steering control by the controller 180 .
  • the axle sensor 156 measures the rotational speed of the axle connected to the wheel 104, that is, the number of revolutions per unit time.
  • Axle sensor 156 can be, for example, a sensor utilizing a magnetoresistive element (MR), a Hall element, or an electromagnetic pickup.
  • the axle sensor 156 outputs, for example, a numerical value indicating the number of rotations per minute (unit: rpm) of the axle.
  • Axle sensors 156 are used to measure the speed of work vehicle 100 .
  • the drive device 240 includes various devices necessary for running the work vehicle 100 and driving the implements 300, such as the prime mover 102, the transmission device 103, the steering device 106, and the coupling device 108 described above.
  • Prime mover 102 may comprise an internal combustion engine, such as a diesel engine, for example.
  • Drive system 240 may include an electric motor for traction instead of or in addition to the internal combustion engine.
  • the buzzer 220 is an audio output device that emits a warning sound to notify an abnormality. Buzzer 220 emits a warning sound when an obstacle is detected, for example, during automatic driving. Buzzer 220 is controlled by controller 180 .
  • the storage device 170 includes one or more storage media such as flash memory or magnetic disk.
  • Storage device 170 stores various data generated by GNSS unit 110 , camera 120 , obstacle sensor 130 , LiDAR sensor 140 , sensor group 150 , and control device 180 .
  • the data stored in storage device 170 may include map data (environmental map) of the environment in which work vehicle 100 travels and data of a global route (target route) for automatic driving.
  • the environment map includes information of a plurality of farm fields where work vehicle 100 performs farm work and roads around the fields.
  • the environment map and target route may be generated by a processor in management device 600 .
  • the control device 180 in this embodiment has a function of generating or editing an environment map and a target route.
  • Control device 180 can edit the environment map and target route acquired from management device 600 according to the traveling environment of work vehicle 100 .
  • the storage device 170 also stores work plan data received by the communication device 190 from the management device 600 .
  • a work plan includes information about a plurality of farm tasks that work vehicle 100 will perform over a plurality of work days.
  • the work plan may be, for example, work schedule data including information on the scheduled time of each farm work to be performed by the work vehicle 100 on each work day.
  • the storage device 170 also stores a computer program that causes each ECU in the control device 180 to execute various operations described later.
  • Such a computer program can be provided to work vehicle 100 via a storage medium (such as a semiconductor memory or an optical disk) or an electric communication line (such as the Internet).
  • Such computer programs may be sold as commercial software.
  • the control device 180 includes multiple ECUs.
  • the plurality of ECUs include, for example, an ECU 181 for speed control, an ECU 182 for steering control, an ECU 183 for implement control, an ECU 184 for automatic driving control, an ECU 185 for route generation, and an ECU 186 for map generation.
  • the ECU 181 controls the speed of the work vehicle 100 by controlling the prime mover 102, the transmission 103, and the brakes included in the drive device 240.
  • the ECU 182 controls the steering of the work vehicle 100 by controlling the hydraulic system or the electric motor included in the steering system 106 based on the measurement value of the steering wheel sensor 152 .
  • the ECU 183 controls the operations of the three-point link and the PTO shaft included in the coupling device 108 in order to cause the implement 300 to perform desired operations. ECU 183 also generates signals that control the operation of implement 300 and transmits the signals from communication device 190 to implement 300 .
  • the ECU 184 performs calculations and controls for realizing automatic driving based on data output from the GNSS unit 110, the camera 120, the obstacle sensor 130, the LiDAR sensor 140, and the sensor group 150. For example, ECU 184 identifies the position of work vehicle 100 based on data output from at least one of GNSS unit 110 , camera 120 , and LiDAR sensor 140 . Within the field, ECU 184 may determine the position of work vehicle 100 based solely on data output from GNSS unit 110 . ECU 184 may estimate or correct the position of work vehicle 100 based on data acquired by camera 120 or LiDAR sensor 140 . By using the data acquired by the camera 120 or the LiDAR sensor 140, the accuracy of positioning can be further improved.
  • ECU 184 estimates the position of work vehicle 100 using data output from LiDAR sensor 140 or camera 120 .
  • the ECU 184 may estimate the position of the work vehicle 100 by matching data output from the LiDAR sensor 140 or the camera 120 with an environmental map.
  • ECU 184 performs calculations necessary for work vehicle 100 to travel along the target route or local route based on the estimated position of work vehicle 100 .
  • the ECU 184 sends a speed change command to the ECU 181 and a steering angle change command to the ECU 182 .
  • ECU 181 changes the speed of work vehicle 100 by controlling prime mover 102, transmission 103, or brakes in response to speed change commands.
  • the ECU 182 changes the steering angle by controlling the steering device 106 in response to the command to change the steering angle.
  • the ECU 185 sequentially generates local routes that can avoid obstacles while the work vehicle 100 is traveling along the target route. For example, the ECU 185 recognizes farm roads and obstacles existing around the work vehicle 100 based on data output from the camera 120 , the obstacle sensor 130 , and the LiDAR sensor 140 while the work vehicle 100 is traveling. The ECU 185 generates a local route on the farm road to avoid the recognized obstacles.
  • the ECU 185 may have a function of global route design instead of the management device 600 . In that case, the ECU 185 determines the destination of the work vehicle 100 based on the work plan stored in the storage device 170, and determines the target route from the start point of movement of the work vehicle 100 to the destination point. Based on the environmental map containing the road information stored in the storage device 170, the ECU 185 can create, for example, a route that can reach the destination in the shortest time as a target route.
  • the ECU 186 creates or edits a map of the environment in which the work vehicle 100 travels.
  • an environment map generated by an external device such as management device 600 is transmitted to work vehicle 100 and recorded in storage device 170, but ECU 186 can instead generate or edit the environment map. .
  • An environment map may be generated based on sensor data output from the LiDAR sensor 140 .
  • the ECU 186 sequentially generates three-dimensional point cloud data based on sensor data output from the LiDAR sensor 140 while the work vehicle 100 is running.
  • the ECU 186 can generate an environment map by connecting the sequentially generated point cloud data using an algorithm such as SLAM, for example.
  • the environment map generated in this manner is a highly accurate three-dimensional map and can be used by the ECU 184 for self-position estimation. Based on this 3D map, a 2D map can be generated for use in global route planning.
  • the three-dimensional map used for self-localization and the two-dimensional map used for global route planning are both referred to as "environmental maps.”
  • the ECU 186 further adds various attribute information related to structures, road conditions, road passability, etc. recognized based on the data output from the camera 120 or the LiDAR sensor 140 to the map. can also be edited.
  • control device 180 realizes automatic operation.
  • control device 180 controls drive device 240 based on the measured or estimated position of work vehicle 100 and the target route. Thereby, the control device 180 can cause the work vehicle 100 to travel along the target route.
  • a plurality of ECUs included in the control device 180 can communicate with each other according to a vehicle bus standard such as CAN (Controller Area Network). Instead of CAN, a higher-speed communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • CAN Controller Area Network
  • a higher-speed communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • An on-board computer that integrates at least some functions of the ECUs 181 to 186 may be provided.
  • the control device 180 may include ECUs other than the ECUs 181 to 186, and an arbitrary number of ECUs may be provided according to functions.
  • Each ECU includes processing circuitry that includes one or more processors.
  • the communication device 190 is a device including circuits for communicating with the implement 300 , the terminal device 400 and the management device 600 .
  • Communication device 190 includes circuitry for transmitting and receiving signals conforming to the ISOBUS standard, such as ISOBUS-TIM, to and from communication device 390 of implement 300 .
  • the implement 300 can be caused to perform a desired operation, or information can be obtained from the implement 300 .
  • Communication device 190 may further include an antenna and communication circuitry for transmitting and receiving signals over network 80 to and from respective communication devices of terminal device 400 and management device 600 .
  • Network 80 may include, for example, cellular mobile communication networks such as 3G, 4G or 5G and the Internet.
  • the communication device 190 may have a function of communicating with a mobile terminal used by a supervisor near the work vehicle 100 .
  • Communication with such mobile terminals is based on any wireless communication standard, such as Wi-Fi (registered trademark), cellular mobile communication such as 3G, 4G or 5G, or Bluetooth (registered trademark).
  • Wi-Fi registered trademark
  • cellular mobile communication such as 3G, 4G or 5G
  • Bluetooth registered trademark
  • the operation terminal 200 is a terminal for the user to execute operations related to the running of the work vehicle 100 and the operation of the implement 300, and is also called a virtual terminal (VT).
  • Operation terminal 200 may include a display device such as a touch screen and/or one or more buttons.
  • the display device can be a display such as a liquid crystal or an organic light emitting diode (OLED), for example.
  • OLED organic light emitting diode
  • the operation terminal 200 the user can perform various operations such as switching the automatic driving mode on/off, recording or editing an environment map, setting a target route, and switching the implement 300 on/off. can be executed. At least part of these operations can also be realized by operating the operation switch group 210 .
  • Operation terminal 200 may be configured to be removable from work vehicle 100 .
  • a user located away from work vehicle 100 may operate operation terminal 200 that has been removed to control the operation of work vehicle 100 .
  • the user may control the operation of work vehicle 100 by operating a computer, such as terminal device 400 , in which necessary application software is installed, instead of operating terminal 200 .
  • FIG. 5 is a diagram showing an example of the operation terminal 200 and the operation switch group 210 provided inside the cabin 105.
  • FIG. Inside the cabin 105, an operation switch group 210 including a plurality of switches that can be operated by the user is arranged.
  • the operation switch group 210 includes, for example, a switch for selecting the gear stage of the main transmission or the sub-transmission, a switch for switching between the automatic driving mode and the manual driving mode, a switch for switching between forward and reverse, and an implement.
  • a switch or the like for raising or lowering 300 may be included. Note that if the work vehicle 100 only operates unmanned and does not have a function of manned operation, the work vehicle 100 need not include the operation switch group 210 .
  • the driving device 340 in the implement 300 shown in FIG. 3 performs operations necessary for the implement 300 to perform a predetermined work.
  • Drive device 340 includes a device, such as a hydraulic device, an electric motor, or a pump, depending on the application of implement 300 .
  • Controller 380 controls the operation of drive 340 .
  • Control device 380 causes drive device 340 to perform various operations in response to signals transmitted from work vehicle 100 via communication device 390 .
  • a signal corresponding to the state of the implement 300 can also be transmitted from the communication device 390 to the work vehicle 100 .
  • FIG. 6 is a block diagram illustrating a schematic hardware configuration of the management device 600 and the terminal device 400. As shown in FIG. 6
  • the management device 600 includes a storage device 650 , a processor 660 , a ROM (Read Only Memory) 670 , a RAM (Random Access Memory) 680 and a communication device 690 . These components are communicatively connected to each other via a bus.
  • the management device 600 can function as a cloud server that manages the schedule of agricultural work in the field performed by the work vehicle 100 and utilizes managed data to support agriculture.
  • the user can use the terminal device 400 to input information necessary for creating a work plan and upload the information to the management device 600 via the network 80 . Based on the information, the management device 600 can create a farm work schedule, that is, a work plan.
  • Management device 600 is also capable of generating or editing environmental maps and global route planning for work vehicle 100 .
  • the environment map may be distributed from a computer outside the management device 600 .
  • the communication device 690 is a communication module for communicating with the work vehicle 100 and the terminal device 400 via the network 80.
  • the communication device 690 can perform wired communication conforming to a communication standard such as IEEE1394 (registered trademark) or Ethernet (registered trademark), for example.
  • the communication device 690 may perform wireless communication conforming to the Bluetooth® standard or Wi-Fi standard, or cellular mobile communication such as 3G, 4G or 5G.
  • the processor 660 may be, for example, a semiconductor integrated circuit including a central processing unit (CPU).
  • Processor 660 may be implemented by a microprocessor or microcontroller.
  • the processor 660 is an FPGA (Field Programmable Gate Array) equipped with a CPU, a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), an ASSP (Application Specific Standard Product), or selected from these circuits. It can also be realized by a combination of two or more circuits.
  • the processor 660 sequentially executes a computer program describing a group of instructions for executing at least one process stored in the ROM 670 to achieve desired processes.
  • the ROM 670 is, for example, a writable memory (eg PROM), a rewritable memory (eg flash memory), or a read-only memory.
  • ROM 670 stores programs that control the operation of processor 660 .
  • the ROM 670 does not have to be a single storage medium, and may be a collection of multiple storage media. Part of the collection of multiple storage media may be removable memory.
  • the RAM 680 provides a work area for temporarily expanding the control program stored in the ROM 670 at boot time.
  • the RAM 680 does not have to be a single storage medium, and may be a collection of multiple storage media.
  • the storage device 650 mainly functions as database storage.
  • Storage device 650 may be, for example, a magnetic storage device or a semiconductor storage device.
  • An example of a magnetic storage device is a hard disk drive (HDD).
  • An example of a semiconductor memory device is a solid state drive (SSD).
  • Storage device 650 may be a device independent of management device 600 .
  • the storage device 650 may be a storage device connected to the management device 600 via the network 80, such as a cloud storage.
  • the terminal device 400 includes an input device 420 , a display device 430 , a storage device 450 , a processor 460 , a ROM 470 , a RAM 480 and a communication device 490 . These components are communicatively connected to each other via a bus.
  • the input device 420 is a device for converting a user's instruction into data and inputting it to the computer.
  • Input device 420 may be, for example, a keyboard, mouse, or touch panel.
  • Display device 430 may be, for example, a liquid crystal display or an organic EL display. Descriptions of the processor 460, the ROM 470, the RAM 480, the storage device 450, and the communication device 490 are the same as those described in the hardware configuration example of the management device 600, and the description thereof will be omitted.
  • the work vehicle 100 in this embodiment can automatically travel both inside and outside the field.
  • the work vehicle 100 drives the implement 300 to perform predetermined farm work while traveling along a preset target route.
  • the work vehicle 100 stops traveling, emits a warning sound from the buzzer 220, and transmits a warning signal to the terminal device 400.
  • Positioning of the work vehicle 100 in the field is performed mainly based on data output from the GNSS unit 110 .
  • the work vehicle 100 automatically travels along a target route set on a farm road or a general road outside the field.
  • the work vehicle 100 travels while performing local route design based on data acquired by the camera 120 or the LiDAR sensor 140 while traveling outside the field.
  • the work vehicle 100 can detect a farm road based on data acquired by the camera 120 or the LiDAR sensor 140 while traveling outside a field, and can travel while generating a local route on the farm road.
  • work vehicle 100 avoids the obstacle or stops on the spot.
  • the position of work vehicle 100 is estimated based on data output from LiDAR sensor 140 or camera 120 in addition to positioning data output from GNSS unit 110 .
  • FIG. 7 is a diagram schematically showing an example of the working vehicle 100 that automatically travels along a target route in a field.
  • the farm field includes a work area 72 where work vehicle 100 performs work using implement 300, and a headland 74 located near the outer periphery of the farm field. Which area of the field on the map corresponds to the work area 72 or the headland 74 can be set in advance by the user.
  • the target paths in this example include a plurality of parallel main paths P1 and a plurality of turning paths P2 connecting the plurality of main paths P1.
  • the main path P1 is located within the working area 72 and the turning path P2 is located within the headland 74 .
  • each main path P1 may include a curved portion.
  • the dashed line in FIG. 7 represents the working width of implement 300 .
  • the working width is preset and recorded in the storage device 170 .
  • the working width can be set and recorded by the user operating the operation terminal 200 or the terminal device 400 . Alternatively, the working width may be automatically recognized and recorded when implement 300 is connected to work vehicle 100 .
  • the intervals between the main paths P1 can be set according to the working width.
  • a target route can be created based on a user's operation before automatic driving is started.
  • the target route can be created, for example, so as to cover the entire work area 72 in the field.
  • the work vehicle 100 automatically travels along a target route as shown in FIG. 7 from a work start point to a work end point while repeating reciprocation. Note that the target route shown in FIG. 7 is merely an example, and the method of determining the target route is arbitrary.
  • control device 180 Next, an example of control during automatic operation in a field by the control device 180 will be described.
  • FIG. 8 is a flowchart showing an example of the steering control operation during automatic driving executed by the control device 180.
  • the control device 180 performs automatic steering by executing the operations of steps S121 to S125 shown in FIG. As for the speed, it is maintained at a preset speed, for example.
  • the control device 180 acquires data indicating the position of the work vehicle 100 generated by the GNSS unit 110 while the work vehicle 100 is traveling (step S121).
  • control device 180 calculates the deviation between the position of work vehicle 100 and the target route (step S122). The deviation represents the distance between the position of work vehicle 100 at that time and the target route.
  • the control device 180 determines whether or not the calculated positional deviation exceeds a preset threshold value (step S123).
  • control device 180 changes the steering angle by changing the control parameters of the steering device included in the drive device 240 so that the deviation becomes smaller. If the deviation does not exceed the threshold in step S123, the operation of step S124 is omitted. In subsequent step S125, control device 180 determines whether or not an operation end command has been received.
  • An operation end command can be issued, for example, when the user instructs to stop the automatic operation by remote control, or when work vehicle 100 reaches the destination. If the command to end the operation has not been issued, the process returns to step S121, and similar operations are executed based on the newly measured position of the work vehicle 100.
  • FIG. The control device 180 repeats the operations of steps S121 to S125 until an operation end command is issued. The above operations are executed by ECUs 182 and 184 in control device 180 .
  • controller 180 controls drive 240 based only on the deviation between the position of work vehicle 100 identified by GNSS unit 110 and the target path, but also takes into account heading deviation. may be controlled. For example, when the azimuth deviation, which is the angular difference between the direction of the work vehicle 100 identified by the GNSS unit 110 and the direction of the target route, exceeds a preset threshold value, the control device 180 drives according to the deviation.
  • a control parameter eg, steering angle
  • FIG. 9A is a diagram showing an example of the work vehicle 100 traveling along the target route P.
  • FIG. 9B is a diagram showing an example of work vehicle 100 at a position shifted to the right from target path P.
  • FIG. 9C is a diagram showing an example of work vehicle 100 at a position shifted to the left from target path P.
  • FIG. 9D is a diagram showing an example of the work vehicle 100 oriented in a direction inclined with respect to the target path P.
  • the pose indicating the position and orientation of work vehicle 100 measured by GNSS unit 110 is expressed as r(x, y, ⁇ ).
  • (x, y) are coordinates representing the position of the reference point of work vehicle 100 in the XY coordinate system, which is a two-dimensional coordinate system fixed to the earth.
  • the reference point of work vehicle 100 is at the position where the GNSS antenna is installed on the cabin, but the position of the reference point is arbitrary.
  • ⁇ is an angle representing the measured orientation of work vehicle 100 .
  • the target path P is parallel to the Y-axis, but in general the target path P is not necessarily parallel to the Y-axis.
  • control device 180 maintains the steering angle and speed of work vehicle 100 without changing.
  • control device 180 steers work vehicle 100 so that the traveling direction of work vehicle 100 leans leftward and approaches path P. change the angle.
  • the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, according to the magnitude of the positional deviation ⁇ x.
  • control device 180 steers so that the traveling direction of work vehicle 100 leans to the right and approaches path P. change the angle. Also in this case, the speed may be changed in addition to the steering angle. The amount of change in the steering angle can be adjusted, for example, according to the magnitude of the positional deviation ⁇ x.
  • control device 180 when work vehicle 100 does not deviate greatly from target path P but is oriented in a different direction from target path P, control device 180 performs steering such that azimuth deviation ⁇ becomes small. change the angle. Also in this case, the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, according to the respective magnitudes of the position deviation ⁇ x and heading deviation ⁇ . For example, the smaller the absolute value of the positional deviation ⁇ x, the larger the amount of change in the steering angle corresponding to the azimuth deviation ⁇ .
  • the absolute value of the positional deviation ⁇ x is large, the steering angle will be greatly changed in order to return to the route P, so the absolute value of the azimuth deviation ⁇ will inevitably become large. Conversely, when the absolute value of the positional deviation ⁇ x is small, it is necessary to make the azimuth deviation ⁇ close to zero. Therefore, it is appropriate to relatively increase the weight (that is, the control gain) of the azimuth deviation ⁇ for determining the steering angle.
  • a control technique such as PID control or MPC control (model predictive control) can be applied to the steering control and speed control of work vehicle 100 .
  • PID control or MPC control model predictive control
  • control device 180 When an obstacle is detected by one or more obstacle sensors 130 during travel, the control device 180 causes the work vehicle 100 to stop. At this time, the buzzer 220 may emit a warning sound or may transmit a warning signal to the terminal device 400 . If obstacle avoidance is possible, controller 180 may control drive 240 to avoid the obstacle.
  • the work vehicle 100 in this embodiment can automatically travel not only inside the field but also outside the field.
  • the control device 180 detects objects (for example, other vehicles, pedestrians, etc.) that are relatively distant from the work vehicle 100 based on data output from the camera 120 or the LiDAR sensor 140. can do.
  • the control device 180 generates a local route to avoid the detected object, and performs speed control and steering control along the local route, thereby realizing automatic driving on the road outside the field.
  • FIG. 10 is a diagram schematically showing an example of a situation in which a plurality of work vehicles 100 are automatically traveling inside a farm field 70 and on roads 76 outside the farm field 70 .
  • the storage device 170 records an environmental map of an area including a plurality of farm fields and roads around them, and a target route.
  • Environmental maps and target routes may be generated by management device 600 or ECU 185 .
  • work vehicle 100 travels on a road, work vehicle 100 moves along a target route while sensing the surroundings using sensing devices such as camera 120 and LiDAR sensor 140 with implement 300 raised. run.
  • the control device 180 sequentially generates local routes and causes the work vehicle 100 to travel along the local routes. As a result, it is possible to automatically travel while avoiding obstacles.
  • the target route may be changed according to the situation.
  • the sensing device of the work vehicle 100 and the control device 180 of the work vehicle 100 in this embodiment cooperate to function as a farm road identification system for the work vehicle 100 .
  • the agricultural road identification system can identify whether the road on which the working vehicle 100 is to travel is a agricultural road.
  • the farm road identification system is mainly used while the working vehicle 100 is automatically traveling outside the field.
  • a farm road identification system can perform actions to identify whether it is a farm road and generate a local route along the farm road.
  • the farm road identification system may identify farm roads while the work vehicle 100 is manually driven outside the field and collect data regarding the location and width of the farm roads. The collected data may be used to generate maps containing detailed information about farm roads.
  • the sensing device of the work vehicle 100 includes multiple cameras 120, LiDAR sensors 140, and multiple obstacle sensors 130, for example, in the example of FIG. Without being limited to this, the sensing device of work vehicle 100 may include at least one of camera 120 , obstacle sensor 130 , and LiDAR sensor 140 . At least one sensing device of the work vehicle 100 can be used as a sensing device in the farm road identification system. As the sensing device of the farm road identification system, an example of using the sensing device provided on the work vehicle 100 is described here, but the sensing device is not limited to this example. For example, a sensing device of an agricultural machine other than the work vehicle 100 or a moving object such as a drone (Unmanned Arial Vehicle: UAV) may be used as the sensing device of the farm road identification system.
  • UAV Unmanned Arial Vehicle
  • the sensing device senses the ground on which the work vehicle 100 travels (for example, the ground located on the traveling direction side of the work vehicle 100) and acquires sensing data related to the ground.
  • This sensing data may be referred to as "first sensing data”.
  • the sensing device senses the environment around the work vehicle 100 and acquires sensing data related to the surrounding environment including features other than the ground.
  • This sensing data may be referred to as "second sensing data”.
  • the first sensing data and the second sensing data may be acquired by the same sensing device, or may be acquired by different sensing devices.
  • the first sensing data may be acquired by the camera 120 and the second sensing data may be acquired by the LiDAR sensor 140, or vice versa.
  • both camera 120 and LiDAR sensor 140 may be used to acquire one or both of the first sensing data and the second sensing data.
  • the first sensing data acquired by camera 120 may include image data of the ground on which work vehicle 100 travels.
  • the first sensing data acquired by LiDAR sensor 140 may include point cloud data of the ground on which work vehicle 100 travels.
  • the second sensing data acquired by sensing by camera 120 may include image data of the environment around work vehicle 100 .
  • the second sensing data obtained by sensing by the LiDAR sensor 140 may include point cloud data of the environment around the work vehicle 100 .
  • the control device 180 of the work vehicle 100 functions as a processing device that identifies whether the road on which the work vehicle 100 is to travel is a farm road based on the first sensing data and the second sensing data.
  • a processing device of the farm road identification system an example in which the control device 180 functions as a processing device of the farm road identification system will be described, but part or all of the processing executed by the control device 180 in the farm road identification system may be executed by another device. good.
  • Such other devices may be any of management device 600 (processor 660), terminal device 400 (processor 460) and operation terminal 200.
  • FIG. For example, if part of the processing performed by the control device 180 is performed by the processor 660 of the management device 600, the combination of the control device 180 and the management device 600 functions as the processing device of the farm road identification system.
  • the route generation ECU 185 of the control device 180 functions as a processing device of the farm road identification system
  • the farm road identification processing may be executed by another ECU of the control device 180.
  • the control device 180 may further have an ECU for identifying whether it is a farm road.
  • the control device 180 acquires information on the transverse profile of the ground on which the work vehicle 100 travels, based on the first sensing data. Control device 180 also acquires information about the environment around work vehicle 100 based on the second sensing data. Information about the cross-sectional profile of the ground on which work vehicle 100 travels may be referred to as "first information”, and information about the environment around work vehicle 100 may be referred to as "second information”.
  • the transverse profile of the ground on which the work vehicle 100 travels refers to the shape of the ground (that is, the ground surface) in a direction that intersects the direction in which the work vehicle 100 travels (hereinafter also referred to as "transverse direction").
  • a transverse profile can be, for example, a graph whose horizontal axis represents position on a scanline in the transverse direction and whose vertical axis represents ground distance (i.e., height or depth) relative to a reference plane, or a table containing such graphical information. can be obtained as data.
  • the "reference plane” is, for example, a horizontal plane, but may be an inclined plane when the ground is inclined as a whole.
  • the distance from the reference surface to the ground is obtained by measuring the position information of the sensing device and the distance from the sensing device to the ground on the scanning line, if the sensing device has ranging capability. information. Examples of sensing devices with such ranging capabilities include depth cameras, LiDAR sensors, and laser interferometers. Also, if the sensing device is a camera that does not have a range finding function, the height or depth of the ground on the scanning line may be estimated from the image acquired by the camera using image processing technology.
  • control device 180 measures (or estimates) the tilt angle of work vehicle 100 or the tilt angle of the sensing device using IMU 115 of work vehicle 100, and uses the tilt angle as the first sensing data.
  • a transverse profile may be obtained by correcting Control device 180 may generate a signal including first information indicating a traverse profile (also referred to as a traverse profile signal), for example, at regular time intervals or each time work vehicle 100 travels a certain distance, and record the signal in storage device 170 . good.
  • the transverse profile does not necessarily have information about the exact height or depth of the ground relative to the reference plane. Depending on the size of the asperities, the transverse profile may also contain information that roughly indicates the size of the asperities, e.g. good.
  • the transverse profile may also include information on the transverse gradient, that is, the gradient of the ground in the direction intersecting the direction in which the work vehicle 100 travels.
  • the cross slope is, for example, the difference in ground level between the right and left edges of the road divided by the width of the road.
  • Each scan line may be divided into a plurality of regions, and the partial cross slope may be determined by dividing the difference in ground height at each end of each region by the width of each region.
  • Control device 180 may detect the width (that is, the length in the transverse direction) of the drivable area of the road on which work vehicle 100 is to travel, based on the first sensing data. Using the area corresponding to the drivable area in each scan line, the cross slope of the drivable area may be determined by dividing the difference in ground height at both ends of the area by the width of the drivable area. .
  • first information relating to the transverse profile of the ground on which work vehicle 100 travels may include data on scanning lines in directions other than the transverse direction.
  • the information is referred to as first information as long as it includes the profile of the ground (ground surface) in the transverse direction.
  • control device 180 may acquire a cross-ground profile each time the work vehicle 100 travels a predetermined distance (eg, 1 meter or more). In that case, control device 180 may cause the sensing device to acquire the first sensing data each time work vehicle 100 travels a predetermined distance.
  • a predetermined distance eg, 1 meter or more
  • controller 180 Based on the first sensing data, controller 180 further determines a longitudinal profile of the ground, that is, the shape of the ground in a direction along the direction in which work vehicle 100 travels, in addition to the transverse profile of the ground. may be obtained.
  • the information about the environment around the work vehicle 100 is information about the environment around the work vehicle 100 that can include features other than the ground.
  • the second information is, for example, information about an object existing around the work vehicle 100 (including, for example, the position and type of the object).
  • control device 180 can obtain the second information by recognizing one or more objects existing around work vehicle 100 based on the second sensing data.
  • Controller 180 may also identify the type of recognized object.
  • Controller 180 may use machine learning for object recognition and object type identification.
  • controller 180 may use an identification technique such as semantic segmentation using convolutional neural networks (CNN) to identify the type of object from second sensing data such as image data.
  • CNN convolutional neural networks
  • the identification algorithm is not limited to a specific one, and any algorithm can be used.
  • the control device 180 identifies whether or not the road on the ground on which the work vehicle 100 travels is a farm road, based on the information on the crossing profile of the ground on which the work vehicle 100 travels and the information on the environment around the work vehicle 100 .
  • Control device 180 determines, for example, whether work vehicle 100 satisfies one or more conditions regarding the crossing profile of the ground on which work vehicle 100 travels and the information regarding the surrounding environment of work vehicle 100, thereby allowing work vehicle 100 to To identify whether a road on the ground to be driven is a farm road or not.
  • the determination condition is determined in advance, and can be recorded, for example, in the storage device 170 of the work vehicle 100, the storage device 650 of the management device 600, the storage device 450 of the terminal device 400, or the like.
  • the determination condition may be set by the user. A specific example of the determination condition will be described later.
  • the agricultural road identification system in this embodiment can identify whether or not the road on which the agricultural machine is to travel is a farm road based on sensing data of the ground on which the agricultural machine travels and sensing data of the environment around the agricultural machine. Therefore, it is possible to identify whether the road on which the agricultural machine is to travel is a farm road or not in various environments. For example, even if information about the road type of the road cannot be obtained from the environmental map or the intelligent transportation system, it is possible to determine whether the road is a farm road using sensing data of the ground on which the agricultural machine travels and the environment around the agricultural machine. It is possible to identify whether or not Since it is possible to identify whether the road is a farm road or not in various environments, the automatic driving of the agricultural machine can be performed more smoothly. "Distinguishing whether or not it is a farm road” means, for example, determining whether or not it is a road that should be recognized separately from a general road.
  • General roads are roads maintained for general vehicle traffic.
  • Farm roads are roads that are mainly used for agricultural purposes. Farm roads are sometimes broadly classified into farm roads within fields and basic farm roads. In-field farm roads are farm roads mainly used for agricultural production activities. Including farm roads, etc. Farm roads within fields are, for example, roads that connect fields, roads that connect fields and villages, and fields and agricultural facilities (for example, collection and shipping fields, fruit sorting fields, rice centers, country elevators, compost centers, etc.). Including connecting roads, etc.
  • Basic agricultural roads are basic agricultural roads in rural areas and are mainly used for distribution of agricultural products and agricultural materials. Main agricultural roads include, for example, roads used for the purpose of transporting agricultural products to markets and consumption areas. Basic agricultural roads include, for example, roads connecting agricultural facilities and general roads.
  • the criteria for identifying farm roads as farm roads by the farm road identification system according to the embodiment of the present disclosure can be adjusted as appropriate. In other words, it is not necessary to identify all roads that fall under the above "farm roads” as farm roads. For example, among the above-mentioned "farm roads”, it is preferable to be able to distinguish and recognize farm roads that are not sufficiently maintained compared to general roads, such as unpaved farm roads or narrow farm roads.
  • the agricultural road identification system in this embodiment can adjust the criteria for identifying agricultural roads according to the type of agricultural machine (including the type of implement if the agricultural machine is equipped with implements). It also has the advantage of being able to Alternatively, the farm road identification system could adjust the criteria for farm road identification according to the characteristics of the agricultural machine or implement (eg, width, height, weight, horsepower, etc.).
  • the farm road identification system of the present embodiment utilizes the external features of farm roads, specifically based on information on the crossing profile of the ground on which the agricultural machine travels and information on the surrounding environment of the farm road. Therefore, it is possible to appropriately adjust the criteria for identifying a farm road according to needs.
  • the farm road identification system may be configured so that the user can change the farm road identification criteria by operating the operation terminal 200 or the terminal device 400 .
  • the farm road identification system in this embodiment can be configured to perform operations for identifying farm roads, for example, during local route design.
  • the control device 180 may carry out the local route design and the identification of whether it is a farm road in parallel, or may carry out the identification of whether it is a farm road before the local route design.
  • control device 180 determines that the road on which work vehicle 100 is about to travel is a farm road
  • control device 180 controls work vehicle 100 based on sensing data of the ground on which work vehicle 100 travels and sensing data of the environment around work vehicle 100.
  • 100 local routes may be established.
  • control device 180 determines that the road on which the work vehicle 100 is to travel is a farm road
  • the control device 180 sets a waypoint at an appropriate position (for example, near the center in the transverse direction) on the farm road to create a local route. May be set.
  • control device 180 determines that the road on which work vehicle 100 is about to travel is a farm road
  • control device 180 determines that work vehicle 100 is about to travel based on the sensing data of the ground on which work vehicle 100 travels and/or the crossing profile of the ground.
  • the drivable area of the road (eg the width of the area in the transverse direction) may be detected.
  • the drivable area can be set, for example, by avoiding obstacles on the road.
  • the travelable area may be set by excluding areas in which the work vehicle 100 preferably avoids traveling, such as large unevenness, steps, and mud.
  • Control device 180 may detect ruts formed on the ground (that is, tracks left by wheels) based on sensing data of the ground on which work vehicle 100 travels.
  • a rut is formed in the ground, for example, as a depression extending along the direction in which the road extends. When controller 180 detects a rut, it may set a local path along the rut.
  • the controller 180 compares the distance between the ruts and the distance between the two front wheels 104F, and if the difference between these distances is negligibly small, The local route may be set so that the front wheels 104F run on the ruts, or avoid the ruts if the difference in distance is large.
  • control device 180 determines that the road on which work vehicle 100 is about to travel is a farm road, control device 180 identifies at least one characteristic point of a field entrance, a ditch, and an agricultural facility from sensing data of the environment around work vehicle 100. landmarks may be set on the path of work vehicle 100 using the feature points. The set landmarks can be used for self-localization.
  • the control device 180 may reflect information indicating the result of identifying whether it is a farm road or not on the map. For example, the control device 180 may add to the map attribute information indicating that a specific road in the existing map is a farm road. The controller 180 may also correct the position and width of the farm road in the existing map based on the identified farm road position and width information if the position and width of the farm road in the existing map are inaccurate.
  • the control device 180 may further use information about the degree of vibration of the work vehicle 100 (sometimes referred to as third information) to identify whether it is a farm road.
  • control device 180 controls information about the degree of vibration of work vehicle 100 (for example, the frequency (frequency) characteristics of the vibration waveform, vibration acceleration, etc.) can be obtained.
  • the control device 180 may acquire a vibration waveform from the acceleration sensor of the work vehicle 100 and perform filtering to remove components caused by factors other than unevenness of the ground (for example, acceleration of the work vehicle 100). By performing such filtering, the vibration waveform can be used to evaluate the unevenness of the ground.
  • Machine learning may be used for filtering.
  • control device 180 determines that a road on the ground on which work vehicle 100 travels is a farm road, based on the width and/or length of work vehicle 100, whether or not work vehicle 100 can travel on that road. may be further determined.
  • the work vehicle 100 illustrated here is a tractor to which implements can be attached.
  • control device 180 determines whether work vehicle 100 can travel on the road based on the vehicle width and/or length of the implements that are installed. be able to.
  • the vehicle width and length of work vehicle 100 are recorded in storage device 170 of work vehicle 100, for example.
  • the width and length of implements attached to work vehicle 100 are also recorded in storage device 170 of work vehicle 100, for example. It may be automatically recognized and recorded when the implement is connected to the work vehicle 100 .
  • the control device 180 can change the control method of the work vehicle 100 based on the result of identifying whether the road on which the work vehicle 100 travels is a farm road.
  • the control device 180 may control the driving device 240 by different methods depending on whether the road on which the work vehicle 100 is to travel is identified as a farm road or not. For example, when the road on which work vehicle 100 is to travel is identified as a farm road, control device 180 may reduce the speed of work vehicle 100 compared to when the road is identified as non-farm road.
  • control device 180 determines that the work vehicle 100 cannot travel on that road, it stops the work vehicle 100 from traveling.
  • controller 180 may notify a computer that remotely monitors work vehicle 100 that work vehicle 100 cannot travel that road.
  • controller 180 may send a signal to terminal 400 to notify a user remotely monitoring work vehicle 100 .
  • a user can remotely operate the work vehicle 100 via the terminal device 400, for example.
  • FIG. 11 is a flowchart showing an example of route planning and travel control operations using the agricultural road identification system in this embodiment. In the example of FIG. 11, it is identified whether or not it is a farm road before the local route design.
  • the management device 600 first acquires the map and work plan from the storage device 650 (step S141). Next, the management device 600 performs global route design for the work vehicle 100 by the method described above based on the map and work plan (step S142). Global route design can be performed at any time before work vehicle 100 starts traveling. The global route design may be performed immediately before work vehicle 100 starts running, or may be performed on or before the day before the start of running. Also, the global route may be generated based on information (for example, starting point, destination point, waypoint, etc.) input by the user using the terminal device 400 . Management device 600 transmits data indicating the generated global route to work vehicle 100 . After that, the management device 600 issues a travel instruction to the work vehicle 100 at a predetermined timing.
  • control device 180 of work vehicle 100 controls drive device 240 so that work vehicle 100 starts traveling (step S143).
  • work vehicle 100 starts traveling.
  • the timing to start traveling can be set, for example, to an appropriate timing at which the work vehicle 100 can reach the field by the scheduled start time of the first farm work in each work day indicated by the work plan.
  • the ECU 185 of the control device 180 identifies whether or not the road on which the work vehicle 100 is to travel is a farm road (step S144). When it is determined that the road is a farm road, the ECU 185 of the control device 180 determines whether or not the road is drivable (step S145).
  • the ECU 185 of the control device 180 performs local route design for avoiding collisions with obstacles by a method described later (step S146).
  • step S144 when it is determined that the road is not a farm road, local route design (step S146) may be performed without determining whether or not it is possible to travel (step S145).
  • step S145 If no obstacle is detected, the ECU 185 generates a local path substantially parallel to the global path, and if an obstacle is detected, the ECU 185 generates a local path that can avoid the obstacle. Subsequently, the ECU 184 determines whether or not to terminate the travel of the work vehicle 100 (step S147).
  • ECU 184 stops work vehicle 100 (step S148).
  • the ECU 184 also stops the work vehicle 100 when it is determined that it is not drivable (step S148). If no obstacle is detected, or if a local route capable of avoiding the obstacle can be generated, the process returns to step S143. The action is repeated.
  • the control device 180 may, at a predetermined timing, identify whether the road on which the work vehicle 100 is to travel is a farm road. For example, the control device 180 acquires a vibration waveform from the acceleration sensor of the work vehicle 100, performs filtering to remove components (for example, acceleration of the work vehicle 100) caused by factors other than unevenness of the ground, and obtains vibrations. The degree of vibration (frequency characteristics of vibration, etc.) may be evaluated from the waveform. Control device 180 determines whether or not an index value representing the degree of vibration is greater than a predetermined value, and triggers work vehicle 100 to travel when the degree of vibration is greater than the predetermined value. It may be determined whether the road to be used is a farm road or not.
  • farm road identification system is not limited to the example in FIG.
  • a work plan may not be used in setting global routes.
  • the farm road identification system can also be used to create a map that includes information on whether it is a farm road or not.
  • FIG. 12 is a flow chart showing an example of a method for identifying whether a road is a farm road or not.
  • control device 180 controls that information (first information) about the crossing profile of the ground on which work vehicle 100 travels satisfies at least one first condition, and information about the environment around work vehicle 100 (second information) satisfies at least one second condition, it is determined that the road on which the work vehicle 100 is going to travel is a farm road.
  • the control device 180 acquires first information and second information (step S151).
  • the control device 180 determines whether or not the first information satisfies the first condition (step S152).
  • the control device 180 determines whether or not the second information satisfies the second condition (step S153). When it is determined that the second information satisfies the second condition, it is determined to be a farm road (step S154). When it is determined that the first information does not satisfy the first condition and when it is determined that the second information does not satisfy the second condition, the control device 180 determines that the road is not a farm road (step S155).
  • control device 180 may acquire the second information only when it is determined that the first information satisfies the first condition, without being limited to the example of FIG.
  • the order of determining whether the first information satisfies the first condition (step S152) and determining whether the second information satisfies the second condition (step S153) may be reversed.
  • FIGS. 13A and 13B are diagrams showing monochrome images corresponding to examples of images acquired by camera 120 of work vehicle 100.
  • FIG. These figures illustrate images including the ground on which work vehicle 100 travels and the environment around work vehicle 100 .
  • the control device 180 can identify farm roads, for example, according to determination conditions exemplified below. The determination conditions exemplified below can also be used in combination.
  • the first condition includes, for example, a condition that reflects that a rut extending along the direction in which the road extends is formed on the ground on which the work vehicle 100 travels.
  • two ruts 24 are formed extending along the direction in which the road extends.
  • the two ruts 24 run substantially parallel to each other.
  • a ridge may be formed extending along the direction in which the road extends.
  • Ruts may be formed on unpaved farm roads as in the example of FIGS. 13A and 13B.
  • grass may grow on or along the ridge between two ruts.
  • Such ruts can be detected as one of the characteristics of a farm road and used as a condition for identifying whether it is a farm road.
  • the first condition includes, for example, a condition that a portion indicating a recess is included in a corresponding position of a plurality of continuous transverse profiles.
  • the first condition may include, for example, that a plurality of consecutive transverse profiles contain portions exhibiting two recesses at corresponding locations.
  • controller 180 may further determine whether the detected depressions are classified as ruts. Image data of the ground, for example, can be used to determine whether or not the depression is classified as a rut.
  • the first condition may further include a condition that a convex portion is formed between two concave portions.
  • the first condition may further include a condition that grass grows on or along the convex portion.
  • Grass detection may be performed, for example, by detecting green pixels using the RGB values of the color image data of the ground captured by camera 120 .
  • the RGB color space may be converted to the HSV color space, and the HSV color space may be used to detect green pixels.
  • the HSV color space is a color space made up of three components: Hue, Saturation, and Value. When detecting green pixels, the hue range may be set to a range of 30 to 90, for example.
  • the first condition may include, for example, a condition that the gradient (inclination) of the ground in the direction intersecting the direction in which the road extends is greater than a predetermined value.
  • a predetermined value For example, as in the example of FIG. 13B, when there is a forest 26 on one side of the road, the road may have a large slope in the direction intersecting the extending direction of the road.
  • the first condition includes, for example, that the slope of the transverse profile of the ground is greater than a predetermined value.
  • the first condition may include conditions related to road roughness.
  • IRI International Roughness Index
  • Unpaved farm roads are considered to have greater unevenness in the longitudinal direction than general roads.
  • the controller 180 may acquire a longitudinal profile of the road and determine the IRI from the longitudinal profile to evaluate the degree of unevenness (roughness) of the road.
  • the first condition may include a condition that the degree of unevenness of the road is greater than a predetermined value.
  • the second condition includes, for example, the condition that at least one of a group consisting of a field, a furrow, a forest, and plants exists adjacent to the road on both sides or one side of the road.
  • the presence of any one of fields, footpaths, forests, and plants adjacent to a road is detected as one of the characteristics of a farm road, and used as one of the conditions for identifying whether or not it is a farm road.
  • farm fields 22 exist on both sides of the road and adjacent to the road
  • farm fields 22 exist on one side of the road adjacent to the road.
  • the control device 180 detects the road from sensing data acquired by sensing the environment around the work vehicle 100, and recognizes and recognizes objects existing on both sides or one side of the road adjacent to the road. identify the type of object
  • 13C, 13D, and 13E are plan views schematically showing an example of how the work vehicle 100 automatically travels on the road 20 outside the field while using the farm road identification system according to the present embodiment.
  • the method of identifying whether it is a farm road is not limited to the above examples. Another example of a method for identifying whether a road is a farm road will be described with reference to FIGS. 13E and 13F.
  • FIG. 13F is a flow chart showing another example of a method of identifying whether it is a farm road. Differences from the flowchart of FIG. 12 will be mainly described.
  • two ruts 24 extending along the direction in which the road 20 extends are formed in sections A10, A11 and A12 of the road 20 that are continuous with each other.
  • the control device 180 determines that the first information satisfies the first condition and the second information satisfies the second condition, road 20 is determined to be a farm road.
  • the section A11 following the section A10, adjacent to the road 20 there are no farm fields, footpaths, forests, or plants on either side of the road 20.
  • the control device 180 refers to the distance traveled by the work vehicle 100 after it was last determined that the road 20 was a farm road in the section A10 before the section A11 (step S153a), and the referenced distance is predetermined. It is determined whether the distance is less than the predetermined distance (for example, 100 m or less) (step S153b), and if it is less than the predetermined distance, it is determined that the road 20 is a farm road.
  • the predetermined distance for example, 100 m or less
  • control device 180 shifts from a state in which the first information satisfies the first condition and the second information satisfies the second condition to a state in which the first information satisfies the first condition and the second information satisfies the second condition. If the second information does not satisfy the second condition and the distance traveled by the work vehicle 100 is less than or equal to a predetermined distance, the road is determined to be a farm road.
  • Management device 600 generates a global route, and information on the generated global route is transmitted to work vehicle 100 and stored in storage device 170 .
  • the ECU 184 that performs automatic operation control controls the ECUs 181 and 182 so that the work vehicle 100 travels along the global route. As a result, work vehicle 100 starts traveling along the global route.
  • ECU 185 in control device 180 sequentially generates local routes capable of avoiding obstacles while work vehicle 100 is traveling. While work vehicle 100 is traveling, ECU 185 generates a local route based on sensing data acquired by sensing devices (obstacle sensor 130, LiDAR sensor 140, camera 120, etc.) provided in work vehicle 100. do. A local route is defined by multiple waypoints along a portion of the global route. Based on the sensing data, ECU 185 determines whether there is an obstacle on or near the path of work vehicle 100 .
  • the ECU 185 sets multiple waypoints to generate a local route to avoid the obstacles. If no obstacles are present, the ECU 185 generates a local path approximately parallel to the global path. Information indicating the generated local route is sent to the ECU 184 for automatic operation control. ECU 184 controls ECU 181 and ECU 182 so that work vehicle 100 travels along a local route. As a result, work vehicle 100 can travel while avoiding obstacles. Note that when there is a traffic light on the road on which the work vehicle 100 travels, the work vehicle 100 recognizes the traffic light based on the image captured by the camera 120, for example, stops when the light is red, and starts when the light is green. you can go
  • FIG. 14 is a diagram showing an example of global routes and local routes generated in an environment with obstacles.
  • a global route 30 is illustrated by dotted line arrows, and a local route 32 that is sequentially generated during travel is illustrated by solid line arrows.
  • a global path 30 is defined by a plurality of waypoints 30p.
  • the local path 32 is defined by a plurality of waypoints 32p set at shorter intervals than the waypoints 30p.
  • Each waypoint for example, has position and orientation information.
  • the management device 600 generates the global route 30 by setting multiple waypoints 30p at multiple locations including intersections of the road 76 .
  • the distance between the waypoints 30p may be relatively long, for example, several meters to several tens of meters.
  • the ECU 185 generates the local route 32 by setting a plurality of waypoints 32p based on the sensing data output from the sensing device while the work vehicle 100 is traveling.
  • the spacing of waypoints 32p on local path 32 is less than the spacing of waypoints 30p on global path 30 .
  • the distance between the waypoints 32p can be, for example, on the order of tens of centimeters (cm) to several meters (m).
  • the local route 32 is generated within a relatively narrow range (for example, a range of several meters) starting from the position of the work vehicle 100 .
  • FIG. 14 illustrates a series of local paths 32 generated while work vehicle 100 travels along road 76 between fields 70 and makes a left turn at an intersection.
  • the ECU 185 repeats the operation of generating a local route from the position of the work vehicle 100 estimated by the ECU 184 to a point several meters ahead, for example.
  • the work vehicle 100 travels along a local route that is sequentially generated.
  • FIG. 14 illustrates an example of a sector-shaped range sensed by a sensing device such as the camera 120, the obstacle sensor 130, or the LiDAR sensor 140 mounted on the work vehicle 100.
  • the ECU 185 generates the local route 32 to avoid the detected obstacles 40 based on the sensing data.
  • the ECU 185 detects the possibility that the work vehicle 100 will collide with the obstacle 40 based on, for example, the sensing data and the width of the work vehicle 100 (including the width of the implement if the implement is attached).
  • the ECU 185 sets a plurality of waypoints 32 p to avoid the obstacle 40 and generates the local route 32 .
  • the ECU 185 recognizes not only the presence or absence of obstacles 40 but also the state of the road surface (for example, muddy, depression, etc.) based on sensing data. Local paths 32 may be generated to avoid. Work vehicle 100 travels along local route 32 . If the obstacle 40 cannot be avoided no matter how the local route 32 is set, the control device 180 may stop the work vehicle 100 . At this time, the control device 180 may send a warning signal to the terminal device 400 to alert the observer. After stopping, the control device 180 may resume traveling of the work vehicle 100 when it recognizes that the obstacle 40 has moved and the risk of collision has disappeared.
  • the global route is not changed after being generated once until the destination is reached.
  • the global route may be corrected while work vehicle 100 is traveling without being limited to such an example.
  • the ECU 185 detects the state of the road on which the work vehicle 100 is traveling and At least one of vegetation and weather conditions may be recognized, and the global route may be changed if the recognized condition satisfies a predetermined condition.
  • some roads may be difficult to navigate. For example, the road may become muddy due to heavy rain, the road surface may collapse, or the road may become impassable due to an accident or other reasons.
  • ECU 185 detects roads that are difficult to pass based on sensing data acquired while work vehicle 100 is traveling, and changes the route to avoid such roads. may Further, when the route is changed, the ECU 185 may cause the storage device 170 to store the changed route, and transmit the changed route information to the management device 600 . In that case, the management device 600 may adopt the changed route when generating a route to the same field next time. This enables flexible route planning according to changes in the driving environment.
  • the farm road identification system in the above embodiment can be retrofitted to agricultural machines that do not have that function.
  • Such systems can be manufactured and sold independently of agricultural machinery.
  • Computer programs used in such systems may also be manufactured and sold independently of agricultural machinery.
  • the computer program may be provided by being stored in a non-transitory computer-readable storage medium, for example.
  • Computer programs may also be provided by download via telecommunications lines (eg, the Internet).
  • the present disclosure includes the farm road identification system, control system, and agricultural machinery described in the following items.
  • a farm road identification system for automated driving agricultural machinery comprising: acquiring first sensing data by sensing the ground on which the agricultural machine travels; at least one sensing device that senses an environment around the agricultural machine to acquire second sensing data; obtaining first information about a transverse profile of the ground based on the first sensing data; acquiring second information about the surrounding environment based on the second sensing data; and a processing device that identifies whether the road on the ground is a farm road based on the first information and the second information.
  • said at least one sensing device comprises a LiDAR sensor and/or camera;
  • the first sensing data includes point cloud data of the ground acquired by the LiDAR sensor and/or image data of the ground acquired by the camera, Any one of items 1 to 3, wherein the second sensing data includes point cloud data of the surrounding environment acquired by the LiDAR sensor and/or image data of the surrounding environment acquired by the camera.
  • the agricultural machinery that operates automatically can run more smoothly.
  • the agricultural road identification system having the above configuration can be applied to various agricultural machines.
  • the agricultural machine is a tractor to which implements can be attached, When the tractor is equipped with implements and the road is determined to be a farm road, the processing device determines whether the agricultural machine is on the road based on the vehicle width and/or length of the implements. 6.
  • the agricultural road identification system according to any one of items 1 to 5, which determines whether or not it is possible to travel on.
  • the agricultural machinery that operates automatically can run more smoothly.
  • the agricultural road identification system having the above configuration can be applied to various agricultural machines (including implements attached to the agricultural machines).
  • said at least one sensing device comprises a LiDAR sensor and/or camera;
  • the second sensing data includes point cloud data of the surrounding environment acquired by the LiDAR sensor and/or image data of the surrounding environment acquired by the camera,
  • the processing device detects the road from the second sensing data, and is selected from the group consisting of a farm field, a footpath, a forest, and plants adjacent to the road and existing on both sides or one side of the road.
  • Farm road identification system according to item 8, detecting at least one.
  • the processing device determines that the first condition is satisfied when a rut formed on the ground and extending along the direction in which the road extends is detected based on the first information.
  • the described farm road identification system determines that the first condition is satisfied when a rut formed on the ground and extending along the direction in which the road extends is detected based on the first information.
  • the processing device detects, based on the first information, that the transverse profile of the ground has a convexity in the center and that the convexity extends along the direction in which the road extends. 4. The farm road identification system according to item 3, wherein the farm road identification system determines that the first condition is satisfied when the first condition is satisfied.
  • the processing device determines that the first condition is satisfied when it is detected that grass is growing on or along the convex portion based on the first information.
  • the described farm road identification system The described farm road identification system.
  • the at least one sensing device includes a camera;
  • the first sensing data includes color image data of the ground acquired by the camera, 13.
  • [Item 15] further comprising a sensor for detecting vibration of the agricultural machine;
  • the processing device acquires third information about the degree of vibration of the agricultural machine based on the signal output from the sensor, and further based on the third information, identifies whether the road is a farm road.
  • a farm road identification system according to any one of items 1 to 14.
  • the processing device determines whether an index value representing the degree of vibration of the agricultural machine is greater than a predetermined value, and if the index value is greater than the predetermined value, identifies whether the road is a farm road. 16. Farm road identification system according to item 15.
  • the processing device detects, from the second sensing data, at least one feature point selected from the group consisting of a field entrance, a ditch, and an agricultural facility, and uses the at least one feature point to detect a path of the agricultural machine. 19.
  • a farm road identification system according to any one of items 1 to 19; and a control device that controls travel of the agricultural machine.
  • the automatic driving agricultural machine can be driven more smoothly on both general roads and farm roads.
  • the technology of the present disclosure can be applied to a farm road identification system for agricultural machines such as tractors, harvesters, rice transplanters, ride-on care machines, vegetable transplanters, lawn mowers, seeders, fertilizers, or agricultural robots. can be done.
  • a farm road identification system according to an embodiment of the present disclosure is used, for example, while an agricultural machine is automatically traveling outside a field.
  • Axle sensor 160 Control system 170 Storage device 180 Control device 181 to 186 ECU 190 Communication device 200 Operation terminal 210 Operation switch group 220 Buzzer 240 Driving device 300 Implement 340 Driving device 380 Control device 390 Communication device 400 Terminal device 420 Input device 430 Display device 450 Storage device 460 Processor 470 ROM 480 RAM 490 Communication device 600... Management device, 650... Storage device, 660... Processor, 670... ROM, 680... RAM, 690... Communication device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

農道識別システムは、自動運転を行う農業機械のための農道識別システムであって、少なくとも１つのセンシング装置と、処理装置とを備える。少なくとも１つのセンシング装置は、農業機械が走行する地面をセンシングして第１センシングデータを取得し、農業機械の周辺の環境をセンシングして第２センシングデータを取得する。処理装置は、第１センシングデータに基づいて地面の横断プロファイルに関する第１情報を取得し、第２センシングデータに基づいて周辺の環境に関する第２情報を取得し、第１情報および第２情報に基づいて、地面にある道が農道か否かを識別する。

Description

農道識別システム、制御システムおよび農業機械
　本開示は、自動運転を行う農業機械のための農道識別システム、そのような農道識別システムを備える制御システム、およびそのような制御システムを備える農業機械に関する。
　農業機械の自動化に向けた研究開発が進められている。例えば、ＧＮＳＳ（Global Navigation Satellite System）などの測位システムを利用して圃場内を自動で走行するトラクタ、コンバイン、および田植機などの作業車両が実用化されている。圃場内だけでなく、圃場外でも自動で走行する作業車両の研究開発も進められている。
　例えば特許文献１は、道路を挟んで互いに離れた２つの圃場間で無人の作業車両を自動走行させるシステムを開示している。特許文献１は、複数の圃場間をつなぐ農道のデータを格納し、農道の通行の可否を判断するシステムも開示している。特許文献２は、４輪駆動車が走行する道路が農道であること等の所定の条件を満たすとき、４輪駆動車の後輪に伝達される駆動力を所定以上にする制御装置を開示している。特許文献２の制御装置は、高度道路交通システムの情報提供サーバに記憶されている道路の種別に関する情報を取得することによって、走行する道路が農道か否か判定する。
特開２０２１－０２９２１８号公報 特開２０２１－１３０４０１号公報
　農業機械が自動運転を行うとき、農業機械が走行しようとする道が農道か否かの識別を多様な環境で行うことができることが求められる。
　本開示は、自動運転を行う農業機械が走行しようとする道が農道か否かを識別することを多様な環境で行うことができるシステムを提供する。
　本開示の一態様による農道識別システムは、自動運転を行う農業機械のための農道識別システムであって、前記農業機械が走行する地面をセンシングして第１センシングデータを取得し、前記農業機械の周辺の環境をセンシングして第２センシングデータを取得する、少なくとも１つのセンシング装置と、前記第１センシングデータに基づいて前記地面の横断プロファイルに関する第１情報を取得し、前記第２センシングデータに基づいて前記周辺の環境に関する第２情報を取得し、前記第１情報および前記第２情報に基づいて、前記地面にある道が農道か否かを識別する、処理装置とを備える。
　本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した二つ以上の機器内に分かれて配置されていてもよい。
　本開示の実施形態によると、自動運転を行う農業機械のためのシステムであって、農業機械が走行しようとする道が農道か否かの識別を多様な環境で行うことができるシステムが提供される。
本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。 作業車両、および作業車両に連結されたインプルメントの例を模式的に示す側面図である。 作業車両およびインプルメントの構成例を示すブロック図である。 ＲＴＫ－ＧＮＳＳによる測位を行う作業車両の例を示す概念図である。 キャビンの内部に設けられる操作端末および操作スイッチ群の例を示す図である。 管理装置および端末装置のハードウェア構成を例示するブロック図である。 圃場内を目標経路に沿って自動で走行する作業車両の例を模式的に示す図である。 自動運転時の操舵制御の動作の例を示すフローチャートである。 目標経路Ｐに沿って走行する作業車両の例を示す図である。 目標経路Ｐから右にシフトした位置にある作業車両の例を示す図である。 目標経路Ｐから左にシフトした位置にある作業車両の例を示す図である。 目標経路Ｐに対して傾斜した方向を向いている作業車両の例を示す図である。 複数の作業車両が圃場の内部および圃場の外側の道を自動走行している状況の例を模式的に示す図である。 農道識別システムを用いた経路計画および走行制御の方法の例を示すフローチャートである。 農道か否かを識別する方法の例を示すフローチャートである。 作業車両のカメラが取得した画像の例に対応するモノクロ画像を示す図である。 作業車両のカメラが取得した画像の例に対応するモノクロ画像を示す図である。 作業車両が農道識別システムを用いながら圃場外を自動で走行している様子の例を模式的に示す平面図である。 作業車両が農道識別システムを用いながら圃場外を自動で走行している様子の例を模式的に示す平面図である。 作業車両が農道識別システムを用いながら圃場外を自動で走行している様子の例を模式的に示す平面図である。 農道か否かを識別する方法の例を示すフローチャートである。 障害物が存在する環境で生成される大域的経路および局所的経路の一例を示す図である。
　（用語の定義）
　本開示において「農業機械」は、農業用途で使用される機械を意味する。農業機械の例は、トラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、および農業用移動ロボットを含む。トラクタのような作業車両が単独で「農業機械」として機能する場合だけでなく、作業車両に装着または牽引される作業機（インプルメント）と作業車両の全体が一つの「農業機械」として機能する場合がある。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う。これらの農作業を「対地作業」または単に「作業」と称することがある。車両型の農業機械が農作業を行いながら走行することを「作業走行」と称することがある。
　「自動運転」は、運転者による手動操作によらず、制御装置の働きによって農業機械の移動を制御することを意味する。自動運転を行う農業機械は「自動運転農機」または「ロボット農機」と呼ばれることがある。自動運転中、農業機械の移動だけでなく、農作業の動作（例えば作業機の動作）も自動で制御されてもよい。農業機械が車両型の機械である場合、自動運転によって農業機械が走行することを「自動走行」と称する。制御装置は、農業機械の移動に必要な操舵、移動速度の調整、移動の開始および停止の少なくとも一つを制御し得る。作業機が装着された作業車両を制御する場合、制御装置は、作業機の昇降、作業機の動作の開始および停止などの動作を制御してもよい。自動運転による移動には、農業機械が所定の経路に沿って目的地に向かう移動のみならず、追尾目標に追従する移動も含まれ得る。自動運転を行う農業機械は、部分的にユーザの指示に基づいて移動してもよい。また、自動運転を行う農業機械は、自動運転モードに加えて、運転者の手動操作によって移動する手動運転モードで動作してもよい。手動によらず、制御装置の働きによって農業機械の操舵を行うことを「自動操舵」と称する。制御装置の一部または全部が農業機械の外部にあってもよい。農業機械の外部にある制御装置と農業機械との間では、制御信号、コマンド、またはデータなどの通信が行われ得る。自動運転を行う農業機械は、人がその農業機械の移動の制御に関与することなく、周囲の環境をセンシングしながら自律的に移動してもよい。自律的な移動が可能な農業機械は、無人で圃場内または圃場外（例えば道路）を走行することができる。自律移動中に、障害物の検出および障害物の回避動作を行ってもよい。
　「作業計画」は、農業機械によって実行される一つ以上の農作業の予定を定めるデータである。作業計画は、例えば、農業機械によって実行される農作業の順序および各農作業が行われる圃場を示す情報を含み得る。作業計画は、各農作業が行われる予定の日および時刻の情報を含んでいてもよい。各農作業が行われる予定の日および時刻の情報を含む作業計画を、特に「作業スケジュール」または単に「スケジュール」と称する。作業スケジュールは、各作業日に行われる各農作業の開始予定時刻および／または終了予定時刻の情報を含み得る。作業計画あるいは作業スケジュールは、農作業ごとに、作業の内容、使用されるインプルメント、および／または、使用される農業資材の種類および分量などの情報を含んでいてもよい。ここで「農業資材」とは、農業機械が行う農作業で使用される物資を意味する。農業資材を単に「資材」と呼ぶことがある。農業資材は、例えば農薬、肥料、種、または苗などの、農作業によって消費される物資を含み得る。作業計画は、農業機械と通信して農作業を管理する処理装置、または農業機械に搭載された処理装置によって作成され得る。処理装置は、例えば、ユーザ（農業経営者または農作業者など）が端末装置を操作して入力した情報に基づいて作業計画を作成することができる。本明細書において、農業機械と通信して農作業を管理する処理装置を「管理装置」と称する。管理装置は、複数の農業機械の農作業を管理してもよい。その場合、管理装置は、複数の農業機械の各々が実行する各農作業に関する情報を含む作業計画を作成してもよい。作業計画は、各農業機械によってダウンロードされ、記憶装置に格納され得る。各農業機械は、作業計画に従って、予定された農作業を実行するために、自動で圃場に向かい、農作業を実行することができる。
　「環境地図」は、農業機械が移動する環境に存在する物の位置または領域を所定の座標系によって表現したデータである。環境地図を単に「地図」または「地図データ」と称することがある。環境地図を規定する座標系は、例えば、地球に対して固定された地理座標系などのワールド座標系であり得る。環境地図は、環境に存在する物について、位置以外の情報（例えば、属性情報その他の情報）を含んでいてもよい。環境地図は、点群地図または格子地図など、さまざまな形式の地図を含む。環境地図を構築する過程で生成または処理される局所地図または部分地図のデータについても、「地図」または「地図データ」と呼ぶ。
　「大域的経路」（global path）は、経路計画を行う処理装置によって生成される、農業機械が自動で移動するときの出発地点から目的地点までを結ぶ経路のデータを意味する。大域的経路を生成することを大域的経路計画（global path planning）または大域的経路設計と称する。以下の説明において、大域的経路を「目標経路」または単に「経路」とも称する。大域的経路は、例えば、農業機械が通過すべき複数の点の座標値によって規定され得る。農業機械が通過すべき点を「ウェイポイント」と称し、隣り合うウェイポイント間を結ぶ線分を「リンク」と称する。
　「局所的経路」（local path）は、大域的経路に沿って農業機械が自動で移動するときに逐次生成される、障害物を回避可能な局所的な経路を意味する。局所的経路を生成することを局所的経路計画（local path planning）または局所的経路設計と称する。局所的経路は、農業機械が移動している間に、農業機械が備える一つ以上のセンシング装置によって取得されたデータに基づいて逐次生成される。局所的経路は、大域的経路の一部に沿った複数のウェイポイントによって規定され得る。ただし、大域的経路の付近に障害物が存在する場合、その障害物を迂回するようにウェイポイントが設定され得る。局所的経路におけるウェイポイント間のリンクの長さは、大域的経路におけるウェイポイント間のリンクの長さよりも短い。局所的経路を生成する装置は、大域的経路を生成する装置と同一でもよいし、異なっていてもよい。例えば、農業機械による農作業を管理する管理装置が大域的経路を生成し、農業機械に搭載された制御装置が局所的経路を生成してもよい。その場合、管理装置と制御装置との組み合わせが、経路計画を行う「処理装置」として機能する。農業機械の制御装置が、大域的経路設計および局所的経路設計の両方を行う処理装置として機能してもよい。
　「農道」は、主に農業目的で利用される道を意味する。農道は、アスファルトで舗装された道に限らず、土または砂利等で覆われた未舗装の道も含む。農道は、車両型の農業機械（例えばトラクタ等の作業車両）のみが専ら通行可能な道（私道を含む）と、一般の車両（乗用車、トラック、バス等）も通行可能な道路とを含む。作業車両は、農道に加えて一般道を自動で走行してもよい。一般道は、一般の車両の交通のために整備された道路である。
　（実施形態）
　以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細な説明および実質的に同一の構成に関する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同一の参照符号を付している。
　以下の実施形態は例示であり、本開示の技術は以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、ステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
　以下、農業機械の一例であるトラクタなどの作業車両に本開示の技術を適用した実施形態を主に説明する。本開示の技術は、トラクタなどの作業車両に限らず、他の種類の農業機械にも適用することができる。
　図１は、本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。図１に示す農業管理システムは、作業車両１００と、端末装置４００と、管理装置６００とを備える。端末装置４００は、作業車両１００を遠隔で監視するユーザが使用するコンピュータである。管理装置６００は、農業管理システムを運営する事業者が管理するコンピュータである。作業車両１００、端末装置４００、および管理装置６００は、ネットワーク８０を介して互いに通信することができる。図１には１台の作業車両１００が例示されているが、農業管理システムは、複数の作業車両またはその他の農業機械を含んでいてもよい。
　本実施形態における作業車両１００はトラクタである。作業車両１００は、後部および前部の一方または両方にインプルメントを装着することができる。作業車両１００は、インプルメントの種類に応じた農作業を行いながら圃場内を走行することができる。作業車両１００は、インプルメントを装着しない状態で圃場内または圃場外を走行してもよい。
　作業車両１００は、自動運転機能を備える。すなわち、作業車両１００は、手動によらず、制御装置の働きによって走行することができる。本実施形態における制御装置は、作業車両１００の内部に設けられ、作業車両１００の速度および操舵の両方を制御することができる。作業車両１００は、圃場内に限らず、圃場外（例えば道路）を自動走行することもできる。
　作業車両１００は、ＧＮＳＳ受信機およびＬｉＤＡＲセンサなどの、測位あるいは自己位置推定のために利用される装置を備える。作業車両１００の制御装置は、作業車両１００の位置と、目標経路の情報とに基づいて、作業車両１００を自動で走行させる。制御装置は、作業車両１００の走行制御に加えて、インプルメントの動作の制御も行う。これにより、作業車両１００は、圃場内を自動で走行しながらインプルメントを用いて農作業を実行することができる。さらに、作業車両１００は、圃場外の道（例えば、農道または一般道）を目標経路に沿って自動で走行することができる。作業車両１００は、圃場外の道に沿って自動走行を行うとき、カメラまたはＬｉＤＡＲセンサなどのセンシング装置から出力されるデータに基づいて、障害物を回避可能な局所的経路を目標経路に沿って生成しながら走行する。作業車両１００は、センシング装置から出力されるデータに基づいて農道を検出し、農道上に局所的経路を生成しながら走行することもできる。これにより、大域的経路が農道上に正しく設定されていない場合であっても、農道上を適切に自動走行することができる。作業車両１００は、圃場内においては、上記と同様に局所的経路を生成しながら走行してもよいし、局所的経路を生成せずに目標経路に沿って走行し、障害物が検出された場合に停止する、という動作を行ってもよい。
　管理装置６００は、作業車両１００による農作業を管理するコンピュータである。管理装置６００は、例えば圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援するサーバコンピュータであり得る。管理装置６００は、例えば、作業車両１００の作業計画を作成し、その作業計画に従って、作業車両１００の大域的経路計画を行う。管理装置６００は、圃場内と圃場外とで異なる方法で大域的経路（目標経路）を生成する。管理装置６００は、圃場内の目標経路を、圃場に関する情報に基づいて生成する。例えば、管理装置６００は、予め登録された圃場の外形、圃場の面積、圃場の出入口の位置、作業車両１００の幅、インプルメントの幅、作業の内容、栽培される作物の種類、作物の生育領域、作物の生育状況、または作物列もしくは畝の間隔などの、種々の情報に基づいて圃場内の目標経路を生成することができる。管理装置６００は、例えば、ユーザが端末装置４００または他のデバイスを用いて入力した情報に基づいて圃場内の目標経路を生成する。管理装置６００は、圃場内の経路を、例えば作業が行われる作業領域の全体をカバーするように生成する。一方、管理装置６００は、圃場外の目標経路を、作業計画またはユーザの指示に従って生成する。例えば、管理装置６００は、作業計画が示す農作業の順序、各農作業が行われる圃場の位置、圃場の出入口の位置、各農作業の開始予定時刻および終了予定時刻、路面状態、気象状況、または交通状況などの、種々の情報に基づいて圃場外の目標経路を生成することができる。管理装置６００は、作業計画によらず、ユーザが端末装置４００を操作して指定した経路または経由地点を示す情報に基づいて目標経路を生成してもよい。管理装置６００は、さらに、作業車両１００または他の移動体がＬｉＤＡＲセンサなどのセンシング装置を用いて収集したデータに基づいて、環境地図の生成および編集を行ってもよい。管理装置６００は、生成した作業計画、目標経路、および環境地図のデータを作業車両１００に送信する。作業車両１００は、それらのデータに基づいて、移動および農作業を自動で行う。
　なお、大域的経路設計および環境地図の生成（または編集）は、管理装置６００に限らず、他の装置が行ってもよい。例えば、作業車両１００の制御装置が、大域的経路設計または環境地図の生成もしくは編集を行ってもよい。
　端末装置４００は、作業車両１００から離れた場所にいるユーザが使用するコンピュータである。図１に示す端末装置４００はラップトップコンピュータであるが、これに限定されない。端末装置４００は、デスクトップＰＣ（personal computer）などの据え置き型のコンピュータであってもよいし、スマートフォンまたはタブレットコンピュータなどのモバイル端末でもよい。端末装置４００は、作業車両１００を遠隔監視したり、作業車両１００を遠隔操作したりするために用いられ得る。例えば、端末装置４００は、作業車両１００が備える１台以上のカメラ（撮像装置）が撮影した映像をディスプレイに表示させることができる。ユーザは、その映像を見て、作業車両１００の周囲の状況を確認し、作業車両１００に停止または発進の指示を送ることができる。端末装置４００は、さらに、作業車両１００の作業計画（例えば各農作業のスケジュール）を作成するために必要な情報をユーザが入力するための設定画面をディスプレイに表示することもできる。ユーザが設定画面上で必要な情報を入力し送信の操作を行うと、端末装置４００は、入力された情報を管理装置６００に送信する。管理装置６００は、その情報に基づいて作業計画を作成する。端末装置４００は、さらに、目標経路を設定するために必要な情報をユーザが入力するための設定画面をディスプレイに表示する機能を備えていてもよい。
　以下、本実施形態におけるシステムの構成および動作をより詳細に説明する。
　［１．構成］
　図２は、作業車両１００、および作業車両１００に連結されたインプルメント３００の例を模式的に示す側面図である。本実施形態における作業車両１００は、手動運転モードと自動運転モードの両方で動作することができる。自動運転モードにおいて、作業車両１００は無人で走行することができる。作業車両１００は、圃場内と圃場外の両方で自動運転が可能である。
　図２に示すように、作業車両１００は、車両本体１０１と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車両本体１０１には、タイヤ付きの車輪１０４と、キャビン１０５とが設けられている。車輪１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。作業車両１００が圃場内で作業走行を行うとき、前輪１０４Ｆおよび後輪１０４Ｒの一方または両方は、タイヤ付き車輪ではなく無限軌道（track）を装着した（複数の）車輪（クローラ）に置き換えられてもよい。
　作業車両１００は、作業車両１００の周囲をセンシングする複数のセンシング装置を備える。図２の例では、センシング装置は、複数のカメラ１２０と、ＬｉＤＡＲセンサ１４０と、複数の障害物センサ１３０とを含む。
　カメラ１２０は、例えば作業車両１００の前後左右に設けられ得る。カメラ１２０は、作業車両１００の周囲の環境を撮影し、画像データを生成する。カメラ１２０が取得した画像は、遠隔監視を行うための端末装置４００に送信され得る。当該画像は、無人運転時に作業車両１００を監視するために用いられ得る。カメラ１２０は、作業車両１００が圃場外の道（農道または一般道）を走行するときに、周辺の地物もしくは障害物、白線、標識、または表示などを認識するための画像を生成する用途でも使用され得る。
　図２の例におけるＬｉＤＡＲセンサ１４０は、車両本体１０１の前面下部に配置されている。ＬｉＤＡＲセンサ１４０は、他の位置に設けられていてもよい。ＬｉＤＡＲセンサ１４０は、作業車両１００が主に圃場外を走行している間、周囲の環境に存在する物体の各計測点までの距離および方向、または各計測点の２次元もしくは３次元の座標値を示すセンサデータを繰り返し出力する。ＬｉＤＡＲセンサ１４０から出力されたセンサデータは、作業車両１００の制御装置によって処理される。制御装置は、センサデータと、環境地図とのマッチングにより、作業車両１００の自己位置推定を行うことができる。制御装置は、さらに、センサデータに基づいて、作業車両１００の周辺に存在する障害物などの物体を検出し、作業車両１００が実際に進むべき局所的経路を、大域的経路に沿って生成することができる。制御装置は、例えばＳＬＡＭ（Simultaneous Localization and Mapping）などのアルゴリズムを利用して、環境地図を生成または編集することもできる。作業車両１００は、異なる位置に異なる向きで配置された複数のＬｉＤＡＲセンサを備えていてもよい。
　図２に示す複数の障害物センサ１３０は、キャビン１０５の前部および後部に設けられている。障害物センサ１３０は、他の部位にも配置され得る。例えば、車両本体１０１の側部、前部、および後部の任意の位置に、一つまたは複数の障害物センサ１３０が設けられ得る。障害物センサ１３０は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ１３０は、自動走行時に周囲の障害物を検出して作業車両１００を停止したり迂回したりするために用いられる。ＬｉＤＡＲセンサ１４０が障害物センサ１３０の一つとして利用されてもよい。
　作業車両１００は、さらに、ＧＮＳＳユニット１１０を備える。ＧＮＳＳユニット１１０は、ＧＮＳＳ受信機を含む。ＧＮＳＳ受信機は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて作業車両１００の位置を計算するプロセッサとを備え得る。ＧＮＳＳユニット１１０は、複数のＧＮＳＳ衛星から送信される衛星信号を受信し、衛星信号に基づいて測位を行う。ＧＮＳＳは、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System、例えばみちびき）、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、およびＢｅｉＤｏｕなどの衛星測位システムの総称である。本実施形態におけるＧＮＳＳユニット１１０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。
　ＧＮＳＳユニット１１０は、慣性計測装置（ＩＭＵ）を含み得る。ＩＭＵからの信号を利用して位置データを補完することができる。ＩＭＵは、作業車両１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、衛星信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
　作業車両１００の制御装置は、ＧＮＳＳユニット１１０による測位結果に加えて、カメラ１２０またはＬｉＤＡＲセンサ１４０などのセンシング装置が取得したセンシングデータを測位に利用してもよい。農道、林道、一般道、または果樹園のように、作業車両１００が走行する環境内に特徴点として機能する地物が存在する場合、カメラ１２０またはＬｉＤＡＲセンサ１４０によって取得されたデータと、予め記憶装置に格納された環境地図とに基づいて、作業車両１００の位置および向きを高い精度で推定することができる。カメラ１２０またはＬｉＤＡＲセンサ１４０が取得したデータを用いて、衛星信号に基づく位置データを補正または補完することで、より高い精度で作業車両１００の位置を特定できる。
　原動機１０２は、例えばディーゼルエンジンであり得る。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって作業車両１００の推進力および移動速度を変化させることができる。変速装置１０３は、作業車両１００の前進と後進とを切り換えることもできる。
　操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変化させることにより、作業車両１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、作業車両１００内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
　車両本体１０１の後部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Power Take Off）軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置１０８によってインプルメント３００を作業車両１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、インプルメント３００の位置または姿勢を変化させることができる。また、ユニバーサルジョイントを介して作業車両１００からインプルメント３００に動力を送ることができる。作業車両１００は、インプルメント３００を引きながら、インプルメント３００に所定の作業を実行させることができる。連結装置は、車両本体１０１の前方に設けられていてもよい。その場合、作業車両１００の前方にインプルメントを接続することができる。
　図２に示すインプルメント３００は、ロータリ耕耘機であるが、インプルメント３００はロータリ耕耘機に限定されない。例えば、シーダ（播種機）、スプレッダ（施肥機）、移植機、モーア（草刈機）、レーキ、ベーラ（集草機）、ハーベスタ（収穫機）、スプレイヤ、またはハローなどの、任意のインプルメントを作業車両１００に接続して使用することができる。
　図２に示す作業車両１００は、有人運転が可能であるが、無人運転のみに対応していてもよい。その場合には、キャビン１０５、操舵装置１０６、および運転席１０７などの、有人運転にのみ必要な構成要素は、作業車両１００に設けられていなくてもよい。無人の作業車両１００は、自律走行、またはユーザによる遠隔操作によって走行することができる。
　図３は、作業車両１００およびインプルメント３００の構成例を示すブロック図である。作業車両１００とインプルメント３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。作業車両１００は、ネットワーク８０を介して、端末装置４００および管理装置６００と通信することができる。
　図３の例における作業車両１００は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、ＬｉＤＡＲセンサ１４０、および操作端末２００に加え、作業車両１００の動作状態を検出するセンサ群１５０、制御システム１６０、通信装置１９０、操作スイッチ群２１０、ブザー２２０、および駆動装置２４０を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。ＧＮＳＳユニット１１０は、ＧＮＳＳ受信機１１１と、ＲＴＫ受信機１１２と、慣性計測装置（ＩＭＵ）１１５と、処理回路１１６とを備える。センサ群１５０は、ステアリングホイールセンサ１５２と、切れ角センサ１５４、車軸センサ１５６とを含む。制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８６を備える。インプルメント３００は、駆動装置３４０と、制御装置３８０と、通信装置３９０とを備える。なお、図３には、作業車両１００による自動運転の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
　ＧＮＳＳユニット１１０におけるＧＮＳＳ受信機１１１は、複数のＧＮＳＳ衛星から送信される衛星信号を受信し、衛星信号に基づいてＧＮＳＳデータを生成する。ＧＮＳＳデータは、例えばＮＭＥＡ－０１８３フォーマットなどの所定のフォーマットで生成される。ＧＮＳＳデータは、例えば、衛星信号が受信されたそれぞれの衛星の識別番号、仰角、方位角、および受信強度を示す値を含み得る。
　図３に示すＧＮＳＳユニット１１０は、ＲＴＫ（Real Time Kinematic）－ＧＮＳＳを利用して作業車両１００の測位を行う。図４は、ＲＴＫ－ＧＮＳＳによる測位を行う作業車両１００の例を示す概念図である。ＲＴＫ－ＧＮＳＳによる測位では、複数のＧＮＳＳ衛星５０から送信される衛星信号に加えて、基準局６０から送信される補正信号が利用される。基準局６０は、作業車両１００が作業走行を行う圃場の付近（例えば、作業車両１００から１０ｋｍ以内の位置）に設置され得る。基準局６０は、複数のＧＮＳＳ衛星５０から受信した衛星信号に基づいて、例えばＲＴＣＭフォーマットの補正信号を生成し、ＧＮＳＳユニット１１０に送信する。ＲＴＫ受信機１１２は、アンテナおよびモデムを含み、基準局６０から送信される補正信号を受信する。ＧＮＳＳユニット１１０の処理回路１１６は、補正信号に基づき、ＧＮＳＳ受信機１１１による測位結果を補正する。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度、および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。ＧＮＳＳユニット１１０は、例えば１秒間に１回から１０回程度の頻度で、作業車両１００の位置を計算する。
　なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Virtual Reference Station）またはＤＧＰＳ（Differential Global Positioning System）を利用した測位を行ってもよい。基準局６０から送信される補正信号を用いなくても必要な精度の位置情報が得られる場合は、補正信号を用いずに位置情報を生成してもよい。その場合、ＧＮＳＳユニット１１０は、ＲＴＫ受信機１１２を備えていなくてもよい。
　ＲＴＫ－ＧＮＳＳを利用する場合であっても、基準局６０からの補正信号が得られない場所（例えば圃場から遠く離れた道路上）では、ＲＴＫ受信機１１２からの信号によらず、他の方法で作業車両１００の位置が推定される。例えば、ＬｉＤＡＲセンサ１４０および／またはカメラ１２０から出力されたデータと、高精度の環境地図とのマッチングによって、作業車両１００の位置が推定され得る。
　本実施形態におけるＧＮＳＳユニット１１０は、さらにＩＭＵ１１５を備える。ＩＭＵ１１５は、３軸加速度センサおよび３軸ジャイロスコープを備え得る。ＩＭＵ１１５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１１５は、モーションセンサとして機能し、作業車両１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。処理回路１１６は、衛星信号および補正信号に加えて、ＩＭＵ１１５から出力された信号に基づいて、作業車両１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１１５から出力された信号は、衛星信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１１５は、ＧＮＳＳ受信機１１１よりも高い頻度で信号を出力する。その高頻度の信号を利用して、処理回路１１６は、作業車両１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１１５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１１５は、ＧＮＳＳユニット１１０とは別の装置として設けられていてもよい。
　カメラ１２０は、作業車両１００の周囲の環境を撮影する撮像装置である。カメラ１２０は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを備える。カメラ１２０は、他にも、一つ以上のレンズを含む光学系、および信号処理回路を備え得る。カメラ１２０は、作業車両１００の走行中、作業車両１００の周囲の環境を撮影し、画像（例えば動画）のデータを生成する。カメラ１２０は、例えば、３フレーム／秒（ｆｐｓ: frames per second）以上のフレームレートで動画を撮影することができる。カメラ１２０によって生成された画像は、例えば遠隔の監視者が端末装置４００を用いて作業車両１００の周囲の環境を確認するときに利用され得る。カメラ１２０によって生成された画像は、測位または障害物の検出に利用されてもよい。図２に示すように、複数のカメラ１２０が作業車両１００の異なる位置に設けられていてもよいし、単数のカメラが設けられていてもよい。可視光画像を生成する可視カメラと、赤外線画像を生成する赤外カメラとが別々に設けられていてもよい。可視カメラと赤外カメラの両方が監視用の画像を生成するカメラとして設けられていてもよい。赤外カメラは、夜間において障害物の検出にも用いられ得る。
　障害物センサ１３０は、作業車両１００の周囲に存在する物体を検出する。障害物センサ１３０は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ１３０は、障害物センサ１３０から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３０が作業車両１００の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、作業車両１００の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３０を備えることにより、作業車両１００の周囲の障害物の監視における死角を減らすことができる。
　ステアリングホイールセンサ１５２は、作業車両１００のステアリングホイールの回転角を計測する。切れ角センサ１５４は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５２および切れ角センサ１５４による計測値は、制御装置１８０による操舵制御に利用される。
　車軸センサ１５６は、車輪１０４に接続された車軸の回転速度、すなわち単位時間あたりの回転数を計測する。車軸センサ１５６は、例えば磁気抵抗素子（ＭＲ）、ホール素子、または電磁ピックアップを利用したセンサであり得る。車軸センサ１５６は、例えば、車軸の１分あたりの回転数（単位：ｒｐｍ）を示す数値を出力する。車軸センサ１５６は、作業車両１００の速度を計測するために使用される。
　駆動装置２４０は、前述の原動機１０２、変速装置１０３、操舵装置１０６、および連結装置１０８などの、作業車両１００の走行およびインプルメント３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備え得る。駆動装置２４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
　ブザー２２０は、異常を報知するための警告音を発する音声出力装置である。ブザー２２０は、例えば、自動運転時に、障害物が検出された場合に警告音を発する。ブザー２２０は、制御装置１８０によって制御される。
　記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの一つ以上の記憶媒体を含む。記憶装置１７０は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、ＬｉＤＡＲセンサ１４０、センサ群１５０、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、作業車両１００が走行する環境内の地図データ（環境地図）、および自動運転のための大域的経路（目標経路）のデータが含まれ得る。環境地図は、作業車両１００が農作業を行う複数の圃場およびその周辺の道の情報を含む。環境地図および目標経路は、管理装置６００におけるプロセッサによって生成され得る。なお、本実施形態における制御装置１８０は、環境地図および目標経路を生成または編集する機能を備えている。制御装置１８０は、管理装置６００から取得した環境地図および目標経路を、作業車両１００の走行環境に応じて編集することができる。記憶装置１７０は、通信装置１９０が管理装置６００から受信した作業計画のデータも記憶する。作業計画は、複数の作業日にわたって作業車両１００が実行する複数の農作業に関する情報を含む。作業計画は、例えば、各作業日において作業車両１００が実行する各農作業の予定時刻の情報を含む作業スケジュールのデータであり得る。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して作業車両１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
　制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、例えば、速度制御用のＥＣＵ１８１、ステアリング制御用のＥＣＵ１８２、インプルメント制御用のＥＣＵ１８３、自動運転制御用のＥＣＵ１８４、経路生成用のＥＣＵ１８５、および地図生成用のＥＣＵ１８６を含む。
　ＥＣＵ１８１は、駆動装置２４０に含まれる原動機１０２、変速装置１０３、およびブレーキを制御することによって作業車両１００の速度を制御する。
　ＥＣＵ１８２は、ステアリングホイールセンサ１５２の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することによって作業車両１００のステアリングを制御する。
　ＥＣＵ１８３は、インプルメント３００に所望の動作を実行させるために、連結装置１０８に含まれる３点リンクおよびＰＴＯ軸などの動作を制御する。ＥＣＵ１８３はまた、インプルメント３００の動作を制御する信号を生成し、その信号を通信装置１９０からインプルメント３００に送信する。
　ＥＣＵ１８４は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、ＬｉＤＡＲセンサ１４０、およびセンサ群１５０から出力されたデータに基づいて、自動運転を実現するための演算および制御を行う。例えば、ＥＣＵ１８４は、ＧＮＳＳユニット１１０、カメラ１２０、およびＬｉＤＡＲセンサ１４０の少なくとも１つから出力されたデータに基づいて、作業車両１００の位置を特定する。圃場内においては、ＥＣＵ１８４は、ＧＮＳＳユニット１１０から出力されたデータのみに基づいて作業車両１００の位置を決定してもよい。ＥＣＵ１８４は、カメラ１２０またはＬｉＤＡＲセンサ１４０が取得したデータに基づいて作業車両１００の位置を推定または補正してもよい。カメラ１２０またはＬｉＤＡＲセンサ１４０が取得したデータを利用することにより、測位の精度をさらに高めることができる。また、圃場外においては、ＥＣＵ１８４は、ＬｉＤＡＲセンサ１４０またはカメラ１２０から出力されるデータを利用して作業車両１００の位置を推定する。例えば、ＥＣＵ１８４は、ＬｉＤＡＲセンサ１４０またはカメラ１２０から出力されるデータと、環境地図とのマッチングにより、作業車両１００の位置を推定してもよい。自動運転中、ＥＣＵ１８４は、推定された作業車両１００の位置に基づいて、目標経路または局所的経路に沿って作業車両１００が走行するために必要な演算を行う。ＥＣＵ１８４は、ＥＣＵ１８１に速度変更の指令を送り、ＥＣＵ１８２に操舵角変更の指令を送る。ＥＣＵ１８１は、速度変更の指令に応答して原動機１０２、変速装置１０３、またはブレーキを制御することによって作業車両１００の速度を変化させる。ＥＣＵ１８２は、操舵角変更の指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。
　ＥＣＵ１８５は、作業車両１００が目標経路に沿って走行している間、障害物を回避可能な局所的経路を逐次生成する。例えばＥＣＵ１８５は、作業車両１００の走行中、カメラ１２０、障害物センサ１３０、およびＬｉＤＡＲセンサ１４０から出力されたデータに基づいて、作業車両１００の周囲に存在する農道および障害物を認識する。ＥＣＵ１８５は、認識した障害物を回避するように局所的経路を農道上に生成する。ＥＣＵ１８５は、管理装置６００の代わりに大域的経路設計を行う機能を備えていてもよい。その場合、ＥＣＵ１８５は、記憶装置１７０に格納された作業計画に基づいて作業車両１００の移動先を決定し、作業車両１００の移動の開始地点から目的地点までの目標経路を決定する。ＥＣＵ１８５は、記憶装置１７０に格納された道路情報を含む環境地図に基づき、例えば最短の時間で移動先に到達できる経路を目標経路として作成することができる。
　ＥＣＵ１８６は、作業車両１００が走行する環境の地図を生成または編集する。本実施形態では、管理装置６００などの外部の装置によって生成された環境地図が作業車両１００に送信され、記憶装置１７０に記録されるが、ＥＣＵ１８６が代わりに環境地図を生成または編集することもできる。以下、ＥＣＵ１８６が環境地図を生成する場合の動作を説明する。環境地図は、ＬｉＤＡＲセンサ１４０から出力されたセンサデータに基づいて生成され得る。環境地図を生成するとき、ＥＣＵ１８６は、作業車両１００が走行している間にＬｉＤＡＲセンサ１４０から出力されたセンサデータに基づいて３次元の点群データを逐次生成する。ＥＣＵ１８６は、例えばＳＬＡＭなどのアルゴリズムを利用して、逐次生成した点群データを繋ぎ合わせることにより、環境地図を生成することができる。このようにして生成された環境地図は、高精度の３次元地図であり、ＥＣＵ１８４による自己位置推定に利用され得る。この３次元地図に基づいて、大域的経路計画に利用される２次元地図が生成され得る。本明細書では、自己位置推定に利用される３次元地図と、大域的経路計画に利用される２次元地図とを、いずれも「環境地図」と称する。ＥＣＵ１８６は、さらに、カメラ１２０またはＬｉＤＡＲセンサ１４０から出力されたデータに基づいて認識された構造物、路面の状態、または道の通行可能性等に関する種々の属性情報を、地図に付加することによって地図を編集することもできる。
　これらのＥＣＵの働きにより、制御装置１８０は、自動運転を実現する。自動運転時において、制御装置１８０は、計測または推定された作業車両１００の位置と、目標経路とに基づいて、駆動装置２４０を制御する。これにより、制御装置１８０は、作業車両１００を目標経路に沿って走行させることができる。
　制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Controller Area Network）などのビークルバス規格に従って、相互に通信することができる。ＣＡＮに代えて、車載イーサネット（登録商標）などの、より高速の通信方式が用いられてもよい。図３において、ＥＣＵ１８１から１８６のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。ＥＣＵ１８１から１８６の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８６以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、一つ以上のプロセッサを含む処理回路を備える。
　通信装置１９０は、インプルメント３００、端末装置４００、および管理装置６００と通信を行う回路を含む装置である。通信装置１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、インプルメント３００の通信装置３９０との間で実行する回路を含む。これにより、インプルメント３００に所望の動作を実行させたり、インプルメント３００から情報を取得したりすることができる。通信装置１９０は、さらに、ネットワーク８０を介した信号の送受信を、端末装置４００および管理装置６００のそれぞれの通信装置との間で実行するためのアンテナおよび通信回路を含み得る。ネットワーク８０は、例えば、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信網およびインターネットを含み得る。通信装置１９０は、作業車両１００の近くにいる監視者が使用する携帯端末と通信する機能を備えていてもよい。そのような携帯端末との間では、Ｗｉ－Ｆｉ（登録商標）、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）などの、任意の無線通信規格に準拠した通信が行われ得る。
　操作端末２００は、作業車両１００の走行およびインプルメント３００の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または一つ以上のボタンを備え得る。表示装置は、例えば液晶または有機発光ダイオード（ＯＬＥＤ）などのディスプレイであり得る。ユーザは、操作端末２００を操作することにより、例えば自動運転モードのオン／オフの切り替え、環境地図の記録または編集、目標経路の設定、およびインプルメント３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１０を操作することによっても実現され得る。操作端末２００は、作業車両１００から取り外せるように構成されていてもよい。作業車両１００から離れた場所にいるユーザが、取り外された操作端末２００を操作して作業車両１００の動作を制御してもよい。ユーザは、操作端末２００の代わりに、端末装置４００などの、必要なアプリケーションソフトウェアがインストールされたコンピュータを操作して作業車両１００の動作を制御してもよい。
　図５は、キャビン１０５の内部に設けられる操作端末２００および操作スイッチ群２１０の例を示す図である。キャビン１０５の内部には、ユーザが操作可能な複数のスイッチを含む操作スイッチ群２１０が配置されている。操作スイッチ群２１０は、例えば、主変速または副変速の変速段を選択するためのスイッチ、自動運転モードと手動運転モードとを切り替えるためのスイッチ、前進と後進とを切り替えるためのスイッチ、およびインプルメント３００を昇降するためのスイッチ等を含み得る。なお、作業車両１００が無人運転のみを行い、有人運転の機能を備えていない場合、作業車両１００が操作スイッチ群２１０を備えている必要はない。
　図３に示すインプルメント３００における駆動装置３４０は、インプルメント３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、インプルメント３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信装置３９０を介して作業車両１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、インプルメント３００の状態に応じた信号を通信装置３９０から作業車両１００に送信することもできる。
　次に、図６を参照しながら、管理装置６００および端末装置４００の構成を説明する。図６は、管理装置６００および端末装置４００の概略的なハードウェア構成を例示するブロック図である。
　管理装置６００は、記憶装置６５０と、プロセッサ６６０と、ＲＯＭ（Read Only Memory）６７０と、ＲＡＭ（Random Access Memory）６８０と、通信装置６９０とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。管理装置６００は、作業車両１００が実行する圃場における農作業のスケジュール管理を行い、管理するデータを活用して農業を支援するクラウドサーバとして機能し得る。ユーザは、端末装置４００を用いて作業計画の作成に必要な情報を入力し、その情報をネットワーク８０を介して管理装置６００に作業計画の情報をアップロードすることが可能である。管理装置６００は、その情報に基づき、農作業のスケジュール、すなわち作業計画を作成することができる。管理装置６００は、さらに、環境地図の生成または編集、および作業車両１００の大域的経路計画も実行することができる。環境地図は、管理装置６００の外部のコンピュータから配信されてもよい。
　通信装置６９０は、ネットワーク８０を介して作業車両１００および端末装置４００と通信するための通信モジュールである。通信装置６９０は、例えば、ＩＥＥＥ１３９４（登録商標）またはイーサネット（登録商標）などの通信規格に準拠した有線通信を行うことができる。通信装置６９０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格もしくはＷｉ－Ｆｉ規格に準拠した無線通信、または、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信を行ってもよい。
　プロセッサ６６０は、例えば中央演算処理装置（ＣＰＵ）を含む半導体集積回路であり得る。プロセッサ６６０は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。あるいは、プロセッサ６６０は、ＣＰＵを搭載したＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＳＳＰ（Application Specific Standard Product）、または、これら回路の中から選択される二つ以上の回路の組み合わせによっても実現され得る。プロセッサ６６０は、ＲＯＭ６７０に格納された、少なくとも一つの処理を実行するための命令群を記述したコンピュータプログラムを逐次実行し、所望の処理を実現する。
　ＲＯＭ６７０は、例えば、書き込み可能なメモリ（例えばＰＲＯＭ）、書き換え可能なメモリ（例えばフラッシュメモリ）、または読み出し専用のメモリである。ＲＯＭ６７０は、プロセッサ６６０の動作を制御するプログラムを記憶する。ＲＯＭ６７０は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。複数の記憶媒体の集合体の一部は、取り外し可能なメモリであってもよい。
　ＲＡＭ６８０は、ＲＯＭ６７０に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。ＲＡＭ６８０は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。
　記憶装置６５０は、主としてデータベースのストレージとして機能する。記憶装置６５０は、例えば、磁気記憶装置または半導体記憶装置であり得る。磁気記憶装置の例は、ハードディスクドライブ（ＨＤＤ）である。半導体記憶装置の例は、ソリッドステートドライブ（ＳＳＤ）である。記憶装置６５０は、管理装置６００とは独立した装置であってもよい。例えば、記憶装置６５０は、管理装置６００にネットワーク８０を介して接続される記憶装置、例えばクラウドストレージであってもよい。
　端末装置４００は、入力装置４２０と、表示装置４３０と、記憶装置４５０と、プロセッサ４６０と、ＲＯＭ４７０と、ＲＡＭ４８０と、通信装置４９０とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。入力装置４２０は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置４２０は、例えば、キーボード、マウス、またはタッチパネルであり得る。表示装置４３０は、例えば液晶ディスプレイまたは有機ＥＬディスプレイであり得る。プロセッサ４６０、ＲＯＭ４７０、ＲＡＭ４８０、記憶装置４５０、および通信装置４９０のそれぞれに関する説明は、管理装置６００のハードウェア構成例において記載したとおりであり、それらの説明を省略する。
　［２．動作］
　次に、作業車両１００、端末装置４００、および管理装置６００の動作を説明する。
　［２－１．自動走行動作］
　まず、作業車両１００による自動走行の動作の例を説明する。本実施形態における作業車両１００は、圃場内および圃場外の両方で自動で走行することができる。圃場内において、作業車両１００は、予め設定された目標経路に沿って走行しながら、インプルメント３００を駆動して所定の農作業を行う。作業車両１００は、圃場内を走行中、障害物センサ１３０によって障害物が検出された場合、走行を停止し、ブザー２２０からの警告音の発出、および端末装置４００への警告信号の送信などの動作を行う。圃場内において、作業車両１００の測位は、主にＧＮＳＳユニット１１０から出力されるデータに基づいて行われる。一方、圃場外において、作業車両１００は、圃場外の農道または一般道に設定された目標経路に沿って自動で走行する。作業車両１００は、圃場外を走行中、カメラ１２０またはＬｉＤＡＲセンサ１４０によって取得されたデータに基づいて局所的経路設計を行いながら走行する。例えば、作業車両１００は、圃場外を走行中、カメラ１２０またはＬｉＤＡＲセンサ１４０によって取得されたデータに基づいて農道を検出し、農道上に局所的経路を生成しながら走行することができる。圃場外において、作業車両１００は、障害物が検出されると、障害物を回避するか、その場で停止する。圃場外においては、ＧＮＳＳユニット１１０から出力される測位データに加え、ＬｉＤＡＲセンサ１４０またはカメラ１２０から出力されるデータに基づいて作業車両１００の位置が推定される。
　以下、作業車両１００が圃場内を自動走行する場合の動作をまず説明する。作業車両１００が圃場外を自動走行する動作と、圃場外における大域的経路設計および局所的経路設計の処理については、後述する。
　図７は、圃場内を目標経路に沿って自動で走行する作業車両１００の例を模式的に示す図である。この例において、圃場は、作業車両１００がインプルメント３００を用いて作業を行う作業領域７２と、圃場の外周縁付近に位置する枕地７４とを含む。地図上で圃場のどの領域が作業領域７２または枕地７４に該当するかは、ユーザによって事前に設定され得る。この例における目標経路は、並列する複数の主経路Ｐ１と、複数の主経路Ｐ１を接続する複数の旋回経路Ｐ２とを含む。主経路Ｐ１は作業領域７２内に位置し、旋回経路Ｐ２は枕地７４内に位置する。図７に示す各主経路Ｐ１は直線状の経路であるが、各主経路Ｐ１は曲線状の部分を含んでいてもよい。図７における破線は、インプルメント３００の作業幅を表している。作業幅は、予め設定され、記憶装置１７０に記録される。作業幅は、ユーザが操作端末２００または端末装置４００を操作することによって設定され、記録され得る。あるいは、作業幅は、インプルメント３００を作業車両１００に接続したときに自動で認識され、記録されてもよい。複数の主経路Ｐ１の間隔は、作業幅に合わせて設定され得る。目標経路は、自動運転が開始される前に、ユーザの操作に基づいて作成され得る。目標経路は、例えば圃場内の作業領域７２の全体をカバーするように作成され得る。作業車両１００は、図７に示すような目標経路に沿って、作業の開始地点から作業の終了地点まで、往復を繰り返しながら自動で走行する。なお、図７に示す目標経路は一例に過ぎず、目標経路の定め方は任意である。
　次に、制御装置１８０による圃場内における自動運転時の制御の例を説明する。
　図８は、制御装置１８０によって実行される自動運転時の操舵制御の動作の例を示すフローチャートである。制御装置１８０は、作業車両１００の走行中、図８に示すステップＳ１２１からＳ１２５の動作を実行することにより、自動操舵を行う。速度に関しては、例えば予め設定された速度に維持される。制御装置１８０は、作業車両１００の走行中、ＧＮＳＳユニット１１０によって生成された作業車両１００の位置を示すデータを取得する（ステップＳ１２１）。次に、制御装置１８０は、作業車両１００の位置と、目標経路との偏差を算出する（ステップＳ１２２）。偏差は、その時点における作業車両１００の位置と、目標経路との距離を表す。制御装置１８０は、算出した位置の偏差が予め設定された閾値を超えるか否かを判定する（ステップＳ１２３）。偏差が閾値を超える場合、制御装置１８０は、偏差が小さくなるように、駆動装置２４０に含まれる操舵装置の制御パラメータを変更することにより、操舵角を変更する。ステップＳ１２３において偏差が閾値を超えない場合、ステップＳ１２４の動作は省略される。続くステップＳ１２５において、制御装置１８０は、動作終了の指令を受けたか否かを判定する。動作終了の指令は、例えばユーザが遠隔操作で自動運転の停止を指示したり、作業車両１００が目的地に到達したりした場合に出され得る。動作終了の指令が出されていない場合、ステップＳ１２１に戻り、新たに計測された作業車両１００の位置に基づいて、同様の動作を実行する。制御装置１８０は、動作終了の指令が出されるまで、ステップＳ１２１からＳ１２５の動作を繰り返す。上記の動作は、制御装置１８０におけるＥＣＵ１８２、１８４によって実行される。
　図８に示す例では、制御装置１８０は、ＧＮＳＳユニット１１０によって特定された作業車両１００の位置と目標経路との偏差のみに基づいて駆動装置２４０を制御するが、方位の偏差もさらに考慮して制御してもよい。例えば、制御装置１８０は、ＧＮＳＳユニット１１０によって特定された作業車両１００の向きと、目標経路の方向との角度差である方位偏差が予め設定された閾値を超える場合に、その偏差に応じて駆動装置２４０の操舵装置の制御パラメータ（例えば操舵角）を変更してもよい。
　以下、図９Ａから図９Ｄを参照しながら、制御装置１８０による操舵制御の例をより具体的に説明する。
　図９Ａは、目標経路Ｐに沿って走行する作業車両１００の例を示す図である。図９Ｂは、目標経路Ｐから右にシフトした位置にある作業車両１００の例を示す図である。図９Ｃは、目標経路Ｐから左にシフトした位置にある作業車両１００の例を示す図である。図９Ｄは、目標経路Ｐに対して傾斜した方向を向いている作業車両１００の例を示す図である。これらの図において、ＧＮＳＳユニット１１０によって計測された作業車両１００の位置および向きを示すポーズがｒ（ｘ，ｙ，θ）と表現されている。（ｘ，ｙ）は、地球に固定された２次元座標系であるＸＹ座標系における作業車両１００の基準点の位置を表す座標である。図９Ａから図９Ｄに示す例において、作業車両１００の基準点はキャビン上のＧＮＳＳアンテナが設置された位置にあるが、基準点の位置は任意である。θは、作業車両１００の計測された向きを表す角度である。図示されている例においては、目標経路ＰがＹ軸に平行であるが、一般的には目標経路ＰはＹ軸に平行であるとは限らない。
　図９Ａに示すように、作業車両１００の位置および向きが目標経路Ｐから外れていない場合には、制御装置１８０は、作業車両１００の操舵角および速度を変更せずに維持する。
　図９Ｂに示すように、作業車両１００の位置が目標経路Ｐから右側にシフトしている場合には、制御装置１８０は、作業車両１００の走行方向が左寄りに傾き、経路Ｐに近付くように操舵角を変更する。このとき、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δｘの大きさに応じて調整され得る。
　図９Ｃに示すように、作業車両１００の位置が目標経路Ｐから左側にシフトしている場合には、制御装置１８０は、作業車両１００の走行方向が右寄りに傾き、経路Ｐに近付くように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の変化量は、例えば位置偏差Δｘの大きさに応じて調整され得る。
　図９Ｄに示すように、作業車両１００の位置は目標経路Ｐから大きく外れていないが、向きが目標経路Ｐの方向とは異なる場合は、制御装置１８０は、方位偏差Δθが小さくなるように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δｘおよび方位偏差Δθのそれぞれの大きさに応じて調整され得る。例えば、位置偏差Δｘの絶対値が小さいほど方位偏差Δθに応じた操舵角の変化量を大きくしてもよい。位置偏差Δｘの絶対値が大きい場合には、経路Ｐに戻るために操舵角を大きく変化させることになるため、必然的に方位偏差Δθの絶対値が大きくなる。逆に、位置偏差Δｘの絶対値が小さい場合には、方位偏差Δθをゼロに近づけることが必要である。このため、操舵角を決定するための方位偏差Δθの重み（すなわち制御ゲイン）を相対的に大きくすることが妥当である。
　作業車両１００の操舵制御および速度制御には、ＰＩＤ制御またはＭＰＣ制御（モデル予測制御）などの制御技術が適用され得る。これらの制御技術を適用することにより、作業車両１００を目標経路Ｐに近付ける制御を滑らかにすることができる。
　なお、走行中に一つ以上の障害物センサ１３０によって障害物が検出された場合には、制御装置１８０は、作業車両１００を停止させる。このとき、ブザー２２０に警告音を発出させたり、警告信号を端末装置４００に送信してもよい。障害物の回避が可能な場合、制御装置１８０は、障害物を回避するように駆動装置２４０を制御してもよい。
　本実施形態における作業車両１００は、圃場内だけでなく、圃場外でも自動走行が可能である。圃場外において、制御装置１８０は、カメラ１２０またはＬｉＤＡＲセンサ１４０から出力されたデータに基づいて、作業車両１００から比較的離れた位置に存在する物体（例えば、他の車両または歩行者等）を検出することができる。制御装置１８０は、検出された物体を回避するように局所的経路を生成し、局所的経路に沿って速度制御および操舵制御を行うことにより、圃場外の道における自動走行を実現できる。
　このように、本実施形態における作業車両１００は、無人で圃場内および圃場外を自動で走行できる。図１０は、複数の作業車両１００が圃場７０の内部および圃場７０の外側の道７６を自動走行している状況の例を模式的に示す図である。記憶装置１７０には、複数の圃場およびその周辺の道を含む領域の環境地図および目標経路が記録される。環境地図および目標経路は、管理装置６００またはＥＣＵ１８５によって生成され得る。作業車両１００が道路上を走行する場合、作業車両１００は、インプルメント３００を上昇させた状態で、カメラ１２０およびＬｉＤＡＲセンサ１４０などのセンシング装置を用いて周囲をセンシングしながら、目標経路に沿って走行する。走行中、制御装置１８０は、局所的経路を逐次生成し、局所的経路に沿って作業車両１００を走行させる。これにより、障害物を回避しながら自動走行することができる。走行中に、状況に応じて目標経路が変更されてもよい。
　［２－２．農道か否かの識別］
　本実施形態における作業車両１００のセンシング装置と作業車両１００の制御装置１８０とは、協働して、作業車両１００のための農道識別システムとして機能する。農道識別システムは、作業車両１００が走行しようとする道が農道か否かを識別することができる。農道識別システムは、主に、作業車両１００が圃場外を自動で走行している間に用いられる。農道識別システムは、農道か否かを識別し、農道に沿って局所的経路を生成する動作を実行することができる。農道識別システムは、作業車両１００が圃場外を手動で走行している間に農道を識別し、農道の位置および幅に関するデータを収集してもよい。収集されたデータは、農道に関する詳細な情報を含む地図を生成する用途で用いられてもよい。
　作業車両１００のセンシング装置は、例えば図２の例では、複数のカメラ１２０と、ＬｉＤＡＲセンサ１４０と、複数の障害物センサ１３０とを含む。これに限られず、作業車両１００のセンシング装置は、カメラ１２０、障害物センサ１３０、およびＬｉＤＡＲセンサ１４０の少なくとも１つを含み得る。作業車両１００が有するセンシング装置の少なくとも１つを、農道識別システムにおけるセンシング装置として用いることができる。なお、農道識別システムが有するセンシング装置として、ここでは作業車両１００に備え付けられたセンシング装置を用いる例を説明するが、この例に限られない。例えば作業車両１００とは異なる農業機械、またはドローン（無人航空機、Unmanned Arial Vehicle：ＵＡＶ）などの他の移動体が有するセンシング装置を農道識別システムのセンシング装置として用いてもよい。
　センシング装置は、作業車両１００が走行する地面（例えば作業車両１００の進行方向側に位置する地面）をセンシングして地面に関するセンシングデータを取得する。このセンシングデータを「第１センシングデータ」ということがある。また、センシング装置は、作業車両１００の周辺の環境をセンシングして地面以外の地物をも含む周辺環境に関するセンシングデータを取得する。このセンシングデータを「第２センシングデータ」ということがある。第１センシングデータと第２センシングデータとは、同じセンシング装置によって取得されたものであってもよいし、異なるセンシング装置によって取得されたものであってもよい。例えば、カメラ１２０によって第１センシングデータを取得し、ＬｉＤＡＲセンサ１４０によって第２センシングデータを取得してもよいし、その逆であってもよい。あるいは、カメラ１２０およびＬｉＤＡＲセンサ１４０の両方を用いて第１センシングデータおよび第２センシングデータの一方または両方を取得してもよい。カメラ１２０によって取得された第１センシングデータは、作業車両１００が走行する地面の画像データを含み得る。ＬｉＤＡＲセンサ１４０によって取得された第１センシングデータは、作業車両１００が走行する地面の点群データを含み得る。同様に、カメラ１２０によってセンシングされて取得された第２センシングデータは、作業車両１００の周辺の環境の画像データを含み得る。ＬｉＤＡＲセンサ１４０によってセンシングされて取得された第２センシングデータは、作業車両１００の周辺の環境の点群データを含み得る。
　作業車両１００の制御装置１８０は、第１センシングデータおよび第２センシングデータに基づいて、作業車両１００が走行しようとする道が農道か否かを識別する処理装置として機能する。なお、ここでは、制御装置１８０が農道識別システムの処理装置として機能する例を説明するが、農道識別システムにおいて制御装置１８０が実行する処理の一部または全部は、他の装置によって実行されてもよい。そのような他の装置は、管理装置６００（プロセッサ６６０）、端末装置４００（プロセッサ４６０）および操作端末２００のいずれかであってもよい。例えば、制御装置１８０が実行する処理の一部が、管理装置６００のプロセッサ６６０によって実行される場合、制御装置１８０と管理装置６００との組み合わせが農道識別システムの処理装置として機能する。また、ここでは、制御装置１８０が有する経路生成用のＥＣＵ１８５が農道識別システムの処理装置として機能する例を説明するが、制御装置１８０が有する他のＥＣＵによって農道識別処理が実行されてもよい。制御装置１８０は、ＥＣＵ１８１～１８６に加えて、農道か否かを識別するためのＥＣＵをさらに有してもよい。
　制御装置１８０は、第１センシングデータに基づいて、作業車両１００が走行する地面の横断プロファイル（transverse profile）に関する情報を取得する。制御装置１８０はまた、第２センシングデータに基づいて、作業車両１００の周辺の環境に関する情報を取得する。作業車両１００が走行する地面の横断プロファイルに関する情報を「第１情報」ということがあり、作業車両１００の周辺の環境に関する情報を「第２情報」ということがある。
　作業車両１００が走行する地面の横断プロファイルは、作業車両１００が走行する方向に交差する方向（以下、「横断方向」ともいう）における、地面（すなわち地表面）の形状をいう。横断プロファイルは、例えば、横軸が横断方向における走査ライン上における位置、縦軸が基準面に対する地面の距離（すなわち高さまたは深さ）を表すグラフ、またはそのようなグラフの情報を含むテーブルのデータとして取得され得る。「基準面」は、例えば水平面であるが、地面が全体として傾斜しているときは、傾斜面であってもよい。基準面から地面までの距離は、センシング装置が測距性能を有している場合には、センシング装置の位置情報と、センシング装置から走査ライン上の地面までの距離を測定することによって取得された情報とに基づいて算出可能である。そのような測距性能を有するセンシング装置の例は、デプスカメラ、ＬｉＤＡＲセンサ、およびレーザ干渉測定器を含む。また、センシング装置が測距機能を有しないカメラの場合、画像処理技術により、カメラが取得した画像から走査ライン上の地面の高さまたは深さを推定してもよい。制御装置１８０は、横断プロファイルを求める際、例えば作業車両１００のＩＭＵ１１５を用いて作業車両１００の傾斜角またはセンシング装置の傾斜角を測定（または推定）し、その傾斜角を用いて第１センシングデータを補正することによって横断プロファイルを取得してもよい。制御装置１８０は、横断プロファイルを示す第１情報を含む信号（横断プロファイル信号ともいう）を、例えば一定時間ごと、または作業車両１００が一定距離進むごとに生成し、記憶装置１７０に記録してもよい。横断プロファイル信号の２つの連続した記録の縦断方向（作業車両１００が走行する方向に相当）における間隔に対応する距離（反復間隔ともいう）、すなわち、走査ラインの間隔は、例えば１ｃｍから５０ｃｍの範囲内の任意の値に設定され得る。
　なお、横断プロファイルは、必ずしも基準面に対する地面の正確な高さまたは深さに関する情報を有している必要はない。横断プロファイルは、凹凸のサイズに応じて、例えば「凹凸の大きな粗領域」、「凹凸の小さな粗領域」、「ほぼ平坦な領域」のように凹凸のサイズを大まかに示す情報を含んでいてもよい。
　また、横断プロファイルは、横断勾配、すなわち、作業車両１００が走行する方向に交差する方向における、地面の勾配の情報を含んでいてもよい。横断勾配は、例えば、道の右端と左端における地面の高さの差を道の幅で割った値である。各走査ラインを複数の領域に区分し、各領域の両端における地面の高さの差を各領域の幅で割った値を部分的な横断勾配として決定してもよい。制御装置１８０は、第１センシングデータに基づいて、作業車両１００が走行しようとする道の走行可能な領域の幅（すなわち横断方向の長さ）を検出してもよい。各走査ラインのうち走行可能領域に対応する領域を用いて、その領域の両端における地面の高さの差を走行可能領域の幅で割った値を走行可能領域の横断勾配として決定してもよい。
　なお、作業車両１００が走行する地面の横断プロファイルに関する情報（第１情報）は、横断方向以外の方向の走査ライン上のデータを含んでいてもよい。本開示において、横断方向における地面（地表面）のプロファイルを含む限り、その情報を第１情報という。
　制御装置１８０は、例えば、作業車両１００が所定の距離（例えば１メートル以上）を走行するごとに地面の横断プロファイルを取得してもよい。その場合、制御装置１８０は、センシング装置に、作業車両１００が所定の距離を走行するごとに第１センシングデータを取得させてもよい。
　制御装置１８０は、第１センシングデータに基づいて、地面の横断プロファイルに加えて、地面の縦断プロファイル（longitudinal profile）、すなわち、作業車両１００が走行する方向に沿った方向における、地面の形状をさらに取得してもよい。
　作業車両１００の周辺の環境に関する情報（第２情報）は、作業車両１００の周辺の地面以外の地物を含み得る環境に関する情報である。第２情報は、例えば、作業車両１００の周辺に存在する物に関する情報（例えば物の位置、種別などを含む）である。例えば、制御装置１８０は、第２センシングデータに基づいて、作業車両１００の周辺に存在する１または複数の物体を認識することによって第２情報を得ることができる。制御装置１８０は、さらに、認識された物体の種別を識別してもよい。制御装置１８０は、物体の認識および物体の種別の識別に機械学習を用いてもよい。例えば、制御装置１８０は、畳み込みニューラルネットワーク（ＣＮＮ）を利用したセマンティックセグメンテーションなどの識別技術を利用して、画像データなどの第２センシングデータから物体の種別を識別してもよい。識別のアルゴリズムは特定のものに限定されず、任意のアルゴリズムを使用することができる。
　制御装置１８０は、作業車両１００が走行する地面の横断プロファイルに関する情報および作業車両１００の周辺の環境に関する情報に基づいて、作業車両１００が走行する地面にある道が農道か否かを識別する。制御装置１８０は、例えば、作業車両１００が走行する地面の横断プロファイルに関する情報および作業車両１００の周辺の環境に関する情報が１または複数の条件を満たすか否かを判定することによって、作業車両１００が走行する地面にある道が農道か否かを識別する。判定条件は、予め定められており、例えば、作業車両１００が有する記憶装置１７０、管理装置６００の記憶装置６５０、または端末装置４００の記憶装置４５０等に記録され得る。判定条件をユーザが設定できるようにしてもよい。判定条件の具体例は後述する。
　本実施形態における農道識別システムは、農業機械が走行する地面のセンシングデータおよび農業機械の周辺の環境のセンシングデータに基づいて、農業機械が走行しようとする道が農道か否かを識別することができるので、農業機械が走行しようとする道が農道か否かの識別を、多様な環境で行うことができる。例えば、その道の道路種別に関する情報が環境地図または高度道路交通システムから得られない場合であっても、農業機械が走行する地面および農業機械の周辺の環境のセンシングデータを用いて、その道が農道か否かを識別することができる。農道か否かの識別を多様な環境で行うことができるので、自動運転を行う農業機械の走行がよりスムーズに行われ得る。「農道か否かを識別すること」は、言い換えると、例えば、一般道と区別して認識すべき道であるか否かを判定することをいう。一般道は、一般の車両の交通のために整備された道路である。
　「農道」は、既に述べたように、主に農業目的で利用される道をいう。農道は、圃場内農道と基幹的農道とに大別されることがある。圃場内農道は、主に農業生産活動に用いられる農道であり、例えば、圃場への往来、農業資材の圃場への搬入、農産物の収穫、防除作業、圃場からの農産物の搬出等のために用いられる農道等を含む。圃場内農道は、例えば、圃場と圃場とを結ぶ道、圃場と集落とを結ぶ道、圃場と農業施設（例えば、集出荷場、選果場、ライスセンター、カントリーエレベーター、堆肥センター等）とを結ぶ道等を含む。基幹的農道は、農村地域の基幹的な農道であり、主に農産物や農業資材の流通のために用いられる。基幹的農道は、例えば、農産物を市場や消費地へ輸送する目的で利用される道を含む。基幹的農道は、例えば、農業施設と一般道とを結ぶ道を含む。
　ただし、本開示の実施形態による農道識別システムが農道として識別する基準は、適宜調節可能である。すなわち、上記の「農道」に当てはまる全てを農道として識別する必要はない。例えば、上記の「農道」のうち、未舗装の農道または幅が狭い農道等、一般道に比べて十分に整備されていない農道を一般道と区別して認識できることが好ましい。
　さらに、本実施形態における農道識別システムは、農業機械の種類（農業機械がインプルメントを装着している場合は、インプルメントの種類も含む）に応じて、農道として識別する基準を調節することができるという利点も有する。あるいは、農道識別システムは、農業機械またはインプルメントの特性（例えば、幅、高さ、重量、または馬力等）に応じて、農道識別の基準を調節することができ得る。
　本実施形態の農道識別システムは、農道の外観的な特徴を利用して、具体的には農業機械が走行する地面の横断プロファイルに関する情報と農業機械の周辺の環境に関する情報とに基づいて、農道か否かを識別するので、農道として識別する基準をニーズに応じて適宜調節することができる。農道識別システムは、ユーザが操作端末２００または端末装置４００を操作することによって農道識別の基準を変更できるように構成されていてもよい。
　本実施形態における農道識別システムは、例えば局所的経路設計の際に農道を識別する動作を実行するように構成され得る。制御装置１８０は、局所的経路設計と農道か否かの識別とを並行して行ってもよいし、局所的経路設計の前に農道か否かの識別を行ってもよい。制御装置１８０は、作業車両１００が走行しようとする道が農道であると判定したとき、作業車両１００が走行する地面のセンシングデータおよび作業車両１００の周辺の環境のセンシングデータに基づいて、作業車両１００の局所的経路を設定してもよい。例えば、制御装置１８０は、作業車両１００が走行しようとする道が農道であると判定したとき、農道上の適切な位置（例えば横断方向における中心付近）にウェイポイントを設定して局所的経路を設定してもよい。制御装置１８０は、作業車両１００が走行しようとする道が農道であると判定したとき、作業車両１００が走行する地面のセンシングデータおよび／または地面の横断プロファイルに基づいて、作業車両１００が走行しようとする道の走行可能な領域（例えば横断方向における当該領域の幅）を検出してもよい。走行可能領域は、例えば道にある障害物を避けて設定することができる。障害物に加えて、例えば大きい凹凸または段差、ぬかるみ等、作業車両１００が走行を避けることが好ましい領域も除くことによって走行可能領域を設定してもよい。制御装置１８０は、作業車両１００が走行する地面のセンシングデータに基づいて、地面に形成された轍（すなわち車輪が通った跡）を検出してもよい。轍は、例えば、道が延びる方向に沿って延びる凹部（くぼみ）として地面に形成されている。制御装置１８０は、轍を検出したとき、轍に沿って局所的経路を設定してもよい。制御装置１８０は、地面に２つの轍が検出された場合、轍と轍の間の距離と、２つの前輪１０４Ｆの間の距離とを比較し、これらの距離の差が無視できる程度に小さい場合は轍の上を前輪１０４Ｆが走行するように、距離の差が大きい場合は轍の上を避けて前輪１０４Ｆが走行するように、局所的経路を設定してもよい。
　制御装置１８０は、作業車両１００が走行しようとする道が農道であると判定したとき、作業車両１００の周辺の環境のセンシングデータから、圃場の出入口、溝および農業施設の少なくとも１つの特徴点を検出し、その特徴点を用いて作業車両１００の経路にランドマークを設定してもよい。設定されたランドマークは、自己位置推定のために利用され得る。
　制御装置１８０は、農道か否かを識別した結果を示す情報を地図に反映させてもよい。例えば、制御装置１８０は、既存の地図における特定の道が農道であることを示す属性情報を地図に付加してもよい。制御装置１８０はまた、既存の地図における農道の位置および幅が不正確である場合、識別した農道の位置および幅の情報に基づいて既存の地図における農道の位置および幅を修正してもよい。
　制御装置１８０は、作業車両１００の振動の程度に関する情報（第３情報ということがある。）をさらに用いて、農道か否かの識別を行ってもよい。例えば、制御装置１８０は、作業車両１００の振動を検知するセンサ（例えば作業車両１００が有する加速度センサ）から出力された信号に基づいて、作業車両１００の振動の程度に関する情報（例えば、作業車両１００の振動波形の周波数（振動数）特性、振動加速度等）を取得することができる。制御装置１８０は、例えば、作業車両１００の加速度センサから振動波形を取得し、地面の凹凸以外に起因する成分（例えば作業車両１００の加速度等）を除去するためのフィルタリングを行ってもよい。このようなフィルタリングを行うことで、振動波形を地面の凹凸の評価に用いることができる。フィルタリングに機械学習を用いてもよい。
　制御装置１８０は、作業車両１００が走行する地面にある道が農道であると判定したとき、作業車両１００の車幅および／または長さに基づいて、作業車両１００がその道を走行可能か否かの判定をさらに行ってもよい。ここで例示している作業車両１００は、インプルメントを装着可能なトラクタである。作業車両１００がインプルメントを装着している場合、制御装置１８０は、装着されているインプルメントの車幅および／または長さに基づいて、作業車両１００がその道を走行可能か否かを判定することができる。作業車両１００の車幅および長さは例えば作業車両１００の記憶装置１７０に記録されている。作業車両１００に装着されているインプルメントの車幅および長さも同様に、例えば作業車両１００の記憶装置１７０に記録されている。インプルメントを作業車両１００に接続したときに自動で認識され、記録されてもよい。
　制御装置１８０は、作業車両１００が走行する地面にある道が農道か否かを識別した結果に基づいて、作業車両１００の制御方法を異ならせることができる。例えば、制御装置１８０は、作業車両１００が走行しようとする道が農道と識別されたときと、農道でないと識別されたときとで、異なる方法で駆動装置２４０を制御してもよい。例えば、制御装置１８０は、作業車両１００が走行しようとする道が農道と識別されたときは、農道でないと識別されたときよりも、作業車両１００の速度を小さくしてもよい。
　制御装置１８０は、作業車両１００がその道を走行できないと判定したとき、作業車両１００の走行を停止させる。制御装置１８０は、作業車両１００がその道を走行できないと判定したとき、作業車両１００を遠隔で監視するコンピュータに作業車両１００がその道を走行できないことを通知してもよい。例えば、制御装置１８０は、端末装置４００に信号を送信して、遠隔で作業車両１００を監視するユーザに知らせてもよい。ユーザは、例えば、端末装置４００を介して作業車両１００を遠隔で操作することができる。
　図１１は、本実施形態における農道識別システムを用いた経路計画および走行制御の動作の例を示すフローチャートである。図１１の例では、局所的経路設計の前に、農道か否かの識別が行われる。
　図１１に示す例において、管理装置６００は、まず、記憶装置６５０から地図および作業計画を取得する（ステップＳ１４１）。次に、管理装置６００は、地図および作業計画に基づいて、前述の方法により、作業車両１００の大域的経路設計を行う（ステップＳ１４２）。大域的経路設計は、作業車両１００の走行を開始する前の任意のタイミングで行われ得る。大域的経路設計は、作業車両１００の走行開始の直前に行われてもよいし、走行開始の前日以前に行われてもよい。また、大域的経路は、ユーザが端末装置４００を用いて入力した情報（例えば、出発地点、目的地点、経由地点等）に基づいて生成されてもよい。管理装置６００は、生成した大域的経路を示すデータを作業車両１００に送信する。その後、管理装置６００は、所定のタイミングで、作業車両１００に走行の指示を出す。これを受けて、作業車両１００の制御装置１８０は、作業車両１００の走行を開始するように駆動装置２４０を制御する（ステップＳ１４３）。これにより、作業車両１００は走行を開始する。走行開始のタイミングは、例えば、作業計画が示す各作業日における最初の農作業の開始予定時刻までに作業車両１００が圃場に到達できる適切なタイミングに設定され得る。作業車両１００の走行中、制御装置１８０のＥＣＵ１８５は、作業車両１００が走行しようとする道が農道か否かの識別を行う（ステップＳ１４４）。農道であると判定されたとき、制御装置１８０のＥＣＵ１８５は、その道を走行可能か否かの判定を行う（ステップＳ１４５）。走行可能であると判定されたとき、制御装置１８０のＥＣＵ１８５は、後述の方法により、障害物との衝突を回避するための局所的経路設計を行う（ステップＳ１４６）。農道か否かを識別した（ステップＳ１４４）結果、農道でないと判定されたときは、走行可能か否かの判定（ステップＳ１４５）を行わずに局所的経路設計（ステップＳ１４６）を行ってもよい。障害物が検出されなかった場合、ＥＣＵ１８５は、大域的経路にほぼ平行に局所的経路を生成し、障害物が検出された場合、ＥＣＵ１８５は、障害物を回避可能な局所的経路を生成する。続いて、ＥＣＵ１８４は、作業車両１００の走行を終了させるか否かを判定する（ステップＳ１４７）。例えば、障害物を回避できる局所的経路を生成できなかった場合、または、作業車両１００が目的地点に到着した場合、ＥＣＵ１８４は、作業車両１００を停止させる（ステップＳ１４８）。走行可能でないと判定されたときも、ＥＣＵ１８４は、作業車両１００を停止させる（ステップＳ１４８）。障害物が検出されなかった場合、または障害物を回避可能な局所的経路が生成できた場合は、ステップＳ１４３に戻り、以後、ステップＳ１４８において走行を終了すると判断されるまで、ステップＳ１４３からＳ１４８の動作が繰り返される。
　作業車両１００の走行中、制御装置１８０は、所定のタイミングで、作業車両１００が走行しようとする道が農道か否かの識別を行ってもよい。例えば、制御装置１８０は、作業車両１００の加速度センサから振動波形を取得し、地面の凹凸以外に起因する成分（例えば作業車両１００の加速度等）を除去するためのフィルタリングを行い、得られた振動波形から、振動の程度（振動の周波数特性等）を評価してもよい。制御装置１８０は、振動の程度を表す指標値が予め定められた所定値よりも大きいか否かを判定し、振動の程度が所定値よりも大きいことをトリガーとして、作業車両１００が走行しようとする道が農道か否かの識別を行ってもよい。
　農道識別システムの適用例は、図１１の例に限られない。例えば、大域的経路の設定において、作業計画を用いなくてもよい。農道識別システムは、農道か否かの情報を含む地図の作成のために用いることもできる。
　図１２は、農道か否かを識別する方法の例を示すフローチャートである。この例では、制御装置１８０は、作業車両１００が走行する地面の横断プロファイルに関する情報（第１情報）が少なくとも１つの第１条件を満たし、かつ、作業車両１００の周辺の環境に関する情報（第２情報）が少なくとも１つの第２条件を満たすとき、作業車両１００が走行しようとする道が農道であると判定する。制御装置１８０は、第１情報および第２情報を取得する（ステップＳ１５１）。制御装置１８０は、第１情報が第１条件を満たすか否かを判定する（ステップＳ１５２）。第１情報が第１条件を満たすと判定されたとき、制御装置１８０は、第２情報が第２条件を満たすか否かを判定する（ステップＳ１５３）。第２情報が第２条件を満たすと判定されたとき、農道であると判定する（ステップＳ１５４）。第１情報が第１条件を満たさないと判定されたときおよび第２情報が第２条件を満たさないと判定されたとき、制御装置１８０は、農道でないと判定する（ステップＳ１５５）。
　図１２の例に限られず、例えば、制御装置１８０は、第１情報が第１条件を満たすと判定されたときのみ、第２情報を取得してもよい。第１情報が第１条件を満たすか否かの判定（ステップＳ１５２）と、第２情報が第２条件を満たすか否かの判定（ステップＳ１５３）と順序は逆であってもよい。
　（農道か否かの判定条件の具体例）
　農道か否かの判定条件の具体例を、図１３Ａおよび図１３Ｂを参照しながら説明する。図１３Ａおよび図１３Ｂは、作業車両１００のカメラ１２０が取得した画像の例に対応するモノクロ画像を示す図である。これらの図は、作業車両１００が走行する地面および作業車両１００の周囲の環境を含む画像を例示している。制御装置１８０は、例えば以下で例示する判定条件に従って農道を識別することができる。以下で例示する判定条件は、組み合わせて用いることもできる。
　第１条件は、例えば、道が延びる方向に沿って延びる轍が、作業車両１００が走行する地面に形成されていることが反映された条件を含む。例えば図１３Ａおよび図１３Ｂの例では、道が延びる方向に沿って延びる２つの轍２４が形成されている。２つの轍２４は互いに略平行に延びている。２つの轍２４の間には、道が延びる方向に沿って延びる凸部が形成され得る。図１３Ａおよび図１３Ｂの例のように舗装されていない農道には、轍が形成されていることがある。さらに、２つの轍の間の凸部上または凸部に沿って草が生えていることもある。このような轍を農道の特徴の１つとして検出し、農道か否か識別する条件として用いることができる。
　具体的には、第１条件は、例えば、連続する複数の横断プロファイルの対応する位置に凹部を示す部分が含まれているという条件を含む。第１条件は、例えば、連続する複数の横断プロファイルの対応する位置に２つの凹部を示す部分が含まれているという条件を含んでもよい。制御装置１８０は、連続する複数の横断プロファイルからこのような凹部が検出された後、検出された凹部が轍に分類されるか否かの判定をさらに行ってもよい。凹部が轍に分類されるか否の判定には、例えば地面の画像データを用いることができる。
　第１条件は、２つの凹部の間に凸部が形成されているという条件をさらに含んでもよい。第１条件は、凸部上または凸部に沿って草が生えているという条件をさらに含んでもよい。草の検出は、例えば、カメラ１２０によって取得された地面のカラー画像データのＲＧＢ値を用いて緑色の画素を検出することによって行ってもよい。ＲＧＢ色空間をＨＳＶ色空間に変換し、ＨＳＶ色空間を利用して緑色の画素の検出を行ってもよい。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３つの成分によって構成される色空間である。緑色の画素を検出する場合、色相の範囲を例えば３０～９０の範囲に設定すればよい。
　第１条件の他の例として、例えば、道が延びる方向に交差する方向における地面の勾配（傾き）が所定の値よりも大きいという条件を含んでいてもよい。例えば、図１３Ｂの例のように、道の片側に林２６がある場合、道が延びる方向に交差する方向における道の傾きが大きいことがある。第１条件は、例えば、地面の横断プロファイルの傾きが所定値よりも大きいという条件を含む。
　第１条件は、道のラフネスに関する条件を含んでもよい。例えば舗装路面の縦断方向における凹凸の評価指数として、ＩＲＩ（国際ラフネス指数；International Roughness Index）が用いられている。未舗装の農道は、一般道に比べて、縦断方向における凹凸が大きいことが考えられる。制御装置１８０は、道の縦断プロファイルを取得し、縦断プロファイルからＩＲＩを求めて道の凹凸の程度（ラフネス）を評価してもよい。第１条件は、道の凹凸の程度が所定値よりも大きいという条件を含んでもよい。
　第２条件は、例えば、道に隣接して、道の両側または片側に、圃場、畦道、林および草木からなる群の少なくとも１つが存在するという条件を含む。圃場、畦道、林および草木のいずれかが道に隣接して存在するということを農道の特徴の１つとして検出し、農道か否か識別する条件の１つとして用いる。例えば、図１３Ａの例では、道の両側に、道に隣接して圃場２２が存在し、図１３Ｂの例では、道に隣接して、道の片側には圃場２２が存在する。制御装置１８０は、例えば、作業車両１００の周辺の環境をセンシングして取得したセンシングデータから、道を検出するとともに、道に隣接して、道の両側または片側に存在する物体を認識し、認識した物体の種別を識別する。
　図１３Ｃ、図１３Ｄおよび図１３Ｅは、作業車両１００が本実施形態における農道識別システムを用いながら圃場外の道２０を自動で走行している様子の例を模式的に示す平面図である。
　図１３Ｃに示すように、道２０の区間Ａ１においては、道２０が延びる方向（この例では図の上下方向）に沿って延びる２つの轍２４が形成されており、且つ、道２０に隣接して、道２０の両側に圃場２２が存在する。例えばここでは制御装置１８０は、図１２のフローチャートに示した方法に沿って農道か否かの識別を行うとする。道２０の区間Ａ１では、第１情報が第１条件を満たし、且つ、第２情報が第２条件を満たすので、制御装置１８０は道２０が農道であると判断する。一方、図１３Ｄに示すように、道２０の区間Ａ２では、作業車両１００が走行する地面には轍に対応する凹凸が形成されず、且つ、道２０に隣接して、道２０の両側に圃場２２が存在する。従って、道２０の区間Ａ２では、第２情報が第２条件を満たすものの、第１情報が第１条件を満たさないため、制御装置１８０は、道２０は農道ではないと判断する。
　農道か否かの識別を行う方法は、上述した例に限られない。図１３Ｅおよび図１３Ｆを参照しながら、農道か否かの識別を行う方法の他の例を説明する。図１３Ｆは、農道か否かを識別する方法の他の例を示すフローチャートである。図１２のフローチャートと異なる点を主に説明する。
　例えば、図１３Ｅに示すように、互いに連続する道２０の区間Ａ１０、Ａ１１およびＡ１２において、道２０が延びる方向に沿って延びる２つの轍２４が形成されている。道２０の区間Ａ１０および区間Ａ１２では、道２０に隣接して、道２０の少なくとも片側に圃場２２が存在するので、制御装置１８０は、第１情報が第１条件を満たし、且つ、第２情報が第２条件を満たすので、道２０は農道であると判断する。一方、区間Ａ１０に続く区間Ａ１１では、道２０に隣接して、道２０の両側のどちらにも圃場、畦道、林および草木のいずれも存在しない。ここでは代わりに構造物（建物）２９が存在する。従って、区間Ａ１１では、第１情報が第１条件を満たしているものの、第２情報が第２条件を満たさない。このとき、制御装置１８０は、区間Ａ１１の前の区間Ａ１０で道２０が農道であると最後に判断してから作業車両１００が走行した距離を参照し（ステップＳ１５３ａ）、参照した距離が予め定められた距離以下（例えば、１００ｍ以下）であるか否かを判定し（ステップＳ１５３ｂ）、予め定められた距離以下である場合、道２０が農道であると判断する。すなわち、制御装置１８０は、第１情報が第１条件を満たし且つ第２情報が第２条件を満たしている状態から、第１情報が第１条件を満たし且つ、第２情報が第２条件を満たさない状態に変化した場合、第２情報が第２条件を満たさない状態で作業車両１００が走行した距離が所定の距離以下であれば、道が農道であると判断する。
　［２－３．障害物の回避］
　管理装置６００は、大域的経路を生成し、生成された大域的経路の情報は、作業車両１００に送信され、記憶装置１７０に記憶される。自動運転制御を行うＥＣＵ１８４は、大域的経路に沿って作業車両１００が走行するように、ＥＣＵ１８１および１８２を制御する。これにより、作業車両１００は、大域的経路に沿って走行を開始する。
　作業車両１００が圃場外を走行しているとき、大域的経路上またはその付近に、歩行者または他の車両などの障害物が存在することがある。作業車両１００が障害物に衝突することを回避するために、制御装置１８０におけるＥＣＵ１８５は、作業車両１００の走行中、障害物を回避可能な局所的経路を逐次生成する。ＥＣＵ１８５は、作業車両１００が走行しているとき、作業車両１００が備えるセンシング装置（障害物センサ１３０、ＬｉＤＡＲセンサ１４０、およびカメラ１２０等）によって取得されたセンシングデータに基づいて、局所的経路を生成する。局所的経路は、大域的経路の一部に沿った複数のウェイポイントによって規定される。ＥＣＵ１８５は、センシングデータに基づいて、作業車両１００の進路上またはその付近に障害物が存在するか否かを判断する。そのような障害物が存在する場合、ＥＣＵ１８５は、障害物を避けるように複数のウェイポイントを設定して局所的経路を生成する。障害物が存在しない場合、ＥＣＵ１８５は、大域的経路にほぼ平行に局所的経路を生成する。生成された局所的経路を示す情報は、自動運転制御用のＥＣＵ１８４に送られる。ＥＣＵ１８４は、局所的経路に沿って作業車両１００が走行するように、ＥＣＵ１８１およびＥＣＵ１８２を制御する。これにより、作業車両１００は、障害物を回避しながら走行することができる。なお、作業車両１００が走行する道路に信号機が存在する場合、作業車両１００は、例えばカメラ１２０が撮影した画像に基づいて信号機を認識し、赤信号で停止し、青信号で発進する、といった動作を行ってもよい。
　図１４は、障害物が存在する環境で生成される大域的経路および局所的経路の一例を示す図である。図１４において、大域的経路３０が点線矢印で例示され、走行中に逐次生成される局所的経路３２が実線矢印で例示されている。大域的経路３０は、複数のウェイポイント３０ｐによって規定される。局所的経路３２は、ウェイポイント３０ｐよりも短い間隔で設定された複数のウェイポイント３２ｐによって規定される。各ウェイポイントは、例えば、位置および向きの情報を有する。管理装置６００は、複数のウェイポイント３０ｐを、道７６の交差点を含む複数の箇所に設定することによって大域的経路３０を生成する。ウェイポイント３０ｐの間隔は、比較的長く、例えば数メートルから数十メートル程度であってもよい。ＥＣＵ１８５は、作業車両１００の走行中、センシング装置から出力されたセンシングデータに基づいて、複数のウェイポイント３２ｐを設定することにより、局所的経路３２を生成する。局所的経路３２におけるウェイポイント３２ｐの間隔は、大域的経路３０におけるウェイポイント３０ｐの間隔よりも短い。ウェイポイント３２ｐの間隔は、例えば、数十センチメートル（ｃｍ）から数メートル（ｍ）程度であり得る。局所的経路３２は、作業車両１００の位置を起点とする比較的狭い範囲（例えば数メートル程度の範囲）内に生成される。図１４には、作業車両１００が圃場７０の間の道７６に沿って走行し、交差点で左折する間に生成される一連の局所的経路３２が例示されている。ＥＣＵ１８５は、作業車両１００の移動中、ＥＣＵ１８４によって推定された作業車両１００の位置から、例えば数メートル先の地点までの局所的経路を生成する動作を繰り返す。作業車両１００は、逐次生成される局所的経路に沿って走行する。
　図１４に示す例では、作業車両１００の前方に障害物４０（例えば人）が存在する。図１４には、作業車両１００に搭載されたカメラ１２０、障害物センサ１３０、またはＬｉＤＡＲセンサ１４０などのセンシング装置によってセンシングされる範囲の一例が扇形で例示されている。このような状況において、ＥＣＵ１８５は、センシングデータに基づいて検出された障害物４０を回避するように、局所的経路３２を生成する。ＥＣＵ１８５は、例えば、センシングデータと、作業車両１００の幅（インプルメントが装着されている場合はインプルメントの幅も含む）とに基づいて、作業車両１００が障害物４０に衝突する可能性があるかを判断する。作業車両１００が障害物４０に衝突する可能性がある場合、ＥＣＵ１８５は、その障害物４０を避けるように複数のウェイポイント３２ｐを設定して局所的経路３２を生成する。なお、ＥＣＵ１８５は、障害物４０の有無だけでなく、路面の状態（例えば、ぬかるみ、陥没等）をセンシングデータに基づいて認識し、走行が困難な箇所が検出された場合、そのような箇所を回避するように局所的経路３２を生成してもよい。作業車両１００は、局所的経路３２に沿って走行する。局所的経路３２をどのように設定しても障害物４０を回避できない場合、制御装置１８０は、作業車両１００を停止させてもよい。このとき、制御装置１８０は、端末装置４００に警告信号を送信して監視者に注意喚起を行ってもよい。停止後、障害物４０が移動して衝突のおそれがなくなったことを認識した場合、制御装置１８０は、作業車両１００の走行を再開してもよい。
　なお、図１１のフローチャートの例において、大域的経路は、一度生成された後、目的地に到達するまで変更されない。このような例に限らず、作業車両１００の走行中に大域的経路が修正されてもよい。例えば、ＥＣＵ１８５は、作業車両１００の走行中に、カメラ１２０またはＬｉＤＡＲセンサ１４０などのセンシング装置によって取得されたセンシングデータに基づいて、作業車両１００が走行している道の状態、作業車両１００の周辺の草木の状態、および天候の状態の少なくとも一つを認識し、認識した状態が所定の条件を満たす場合に、大域的経路を変更してもよい。作業車両１００が大域的経路に沿って走行しているとき、一部の道の通行が困難である場合がある。例えば、豪雨によって道がぬかるんでいたり、路面が陥没していたり、事故その他の原因で通行できなくなっていたりすることがある。あるいは、農道の周辺の草木が想定よりも伸びていたり、建造物が新たに建設されていたりして、ＧＮＳＳ衛星からの衛星信号が受信しにくくなっていることがある。そのような状況を考慮して、ＥＣＵ１８５は、作業車両１００の走行中に取得されたセンシングデータに基づいて、通行が困難な道を検出し、そのような道を回避するように経路を変更してもよい。また、ＥＣＵ１８５は、経路を変更した場合、変更後の経路を記憶装置１７０に記憶させ、管理装置６００に変更後の経路の情報を送信してもよい。その場合、管理装置６００は、次回、同じ圃場への経路生成時に、変更後の経路を採用してもよい。これにより、走行環境の変化に応じた柔軟な経路計画が可能になる。
　上記の実施形態における農道識別システムを、その機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線（例えばインターネット）を介したダウンロードによっても提供され得る。
　以上のように、本開示は、以下の項目に記載の農道識別システム、制御システムおよび農業機械を含む。
　［項目１］
　自動運転を行う農業機械のための農道識別システムであって、
　前記農業機械が走行する地面をセンシングして第１センシングデータを取得し、
　前記農業機械の周辺の環境をセンシングして第２センシングデータを取得する、少なくとも１つのセンシング装置と、
　前記第１センシングデータに基づいて前記地面の横断プロファイルに関する第１情報を
取得し、
　前記第２センシングデータに基づいて前記周辺の環境に関する第２情報を取得し、
　前記第１情報および前記第２情報に基づいて、前記地面にある道が農道か否かを識別する、処理装置と
を備える、農道識別システム。
　上記の農道識別システムによると、農業機械が走行しようとする道が農道か否かの識別を多様な環境で行うことができる。
　［項目２］
　前記処理装置は、前記第２センシングデータに基づいて、前記農業機械の周辺に存在する１または複数の物体を認識し、認識した結果を含む前記第２情報を取得する、項目１に記載の農道識別システム。
　上記の構成によると、農業機械の周辺に存在する物体の情報に基づいて、農業機械が走行しようとする道が農道か否かの識別を行うことができる。
　［項目３］
　前記処理装置は、前記第１情報が第１条件を満たし、かつ、前記第２情報が第２条件を満たすとき、前記道が農道であると判定する、項目１または２に記載の農道識別システム。
　［項目４］
　前記少なくとも１つのセンシング装置は、ＬｉＤＡＲセンサおよび／またはカメラを含み、
　前記第１センシングデータは、前記ＬｉＤＡＲセンサによって取得された前記地面の点群データおよび／または前記カメラによって取得された前記地面の画像データを含み、
　前記第２センシングデータは、前記ＬｉＤＡＲセンサによって取得された前記周辺の環境の点群データおよび／または前記カメラによって取得された前記周辺の環境の画像データを含む、項目１から３のいずれか１項に記載の農道識別システム。
　［項目５］
　前記処理装置は、前記道が農道であると判定したとき、前記農業機械の車幅および／または長さに基づいて、前記農業機械が前記道を走行可能か否かを判定する、項目１から４のいずれか１項に記載の農道識別システム。
　上記の構成によると、自動運転を行う農業機械の走行がよりスムーズに行われ得る。また、上記の構成の農道識別システムは、多様な農業機械に適用可能である。
　［項目６］
　前記農業機械は、インプルメントを装着可能なトラクタであり、
　前記処理装置は、前記トラクタがインプルメントを装着している場合に、前記道が農道であると判定したとき、前記インプルメントの車幅および／または長さに基づいて、前記農業機械が前記道を走行可能か否かを判定する、項目１から５のいずれか１項に記載の農道識別システム。
　上記の構成によると、自動運転を行う農業機械の走行がよりスムーズに行われ得る。また、上記の構成の農道識別システムは、多様な農業機械（農業機械が装着しているインプルメントを含む）に適用可能である。
　［項目７］
　前記処理装置は、前記農業機械が前記道を走行できないと判定したとき、前記農業機械が前記道を走行できないことを、前記農業機械の監視コンピュータに通知する、項目５または６に記載の農道識別システム。
　上記の構成によると、農業機械の監視コンピュータと連携して農業機械の走行および制御を行うことができる。
　［項目８］
　前記処理装置は、前記第２センシングデータに基づいて、前記道に隣接して、前記道の両側または片側に、圃場、畦道、林および草木からなる群から選択された少なくとも１つが認識されたとき、前記第２条件が満たされたと判定する、項目３に記載の農道識別システム。
　［項目９］
　前記少なくとも１つのセンシング装置は、ＬｉＤＡＲセンサおよび／またはカメラを含み、
　前記第２センシングデータは、前記ＬｉＤＡＲセンサによって取得された前記周辺の環境の点群データおよび／または前記カメラによって取得された前記周辺の環境の画像データを含み、
　前記処理装置は、前記第２センシングデータから、前記道を検出するとともに、前記道に隣接して、前記道の両側または片側に存在する、圃場、畦道、林および草木からなる群から選択された少なくとも１つを検出する、項目８に記載の農道識別システム。
　［項目１０］
　前記処理装置は、前記第１情報に基づいて、前記地面に形成された、前記道が延びる方向に沿って延びる轍が検出されたとき、前記第１条件が満たされたと判定する、項目３に記載の農道識別システム。
　［項目１１］
　前記処理装置は、前記第１情報に基づいて、前記地面の横断プロファイルが中央部に凸部を有し、かつ、前記凸部が、前記道が延びる方向に沿って延びていることが検出されたとき、前記第１条件が満たされたと判定する、項目３に記載の農道識別システム。
　［項目１２］
　前記処理装置は、前記第１情報に基づいて、前記凸部上または前記凸部に沿って草が生えていることが検出されたとき、前記第１条件が満たされたと判定する、項目１１に記載の農道識別システム。
　［項目１３］
　前記少なくとも１つのセンシング装置は、カメラを含み、
　前記第１センシングデータは、前記カメラによって取得された前記地面のカラー画像データを含み、
　前記処理装置は、前記地面の前記カラー画像データのＲＧＢ値に基づいて、前記凸部上または前記凸部に沿って生えている草を検出する、項目１２に記載の農道識別システム。
　［項目１４］
　前記処理装置は、前記第１情報に基づいて、前記地面に所定値よりも大きい傾きが検出されたとき、前記第１条件が満たされたと判定する、項目３に記載の農道識別システム。
　［項目１５］
　前記農業機械の振動を検知するセンサをさらに有し、
　前記処理装置は、前記センサから出力された信号に基づいて前記農業機械の振動の程度に関する第３情報を取得し、前記第３情報にさらに基づいて、前記道が農道か否かを識別する、項目１から１４のいずれか１項に記載の農道識別システム。
　［項目１６］
　前記処理装置は、前記農業機械の振動の程度を表す指標値が所定値よりも大きいか否かを判定し、前記指標値が所定値よりも大きいとき、前記道が農道か否かの識別を行う、項目１５に記載の農道識別システム。
　［項目１７］
　前記処理装置は、前記第１センシングデータに基づいて前記地面のラフネスを評価し、前記地面のラフネスにさらに基づいて、前記道が農道か否かを識別する、項目１から１６のいずれか１項に記載の農道識別システム。
　［項目１８］
　前記処理装置は、前記道が農道であると判定したとき、前記第１センシングデータおよび前記第２センシングデータに基づいて、前記道に沿って前記農業機械の経路を設定する、項目１から１７のいずれか１項に記載の農道識別システム。
　上記の構成によると、自動運転を行う農業機械の経路設計（経路計画）の効率が向上され得る。
　［項目１９］
　前記処理装置は、前記第２センシングデータから、圃場の出入口、溝および農業施設からなる群から選択された少なくとも１つの特徴点を検出し、前記少なくとも１つの特徴点を用いて前記農業機械の経路にランドマークを設定する、項目１８に記載の農道識別システム。
　上記の構成によると、自動運転を行う農業機械の経路設計（経路計画）の効率が向上され得る。
　［項目２０］
　項目１から１９のいずれか１項に記載の農道識別システムと、
　前記農業機械の走行を制御する制御装置と
を備える、制御システム。
　［項目２１］
　前記制御装置は、前記処理装置が、前記道が農道であると判定したときと、前記道が農道でないと判定したときとで、前記農業機械の制御方法を異ならせる、項目２０に記載の制御システム。
　上記の構成によると、自動運転を行う農業機械の走行が、一般道と農道との両方において、よりスムーズに行われ得る。
　［項目２２］
　項目２０または２１に記載の制御システムを備える、農業機械。
　本開示の技術は、例えばトラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、または農業用ロボットなどの農業機械のための農道識別システムに適用することができる。本開示の実施形態による農道識別システムは、例えば、農業機械が圃場外を自動走行している間に用いられる。
　２０・・・道、２２・・・圃場、２４・・・轍、２６・・・林、３０・・・大域的経路、３２・・・局所的経路、４０・・・障害物、５０・・・ＧＮＳＳ衛星、６０・・・基準局、７０・・・圃場、、７２・・・作業領域、７４・・・枕地、７６・・・道路、８０・・・ネットワーク、１００・・・作業車両、１０１・・・車両本体、１０２・・・原動機（エンジン）、１０３・・・変速装置（トランスミッション）、１０４・・・車輪、１０５・・・キャビン、１０６・・・操舵装置、１０７・・・運転席、１０８・・・連結装置、１１０・・・測位装置（ＧＮＳＳユニット）、１１１・・・ＧＮＳＳ受信機、１１２・・・ＲＴＫ受信機、１１５・・・慣性計測装置（ＩＭＵ）、１１６・・・処理回路、１２０・・・カメラ、１３０・・・障害物センサ、１４０・・・ＬｉＤＡＲセンサ、１５０・・・センサ群、１５２・・・ステアリングホイールセンサ、１５４・・・切れ角センサ、１５６・・・車軸センサ、１６０・・・制御システム、１７０・・・記憶装置、１８０・・・制御装置、１８１～１８６・・・ＥＣＵ、１９０・・・通信装置、２００・・・操作端末、２１０・・・操作スイッチ群、２２０・・・ブザー、２４０・・・駆動装置、３００・・・インプルメント、３４０・・・駆動装置、３８０・・・制御装置、３９０・・・通信装置、４００・・・端末装置、４２０・・・入力装置、４３０・・・表示装置、４５０・・・記憶装置、４６０・・・プロセッサ、４７０・・・ＲＯＭ、４８０・・・ＲＡＭ、４９０・・・通信装置、６００・・・管理装置、６５０・・・記憶装置、６６０・・・プロセッサ、６７０・・・ＲＯＭ、６８０・・・ＲＡＭ、６９０・・・通信装置

Claims (22)

  1. 　自動運転を行う農業機械のための農道識別システムであって、
    　前記農業機械が走行する地面をセンシングして第１センシングデータを取得し、
    　前記農業機械の周辺の環境をセンシングして第２センシングデータを取得する、少なくとも１つのセンシング装置と、
    　前記第１センシングデータに基づいて前記地面の横断プロファイルに関する第１情報を取得し、
    　前記第２センシングデータに基づいて前記周辺の環境に関する第２情報を取得し、
    　前記第１情報および前記第２情報に基づいて、前記地面にある道が農道か否かを識別する、処理装置と
    を備える、農道識別システム。
  2. 　前記処理装置は、前記第２センシングデータに基づいて、前記農業機械の周辺に存在する１または複数の物体を認識し、認識した結果を含む前記第２情報を取得する、請求項１に記載の農道識別システム。
  3. 　前記処理装置は、前記第１情報が第１条件を満たし、かつ、前記第２情報が第２条件を満たすとき、前記道が農道であると判定する、請求項１または２に記載の農道識別システム。
  4. 　前記少なくとも１つのセンシング装置は、ＬｉＤＡＲセンサおよび／またはカメラを含み、
    　前記第１センシングデータは、前記ＬｉＤＡＲセンサによって取得された前記地面の点群データおよび／または前記カメラによって取得された前記地面の画像データを含み、
    　前記第２センシングデータは、前記ＬｉＤＡＲセンサによって取得された前記周辺の環境の点群データおよび／または前記カメラによって取得された前記周辺の環境の画像データを含む、請求項１から３のいずれか１項に記載の農道識別システム。
  5. 　前記処理装置は、前記道が農道であると判定したとき、前記農業機械の車幅および／または長さに基づいて、前記農業機械が前記道を走行可能か否かを判定する、請求項１から４のいずれか１項に記載の農道識別システム。
  6. 　前記農業機械は、インプルメントを装着可能なトラクタであり、
    　前記処理装置は、前記トラクタがインプルメントを装着している場合に、前記道が農道であると判定したとき、前記インプルメントの車幅および／または長さに基づいて、前記農業機械が前記道を走行可能か否かを判定する、請求項１から５のいずれか１項に記載の農道識別システム。
  7. 　前記処理装置は、前記農業機械が前記道を走行できないと判定したとき、前記農業機械が前記道を走行できないことを、前記農業機械の監視コンピュータに通知する、請求項５または６に記載の農道識別システム。
  8. 　前記処理装置は、前記第２センシングデータに基づいて、前記道に隣接して、前記道の両側または片側に、圃場、畦道、林および草木からなる群から選択された少なくとも１つが認識されたとき、前記第２条件が満たされたと判定する、請求項３に記載の農道識別システム。
  9. 　前記少なくとも１つのセンシング装置は、ＬｉＤＡＲセンサおよび／またはカメラを含み、
    　前記第２センシングデータは、前記ＬｉＤＡＲセンサによって取得された前記周辺の環境の点群データおよび／または前記カメラによって取得された前記周辺の環境の画像データを含み、
    　前記処理装置は、前記第２センシングデータから、前記道を検出するとともに、前記道に隣接して、前記道の両側または片側に存在する、圃場、畦道、林および草木からなる群から選択された少なくとも１つを検出する、請求項８に記載の農道識別システム。
  10. 　前記処理装置は、前記第１情報に基づいて、前記地面に形成された、前記道が延びる方向に沿って延びる轍が検出されたとき、前記第１条件が満たされたと判定する、請求項３に記載の農道識別システム。
  11. 　前記処理装置は、前記第１情報に基づいて、前記地面の横断プロファイルが中央部に凸部を有し、かつ、前記凸部が、前記道が延びる方向に沿って延びていることが検出されたとき、前記第１条件が満たされたと判定する、請求項３に記載の農道識別システム。
  12. 　前記処理装置は、前記第１情報に基づいて、前記凸部上または前記凸部に沿って草が生えていることが検出されたとき、前記第１条件が満たされたと判定する、請求項１１に記載の農道識別システム。
  13. 　前記少なくとも１つのセンシング装置は、カメラを含み、
    　前記第１センシングデータは、前記カメラによって取得された前記地面のカラー画像データを含み、
    　前記処理装置は、前記地面の前記カラー画像データのＲＧＢ値に基づいて、前記凸部上または前記凸部に沿って生えている草を検出する、請求項１２に記載の農道識別システム。
  14. 　前記処理装置は、前記第１情報に基づいて、前記地面に所定値よりも大きい傾きが検出されたとき、前記第１条件が満たされたと判定する、請求項３に記載の農道識別システム。
  15. 　前記農業機械の振動を検知するセンサをさらに有し、
    　前記処理装置は、前記センサから出力された信号に基づいて前記農業機械の振動の程度に関する第３情報を取得し、前記第３情報にさらに基づいて、前記道が農道か否かを識別する、請求項１から１４のいずれか１項に記載の農道識別システム。
  16. 　前記処理装置は、前記農業機械の振動の程度を表す指標値が所定値よりも大きいか否かを判定し、前記指標値が所定値よりも大きいとき、前記道が農道か否かの識別を行う、請求項１５に記載の農道識別システム。
  17. 　前記処理装置は、前記第１センシングデータに基づいて前記地面のラフネスを評価し、前記地面のラフネスにさらに基づいて、前記道が農道か否かを識別する、請求項１から１６のいずれか１項に記載の農道識別システム。
  18. 　前記処理装置は、前記道が農道であると判定したとき、前記第１センシングデータおよび前記第２センシングデータに基づいて、前記道に沿って前記農業機械の経路を設定する、請求項１から１７のいずれか１項に記載の農道識別システム。
  19. 　前記処理装置は、前記第２センシングデータから、圃場の出入口、溝および農業施設からなる群から選択された少なくとも１つの特徴点を検出し、前記少なくとも１つの特徴点を用いて前記農業機械の経路にランドマークを設定する、請求項１８に記載の農道識別システム。
  20. 　請求項１から１９のいずれか１項に記載の農道識別システムと、
    　前記農業機械の走行を制御する制御装置と
    を備える、制御システム。
  21. 　前記制御装置は、前記処理装置が、前記道が農道であると判定したときと、前記道が農道でないと判定したときとで、前記農業機械の制御方法を異ならせる、請求項２０に記載の制御システム。
  22. 　請求項２０または２１に記載の制御システムを備える、農業機械。
PCT/JP2022/042918 2021-12-06 2022-11-18 農道識別システム、制御システムおよび農業機械 WO2023106071A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023566203A JPWO2023106071A1 (ja) 2021-12-06 2022-11-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021197662 2021-12-06
JP2021-197662 2021-12-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/734,399 Continuation US20240317238A1 (en) 2021-12-06 2024-06-05 Agricultural road identification system, control system, and agricultural machine

Publications (1)

Publication Number Publication Date
WO2023106071A1 true WO2023106071A1 (ja) 2023-06-15

Family

ID=86730312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042918 WO2023106071A1 (ja) 2021-12-06 2022-11-18 農道識別システム、制御システムおよび農業機械

Country Status (2)

Country Link
JP (1) JPWO2023106071A1 (ja)
WO (1) WO2023106071A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012167942A (ja) * 2011-02-10 2012-09-06 Hitachi Ltd 最適経路検索システム及び最適経路検索方法
WO2018101351A1 (ja) * 2016-12-02 2018-06-07 株式会社クボタ 走行経路管理システム及び走行経路決定装置
JP2019086438A (ja) * 2017-11-08 2019-06-06 本田技研工業株式会社 地図生成サーバおよび地図生成方法
JP2020144101A (ja) * 2019-01-25 2020-09-10 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 走行経路を生成するための方法及び装置
JP2021029218A (ja) 2019-08-29 2021-03-01 井関農機株式会社 農道経路情報格納システムおよび作業車両
JP2021130401A (ja) 2020-02-20 2021-09-09 株式会社ジェイテクト ４輪駆動車の制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012167942A (ja) * 2011-02-10 2012-09-06 Hitachi Ltd 最適経路検索システム及び最適経路検索方法
WO2018101351A1 (ja) * 2016-12-02 2018-06-07 株式会社クボタ 走行経路管理システム及び走行経路決定装置
JP2019086438A (ja) * 2017-11-08 2019-06-06 本田技研工業株式会社 地図生成サーバおよび地図生成方法
JP2020144101A (ja) * 2019-01-25 2020-09-10 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 走行経路を生成するための方法及び装置
JP2021029218A (ja) 2019-08-29 2021-03-01 井関農機株式会社 農道経路情報格納システムおよび作業車両
JP2021130401A (ja) 2020-02-20 2021-09-09 株式会社ジェイテクト ４輪駆動車の制御装置

Also Published As

Publication number Publication date
JPWO2023106071A1 (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
EP3826449B1 (en) Vehicle controllers for agricultural and industrial applications
US20240065131A1 (en) Agricultural Lane Following
US20240188475A1 (en) Agricultural assistance system and agricultural assistance method
US20240172577A1 (en) Control system for agricultural machine and agriculture management system
WO2023119871A1 (ja) 自動走行を行う農業機械のための経路計画システムおよび経路計画方法
WO2023127391A1 (ja) 遠隔操作走行が可能な農業機械の走行制御システム
WO2023106071A1 (ja) 農道識別システム、制御システムおよび農業機械
US20240317238A1 (en) Agricultural road identification system, control system, and agricultural machine
WO2023218688A1 (ja) 地図作成システムおよび経路計画システム
WO2023095856A1 (ja) 自動運転を行う農業機械のための経路計画システム
WO2023112515A1 (ja) 地図生成システムおよび地図生成方法
WO2023127557A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023127556A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023119996A1 (ja) 障害物検出システム、農業機械および障害物検出方法
WO2024004486A1 (ja) 作業車両、制御方法および制御システム
WO2023248909A1 (ja) 走行制御システム、農業機械および走行制御方法
WO2023106158A1 (ja) 自動運転を行う農業機械のための経路計画システム
WO2024004463A1 (ja) 走行制御システム、走行制御方法およびコンピュータプログラム
WO2023238724A1 (ja) 農業機械の自動走行のための経路生成システムおよび経路生成方法
WO2023127353A1 (ja) 農業機械、センシングシステム、センシング方法、遠隔操縦システム、および制御方法
WO2023127390A1 (ja) 遠隔操作走行が可能な農業機械の走行制御システム
WO2023238827A1 (ja) 農業管理システム
JP2024003645A (ja) 経路生成システム、農業機械および経路生成方法
WO2023119986A1 (ja) 農業機械、および、農業機械に用いるジェスチャ認識システム
WO2023243369A1 (ja) 映像表示システムおよび作業車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904002

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023566203

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022904002

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022904002

Country of ref document: EP

Effective date: 20240708