WO2023248909A1 - 走行制御システム、農業機械および走行制御方法 - Google Patents

走行制御システム、農業機械および走行制御方法 Download PDF

Info

Publication number
WO2023248909A1
WO2023248909A1 PCT/JP2023/022145 JP2023022145W WO2023248909A1 WO 2023248909 A1 WO2023248909 A1 WO 2023248909A1 JP 2023022145 W JP2023022145 W JP 2023022145W WO 2023248909 A1 WO2023248909 A1 WO 2023248909A1
Authority
WO
WIPO (PCT)
Prior art keywords
work vehicle
obstacle
detected
travel
agricultural machine
Prior art date
Application number
PCT/JP2023/022145
Other languages
English (en)
French (fr)
Inventor
啓吾 小丸
峻史 西山
佳宏 渡辺
建 作田
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Publication of WO2023248909A1 publication Critical patent/WO2023248909A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track

Definitions

  • the present disclosure relates to a travel control system for an agricultural machine that performs automatic operation, an agricultural machine equipped with such a travel control system, and a travel control method.
  • Patent Document 1 discloses a system for automatically driving an unmanned work vehicle between two fields separated from each other across a road.
  • the present disclosure relates to a travel control system that can control an agricultural machine to efficiently run automatically, an agricultural machine equipped with such a travel control system, and an agricultural machine that can efficiently run an automatically driven agricultural machine.
  • a travel control method that can perform control such that
  • a travel control system is a travel control system for an agricultural machine that performs automatic operation while sensing the surrounding environment, and the system includes a past travel state of the agricultural machine and obstacles detected during travel.
  • a storage device that stores a travel history including information on the position of an object candidate, sensor data obtained by sensing the surrounding environment, and the travel history for causing the agricultural machine to avoid obstacles; and a processing device that executes an avoidance operation.
  • a travel control method is a travel control method for an agricultural machine that performs automatic operation while sensing the surrounding environment, and includes information on past travel conditions of the agricultural machine and obstacles detected during travel. storing a travel history including information on the position of an object candidate; and having the agricultural machine avoid obstacles based on sensor data obtained by sensing the surrounding environment and the travel history. This includes causing the user to perform an evasive action.
  • Computer-readable storage media may include volatile storage media or non-volatile storage media.
  • the device may be composed of multiple devices. When a device is composed of two or more devices, the two or more devices may be arranged within one device, or may be arranged separately within two or more separate devices. .
  • a travel control system capable of controlling an automatically-driving agricultural machine to efficiently travel, an agricultural machine including such a travel control system, and an automatically-driving agricultural machine.
  • a travel control method is provided that can control travel so that travel is performed efficiently.
  • FIG. 1 is a diagram for explaining an overview of an agricultural management system according to an exemplary embodiment of the present disclosure.
  • FIG. 1 is a side view schematically showing an example of a work vehicle and an implement connected to the work vehicle.
  • FIG. 2 is a block diagram showing an example of the configuration of a work vehicle and an implement.
  • FIG. 2 is a conceptual diagram showing an example of a work vehicle that performs positioning using RTK-GNSS.
  • FIG. 3 is a diagram showing an example of an operation terminal and a group of operation switches provided inside the cabin.
  • FIG. 2 is a block diagram illustrating the hardware configuration of a management device and a terminal device.
  • FIG. 2 is a diagram schematically showing an example of a work vehicle that automatically travels along a target route in a field.
  • FIG. 3 is a diagram showing an example of a work vehicle traveling along a target route P.
  • FIG. 3 is a diagram showing an example of a work vehicle in a position shifted to the right from a target route P.
  • FIG. 2 is a diagram showing an example of a work vehicle in a position shifted to the left from a target route P.
  • FIG. 3 is a diagram showing an example of a work vehicle facing in a direction inclined with respect to a target route P.
  • FIG. FIG. 2 is a diagram schematically showing an example of a situation in which a plurality of work vehicles are automatically traveling on roads inside and outside a field.
  • FIG. 3 is a diagram illustrating an example of a global route and a local route generated in an environment where obstacles exist.
  • 3 is a flowchart showing a route planning and travel control method.
  • FIG. 2 is a diagram schematically showing an example of a region that can be sensed by a LiDAR sensor included in a work vehicle.
  • FIG. 3 is a diagram schematically showing an example of an area that can be sensed by a camera included in a work vehicle.
  • 2 is a flowchart illustrating an example of a procedure in which a work vehicle travels using a travel control system.
  • 2 is a flowchart illustrating an example of a procedure in which a work vehicle travels using a travel control system.
  • 2 is a flowchart illustrating an example of a procedure in which a work vehicle travels using a travel control system.
  • 2 is a flowchart illustrating an example of a procedure in which a work vehicle travels using a travel control system.
  • agricultural machinery refers to machinery used in agricultural applications.
  • Examples of agricultural machinery include tractors, harvesters, rice transplanters, riding management machines, vegetable transplanters, mowers, seeders, fertilizer spreaders, and agricultural mobile robots.
  • a work vehicle such as a tractor function as an "agricultural machine” alone, but also the implement attached to or towed by the work vehicle and the work vehicle as a whole function as a single "agricultural machine.”
  • Agricultural machines perform agricultural work such as plowing, sowing, pest control, fertilization, planting crops, or harvesting on the ground within a field. These agricultural works are sometimes referred to as “ground work” or simply “work.”
  • the movement of a vehicle-type agricultural machine while performing agricultural work is sometimes referred to as "work driving.”
  • Automatic operation means that the movement of agricultural machinery is controlled by the function of a control device, without manual operation by a driver.
  • Agricultural machinery that operates automatically is sometimes called “self-driving agricultural machinery” or “robotic agricultural machinery.”
  • self-driving agricultural machinery or “robotic agricultural machinery.”
  • the control device can control at least one of steering necessary for movement of the agricultural machine, adjustment of movement speed, start and stop of movement.
  • the control device may control operations such as raising and lowering the work implement, starting and stopping the operation of the work implement, and the like.
  • Movement by automatic driving may include not only movement of the agricultural machine toward a destination along a predetermined route, but also movement of the agricultural machine to follow a tracking target.
  • a self-driving agricultural machine may move partially based on user instructions.
  • agricultural machinery that performs automatic driving may operate in a manual driving mode in which the agricultural machine moves by manual operation by a driver.
  • the act of steering agricultural machinery by means of a control device, rather than manually, is called "automatic steering.”
  • Part or all of the control device may be external to the agricultural machine. Communication such as control signals, commands, or data may occur between a control device external to the agricultural machine and the agricultural machine.
  • Agricultural machines that operate automatically may move autonomously while sensing the surrounding environment, without humans being involved in controlling the movement of the agricultural machines.
  • Agricultural machinery capable of autonomous movement can run unmanned within a field or outside the field (for example, on a road). Obstacle detection and obstacle avoidance operations may be performed during autonomous movement.
  • Work plan is data that defines a schedule for one or more agricultural tasks to be performed by agricultural machinery.
  • the work plan may include, for example, information indicating the order of agricultural operations to be performed by agricultural machinery and the fields in which each agricultural operation is performed.
  • the work plan may include information on the days and times each agricultural work is scheduled to be performed.
  • a work plan that includes information on the scheduled days and times for each agricultural work is particularly referred to as a "work schedule" or simply a "schedule.”
  • the work schedule may include information on the scheduled start time and/or scheduled end time of each agricultural task to be performed on each working day.
  • the work plan or work schedule may include information such as the content of the work, the implements to be used, and/or the type and amount of agricultural materials to be used for each agricultural work.
  • agricultural materials means materials used in agricultural work performed by agricultural machinery. Agricultural materials are sometimes simply called “materials.” Agricultural inputs may include materials consumed by agricultural operations, such as pesticides, fertilizers, seeds, or seedlings.
  • the work plan may be created by a processing device that communicates with the agricultural machine to manage farm work, or by a processing device mounted on the agricultural machine. For example, the processing device can create a work plan based on information input by a user (such as an agricultural manager or a farm worker) by operating a terminal device.
  • a processing device that communicates with agricultural machinery and manages agricultural work is referred to as a "management device.”
  • the management device may manage agricultural work of a plurality of agricultural machines.
  • the management device may create a work plan that includes information regarding each agricultural work performed by each of the plurality of agricultural machines.
  • the work plan may be downloaded by each farm machine and stored in storage.
  • Each agricultural machine can automatically head to the field and perform the scheduled agricultural work according to the work plan.
  • Environmental map is data that expresses the positions or areas of objects in the environment in which agricultural machinery moves using a predetermined coordinate system.
  • Environmental maps are sometimes simply referred to as "maps" or “map data.”
  • the coordinate system defining the environmental map may be, for example, a world coordinate system, such as a geographic coordinate system fixed relative to the earth.
  • the environmental map may include information other than location (for example, attribute information and other information) about objects existing in the environment.
  • Environmental maps include maps in various formats, such as point cloud maps or grid maps. Local map or partial map data generated or processed in the process of constructing an environmental map is also referred to as a "map" or "map data.”
  • “Rural road” means a road primarily used for agricultural purposes.
  • a farm road is not limited to a road paved with asphalt, but also includes an unpaved road covered with dirt or gravel.
  • Farm roads include roads (including private roads) that are exclusively traversable by vehicle-type agricultural machinery (for example, work vehicles such as tractors), and roads that are also traversable by general vehicles (passenger cars, trucks, buses, etc.). The work vehicle may automatically travel on general roads in addition to farm roads.
  • a general road is a road maintained for general vehicle traffic.
  • “Local feature” means something that exists on the ground. Examples of features include waterways, grass, trees, roads, fields, ditches, rivers, bridges, forests, mountains, rocks, buildings, railroad tracks, and the like. Things that do not exist in the real world, such as boundary lines, place names, building names, field names, and route names, are not included in the "features" in this disclosure.
  • GNSS satellite means an artificial satellite in the Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System), GLONASS, Galileo, and BeiDou.
  • GNSS satellites are satellites in these positioning systems. Signals transmitted from GNSS satellites are referred to as "satellite signals.”
  • a “GNSS receiver” is a device that receives radio waves transmitted from a plurality of GNSS satellites and performs positioning based on signals superimposed on the radio waves.
  • GNSS data is data output from a GNSS receiver.
  • GNSS data may be generated in a predetermined format, such as NMEA-0183 format.
  • the GNSS data may include, for example, information indicating the reception status of satellite signals received from individual satellites.
  • the GNSS data may include values indicating the identification number, elevation, azimuth, and reception strength of each satellite from which the satellite signal was received.
  • the reception strength is a numerical value indicating the strength of the received satellite signal.
  • the reception strength can be expressed, for example, as a value such as carrier to noise power density ratio (C/N0).
  • the GNSS data may include position information of a GNSS receiver or agricultural machine calculated based on multiple received satellite signals. Location information can be expressed, for example, by latitude, longitude, height from mean sea level, and the like.
  • the GNSS data may further include information indicating the reliability of the location information.
  • “Can receive satellite signals normally” means that satellite signals can be received stably to the extent that the reliability of positioning does not decrease significantly.
  • the inability to receive satellite signals normally is sometimes expressed as a "satellite signal reception failure.”
  • “Satellite signal reception failure” is a state in which the reliability of positioning has decreased compared to normal times due to deterioration in the reception status of satellite signals.
  • Reception interference may occur, for example, when the number of detected satellites is small (for example, 3 or less), when the reception strength of each satellite signal is low, or when multipath occurs. Whether or not reception interference is occurring can be determined based on, for example, information regarding satellites included in GNSS data. For example, the presence or absence of reception interference can be determined based on the value of reception strength for each satellite included in the GNSS data, or the value of DOP (Dilution of Precision) indicating the placement status of satellites.
  • DOP Deution of Precision
  • Global path means data on a route that is generated by a processing device that performs route planning and connects a starting point to a destination point when agricultural machinery moves automatically. Generating a global route is called global path planning or global route design. In the following description, the global route is also referred to as a "target route” or simply a "route.”
  • a global route can be defined, for example, by coordinate values of a plurality of points through which the agricultural machine should pass. A point through which agricultural machinery should pass is called a "waypoint,” and a line segment connecting adjacent waypoints is called a "link.”
  • Local path means a local path that can avoid obstacles and is sequentially generated when agricultural machinery automatically moves along a global path. Generating a local route is called local path planning or local route design. The local routes are sequentially generated based on data acquired by one or more sensing devices included in the agricultural machine while the agricultural machine is moving. A local route may be defined by multiple waypoints along a portion of the global route. However, if an obstacle exists near the global route, a waypoint may be set to detour around the obstacle. The length of links between waypoints in a local path is shorter than the length of links between waypoints in a global path. The device that generates the local route may be the same as the device that generates the global route, or may be different.
  • a management device that manages agricultural work by agricultural machines may generate a global route, and a control device mounted on the agricultural machine may generate a local route.
  • the combination of the management device and the control device functions as a "processing device" that performs route planning.
  • a control device of an agricultural machine may function as a processing device that performs both global route design and local route design.
  • Storage place is a place established to store agricultural machinery.
  • the storage location may be, for example, a location managed by a user of agricultural machinery or a location jointly operated by multiple users.
  • the storage location may be, for example, a location set aside for the storage of agricultural machinery, such as a warehouse, a barn, or a parking lot at the home or business of a user (such as a farmer).
  • the location of the storage location may be registered in advance and recorded in the storage device.
  • a "standby place” is a place provided for agricultural machinery to wait while it is not performing agricultural work.
  • One or more waiting areas may be provided in the environment in which the agricultural machine operates automatically.
  • the above storage location is an example of a waiting location.
  • the waiting location may be a location jointly managed or used by multiple users.
  • the waiting area may be, for example, a warehouse, garage, barn, parking lot, or other facility.
  • the waiting location may be a warehouse, barn, garage, or parking lot at the home or business of a farmer different from the user of the agricultural machine.
  • a plurality of waiting locations may be scattered throughout the environment in which agricultural machinery moves. Work such as replacing or maintaining parts or implements of agricultural machinery or replenishing materials may be performed at the waiting area. In that case, parts, tools, or materials necessary for those operations may be placed in the waiting area.
  • Computer-readable storage media may include volatile storage media or non-volatile storage media.
  • the device may be composed of multiple devices. When a device is composed of two or more devices, the two or more devices may be arranged within one device, or may be arranged separately within two or more separate devices. .
  • FIG. 1 is a diagram for explaining an overview of an agricultural management system according to an exemplary embodiment of the present disclosure.
  • the agricultural management system shown in FIG. 1 includes a work vehicle 100, a terminal device 400, and a management device 600.
  • Terminal device 400 is a computer used by a user who remotely monitors work vehicle 100.
  • the management device 600 is a computer managed by a business operator that operates an agricultural management system. Work vehicle 100, terminal device 400, and management device 600 can communicate with each other via network 80.
  • the agricultural management system may include a plurality of work vehicles or other agricultural machines.
  • the work vehicle 100 in this embodiment is a tractor.
  • Work vehicle 100 can be equipped with an implement on one or both of the rear and front parts.
  • the work vehicle 100 can travel within a field while performing agricultural work depending on the type of implement.
  • the work vehicle 100 may run inside or outside the field without any implements attached thereto.
  • the work vehicle 100 is equipped with an automatic driving function. In other words, the work vehicle 100 can be driven not manually but by the action of the control device.
  • the control device in this embodiment is provided inside the work vehicle 100 and can control both the speed and steering of the work vehicle 100.
  • the work vehicle 100 can automatically travel not only inside the field but also outside the field (for example, on a road).
  • the work vehicle 100 is equipped with devices used for positioning or self-position estimation, such as a GNSS receiver and a LiDAR sensor.
  • the control device of the work vehicle 100 automatically causes the work vehicle 100 to travel based on the position of the work vehicle 100 and the target route information generated by the management device 600.
  • the control device also controls the operation of the implement.
  • the work vehicle 100 can perform agricultural work using the implement while automatically traveling within the field. Further, the work vehicle 100 can automatically travel along a target route on a road outside the field (for example, a farm road or a general road).
  • the work vehicle 100 When the work vehicle 100 automatically travels along a road outside the field, the work vehicle 100 creates a local route that can avoid obstacles along the target route based on data output from a sensing device such as a camera or a LiDAR sensor. Run while generating. In the field, the work vehicle 100 may travel while generating a local route as described above, or may travel along the target route without generating a local route, and when an obstacle is detected. You may also perform an operation of stopping if there is a problem.
  • a sensing device such as a camera or a LiDAR sensor
  • the management device 600 is a computer that manages agricultural work performed by the work vehicle 100.
  • the management device 600 may be, for example, a server computer that centrally manages information regarding fields on the cloud and supports agriculture by utilizing data on the cloud.
  • the management device 600 can create a work plan for the work vehicle 100 and generate a target route for the work vehicle 100 according to the work plan.
  • management device 600 may generate a target route for work vehicle 100 in response to a user's operation using terminal device 400.
  • the target route ie, global route
  • the target route for work vehicle 100 generated by management device 600 will be simply referred to as a "route.”
  • the management device 600 generates target routes using different methods for inside the field and outside the field.
  • the management device 600 generates a target route within the field based on information regarding the field.
  • the management device 600 may be configured to record the external shape of the field, the area of the field, the position of the entrance and exit of the field, the width of the work vehicle 100, the width of the implement, the content of work, the type of crops to be cultivated, and the growth of the crops, which are registered in advance.
  • a target path within a field can be generated based on a variety of information, such as area, crop growth, or crop row or row spacing.
  • the management device 600 generates a target route within the field based on information input by the user using the terminal device 400 or another device.
  • the management device 600 generates a route in the field so as to cover, for example, the entire work area where work is performed.
  • the management device 600 generates a target route outside the field according to the work plan or the user's instructions.
  • the management device 600 includes the order of farm work indicated by the work plan, the position of the field where each farm work is performed, the position of the entrance and exit of the field, the scheduled start time and end time of each farm work, and the attributes of each road recorded on the map.
  • a target route outside the field can be generated based on various types of information such as field information, road surface conditions, weather conditions, or traffic conditions.
  • the management device 600 may generate the target route based on information indicating a route or a waypoint specified by the user by operating the terminal device 400, regardless of the work plan.
  • the management device 600 may further generate and edit an environmental map based on data collected by the work vehicle 100 or other moving body using a sensing device such as a LiDAR sensor.
  • the management device 600 transmits the generated work plan, target route, and environmental map data to the work vehicle 100.
  • the work vehicle 100 automatically performs movement and agricultural work based on the data.
  • the global route design and the generation (or editing) of the environmental map are not limited to the management device 600, and may be performed by other devices.
  • the control device of work vehicle 100 may perform global route design or generate or edit an environmental map.
  • the terminal device 400 is a computer used by a user located away from the work vehicle 100. Although the terminal device 400 shown in FIG. 1 is a laptop computer, it is not limited to this.
  • the terminal device 400 may be a stationary computer such as a desktop PC (personal computer), or may be a mobile terminal such as a smartphone or a tablet computer.
  • Terminal device 400 can be used to remotely monitor work vehicle 100 or remotely control work vehicle 100.
  • the terminal device 400 can display images captured by one or more cameras (imaging devices) included in the work vehicle 100 on a display. The user can view the video, check the situation around the work vehicle 100, and send an instruction to the work vehicle 100 to stop or start.
  • the terminal device 400 can also display on the display a setting screen for the user to input information necessary for creating a work plan (for example, a schedule for each agricultural work) for the work vehicle 100.
  • a work plan for example, a schedule for each agricultural work
  • the terminal device 400 transmits the input information to the management device 600.
  • Management device 600 creates a work plan based on the information.
  • Terminal device 400 may also be used to register one or more fields where work vehicle 100 performs agricultural work, a storage location for work vehicle 100, and one or more waiting locations where work vehicle 100 temporarily waits.
  • the terminal device 400 may further have a function of displaying a setting screen on the display for the user to input information necessary for setting the target route.
  • FIG. 2 is a side view schematically showing an example of the work vehicle 100 and the work machine 300 connected to the work vehicle 100.
  • Work vehicle 100 in this embodiment can operate in both manual driving mode and automatic driving mode. In the automatic driving mode, the work vehicle 100 can run unmanned.
  • the work vehicle 100 is capable of automatic operation both inside and outside the field.
  • the work vehicle 100 includes a vehicle body 101, a prime mover (engine) 102, and a transmission 103.
  • the vehicle body 101 is provided with wheels 104 with tires and a cabin 105.
  • the wheels 104 include a pair of front wheels 104F and a pair of rear wheels 104R.
  • a driver's seat 107, a steering device 106, an operation terminal 200, and a group of switches for operation are provided inside the cabin 105.
  • one or both of the front wheels 104F and the rear wheels 104R may be replaced with a plurality of wheels (crawlers) equipped with tracks instead of wheels with tires. .
  • the work vehicle 100 includes at least one sensing device that senses the environment around the work vehicle 100.
  • work vehicle 100 includes a plurality of sensing devices.
  • the sensing device includes multiple cameras 120, LiDAR sensors 140, and multiple obstacle sensors 130.
  • the cameras 120 may be provided, for example, on the front, rear, left and right sides of the work vehicle 100. Camera 120 photographs the environment around work vehicle 100 and generates image data. Images acquired by camera 120 may be transmitted to terminal device 400 for remote monitoring. The image may be used to monitor work vehicle 100 during unmanned operation. The camera 120 is also used to generate images for recognizing surrounding features, obstacles, white lines, signs, signs, etc. when the work vehicle 100 travels on a road outside the field (farm road or general road). can be used.
  • the LiDAR sensor 140 in the example of FIG. 2 is arranged at the lower front of the vehicle body 101.
  • LiDAR sensor 140 may be provided at other locations.
  • LiDAR sensor 140 may be provided in the upper part of cabin 105.
  • LiDAR sensor 140 may be a 3D-LiDAR sensor, but may also be a 2D-LiDAR sensor.
  • LiDAR sensor 140 senses the environment around work vehicle 100 and outputs sensing data. While the work vehicle 100 is traveling, the LiDAR sensor 140 collects sensor data indicating the distance and direction to each measurement point of an object in the surrounding environment, or the two-dimensional or three-dimensional coordinate value of each measurement point. Output repeatedly. Sensor data output from LiDAR sensor 140 is processed by the control device of work vehicle 100.
  • the control device can estimate the self-position of work vehicle 100 by matching the sensor data with the environmental map.
  • the control device can further detect objects such as obstacles that exist around the work vehicle 100 based on the sensor data.
  • the control device can also generate or edit an environmental map using an algorithm such as SLAM (Simultaneous Localization and Mapping).
  • Work vehicle 100 may include a plurality of LiDAR sensors arranged at different positions and in different orientations.
  • a plurality of obstacle sensors 130 shown in FIG. 2 are provided at the front and rear of the cabin 105. Obstacle sensor 130 may also be placed at other locations. For example, one or more obstacle sensors 130 may be provided at arbitrary positions on the side, front, and rear of the vehicle body 101. Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 is used to detect surrounding obstacles during automatic driving and to stop work vehicle 100 or take a detour. LiDAR sensor 140 may be utilized as one of the obstacle sensors 130.
  • the work vehicle 100 further includes a GNSS unit 110.
  • GNSS unit 110 includes a GNSS receiver.
  • the GNSS receiver may include an antenna that receives signals from GNSS satellites and a processor that calculates the position of work vehicle 100 based on the signals received by the antenna.
  • the GNSS unit 110 receives satellite signals transmitted from a plurality of GNSS satellites, and performs positioning based on the satellite signals.
  • GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System, such as Michibiki), GLONASS, Galileo, and BeiDou.
  • GPS Global Positioning System
  • QZSS Quadasi-Zenith Satellite System
  • Galileo Galileo
  • BeiDou BeiDou.
  • the GNSS unit 110 may include an inertial measurement unit (IMU). Signals from the IMU can be used to supplement the position data.
  • the IMU can measure the tilt and minute movements of the work vehicle 100. By using data acquired by the IMU to supplement position data based on satellite signals, positioning performance can be improved.
  • the control device of the work vehicle 100 may use sensing data acquired by a sensing device such as the camera 120 or the LiDAR sensor 140 for positioning.
  • a sensing device such as the camera 120 or the LiDAR sensor 140
  • the data acquired by the camera 120 or the LiDAR sensor 140 and the previously stored can be estimated with high accuracy based on the environmental map stored in the device.
  • the position of work vehicle 100 can be specified with higher accuracy.
  • the prime mover 102 may be, for example, a diesel engine.
  • An electric motor may be used instead of a diesel engine.
  • Transmission device 103 can change the propulsive force and moving speed of work vehicle 100 by shifting. The transmission 103 can also switch the work vehicle 100 between forward movement and reverse movement.
  • the steering device 106 includes a steering wheel, a steering shaft connected to the steering wheel, and a power steering device that assists steering with the steering wheel.
  • the front wheel 104F is a steered wheel, and by changing its turning angle (also referred to as a "steering angle"), the traveling direction of the work vehicle 100 can be changed.
  • the steering angle of the front wheels 104F can be changed by operating the steering wheel.
  • the power steering device includes a hydraulic device or an electric motor that supplies an auxiliary force to change the steering angle of the front wheels 104F. When automatic steering is performed, the steering angle is automatically adjusted by the power of a hydraulic system or an electric motor under control from a control device disposed within work vehicle 100.
  • a coupling device 108 is provided at the rear of the vehicle body 101.
  • the coupling device 108 includes, for example, a three-point support device (also referred to as a "three-point link” or “three-point hitch"), a PTO (Power Take Off) shaft, a universal joint, and a communication cable.
  • the work implement 300 can be attached to and detached from the work vehicle 100 by the coupling device 108.
  • the coupling device 108 can change the position or posture of the working machine 300 by raising and lowering the three-point link using, for example, a hydraulic device.
  • power can be sent from the work vehicle 100 to the work implement 300 via the universal joint.
  • the work vehicle 100 can cause the work machine 300 to perform a predetermined work while pulling the work machine 300.
  • the coupling device may be provided at the front of the vehicle body 101. In that case, an implement can be connected to the front of the work vehicle 100.
  • the working machine 300 shown in FIG. 2 is a rotary tiller
  • the working machine 300 is not limited to a rotary tiller.
  • any implement such as a seeder, spreader, transplanter, mower, rake, baler, harvester, sprayer, or harrow. It can be used by connecting to the work vehicle 100.
  • the work vehicle 100 shown in FIG. 2 is capable of manned operation, it may also support only unmanned operation. In that case, components necessary only for manned operation, such as the cabin 105, the steering device 106, and the driver's seat 107, may not be provided in the work vehicle 100.
  • the unmanned work vehicle 100 can run autonomously or by remote control by a user.
  • FIG. 3 is a block diagram showing a configuration example of the work vehicle 100 and the work machine 300.
  • Work vehicle 100 and work implement 300 can communicate with each other via a communication cable included in coupling device 108 .
  • Work vehicle 100 can communicate with terminal device 400 and management device 600 via network 80 .
  • the work vehicle 100 in the example of FIG. 3 includes, in addition to a GNSS unit 110, a camera 120, an obstacle sensor 130, a LiDAR sensor 140, and an operation terminal 200, a sensor group 150 that detects the operating state of the work vehicle 100, a control system 160, and a communication It includes a device 190, a group of operation switches 210, a buzzer 220, and a drive device 240. These components are communicatively connected to each other via a bus.
  • the GNSS unit 110 includes a GNSS receiver 111 , an RTK receiver 112 , an inertial measurement unit (IMU) 115 , and a processing circuit 116 .
  • IMU inertial measurement unit
  • Sensor group 150 includes a steering wheel sensor 152, a turning angle sensor 154, and an axle sensor 156.
  • Control system 160 includes a storage device 170 and a control device 180.
  • Control device 180 includes a plurality of electronic control units (ECU) 181 to 186.
  • Work machine 300 includes a drive device 340, a control device 380, and a communication device 390. Note that FIG. 3 shows components that are relatively highly relevant to the automatic driving operation of the work vehicle 100, and illustration of other components is omitted.
  • the GNSS receiver 111 in the GNSS unit 110 receives satellite signals transmitted from multiple GNSS satellites, and generates GNSS data based on the satellite signals.
  • GNSS data is generated in a predetermined format, such as NMEA-0183 format.
  • GNSS data may include, for example, values indicating the identification number, elevation, azimuth, and reception strength of each satellite from which the satellite signal was received. The reception strength can be expressed, for example, as a value such as carrier noise power density ratio (C/N0).
  • the GNSS data may also include position information of work vehicle 100 calculated based on a plurality of received satellite signals, and information indicating the reliability of the position information. Location information can be expressed, for example, by latitude, longitude, height from mean sea level, and the like. The reliability of position information can be expressed, for example, by a DOP value indicating the placement status of satellites.
  • the GNSS unit 110 shown in FIG. 3 performs positioning of the work vehicle 100 using RTK (Real Time Kinematic)-GNSS.
  • FIG. 4 is a conceptual diagram showing an example of a work vehicle 100 that performs positioning using RTK-GNSS.
  • a correction signal transmitted from the reference station 60 is used in positioning using RTK-GNSS.
  • the reference station 60 may be installed near a field where the work vehicle 100 travels for work (for example, within 10 km from the work vehicle 100).
  • the reference station 60 generates, for example, a correction signal in RTCM format based on the satellite signals received from the plurality of GNSS satellites 50, and transmits it to the GNSS unit 110.
  • RTK receiver 112 includes an antenna and a modem, and receives the correction signal transmitted from reference station 60.
  • the processing circuit 116 of the GNSS unit 110 corrects the positioning result by the GNSS receiver 111 based on the correction signal.
  • RTK-GNSS it is possible to perform positioning with an accuracy of a few centimeters, for example.
  • Location information including latitude, longitude, and altitude information is obtained through highly accurate positioning using RTK-GNSS.
  • GNSS unit 110 calculates the position of work vehicle 100 at a frequency of about 1 to 10 times per second, for example.
  • the positioning method is not limited to RTK-GNSS, and any positioning method (interferometric positioning method, relative positioning method, etc.) that can obtain position information with the necessary accuracy can be used.
  • positioning may be performed using VRS (Virtual Reference Station) or DGPS (Differential Global Positioning System). If positional information with the necessary accuracy can be obtained without using the correction signal transmitted from the reference station 60, the positional information may be generated without using the correction signal.
  • GNSS unit 110 may not include RTK receiver 112.
  • the position of work vehicle 100 is estimated.
  • the position of work vehicle 100 can be estimated by matching data output from LiDAR sensor 140 and/or camera 120 with a high-precision environmental map.
  • the GNSS unit 110 in this embodiment further includes an IMU 115.
  • IMU 115 may include a 3-axis acceleration sensor and a 3-axis gyroscope.
  • the IMU 115 may include an orientation sensor such as a 3-axis geomagnetic sensor.
  • IMU 115 functions as a motion sensor and can output signals indicating various quantities such as acceleration, speed, displacement, and posture of work vehicle 100.
  • Processing circuit 116 can estimate the position and orientation of work vehicle 100 with higher accuracy based on the signal output from IMU 115 in addition to the satellite signal and correction signal.
  • the signal output from IMU 115 may be used to correct or supplement the position calculated based on the satellite signal and the correction signal.
  • IMU 115 outputs signals more frequently than GNSS receiver 111.
  • the processing circuit 116 can measure the position and orientation of the work vehicle 100 at a higher frequency (eg, 10 Hz or more).
  • a 3-axis acceleration sensor and a 3-axis gyroscope may be provided separately.
  • IMU 115 may be provided as a separate device from GNSS unit 110.
  • the camera 120 is an imaging device that photographs the environment around the work vehicle 100.
  • the camera 120 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • Camera 120 may also include an optical system including one or more lenses, and signal processing circuitry.
  • Camera 120 photographs the environment around work vehicle 100 while work vehicle 100 is traveling, and generates image (for example, video) data.
  • the camera 120 can shoot moving images at a frame rate of 3 frames per second (fps) or more, for example.
  • the image generated by camera 120 can be used, for example, when a remote monitor uses terminal device 400 to check the environment around work vehicle 100. Images generated by camera 120 may be used for positioning or obstacle detection. As shown in FIG.
  • a plurality of cameras 120 may be provided at different positions on the work vehicle 100, or a single camera may be provided.
  • a visible camera that generates visible light images and an infrared camera that generates infrared images may be provided separately. Both a visible camera and an infrared camera may be provided as cameras that generate images for surveillance. Infrared cameras can also be used to detect obstacles at night.
  • the obstacle sensor 130 detects objects existing around the work vehicle 100.
  • Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 outputs a signal indicating that an obstacle exists when an object exists closer than a predetermined distance from obstacle sensor 130 .
  • a plurality of obstacle sensors 130 may be provided at different positions of work vehicle 100. For example, multiple laser scanners and multiple ultrasonic sonars may be placed at different positions on work vehicle 100. By providing such a large number of obstacle sensors 130, blind spots in monitoring obstacles around the work vehicle 100 can be reduced.
  • the steering wheel sensor 152 measures the rotation angle of the steering wheel of the work vehicle 100.
  • the turning angle sensor 154 measures the turning angle of the front wheel 104F, which is a steered wheel. Measured values by the steering wheel sensor 152 and turning angle sensor 154 are used for steering control by the control device 180.
  • the axle sensor 156 measures the rotational speed of the axle connected to the wheel 104, that is, the number of rotations per unit time.
  • the axle sensor 156 may be a sensor using a magnetoresistive element (MR), a Hall element, or an electromagnetic pickup, for example.
  • the axle sensor 156 outputs, for example, a numerical value indicating the number of revolutions per minute (unit: rpm) of the axle.
  • Axle sensor 156 is used to measure the speed of work vehicle 100.
  • the drive device 240 includes various devices necessary for running the work vehicle 100 and driving the work machine 300, such as the above-mentioned prime mover 102, transmission device 103, steering device 106, and coupling device 108.
  • Prime mover 102 may include, for example, an internal combustion engine such as a diesel engine.
  • the drive device 240 may include an electric motor for traction instead of or in addition to the internal combustion engine.
  • the buzzer 220 is an audio output device that emits a warning sound to notify of an abnormality. For example, the buzzer 220 emits a warning sound when an obstacle is detected during automatic driving. Buzzer 220 is controlled by control device 180.
  • Storage device 170 includes one or more storage media such as flash memory or magnetic disks.
  • the storage device 170 stores various data generated by the GNSS unit 110, camera 120, obstacle sensor 130, LiDAR sensor 140, sensor group 150, and control device 180.
  • the data stored in the storage device 170 may include map data in the environment in which the work vehicle 100 travels (environmental map) and data on a global route (target route) for automatic driving.
  • the environmental map includes information on a plurality of fields where the work vehicle 100 performs agricultural work and roads around the fields.
  • the environmental map and the target route may be generated by a processor in the management device 600.
  • the control device 180 may have a function of generating or editing an environmental map and a target route. Control device 180 can edit the environmental map and target route acquired from management device 600 according to the driving environment of work vehicle 100.
  • the storage device 170 also stores work plan data that the communication device 190 receives from the management device 600.
  • the work plan includes information regarding a plurality of agricultural tasks to be performed by the work vehicle 100 over a plurality of work days.
  • the work plan may be, for example, work schedule data that includes information on scheduled times for each agricultural work to be performed by the work vehicle 100 on each work day.
  • the storage device 170 also stores computer programs that cause each ECU in the control device 180 to execute various operations described below.
  • a computer program may be provided to work vehicle 100 via a storage medium (eg, semiconductor memory or optical disk, etc.) or a telecommunications line (eg, the Internet).
  • Such computer programs may be sold as commercial software.
  • the control device 180 includes multiple ECUs.
  • the plurality of ECUs include, for example, an ECU 181 for speed control, an ECU 182 for steering control, an ECU 183 for instrument control, an ECU 184 for automatic driving control, an ECU 185 for route generation, and an ECU 186 for map creation.
  • ECU 181 controls the speed of work vehicle 100 by controlling prime mover 102, transmission 103, and brakes included in drive device 240.
  • the ECU 182 controls the steering of the work vehicle 100 by controlling the hydraulic system or electric motor included in the steering device 106 based on the measured value of the steering wheel sensor 152.
  • the ECU 183 controls the operations of the three-point link, PTO axis, etc. included in the coupling device 108 in order to cause the work machine 300 to perform a desired operation. ECU 183 also generates a signal to control the operation of work machine 300 and transmits the signal from communication device 190 to work machine 300.
  • the ECU 184 performs calculations and controls to realize automatic driving based on data output from the GNSS unit 110, camera 120, obstacle sensor 130, LiDAR sensor 140, and sensor group 150. For example, ECU 184 identifies the position of work vehicle 100 based on data output from at least one of GNSS unit 110, camera 120, and LiDAR sensor 140. In the field, ECU 184 may determine the position of work vehicle 100 based only on data output from GNSS unit 110. ECU 184 may estimate or correct the position of work vehicle 100 based on data acquired by camera 120 or LiDAR sensor 140. By using the data acquired by the camera 120 or the LiDAR sensor 140, the accuracy of positioning can be further improved.
  • ECU 184 estimates the position of work vehicle 100 using data output from LiDAR sensor 140 or camera 120. For example, the ECU 184 may estimate the position of the work vehicle 100 by matching data output from the LiDAR sensor 140 or the camera 120 with an environmental map. During automatic driving, the ECU 184 performs calculations necessary for the work vehicle 100 to travel along the target route or the local route based on the estimated position of the work vehicle 100.
  • the ECU 184 sends a speed change command to the ECU 181 and a steering angle change command to the ECU 182.
  • ECU 181 changes the speed of work vehicle 100 by controlling prime mover 102, transmission 103, or brake in response to a speed change command.
  • the ECU 182 changes the steering angle by controlling the steering device 106 in response to a command to change the steering angle.
  • the ECU 185 While the work vehicle 100 is traveling along the target route, the ECU 185 sequentially generates local routes that can avoid obstacles. ECU 185 recognizes obstacles existing around work vehicle 100 based on data output from camera 120, obstacle sensor 130, and LiDAR sensor 140 while work vehicle 100 is traveling. The ECU 185 generates a local route to avoid the recognized obstacle.
  • the ECU 185 may have a function of performing global route design instead of the management device 600. In that case, ECU 185 determines the destination of work vehicle 100 based on the work plan stored in storage device 170, and determines the target route from the start point of movement of work vehicle 100 to the destination point.
  • the ECU 185 can create, for example, a route that can reach the travel destination in the shortest time as a target route, based on the environmental map that includes road information stored in the storage device 170.
  • the ECU 185 may detect a specific type of road (for example, a farm road, a road along a specific feature such as a waterway, or a satellite signal from a GNSS satellite) based on the attribute information of each road included in the environmental map.
  • a route that gives priority to a route that can be received by the user) may be generated as a target route.
  • the ECU 186 generates or edits a map of the environment in which the work vehicle 100 travels.
  • an environmental map generated by an external device such as the management device 600 is transmitted to the work vehicle 100 and recorded in the storage device 170, but the ECU 186 can also generate or edit the environmental map instead. .
  • the operation when the ECU 186 generates an environmental map will be described below.
  • the environmental map may be generated based on sensor data output from the LiDAR sensor 140.
  • the ECU 186 sequentially generates three-dimensional point cloud data based on sensor data output from the LiDAR sensor 140 while the work vehicle 100 is traveling.
  • the ECU 186 can generate an environmental map by connecting sequentially generated point cloud data using, for example, an algorithm such as SLAM.
  • the environmental map generated in this way is a highly accurate three-dimensional map, and can be used for self-position estimation by the ECU 184. Based on this three-dimensional map, a two-dimensional map can be generated for use in global route planning. In this specification, both the three-dimensional map used for self-position estimation and the two-dimensional map used for global route planning are referred to as "environmental maps.”
  • the ECU 186 further determines the recognized features (for example, waterways, rivers, grass, trees, etc.), the type of road (for example, whether it is a farm road or not), and the road surface based on the data output from the camera 120 or the LiDAR sensor 140. Maps can also be edited by adding various attribute information to the map, such as the status or passability of roads.
  • control device 180 realizes automatic operation.
  • control device 180 controls drive device 240 based on the measured or estimated position of work vehicle 100 and the target route. Thereby, the control device 180 can cause the work vehicle 100 to travel along the target route.
  • a plurality of ECUs included in the control device 180 can communicate with each other, for example, according to a vehicle bus standard such as CAN (Controller Area Network). Instead of CAN, a faster communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • CAN Controller Area Network
  • a faster communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • An on-vehicle computer that integrates at least some of the functions of the ECUs 181 to 186 may be provided.
  • the control device 180 may include ECUs other than the ECUs 181 to 186, and any number of ECUs may be provided depending on the function.
  • Each ECU includes processing circuitry including one or more processors.
  • the communication device 190 is a device that includes a circuit that communicates with the work machine 300, the terminal device 400, and the management device 600.
  • Communication device 190 includes a circuit that transmits and receives signals compliant with the ISOBUS standard, such as ISOBUS-TIM, to and from communication device 390 of working machine 300. Thereby, it is possible to cause the work machine 300 to perform a desired operation or to acquire information from the work machine 300.
  • Communication device 190 may further include an antenna and a communication circuit for transmitting and receiving signals via network 80 with respective communication devices of terminal device 400 and management device 600.
  • Network 80 may include, for example, a cellular mobile communications network such as 3G, 4G or 5G and the Internet.
  • the communication device 190 may have a function of communicating with a mobile terminal used by a supervisor near the work vehicle 100. Communication with such mobile terminals may be conducted in accordance with any wireless communication standard, such as Wi-Fi (registered trademark), cellular mobile communications such as 3G, 4G or 5G, or Bluetooth (registered trademark). I can.
  • Wi-Fi registered trademark
  • cellular mobile communications such as 3G, 4G or 5G
  • Bluetooth registered trademark
  • the operation terminal 200 is a terminal for a user to perform operations related to traveling of the work vehicle 100 and operation of the work machine 300, and is also referred to as a virtual terminal (VT).
  • Operating terminal 200 may include a display device such as a touch screen and/or one or more buttons.
  • the display device may be a display such as a liquid crystal or an organic light emitting diode (OLED), for example.
  • OLED organic light emitting diode
  • the operating terminal 200 may be configured to be detachable from the work vehicle 100. A user located away from work vehicle 100 may operate detached operation terminal 200 to control the operation of work vehicle 100. Instead of the operation terminal 200, the user may control the operation of the work vehicle 100 by operating a computer, such as the terminal device 400, in which necessary application software is installed.
  • FIG. 5 is a diagram showing an example of the operation terminal 200 and the operation switch group 210 provided inside the cabin 105.
  • an operation switch group 210 including a plurality of switches that can be operated by a user is arranged inside the cabin 105.
  • the operation switch group 210 includes, for example, a switch for selecting the main gear or the auxiliary gear, a switch for switching between automatic operation mode and manual operation mode, a switch for switching between forward and reverse, and a switch for switching the work machine. It may include a switch for raising and lowering 300, etc. Note that if the work vehicle 100 performs only unmanned operation and does not have the function of manned operation, the work vehicle 100 does not need to include the operation switch group 210.
  • the drive device 340 in the work machine 300 shown in FIG. 3 performs operations necessary for the work machine 300 to perform a predetermined work.
  • the drive device 340 includes a device depending on the use of the working machine 300, such as a hydraulic device, an electric motor, or a pump, for example.
  • Control device 380 controls the operation of drive device 340.
  • Control device 380 causes drive device 340 to perform various operations in response to signals transmitted from work vehicle 100 via communication device 390. Further, a signal depending on the state of the work machine 300 can also be transmitted from the communication device 390 to the work vehicle 100.
  • FIG. 6 is a block diagram illustrating a schematic hardware configuration of the management device 600 and the terminal device 400.
  • the management device 600 includes a storage device 650, a processor 660, a ROM (Read Only Memory) 670, a RAM (Random Access Memory) 680, and a communication device 690. These components are communicatively connected to each other via a bus.
  • the management device 600 can function as a cloud server that manages the schedule of agricultural work in the field performed by the work vehicle 100 and supports agriculture by utilizing the managed data.
  • a user can input information necessary for creating a work plan using the terminal device 400 and upload the information to the management device 600 via the network 80.
  • the management device 600 can create an agricultural work schedule, that is, a work plan, based on the information.
  • the management device 600 can further generate or edit an environmental map. The environmental map may be distributed from a computer external to the management device 600.
  • the communication device 690 is a communication module for communicating with the work vehicle 100 and the terminal device 400 via the network 80.
  • the communication device 690 can perform wired communication based on a communication standard such as IEEE1394 (registered trademark) or Ethernet (registered trademark), for example.
  • the communication device 690 may perform wireless communication based on the Bluetooth (registered trademark) standard or the Wi-Fi standard, or cellular mobile communication such as 3G, 4G, or 5G.
  • the processor 660 may be, for example, a semiconductor integrated circuit including a central processing unit (CPU).
  • Processor 660 may be implemented by a microprocessor or microcontroller.
  • the processor 660 is selected from an FPGA (Field Programmable Gate Array) equipped with a CPU, a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), an ASSP (Application Specific Standard Product), or one of these circuits. It can also be realized by a combination of two or more circuits.
  • the processor 660 sequentially executes a computer program stored in the ROM 670 that describes a group of instructions for executing at least one process, thereby realizing a desired process.
  • the ROM 670 is, for example, a writable memory (eg, PROM), a rewritable memory (eg, flash memory), or a read-only memory.
  • ROM 670 stores a program that controls the operation of processor 660.
  • the ROM 670 does not need to be a single storage medium, and may be a collection of multiple storage media. A portion of the collection of storage media may be removable memory.
  • the RAM 680 provides a work area for temporarily expanding the control program stored in the ROM 670 at boot time.
  • RAM 680 does not need to be a single storage medium, and may be a collection of multiple storage media.
  • the storage device 650 mainly functions as database storage.
  • Storage device 650 may be, for example, a magnetic storage device or a semiconductor storage device.
  • An example of a magnetic storage device is a hard disk drive (HDD).
  • An example of a semiconductor storage device is a solid state drive (SSD).
  • Storage device 650 may be a device independent of management device 600.
  • the storage device 650 may be a storage device connected to the management device 600 via the network 80, such as a cloud storage.
  • the terminal device 400 includes an input device 420, a display device 430, a storage device 450, a processor 460, a ROM 470, a RAM 480, and a communication device 490. These components are communicatively connected to each other via a bus.
  • the input device 420 is a device for converting instructions from a user into data and inputting the data into the computer.
  • Input device 420 may be, for example, a keyboard, mouse, or touch panel.
  • Display device 430 may be, for example, a liquid crystal display or an organic EL display. Descriptions regarding each of the processor 460, ROM 470, RAM 480, storage device 450, and communication device 490 are as described in the hardware configuration example of the management device 600, and their descriptions will be omitted.
  • the work vehicle 100 in this embodiment can automatically travel both inside and outside the field.
  • the work vehicle 100 drives the work machine 300 and performs predetermined agricultural work while traveling along a preset target route.
  • the work vehicle 100 detects an obstacle by the obstacle sensor 130 while traveling in the field, for example, the work vehicle 100 stops traveling, emits a warning sound from the buzzer 220, and transmits a warning signal to the terminal device 400.
  • the work vehicle 100 automatically travels along a target route set on a farm road or a general road outside the field.
  • the work vehicle 100 uses data acquired by the camera 120 or the LiDAR sensor 140 while traveling outside the field.
  • the work vehicle 100 avoids the obstacle or stops on the spot, for example.
  • the position of work vehicle 100 can be estimated based on data output from LiDAR sensor 140 or camera 120 in addition to positioning data output from GNSS unit 110.
  • FIG. 7 is a diagram schematically showing an example of a work vehicle 100 that automatically travels along a target route in a field.
  • the farm field includes a work area 72 where the work vehicle 100 works using the work machine 300, and a headland 74 located near the outer periphery of the farm field. Which area of the field on the map corresponds to the work area 72 or the headland 74 can be set in advance by the user.
  • the target route in this example includes a plurality of parallel main routes P1 and a plurality of turning routes P2 connecting the plurality of main routes P1.
  • the main route P1 is located within the work area 72, and the turning route P2 is located within the headland 74.
  • each main route P1 may include a curved portion.
  • the main route P1 is, for example, a user performing an operation to designate two points near the edge of the field (points A and B in FIG. 7) while looking at a map of the field displayed on the operating terminal 200 or the terminal device 400. can be automatically generated by In that case, a plurality of main routes P1 are set parallel to the line segment connecting points A and B specified by the user, and by connecting these main routes P1 with a turning route P2, the target route in the field is determined. generated.
  • the broken line in FIG. 7 represents the working width of the working machine 300. The working width is set in advance and recorded in the storage device 170.
  • the working width can be set and recorded by the user operating the operating terminal 200 or the terminal device 400. Alternatively, the working width may be automatically recognized and recorded when the working machine 300 is connected to the working vehicle 100.
  • the intervals between the plurality of main routes P1 may be set according to the working width.
  • the target route may be created based on a user's operation before automatic driving is started.
  • the target route may be created to cover the entire working area 72 in the field, for example.
  • the work vehicle 100 automatically travels along a target route as shown in FIG. 7 from a work start point to a work end point while repeating back and forth movements. Note that the target route shown in FIG. 7 is only an example, and the method of determining the target route is arbitrary.
  • control device 180 Next, an example of control during automatic operation in a field by the control device 180 will be explained.
  • FIG. 8 is a flowchart showing an example of the operation of steering control during automatic driving executed by the control device 180.
  • the control device 180 performs automatic steering by executing the operations from steps S121 to S125 shown in FIG. 8 while the work vehicle 100 is traveling. Regarding the speed, for example, it is maintained at a preset speed.
  • the control device 180 acquires data indicating the position of the work vehicle 100 generated by the GNSS unit 110 (step S121).
  • control device 180 calculates the deviation between the position of work vehicle 100 and the target route (step S122). The deviation represents the distance between the position of work vehicle 100 at that point and the target route.
  • the control device 180 determines whether the calculated positional deviation exceeds a preset threshold (step S123).
  • control device 180 changes the steering angle by changing the control parameters of the steering device included in the drive device 240 so that the deviation becomes smaller. If the deviation does not exceed the threshold in step S123, the operation in step S124 is omitted. In subsequent step S125, control device 180 determines whether or not it has received an instruction to end the operation.
  • the instruction to end the operation may be issued, for example, when a user remotely instructs to stop automatic driving or when work vehicle 100 reaches a destination. If the instruction to end the operation has not been issued, the process returns to step S121, and a similar operation is executed based on the newly measured position of the work vehicle 100.
  • the control device 180 repeats the operations from steps S121 to S125 until an instruction to end the operation is issued. The above operations are executed by the ECUs 182 and 184 in the control device 180.
  • the control device 180 controls the drive device 240 based only on the deviation between the position of the work vehicle 100 specified by the GNSS unit 110 and the target route, but also takes into account the deviation in the direction. May be controlled. For example, when the azimuth deviation, which is the angular difference between the direction of the work vehicle 100 specified by the GNSS unit 110 and the direction of the target route, exceeds a preset threshold, the control device 180 drives the vehicle according to the deviation. Control parameters (eg, steering angle) of the steering device of device 240 may be changed.
  • FIG. 9A is a diagram showing an example of the work vehicle 100 traveling along the target route P.
  • FIG. 9B is a diagram showing an example of work vehicle 100 in a position shifted to the right from target route P.
  • FIG. 9C is a diagram showing an example of work vehicle 100 in a position shifted to the left from target route P.
  • FIG. 9D is a diagram illustrating an example of work vehicle 100 facing in a direction inclined with respect to target route P.
  • the pose indicating the position and orientation of the work vehicle 100 measured by the GNSS unit 110 is expressed as r(x, y, ⁇ ).
  • (x, y) are coordinates representing the position of the reference point of work vehicle 100 in the XY coordinate system, which is a two-dimensional coordinate system fixed to the earth.
  • the reference point of the work vehicle 100 is located at the location where the GNSS antenna is installed on the cabin, but the location of the reference point is arbitrary.
  • is an angle representing the measured direction of work vehicle 100.
  • the target route P is parallel to the Y-axis, but generally the target route P is not necessarily parallel to the Y-axis.
  • control device 180 maintains the steering angle and speed of work vehicle 100 unchanged.
  • the control device 180 steers the work vehicle 100 so that the traveling direction of the work vehicle 100 leans to the left and approaches the route P. Change the corner.
  • the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, depending on the magnitude of the positional deviation ⁇ x.
  • the control device 180 steers the work vehicle 100 so that the traveling direction of the work vehicle 100 leans to the right and approaches the route P. Change the corner. In this case as well, the speed may be changed in addition to the steering angle. The amount of change in the steering angle can be adjusted, for example, depending on the magnitude of the positional deviation ⁇ x.
  • the control device 180 steers the work vehicle 100 so that the azimuth deviation ⁇ becomes smaller. Change the corner.
  • the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, depending on the magnitude of each of the positional deviation ⁇ x and the azimuth deviation ⁇ . For example, the smaller the absolute value of the positional deviation ⁇ x, the larger the amount of change in the steering angle according to the azimuth deviation ⁇ .
  • the absolute value of the positional deviation ⁇ x is large, the steering angle will be changed significantly in order to return to the route P, so the absolute value of the azimuth deviation ⁇ will inevitably become large. Conversely, when the absolute value of the positional deviation ⁇ x is small, it is necessary to bring the azimuth deviation ⁇ close to zero. Therefore, it is appropriate to relatively increase the weight (ie, control gain) of the azimuth deviation ⁇ for determining the steering angle.
  • a control technique such as PID control or MPC control (model predictive control) may be applied to the steering control and speed control of the work vehicle 100. By applying these control techniques, it is possible to smoothly control the work vehicle 100 to approach the target route P.
  • the control device 180 stops the work vehicle 100, for example. At this time, the buzzer 220 may be made to emit a warning sound, or a warning signal may be transmitted to the terminal device 400. If the obstacle can be avoided, the control device 180 may generate a local route that allows the obstacle to be avoided, and control the drive device 240 so that the work vehicle 100 travels along the route. .
  • the work vehicle 100 in this embodiment can automatically travel not only inside the field but also outside the field.
  • the control device 180 detects objects located relatively far from the work vehicle 100 (for example, other vehicles or pedestrians) based on data output from the camera 120 or the LiDAR sensor 140. can do.
  • the control device 180 generates a local route to avoid the detected object, and performs speed control and steering control along the local route, thereby realizing automatic driving on roads outside the field.
  • FIG. 10 is a diagram schematically showing an example of a situation in which a plurality of work vehicles 100 are automatically traveling on a road 76 inside the farm field 70 and outside the farm field 70.
  • the storage device 170 records an environmental map of an area including a plurality of farm fields and roads around them, and a target route.
  • the environmental map and the target route may be generated by management device 600 or ECU 185.
  • the work vehicle 100 travels on a road, the work vehicle 100 moves along the target route while sensing the surroundings using sensing devices such as the camera 120 and the LiDAR sensor 140 with the work implement 300 raised.
  • control device 180 sequentially generates local routes and causes work vehicle 100 to travel along the local routes. This allows the vehicle to travel automatically while avoiding obstacles.
  • the target route may be changed depending on the situation.
  • the ECU 185 in the control device 180 sequentially generates local routes that can avoid obstacles while the work vehicle 100 is traveling.
  • the ECU 185 generates a local route based on sensing data acquired by sensing devices (obstacle sensor 130, LiDAR sensor 140, camera 120, etc.) included in the work vehicle 100. do.
  • the local route is defined by a plurality of waypoints along a portion of the second route 30B.
  • ECU 185 determines whether an obstacle exists on or near the path of work vehicle 100 based on the sensing data.
  • the ECU 185 If such an obstacle exists, the ECU 185 generates a local route by setting a plurality of waypoints to avoid the obstacle. If there is no obstacle, ECU 185 generates a local route substantially parallel to second route 30B. Information indicating the generated local route is sent to the ECU 184 for automatic driving control. ECU 184 controls ECU 181 and ECU 182 so that work vehicle 100 travels along a local route. Thereby, the work vehicle 100 can travel while avoiding obstacles. Note that when a traffic light exists on the road on which the work vehicle 100 is traveling, the work vehicle 100 recognizes the traffic light based on the image taken by the camera 120, and performs operations such as stopping at a red light and starting at a green light. You may go.
  • FIG. 11 is a diagram showing an example of a global route and a local route generated in an environment where obstacles exist.
  • a global route 30 is illustrated by a dotted line arrow, and a local route 32 that is sequentially generated during travel is illustrated by a solid line arrow.
  • the global path 30 is defined by a plurality of waypoints 30p.
  • the local route 32 is defined by a plurality of waypoints 32p set at shorter intervals than the waypoint 30p.
  • Each waypoint has, for example, position and orientation information.
  • the management device 600 generates the global route 30 by setting a plurality of waypoints 30p at a plurality of locations including intersections of the road 76.
  • the distance between the waypoints 30p may be relatively long, for example, from several meters to several tens of meters.
  • the ECU 185 While the work vehicle 100 is traveling, the ECU 185 generates a local route 32 by setting a plurality of waypoints 32p based on sensing data output from the sensing device.
  • the spacing between waypoints 32p on local route 32 is shorter than the spacing between waypoints 30p on global route 30.
  • the distance between the waypoints 32p may be, for example, approximately several tens of centimeters (cm) to several meters (m).
  • the local route 32 is generated within a relatively narrow range (for example, a range of several meters) starting from the position of the work vehicle 100.
  • FIG 11 illustrates a series of local paths 32 that are generated while work vehicle 100 travels along road 76 between fields 70 and turns left at an intersection. While the work vehicle 100 is moving, the ECU 185 repeats the operation of generating a local route from the position of the work vehicle 100 estimated by the ECU 184 to a point several meters away, for example. Work vehicle 100 travels along local routes that are sequentially generated.
  • an obstacle 40 exists in front of the work vehicle 100.
  • a sensing device such as a camera 120, an obstacle sensor 130, or a LiDAR sensor 140 mounted on the work vehicle 100 is illustrated in a fan shape.
  • ECU 185 generates local route 32 to avoid obstacle 40 detected based on sensing data.
  • the ECU 185 determines that there is a possibility that the work vehicle 100 will collide with the obstacle 40 based on the sensing data and the width of the work vehicle 100 (including the width of the implement if an implement is installed). to judge.
  • the ECU 185 sets a plurality of waypoints 32p to generate a local route 32 so as to avoid the obstacle 40.
  • the ECU 185 recognizes not only the presence or absence of the obstacle 40 but also the condition of the road surface (for example, mud, depressions, etc.) based on the sensing data, and if a place where it is difficult to drive is detected, the ECU 185 recognizes the road surface condition (for example, mud, depression, etc.).
  • a local route 32 may be generated to avoid this.
  • Work vehicle 100 travels along local route 32 .
  • the control device 180 may stop the work vehicle 100. At this time, the control device 180 may send a warning signal to the terminal device 400 to alert the monitor. After stopping, if it is recognized that the obstacle 40 has moved and there is no longer a risk of collision, the control device 180 may restart the traveling of the work vehicle 100.
  • FIG. 12 is a flowchart showing the operation of route planning and travel control in this embodiment. By executing the operations from steps S141 to S146 shown in FIG. 12, it is possible to plan a route and control automatic travel of the work vehicle 100.
  • the management device 600 first obtains a map and a work plan from the storage device 650 (step S141). Next, the management device 600 designs a global route for the work vehicle 100 using the method described above based on the map and the work plan (step S142).
  • the global route design can be performed at any timing before the work vehicle 100 starts traveling.
  • the global route design may be performed immediately before the work vehicle 100 starts traveling, or may be performed the day before the work vehicle 100 starts traveling. Further, the global route may be generated based on information input by the user using the terminal device 400 (for example, starting point, destination point, way point, etc.).
  • the management device 600 uses attribute information of each road on the map. Based on this, at least one of a route giving priority to a farm road, a route giving priority to a road along a specific feature, and a route giving priority to a road on which satellite signals can be normally received is generated as a route for work vehicle 100.
  • Management device 600 transmits data indicating the generated global route to work vehicle 100. Thereafter, the management device 600 issues an instruction to the work vehicle 100 to travel at a predetermined timing.
  • control device 180 of work vehicle 100 controls drive device 240 to start traveling of work vehicle 100 (step S143).
  • work vehicle 100 starts traveling.
  • the timing of starting traveling can be set, for example, to an appropriate timing at which work vehicle 100 can reach the field by the scheduled start time of the first farm work on each work day indicated by the work plan.
  • the ECU 185 of the control device 180 performs local route design to avoid collisions with obstacles using the method described above (step S144). If no obstacle is detected, ECU 185 generates a local path approximately parallel to the global path. If an obstacle is detected, the ECU 185 generates a local route that can avoid the obstacle.
  • ECU 184 determines whether or not to end traveling of work vehicle 100 (step S145). For example, if a local route that avoids obstacles cannot be generated, or if work vehicle 100 arrives at the destination point, ECU 184 stops work vehicle 100 (step S146). If no obstacle is detected, or if a local route that can avoid the obstacle is generated, the process returns to step S143, and the ECU 184 causes the work vehicle 100 to travel along the generated local route. Thereafter, the operations from steps S143 to S145 are repeated until it is determined in step S145 that the travel is to be ended.
  • the work vehicle 100 can automatically travel along the generated route without colliding with obstacles.
  • the global route is not limited to such an example, and the global route may be modified while the work vehicle 100 is traveling.
  • the ECU 185 determines the state of the road on which the work vehicle 100 is traveling, the surroundings of the work vehicle 100, based on sensing data acquired by a sensing device such as the camera 120 or the LiDAR sensor 140 while the work vehicle 100 is traveling.
  • the global route may be changed when the recognized state satisfies a predetermined condition. When the work vehicle 100 is traveling along a global route, some roads may be difficult to pass.
  • roads may become muddy due to heavy rain, the road surface may be caved in, or it may become impassable due to an accident or other cause.
  • the vegetation around farm roads may have grown longer than expected, or new buildings may have been constructed, making it difficult to receive satellite signals from GNSS satellites.
  • the ECU 185 detects roads that are difficult to pass based on sensing data acquired while the work vehicle 100 is traveling, and changes the route to avoid such roads. You can. Further, when changing the route, the ECU 185 may cause the storage device 170 to store the changed route, and may transmit information on the changed route to the management device 600. In that case, the management device 600 may adopt the changed route when generating a route to the same field next time. This enables flexible route planning in response to changes in the driving environment.
  • the management device 600 functions as a travel control system for an agricultural machine (in this example, the work vehicle 100) that performs automatic operation while sensing the surrounding environment.
  • the travel control system according to the present embodiment is mainly used while the work vehicle 100 is automatically traveling outside the field, but it may also be used when the work vehicle 100 is automatically traveling inside the field. good.
  • a management device 600 that functions as a travel control system includes a storage device 650 that stores the travel history of the work vehicle 100, and a processing device (processor) 660.
  • the travel history of work vehicle 100 stored in storage device 650 includes at least the past travel state of work vehicle 100 and information on the positions of obstacle candidates detected during past travel.
  • Processing device 660 causes work vehicle 100 to avoid obstacles based on sensor data obtained by sensing the environment around work vehicle 100 and the travel history of work vehicle 100 stored in storage device 650. make them perform avoidance actions.
  • the travel control method is a travel control method for an agricultural machine (work vehicle 100 in this example) that performs automatic operation while sensing the surrounding environment, and includes information on the past travel state of the work vehicle 100 and the storage of a driving history including information on the positions of obstacle candidates detected while driving, sensor data obtained by sensing the environment around the working vehicle 100, and the driving history of the working vehicle 100. This includes causing the work vehicle 100 to perform an avoidance operation to avoid the obstacle based on the obstacle.
  • “Obstacle” refers to an object that obstructs the running of agricultural machinery, and includes, for example, moving or stationary objects on the ground, and parts of the ground that are in a specific state.
  • moving objects on the ground dynamic obstacles
  • animals e.g. deer, raccoon dog, boar, bear, etc.
  • Stationary objects on the ground static obstacles
  • parts of the ground in a particular state include depressed parts, unevenness (missing, protrusions) that impede driving, mud, cracks in the road, and the like.
  • “Obstacle candidate” refers to an object that is detected as a possible obstacle, and may include objects that are not actually obstacles (that is, objects that do not interfere with the running of agricultural machinery). Examples of objects that are not actually obstacles but can be detected as potential obstacles include weeds, small amounts of snow, small puddles, second ears, and uneven ground that does not impede driving (plowing marks). Can be mentioned.
  • the "running state of the agricultural machine” is defined by parameters such as the speed, acceleration, traveling direction, target route, and the positions and directions of each of a plurality of waypoints defining the target route of the agricultural machine. "Changing the running state of the agricultural machine” refers to changing at least one of the parameters that define the running state of the agricultural machine. "Avoidance action" not only changes the running state of the agricultural machine, but also increases the alert level in sensing the surrounding environment without changing the running state of the agricultural machine (specifically, the data acquired by sensing (increase in quantity).
  • the work vehicle 100 performs automatic driving while sensing the surrounding environment using one or more sensing devices that the work vehicle 100 has.
  • the sensing device that work vehicle 100 has includes, for example in the example of FIG. 2, a plurality of cameras 120, a LiDAR sensor 140, and a plurality of obstacle sensors 130. However, the sensing device of work vehicle 100 may include at least one of camera 120, obstacle sensor 130, and LiDAR sensor 140.
  • Work vehicle 100 performs automatic driving while sensing the surrounding environment using at least one sensing device included in work vehicle 100 .
  • the processing device 660 processes sensor data acquired by at least one of the sensing devices included in the work vehicle 100, such as image data acquired by the camera 120, and data output from the obstacle sensor 130 or the LiDAR sensor 140 (for example, point cloud data). etc. to obtain.
  • FIGS. 13A and 13B are diagrams schematically showing examples of areas that can be sensed by LiDAR sensor 140 and camera 120 of work vehicle 100.
  • the work vehicle 100 includes four LiDAR sensors 140 (140a, 140b, 140c, and 140d) and four cameras 120 provided on the front, rear, left, and right sides of the work vehicle 100. (120a, 120b, 120c, and 120d), and the surrounding environment can be sensed by these.
  • FIGS. 13A and 13B an example of the range sensed by the LiDAR sensor 140 and camera 120 is shown as a gray sector or triangle.
  • the LiDAR sensor 140 emits laser beam pulses (hereinafter abbreviated as "laser pulses”) one after another while changing the emission direction, and calculates each pulse based on the time difference between the emission time and the time when the reflected light of each laser pulse is acquired.
  • the distance to the position of the reflection point can be measured (ToF (Time of Flight) method).
  • the LiDAR sensor 140 may be a sensor that measures distance using FMCW (Frequency Modulated Continuous Wave) technology.
  • a LiDAR sensor using FMCW technology emits laser light whose frequency is linearly modulated, and detects the interference between the emitted light and the reflected light.
  • the LiDAR sensor uses the frequency of the beat signal obtained by detecting the interference light between the emitted light and the reflected light to determine the distance to the reflection point. Distance and speed can be determined.
  • a “reflection point” may be a point on the surface of an object located in the environment around work vehicle 100.
  • the LiDAR sensor 140 can measure the distance from the LiDAR sensor 140 to an object using any method. Measurement methods for the LiDAR sensor 140 include, for example, a mechanical rotation method, a MEMS method, and a phased array method. These measurement methods differ in the method of emitting laser pulses (scanning method).
  • a mechanical rotation type LiDAR sensor rotates a cylindrical head that emits laser pulses and detects reflected light of the laser pulses to scan the surrounding environment in all directions of 360 degrees around the rotation axis.
  • a MEMS LiDAR sensor uses a MEMS mirror to swing the emission direction of a laser pulse, and scans the surrounding environment within a predetermined angular range around the swing axis.
  • a phased array type LiDAR sensor controls the phase of light to swing the light emission direction, and scans the surrounding environment within a predetermined angular range around the swing axis.
  • processing device 660 causes work vehicle 100 to perform an avoidance operation (including changing the running state of work vehicle 100 and/or changing the vigilance level in sensing the surrounding environment) to avoid obstacles.
  • An example of the procedure to be executed will be explained.
  • FIG. 14 is a flowchart illustrating an example of a procedure in which the processing device 660 causes the work vehicle 100 to perform an avoidance operation to avoid an obstacle.
  • the flowchart in FIG. 14 shows the procedure used while the work vehicle 100 is automatically traveling while sensing the surrounding environment, and is mainly an example of the procedure used after an obstacle candidate is detected. It is.
  • step S161 when an object is detected based on the sensor data, the processing device 660 determines whether the detected object is an obstacle candidate.
  • Object detection may be performed constantly while the work vehicle 100 is operating automatically while sensing the surrounding environment, or may be performed at predetermined time intervals.
  • a determination as to whether the detected object is an obstacle candidate is made based on predetermined criteria. For example, if the detected object is an object on the ground, the processing device 660 detects the width and height of the object, and if the width and/or height of the object is greater than or equal to a predetermined value, the processing device 660 detects the object as an obstacle. It may be determined as a candidate.
  • the processing unit 660 detects the width and length of the portion and determines the width and/or length of the portion of the ground that is in the particular state. is greater than or equal to a predetermined value, it may be determined that the object is an obstacle candidate.
  • the width of the object or the part of the ground in a particular state is the length of the object or the part of the ground in a particular state in a direction substantially parallel to the width of the work vehicle 100 (vehicle body width).
  • the processing device 660 may compare the width of the object or the width of a portion of the ground in a particular state with the width of the work vehicle 100 in determining whether the object is an obstacle candidate.
  • the processing device 660 uses the width of the object or the width of a part of the ground in a specific state to determine whether the work vehicle 100 is an obstacle candidate. and/or the width of the working machine 300.
  • the processing device 660 may identify the type of the detected object based on the image data of the object acquired by the camera 120, for example, and determine whether it is an obstacle candidate. For example, when the detected object is a moving object (person (pedestrian), animal, other vehicle, etc.), the processing device 660 may determine that the detected object is an obstacle candidate.
  • the processing device 660 may determine that the detected object is an obstacle candidate.
  • step S161 if it is determined that the object detected based on the sensor data is an obstacle candidate (that is, if an obstacle candidate is detected based on the sensor data), the process proceeds to step S162.
  • step S162 the processing device 660 causes the work vehicle 100 to execute an avoidance operation (changing the running state of the work vehicle 100 and/or or change the alert level in sensing the surrounding environment).
  • step S162 the processing device 660 determines that there is no need to cause the work vehicle 100 to perform an avoidance operation based on the sensor data and the travel history of the work vehicle 100 (that is, based on the travel state of the work vehicle 100 and the surrounding environment). This also includes cases where it is decided to maintain both alert levels in sensing unchanged.
  • step S163 the processing device 660 causes the work vehicle 100 to execute the avoidance operation determined in step S162.
  • the processing device 660 determines whether the travel history of the work vehicle 100 includes The work vehicle 100 is caused to perform an avoidance operation using the data on the traveling state of the work vehicle 100 that is detected. For example, processing device 660 may cause work vehicle 100 to perform different avoidance operations depending on the type of obstacle candidate.
  • the processing device 660 sets the target of the work vehicle 100 to avoid the detected obstacle candidate, for example, by the method described with reference to FIGS. 11 and 12. Change route.
  • the processing device 660 stops the work vehicle 100 for a predetermined period of time, senses the surrounding environment after the predetermined period of time has elapsed, and detects the obstacle. If no object candidate is detected, the work vehicle 100 is restarted. When restarting the work vehicle 100, the speed of the work vehicle 100 may be set low (for example, the work vehicle 100 may be slowed down). After a predetermined period of time has passed, the surrounding environment is sensed, and if an obstacle candidate is detected, the target route of work vehicle 100 is changed to avoid the obstacle candidate, for example, by the method described with reference to FIGS. 11 and 12. change.
  • step S164 the processing device 660 adds the avoidance operation performed by the work vehicle 100 in step S163 and the information on the position where the obstacle candidate is detected to the travel history of the work vehicle 100 stored in the storage device 650. to add.
  • the processing device 660 may acquire information on the position of the detected obstacle candidate, or when it detects the object, it may acquire information on the position of the detected obstacle candidate. Information may also be obtained.
  • the processing device 660 may add information on the position where the obstacle candidate is detected and the changed traveling state of the working vehicle 100 to the traveling history only when the traveling state of the working vehicle 100 is changed in step S163. good.
  • the processing device 660 uses the information on the position where the obstacle candidate is detected and the travel state of the work vehicle 100. The state may be added to the driving history. Even when neither the traveling state of the work vehicle 100 nor the sensing alert level of the work vehicle 100 is changed in step S163, the processing device 660 collects the information on the position where the obstacle candidate is detected and the information on the position of the work vehicle 100. The driving state may be added to the driving history.
  • the processing device 660 repeats the steps S161 to S164 until an instruction to end the operation is issued (step S165).
  • processing device 660 causes work vehicle 100 to Perform an avoidance action to avoid obstacles. For example, the processing device 660 can change or generate a target route for the work vehicle 100 to avoid obstacles, and can prevent the work vehicle 100 from getting stuck.
  • the processing device 660 detects an object that is not actually an obstacle (for example, weeds, a small amount of snow, a small puddle, etc.) as an obstacle candidate, the processing device 660 detects an object that is not an actual obstacle (for example, weeds, a small amount of snow, a small puddle, etc.)
  • Work vehicle 100 can be driven without changing the route.
  • the processing device 660 can control the work vehicle 100 so that it runs efficiently.
  • the processing device 660 stores the position of the obstacle avoided by the work vehicle 100 and the traveling state of the work vehicle 100 at that time in the storage device 650 as a travel history, so that the processing device 660 avoids similar obstacles in subsequent travels.
  • the travel history of the work vehicle 100 can be referred to and the travel state of the work vehicle 100 at that time can be used. Since the travel of the work vehicle 100 can be controlled based on the past travel history (performance), the travel of the work vehicle 100 can be performed more stably and efficiently.
  • the processing device 660 can further improve the efficiency of automatic travel of the work vehicle 100 by controlling the travel of the work vehicle 100 with reference to the travel history of the work vehicle 100 in addition to the sensor data. Processing device 660 can improve the accuracy of travel control of work vehicle 100 by adding (feedback) the travel state of work vehicle 100 to the travel history each time work vehicle 100 detects an obstacle candidate.
  • the processing device 660 refers to the past driving history. By doing so, it is possible to reduce the possibility that obstacles hidden in the detected object (for example, ground irregularities hidden by weeds or snow (sinkholes, gaps, protrusions, etc.)) will be overlooked.
  • obstacles hidden in the detected object for example, ground irregularities hidden by weeds or snow (sinkholes, gaps, protrusions, etc.)
  • the travel history of work vehicle 100 stored in storage device 650 includes at least the past travel state of work vehicle 100 and information on the positions of obstacle candidates detected during past travel. .
  • the travel history of work vehicle 100 stored in storage device 650 may further include at least one of the following information. For example, information on the type of obstacle candidates detected during past travel of work vehicle 100, information on the size of the obstacle candidates, information on whether the obstacle candidates were determined to be obstacles, information on whether or not the obstacle candidates were determined to be obstacles, Examples include information on the date and time of detection, information on the weather when the obstacle candidate was detected, and the type of work machine connected to work vehicle 100.
  • the size of the obstacle candidate includes the width and height of the object, and if the obstacle candidate is a part of the ground that is in a specific state, the size of the obstacle candidate is determined by the size of the object in the specific state. Contains the width and length of a piece of ground.
  • FIG. 15 is a flowchart illustrating an example of a procedure in which the processing device 660 causes the work vehicle 100 to perform an avoidance operation (here, changing the vigilance level in sensing the surrounding environment) to avoid an obstacle.
  • the procedure in the flowchart of FIG. 15 is used while the work vehicle 100 is automatically traveling while sensing the surrounding environment, and can be used regardless of whether or not an obstacle candidate is detected.
  • the processing device 660 may execute the procedures in the flowchart of FIG. 15 and the procedures in the flowchart of FIG. 14 in parallel. For example, when it is determined in step S161 of the flowchart of FIG. 14 that the object detected based on the sensor data is not an obstacle candidate (when proceeding to "No"), the processing device 660 performs the procedure of the flowchart of FIG. You may do so.
  • step S181 while the work vehicle 100 is traveling, the processing device 660 determines the alert level for sensing the surrounding environment based on the travel history of the work vehicle 100 stored in the storage device 650. For example, a plurality of levels (stages) are preset as the vigilance level in sensing the surrounding environment, and the vigilance level may be determined by selecting one of the levels.
  • stages are preset as the vigilance level in sensing the surrounding environment, and the vigilance level may be determined by selecting one of the levels.
  • step S182 the processing device 660 causes the work vehicle 100 to perform sensing of the surrounding environment at the alert level determined in step S181. Based on the alert level determined in step S181, processing device 660 either raises, lowers, or maintains (does not change) the alert level in sensing the environment around work vehicle 100.
  • processing device 660 increases the alert level in sensing the surrounding environment. , when the travel history of the work vehicle 100 does not include information on obstacle candidates detected in the past on the target route of the work vehicle 100, the vigilance level in sensing the surrounding environment is maintained. Alternatively, if the travel history of work vehicle 100 includes information on obstacle candidates detected in the past on the target route of work vehicle 100, processing device 660 may The vigilance level for sensing the surrounding environment may be set higher than when information about obstacle candidates detected in the past on the target route of vehicle 100 is not included.
  • the processing device 660 When raising the alert level in sensing the surrounding environment, the processing device 660 increases the amount of sensor data to be acquired by increasing the frequency of acquiring sensor data or by widening the range of the surrounding environment from which sensor data is acquired. let When lowering the alert level in sensing the surrounding environment, the processing device 660 reduces the amount of sensor data to be acquired by lowering the frequency of sensor data acquisition or by narrowing the range of the surrounding environment from which sensor data is acquired. let For example, by changing the size of the range sensed by the LiDAR sensor 140 and camera 120 shown in FIGS. 13A and 13B, the amount of sensor data to be acquired is increased.
  • the range sensed by the LiDAR sensor 140 can be changed, for example, by changing the maximum distance from the LiDAR sensor 140.
  • FIG. 13A shows the maximum distance La from the LiDAR sensor 140a for the range Rsa sensed by the LiDAR sensor 140a.
  • the size of the range sensed by the LiDAR sensor 140 can be changed, for example, by changing the data portion used for object detection in the three-dimensional point group data output by the LiDAR sensor 140.
  • the three-dimensional point cloud data output by the LiDAR sensor 140 includes a plurality of points. Among them, a point to be used for object detection is selected by paying attention to the distance between the LiDAR sensor 140 and the point.
  • the size of the range sensed by the LiDAR sensor 140 can be changed by changing the size of the distance that is the basis for selection. By selecting only points whose distance from the LiDAR sensor 140 is less than or equal to La as object detection targets, the range where the maximum distance from the LiDAR sensor 140 is La is set as the range to be sensed by the LiDAR sensor 140.
  • the size of the range sensed by the LiDAR sensor 140 may be changed by changing the range scanned by the LiDAR sensor 140. For example, by changing the output of the laser pulse emitted from the LiDAR sensor 140, the maximum distance from the LiDAR sensor 140 in the search area may be changed.
  • the processing device 660 repeats the steps S181 to S182 until an instruction to end the operation is issued (step S183).
  • the processing device 660 can detect an obstacle candidate that has been detected in the past even if the obstacle candidate is not actually detected by the sensing performed while the work vehicle 100 is automatically traveling.
  • the processing device 660 can control the work vehicle 100 so that it runs efficiently through automatic operation.
  • the avoidance operation that the processing device 660 causes the work vehicle 100 to perform is only the setting of the alert level in sensing the surrounding environment, but it is not limited to this example.
  • the processing device 660 determines the vigilance level in sensing the surrounding environment based on the travel history of the work vehicle 100 stored in the storage device 650, and 100 driving states may be determined. For example, the alert level in sensing the surrounding environment may be increased, and the speed of the work vehicle 100 may be reduced (for example, the work vehicle 100 may be slowed down).
  • FIG. 16 is a flowchart showing another example of the procedure in which the processing device 660 causes the work vehicle 100 to perform an avoidance operation to avoid an obstacle. Detailed explanations of steps common to those in the flowchart of FIG. 14 may be omitted.
  • step S201 when an object is detected based on the sensor data, the processing device 660 determines whether the detected object is an obstacle candidate. If it is determined in step S201 that the object detected based on the sensor data is an obstacle candidate, the process advances to step S202.
  • step S202 the processing device 660 determines whether the detected obstacle candidate is an obstacle. If it is determined in step S202 that the detected obstacle candidate is an obstacle, the process advances to step S203.
  • step S203 the processing device 660 determines whether or not a similar obstacle (for example, an obstacle of the same type) was detected at the same position or a nearby position in the past for the work vehicle 100 stored in the storage device 650. Determine by referring to driving history. The processing device 660 refers to the travel history of the work vehicle 100 stored in the storage device 650 and checks whether information of the same type of obstacle detected in the same or adjacent position in the past is included. . If it is determined in step S203 that an obstacle of the same type has been detected at the same or adjacent position in the past, the process advances to step S204. If it is determined in step S203 that an obstacle of the same type has not been detected at the same or adjacent position in the past, the process advances to step S205.
  • a similar obstacle for example, an obstacle of the same type
  • step S204 the processing device 660 acquires from the storage device 650 data on the running state of the work vehicle 100 when an obstacle of the same type was detected at the same or a nearby position in the past, and based on the acquired data. to change the running state of the work vehicle 100.
  • step S205 the processing device 660 changes the running state of the work vehicle 100 so as to avoid the obstacle.
  • the processing device 660 may change the running state of the work vehicle 100 based on a predetermined method for changing the running state of the work vehicle 100 (default parameter).
  • Processing device 660 may change the running state of work vehicle 100 to avoid obstacles using the method described with reference to FIGS. 11 and 12.
  • step S206 the processing device 660 stores information on the traveling state of the work vehicle 100 and the position of the detected obstacle in the storage device 650, and adds the information to the travel history of the work vehicle 100. do. Processing device 660 may also add information other than information regarding the position of the detected obstacle to the travel history of work vehicle 100. The information added to the travel history of work vehicle 100 is used for future travel control of work vehicle 100, so the accuracy of travel control of work vehicle 100 is improved.
  • step S202 If it is determined in step S202 that the detected obstacle candidate is not an obstacle, the process advances to step S207.
  • step S207 processing device 660 determines whether an obstacle candidate has been detected at the same position or a nearby position in the past, with reference to the travel history of work vehicle 100 stored in storage device 650. . If it is determined in step S207 that an obstacle candidate has been detected at the same position or a nearby position in the past, the process advances to step S208. If it is determined in step S207 that no obstacle candidate has been detected at the same position or a nearby position in the past, the process advances to step S210.
  • step S208 the processing device 660 refers to the travel history of the work vehicle 100 stored in the storage device 650 to determine whether an obstacle candidate detected at the same position or a nearby position was an obstacle in the past. and judge. In step S208, if the processing device 660 determines that an obstacle candidate detected in the past at the same position or a nearby position was an obstacle, the processing device 660 proceeds to step S204.
  • the processing device 660 determines whether the object detected as an obstacle candidate is not an obstacle (for example, weeds, a small amount of snow, a small puddle, etc.). However, by referring to the past travel history of the work vehicle 100, it is possible to know that, for example, it is stored in the storage device 650 that an obstacle (for example, an uneven ground surface) was detected and avoided at the same or adjacent position in the past. This can prevent obstacles hidden by the detected object (for example, ground irregularities hidden by weeds or snow (sinkholes, gaps, protrusions, etc.)) from being overlooked.
  • an obstacle for example, an uneven ground surface
  • an obstacle detected in the past is a part of the ground that is in a particular state, it may be hidden by weeds, a small amount of snow, a small puddle, etc. and not detected by the sensor data.
  • the obstacle detected in the past is a small object that does not move (for example, a small stone), there is a high possibility that the same obstacle exists in the same position, and it may be hidden by weeds or snow. Conceivable.
  • Processing device 660 can detect these obstacles with high accuracy by referring to the travel history of work vehicle 100 and causing work vehicle 100 to perform an avoidance operation.
  • step S208 if the processing device 660 determines that the obstacle candidate detected in the past at the same position or a nearby position is not an obstacle, the processing device 660 proceeds to step S209.
  • step S209 the processing device 660 raises the alert level in sensing the surrounding environment.
  • the processing device 660 causes the work vehicle 100 to continue traveling without changing the traveling state of the work vehicle 100.
  • the processing device 660 may raise the alert level in sensing the surrounding environment and may change the running state of the work vehicle 100 (for example, may reduce the speed of the work vehicle 100).
  • step S210 the processing device 660 does not cause the work vehicle 100 to perform an avoidance operation.
  • the processing device 660 may lower the alert level in sensing the surrounding environment.
  • Processing device 660 causes work vehicle 100 to continue running without changing the running state of work vehicle 100.
  • the processing device 660 repeats the steps from step S201 to step S210 until an instruction to end the operation is issued (step S211).
  • FIG. 17 is a flowchart showing another example of the procedure in which the processing device 660 causes the work vehicle 100 to perform an avoidance operation to avoid an obstacle. Detailed description of steps common to those in the flowcharts of FIGS. 14 to 16 may be omitted.
  • the processing device 660 determines whether or not an obstacle candidate has been detected in the past on the target route of the work vehicle 100, with reference to the travel history of the work vehicle 100 stored in the storage device 650. .
  • the processing device 660 may detect obstacles that have been detected in the past on the target route of the work vehicle 100 within a preset distance Da from the current position of the work vehicle 100 (for example, within 70 m from the current position of the work vehicle 100). Determine whether a candidate is detected.
  • the value of the distance Da can be adjusted depending on the traveling state of the work vehicle 100 (for example, the speed of the work vehicle 100), the type of the work vehicle 100, the type of the work machine 300 connected to the work vehicle 100, and the like.
  • Processing device 660 may determine multiple times whether or not an obstacle candidate has been detected on the target route of work vehicle 100 in the past. For example, on the target route of the work vehicle 100, it is determined whether or not an obstacle candidate has been detected in the past within a preset distance Da from the current position of the work vehicle 100, and it is determined that no obstacle candidate has been detected. If the target route of the work vehicle 100 is within a preset distance Db from the current position of the work vehicle 100 (for example, within 25 m from the current position of the work vehicle 100), an obstacle candidate has been detected in the past. Determine whether or not it has been detected. Distance Db is smaller than distance Da.
  • step S219 If it is determined in step S219 that an obstacle candidate has been detected in the past on the target route of work vehicle 100, the process advances to step S220. If it is determined in step S219 that no obstacle candidate has been detected in the past on the target route of work vehicle 100, processing device 660 does not cause work vehicle 100 to perform an avoidance operation (step S226). That is, processing device 660 does not raise the alert level of work vehicle 100, but maintains or lowers the alert level.
  • step S220 the processing device 660 determines whether or not an obstacle candidate detected in the past on the target route of the work vehicle 100 is determined to be an obstacle by checking the travel history of the work vehicle 100 stored in the storage device 650. Refer to it and decide.
  • the processing device 660 refers to the travel history of the work vehicle 100 stored in the storage device 650, and detects obstacles detected in the past based on the travel state of the work vehicle 100 when an obstacle candidate was detected in the past. It is possible to determine whether the object candidate is determined to be an obstacle. For example, if the work vehicle 100 is traveling on a route that avoids the obstacle candidate, it is considered that the obstacle candidate is determined to be an obstacle.
  • the processing device 660 identifies the type of the obstacle candidate. Based on this, it may be determined whether the obstacle candidate is determined to be an obstacle. For example, if an obstacle candidate is identified as a moving object, it may be determined that the obstacle candidate is an obstacle.
  • step S220 If it is determined in step S220 that an obstacle candidate detected in the past on the target route of the work vehicle 100 is determined to be an obstacle, the process proceeds to step S221. If it is determined in step S220 that the obstacle candidate detected in the past on the target route of work vehicle 100 is not an obstacle, the process advances to step S225.
  • step S221 the processing device 660 determines whether an obstacle detected in the past may still exist at the same position by referring to the travel history of the work vehicle 100 stored in the storage device 650. do. For example, if an obstacle detected in the past is identified as an immovable object, the processing device 660 may determine that the obstacle may still exist at the same position.
  • step S221 if it is determined that the obstacle detected in the past may still exist at the same position, the process proceeds to step S222. If it is determined in step S221 that the obstacle detected in the past does not currently exist at the same position, the process advances to step S224.
  • step S222 the processing device 660 acquires data on the traveling state of the work vehicle 100 corresponding to obstacles detected in the past from the storage device 650, and determines the traveling state of the work vehicle 100 based on the acquired data. make it change
  • step S223 the processing device 660 stores the traveling state of the work vehicle 100 in the storage device 650, and adds it to the travel history of the work vehicle 100.
  • the processing device 660 increases the vigilance level in sensing the surrounding environment. For example, the processing device 660 causes the work vehicle 100 to continue traveling without changing the traveling state of the work vehicle 100.
  • the processing device 660 may raise the alert level in sensing the surrounding environment and may change the running state of the work vehicle 100 (for example, may reduce the speed of the work vehicle 100).
  • the processing device 660 repeats the steps from step S219 to step S226 until an instruction to end the operation is issued (step S227).
  • the processing device 660 performs work based on the sensor data acquired by one or more sensing devices included in the work vehicle 100 and the travel history of the work vehicle 100 stored in the storage device 650.
  • the vehicle 100 is caused to perform an avoidance operation to avoid an obstacle.
  • the work vehicle 100 is a sensing device possessed by, for example, an agricultural machine different from the work vehicle 100 or another mobile object such as a drone (Unmanned Arial Vehicle: UAV), and operates automatically while sensing the surrounding environment. You may do so.
  • UAV Unmanned Arial Vehicle
  • the travel control system determines an avoidance operation to be performed by the work vehicle 100, for example, using sensor data acquired by a sensing device of an agricultural machine different from the work vehicle 100 or a sensing device of another moving body such as a drone. You may.
  • the processing device 660 of the management device 600 functions as a processing device of the travel control system, but some or all of the processing executed by the processing device 660 of the management device 600 in the travel control system is It may also be performed by other devices.
  • Such other device may be any one of the terminal device 400 (processor 460), the control device 180 of the work vehicle 100, and the operating terminal 200.
  • the combination of the management device 600 and the control device 180 functions as the processing device of the travel control system.
  • the storage device 650 of the management device 600 functions as a storage device that stores the travel history of the work vehicle 100
  • the storage device 450 of the terminal device 400 and/or the storage device 170 of the work vehicle 100 functions as a storage device that stores the travel history of the work vehicle 100.
  • Work vehicle 100 may be equipped with a travel control system, and in that case, control device 180 and storage device 170 of work vehicle 100 function as a processing device and a storage device of the travel control system.
  • the control device 180 of the work vehicle 100 may further include an ECU for performing part or all of the processing for controlling travel.
  • the present disclosure includes the travel control system, agricultural machine, and travel control method described in the following items.
  • a travel control system for agricultural machinery that operates automatically while sensing the surrounding environment, a storage device that stores a running history including information on past running states of the agricultural machine and positions of obstacle candidates detected during running;
  • a travel control system comprising: a processing device that causes the agricultural machine to perform an avoidance operation to avoid obstacles based on sensor data obtained by sensing the surrounding environment and the travel history.
  • the processing device includes: When an obstacle candidate is detected based on the sensor data, changing the running state of the agricultural machine and/or changing the alert level in sensing the surrounding environment based on the sensor data and the running history.
  • the processing device includes: When an obstacle candidate is detected based on the sensor data and the running state of the agricultural machine is changed based on the sensor data and the running history, the position where the obstacle candidate is detected and the changed position are changed.
  • the travel control system according to item 2, wherein the travel state of the agricultural machine is added to the travel history.
  • the processing device includes: The travel control system according to any one of items 1 to 3, wherein a vigilance level for sensing the surrounding environment is set based on the travel history while the agricultural machine is traveling.
  • the processing device includes: When increasing the alert level in sensing the surrounding environment, increasing the amount of sensor data by increasing the frequency of acquiring the sensor data or widening the range of the surrounding environment from which the sensor data is acquired; The travel control system according to any one of items 1 to 4.
  • the driving history is Information on the type of obstacle candidate detected during past travel of the agricultural machine, information on the size of the obstacle candidate, information on whether the obstacle candidate was determined to be an obstacle, and information on whether or not the obstacle candidate was detected.
  • the travel control system according to any one of items 1 to 5, further comprising at least one of information on the date and time when the obstacle candidate was detected, and information on the weather when the obstacle candidate was detected.
  • the processing device includes: The travel control system according to any one of items 1 to 6, wherein when an obstacle candidate is detected based on the sensor data, the type of the detected obstacle candidate is identified.
  • the processing device includes: An obstacle candidate is detected based on the sensor data, and when the detected obstacle candidate is a moving object, stopping the agricultural machine for a predetermined period of time, and sensing the surrounding environment after the elapse of the predetermined period of time;
  • the travel control system according to any one of items 1 to 7, which causes the agricultural machine to resume traveling if no obstacle candidate is detected.
  • the processing device includes: An obstacle candidate is detected based on the sensor data, and when the detected obstacle candidate is a stationary object, generating or changing a target route of the agricultural machine so as to avoid the detected obstacle candidate.
  • the travel control system according to any one of items 1 to 8.
  • the processing device includes: When an obstacle candidate is detected based on the sensor data, obtaining information on a position where the detected obstacle candidate exists; When the travel history includes information on obstacle candidates detected in the past at the position, the agricultural machine is instructed to take the avoidance action using data on the travel state of the agricultural machine included in the travel history.
  • the travel control system according to any one of items 1 to 9, which executes the following.
  • the processing device includes: While the agricultural machine is running, If the travel history includes information on obstacle candidates detected in the past on the target route of the agricultural machine, increasing the alert level in sensing the surrounding environment; If the travel history does not include information on obstacle candidates detected in the past on the target route of the agricultural machine, maintaining the vigilance level in sensing the surrounding environment; The travel control system according to any one of items 1 to 10.
  • the processing device includes: While the agricultural machine is running, If the travel history includes information on obstacle candidates detected in the past on the target route of the agricultural machine, the travel history includes information on obstacle candidates detected in the past on the target route of the agricultural machine. setting a higher alert level in sensing the surrounding environment than in a case where information about the object candidate is not included; The travel control system according to any one of items 1 to 11.
  • a travel control method for agricultural machinery that operates automatically while sensing the surrounding environment, storing a driving history including information on past driving conditions of the agricultural machine and positions of obstacle candidates detected during driving;
  • a travel control method comprising causing the agricultural machine to perform an avoidance operation to avoid an obstacle based on sensor data obtained by sensing the surrounding environment and the travel history.
  • the technology of the present disclosure provides travel control that controls the automatic operation of agricultural machinery such as a tractor, a harvester, a rice transplanter, a riding management machine, a vegetable transplanter, a lawn mower, a seeding machine, a fertilizer applicator, or an agricultural robot.
  • the present invention can be applied to a system, an agricultural machine equipped with such a travel control system, and a travel control method.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

走行制御システムは、周辺の環境をセンシングしながら自動運転を行う農業機械のための走行制御システムであって、農業機械の過去の走行状態および走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶する記憶装置と、周辺の環境をセンシングして得られたセンサデータと、走行履歴とに基づいて、農業機械に障害物を回避するための回避動作を実行させる処理装置とを有する。

Description

走行制御システム、農業機械および走行制御方法
 本開示は、自動運転を行う農業機械のための走行制御システム、そのような走行制御システムを備える農業機械、および、走行制御方法に関する。
 農業機械の自動化に向けた研究開発が進められている。例えば、GNSS(Global Navigation Satellite System)などの測位システムを利用して圃場内を自動で走行するトラクタ、コンバイン、および田植機などの作業車両が実用化されている。圃場内だけでなく、圃場外でも自動で走行する作業車両の研究開発も進められている。特許文献1は、道路を挟んで互いに離れた2つの圃場間で無人の作業車両を自動走行させるシステムを開示している。
特開2021-029218号公報
 自動運転による農業機械の走行が効率的に行われるよう制御することが求められている。
 本開示は、自動運転による農業機械の走行が効率的に行われるよう制御することができる走行制御システム、そのような走行制御システムを備える農業機械、および、自動運転による農業機械の走行が効率的に行われるよう制御することができる走行制御方法を提供する。
 本開示の一態様による走行制御システムは、周辺の環境をセンシングしながら自動運転を行う農業機械のための走行制御システムであって、前記農業機械の過去の走行状態および走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶する記憶装置と、前記周辺の環境をセンシングして得られたセンサデータと、前記走行履歴とに基づいて、前記農業機械に障害物を回避するための回避動作を実行させる処理装置とを有する。
 本開示の一態様による走行制御方法は、周辺の環境をセンシングしながら自動運転を行う農業機械のための走行制御方法であって、前記農業機械の過去の走行状態および走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶することと、前記周辺の環境をセンシングして得られたセンサデータと、前記走行履歴とに基づいて、前記農業機械に障害物を回避するための回避動作を行わせることとを含む。
 本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が2つ以上の装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されてもよいし、分離した2つ以上の機器内に分かれて配置されていてもよい。
 本開示の実施形態によると、自動運転による農業機械の走行が効率的に行われるよう制御することができる走行制御システム、そのような走行制御システムを備える農業機械、および、自動運転による農業機械の走行が効率的に行われるよう制御することができる走行制御方法が提供される。
本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。 作業車両、および作業車両に連結されたインプルメントの例を模式的に示す側面図である。 作業車両およびインプルメントの構成例を示すブロック図である。 RTK-GNSSによる測位を行う作業車両の例を示す概念図である。 キャビンの内部に設けられる操作端末および操作スイッチ群の例を示す図である。 管理装置および端末装置のハードウェア構成を例示するブロック図である。 圃場内を目標経路に沿って自動で走行する作業車両の例を模式的に示す図である。 自動運転時の操舵制御の動作の例を示すフローチャートである。 目標経路Pに沿って走行する作業車両の例を示す図である。 目標経路Pから右にシフトした位置にある作業車両の例を示す図である。 目標経路Pから左にシフトした位置にある作業車両の例を示す図である。 目標経路Pに対して傾斜した方向を向いている作業車両の例を示す図である。 複数の作業車両が圃場の内部および圃場の外側の道を自動走行している状況の例を模式的に示す図である。 障害物が存在する環境で生成される大域的経路および局所的経路の一例を示す図である。 経路計画および走行制御の方法を示すフローチャートである。 作業車両が有するLiDARセンサがセンシング可能な領域の例を模式的に示す図である。 作業車両が有するカメラがセンシング可能な領域の例を模式的に示す図である。 作業車両が走行制御システムを用いて走行する手順の例を示すフローチャートである。 作業車両が走行制御システムを用いて走行する手順の例を示すフローチャートである。 作業車両が走行制御システムを用いて走行する手順の例を示すフローチャートである。 作業車両が走行制御システムを用いて走行する手順の例を示すフローチャートである。
 (用語の定義)
 本開示において「農業機械」は、農業用途で使用される機械を意味する。農業機械の例は、トラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、および農業用移動ロボットを含む。トラクタのような作業車両が単独で「農業機械」として機能する場合だけでなく、作業車両に装着または牽引される作業機(インプルメント)と作業車両の全体が1つの「農業機械」として機能する場合がある。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う。これらの農作業を「対地作業」または単に「作業」と称することがある。車両型の農業機械が農作業を行いながら走行することを「作業走行」と称することがある。
 「自動運転」は、運転者による手動操作によらず、制御装置の働きによって農業機械の移動を制御することを意味する。自動運転を行う農業機械は「自動運転農機」または「ロボット農機」と呼ばれることがある。自動運転中、農業機械の移動だけでなく、農作業の動作(例えば作業機の動作)も自動で制御されてもよい。農業機械が車両型の機械である場合、自動運転によって農業機械が走行することを「自動走行」と称する。制御装置は、農業機械の移動に必要な操舵、移動速度の調整、移動の開始および停止の少なくとも1つを制御し得る。作業機が装着された作業車両を制御する場合、制御装置は、作業機の昇降、作業機の動作の開始および停止などの動作を制御してもよい。自動運転による移動には、農業機械が所定の経路に沿って目的地に向かう移動のみならず、追尾目標に追従する移動も含まれ得る。自動運転を行う農業機械は、部分的にユーザの指示に基づいて移動してもよい。また、自動運転を行う農業機械は、自動運転モードに加えて、運転者の手動操作によって移動する手動運転モードで動作してもよい。手動によらず、制御装置の働きによって農業機械の操舵を行うことを「自動操舵」と称する。制御装置の一部または全部が農業機械の外部にあってもよい。農業機械の外部にある制御装置と農業機械との間では、制御信号、コマンド、またはデータなどの通信が行われ得る。自動運転を行う農業機械は、人がその農業機械の移動の制御に関与することなく、周囲の環境をセンシングしながら自律的に移動してもよい。自律的な移動が可能な農業機械は、無人で圃場内または圃場外(例えば道路)を走行することができる。自律移動中に、障害物の検出および障害物の回避動作を行ってもよい。
 「作業計画」は、農業機械によって実行される1つ以上の農作業の予定を定めるデータである。作業計画は、例えば、農業機械によって実行される農作業の順序および各農作業が行われる圃場を示す情報を含み得る。作業計画は、各農作業が行われる予定の日および時刻の情報を含んでいてもよい。各農作業が行われる予定の日および時刻の情報を含む作業計画を、特に「作業スケジュール」または単に「スケジュール」と称する。作業スケジュールは、各作業日に行われる各農作業の開始予定時刻および/または終了予定時刻の情報を含み得る。作業計画あるいは作業スケジュールは、農作業ごとに、作業の内容、使用されるインプルメント、および/または、使用される農業資材の種類および分量などの情報を含んでいてもよい。ここで「農業資材」とは、農業機械が行う農作業で使用される物資を意味する。農業資材を単に「資材」と呼ぶことがある。農業資材は、例えば農薬、肥料、種、または苗などの、農作業によって消費される物資を含み得る。作業計画は、農業機械と通信して農作業を管理する処理装置、または農業機械に搭載された処理装置によって作成され得る。処理装置は、例えば、ユーザ(農業経営者または農作業者など)が端末装置を操作して入力した情報に基づいて作業計画を作成することができる。本明細書において、農業機械と通信して農作業を管理する処理装置を「管理装置」と称する。管理装置は、複数の農業機械の農作業を管理してもよい。その場合、管理装置は、複数の農業機械の各々が実行する各農作業に関する情報を含む作業計画を作成してもよい。作業計画は、各農業機械によってダウンロードされ、記憶装置に格納され得る。各農業機械は、作業計画に従って、予定された農作業を実行するために、自動で圃場に向かい、農作業を実行することができる。
 「環境地図」は、農業機械が移動する環境に存在する物の位置または領域を所定の座標系によって表現したデータである。環境地図を単に「地図」または「地図データ」と称することがある。環境地図を規定する座標系は、例えば、地球に対して固定された地理座標系などのワールド座標系であり得る。環境地図は、環境に存在する物について、位置以外の情報(例えば、属性情報その他の情報)を含んでいてもよい。環境地図は、点群地図または格子地図など、さまざまな形式の地図を含む。環境地図を構築する過程で生成または処理される局所地図または部分地図のデータについても、「地図」または「地図データ」と呼ぶ。
 「農道」は、主に農業目的で利用される道を意味する。農道は、アスファルトで舗装された道に限らず、土または砂利等で覆われた未舗装の道も含む。農道は、車両型の農業機械(例えばトラクタ等の作業車両)のみが専ら通行可能な道(私道を含む)と、一般の車両(乗用車、トラック、バス等)も通行可能な道路とを含む。作業車両は、農道に加えて一般道を自動で走行してもよい。一般道は、一般の車両の交通のために整備された道路である。
 「地物」は、地上に存在する物を意味する。地物の例は、水路、草、木、道、圃場、溝、川、橋、林、山、岩石、建物、線路などを含む。境界線、地名、建物名、圃場名、路線名といった実世界に存在しないものは本開示における「地物」に含まれない。
 「GNSS衛星」は、全球測位衛星システム(GNSS)における人工衛星を意味する。GNSSは、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System)、GLONASS、Galileo、およびBeiDouなどの衛星測位システムの総称である。GNSS衛星は、これらの測位システムにおける衛星である。GNSS衛星から送信される信号を「衛星信号」と称する。「GNSS受信機」は、GNSSにおける複数の衛星から送信される電波を受信し、当該電波に重畳された信号に基づいて測位を行う装置である。「GNSSデータ」は、GNSS受信機から出力されるデータである。GNSSデータは、例えばNMEA-0183フォーマットなどの所定のフォーマットで生成され得る。GNSSデータは、例えば、個々の衛星から受信した衛星信号の受信状況を示す情報を含み得る。例えば、GNSSデータは、衛星信号が受信されたそれぞれの衛星の識別番号、仰角、方位角、および受信強度を示す値を含み得る。受信強度は、受信された衛星信号の強度を示す数値である。受信強度は、例えば搬送波雑音電力密度比(Carrier to Noise Density Ratio:C/N0)などの値で表現され得る。GNSSデータは、受信された複数の衛星信号に基づいて計算されたGNSS受信機または農業機械の位置情報を含み得る。位置情報は、例えば緯度、経度、および平均海水面からの高さなどによって表され得る。GNSSデータは、さらに、位置情報の信頼性を示す情報を含んでいてもよい。
 「衛星信号を正常に受信できる」とは、測位の信頼性が大きく低下しない程度に安定して衛星信号を受信できることを意味する。衛星信号を正常に受信できないことを「衛星信号の受信障害」が生じていると表現することがある。「衛星信号の受信障害」は、衛星信号の受信状況の悪化によって正常時と比較して測位の信頼性が低下している状態である。受信障害は、例えば、検出された衛星の数が少ない場合(例えば3以下など)、各衛星信号の受信強度が低い場合、またはマルチパスが生じている場合などに生じ得る。受信障害が生じているか否かは、例えばGNSSデータに含まれる衛星に関する情報に基づいて判断され得る。例えば、GNSSデータに含まれる衛星ごとの受信強度の値、または衛星の配置状況を示すDOP(Dilution of Precision)の値などに基づいて、受信障害の有無を判断することができる。
 「大域的経路」(global path)は、経路計画を行う処理装置によって生成される、農業機械が自動で移動するときの出発地点から目的地点までを結ぶ経路のデータを意味する。大域的経路を生成することを大域的経路計画(global path planning)または大域的経路設計と称する。以下の説明において、大域的経路を「目標経路」または単に「経路」とも称する。大域的経路は、例えば、農業機械が通過すべき複数の点の座標値によって規定され得る。農業機械が通過すべき点を「ウェイポイント」と称し、隣り合うウェイポイント間を結ぶ線分を「リンク」と称する。
 「局所的経路」(local path)は、大域的経路に沿って農業機械が自動で移動するときに逐次生成される、障害物を回避可能な局所的な経路を意味する。局所的経路を生成することを局所的経路計画(local path planning)または局所的経路設計と称する。局所的経路は、農業機械が移動している間に、農業機械が備える1つ以上のセンシング装置によって取得されたデータに基づいて逐次生成される。局所的経路は、大域的経路の一部に沿った複数のウェイポイントによって規定され得る。ただし、大域的経路の付近に障害物が存在する場合、その障害物を迂回するようにウェイポイントが設定され得る。局所的経路におけるウェイポイント間のリンクの長さは、大域的経路におけるウェイポイント間のリンクの長さよりも短い。局所的経路を生成する装置は、大域的経路を生成する装置と同一でもよいし、異なっていてもよい。例えば、農業機械による農作業を管理する管理装置が大域的経路を生成し、農業機械に搭載された制御装置が局所的経路を生成してもよい。その場合、管理装置と制御装置との組み合わせが、経路計画を行う「処理装置」として機能する。農業機械の制御装置が、大域的経路設計および局所的経路設計の両方を行う処理装置として機能してもよい。
 「保管場所」は、農業機械を保管するために設けられる場所である。保管場所は、例えば、農業機械のユーザが管理する場所、または複数のユーザが共同で運営する場所であり得る。保管場所は、例えば、ユーザ(農業従事者など)の自宅もしくは事業所における倉庫、納屋、または駐車場などの、農業機械の保管のために確保された場所であり得る。保管場所の位置は、予め登録され、記憶装置に記録され得る。
 「待機場所」は、農業機械が農作業を行わない間、待機するために設けられる場所である。農業機械が自動運転を行う環境中に、1つ以上の待機場所が設けられ得る。上記の保管場所は、待機場所の一例である。待機場所は、複数のユーザが共同で管理または使用する場所であってもよい。待機場所は、例えば、倉庫、車庫、納屋、駐車場、またはその他の施設であり得る。待機場所は、農業機械のユーザとは異なる農業従事者の自宅または事業所における倉庫、納屋、車庫、または駐車場であってもよい。農業機械が移動する環境中に複数の待機場所が点在していてもよい。待機場所において、農業機械の部品もしくはインプルメントの交換もしくはメンテナンス、または資材の補充などの作業が行われてもよい。その場合、待機場所には、それらの作業に必要な部品、工具類、または資材が配置され得る。
 (実施形態)
 以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細な説明および実質的に同一の構成に関する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同一の参照符号を付している。
 本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が2つ以上の装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されてもよいし、分離した2つ以上の機器内に分かれて配置されていてもよい。
 以下の実施形態は例示であり、本開示の技術は以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、ステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
 以下、農業機械の一例であるトラクタなどの作業車両に本開示の技術を適用した実施形態を主に説明する。本開示の技術は、トラクタなどの作業車両に限らず、他の種類の農業機械にも適用することができる。
 図1は、本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。図1に示す農業管理システムは、作業車両100と、端末装置400と、管理装置600とを備える。端末装置400は、作業車両100を遠隔で監視するユーザが使用するコンピュータである。管理装置600は、農業管理システムを運営する事業者が管理するコンピュータである。作業車両100、端末装置400、および管理装置600は、ネットワーク80を介して互いに通信することができる。図1には1台の作業車両100が例示されているが、農業管理システムは、複数の作業車両またはその他の農業機械を含んでいてもよい。
 本実施形態における作業車両100はトラクタである。作業車両100は、後部および前部の一方または両方にインプルメントを装着することができる。作業車両100は、インプルメントの種類に応じた農作業を行いながら圃場内を走行することができる。作業車両100は、インプルメントを装着しない状態で圃場内または圃場外を走行してもよい。
 作業車両100は、自動運転機能を備える。すなわち、作業車両100は、手動によらず、制御装置の働きによって走行することができる。本実施形態における制御装置は、作業車両100の内部に設けられ、作業車両100の速度および操舵の両方を制御することができる。作業車両100は、圃場内に限らず、圃場外(例えば道路)を自動走行することもできる。
 作業車両100は、GNSS受信機およびLiDARセンサなどの、測位あるいは自己位置推定のために利用される装置を備える。作業車両100の制御装置は、作業車両100の位置と、管理装置600によって生成された目標経路の情報とに基づいて、作業車両100を自動で走行させる。制御装置は、作業車両100の走行制御に加えて、インプルメントの動作の制御も行う。これにより、作業車両100は、圃場内を自動で走行しながらインプルメントを用いて農作業を実行することができる。さらに、作業車両100は、圃場外の道(例えば、農道または一般道)を目標経路に沿って自動で走行することができる。作業車両100は、圃場外の道に沿って自動走行を行うとき、カメラまたはLiDARセンサなどのセンシング装置から出力されるデータに基づいて、障害物を回避可能な局所的経路を目標経路に沿って生成しながら走行する。作業車両100は、圃場内においては、上記と同様に局所的経路を生成しながら走行してもよいし、局所的経路を生成せずに目標経路に沿って走行し、障害物が検出された場合に停止する、という動作を行ってもよい。
 管理装置600は、作業車両100による農作業を管理するコンピュータである。管理装置600は、例えば圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援するサーバコンピュータであり得る。管理装置600は、例えば、作業車両100の作業計画を作成し、その作業計画に従って、作業車両100の目標経路を生成することができる。あるいは、管理装置600は、ユーザによる端末装置400を用いた操作に応答して、作業車両100の目標経路を生成してもよい。以下、特に断らない限り、管理装置600が生成する作業車両100の目標経路(すなわち大域的経路)を単に「経路」と称する。
 管理装置600は、圃場内と圃場外とで異なる方法で目標経路を生成する。管理装置600は、圃場内の目標経路を、圃場に関する情報に基づいて生成する。例えば、管理装置600は、予め登録された圃場の外形、圃場の面積、圃場の出入口の位置、作業車両100の幅、インプルメントの幅、作業の内容、栽培される作物の種類、作物の生育領域、作物の生育状況、または作物列もしくは畝の間隔などの、種々の情報に基づいて圃場内の目標経路を生成することができる。管理装置600は、例えば、ユーザが端末装置400または他のデバイスを用いて入力した情報に基づいて圃場内の目標経路を生成する。管理装置600は、圃場内の経路を、例えば作業が行われる作業領域の全体をカバーするように生成する。一方、管理装置600は、圃場外の目標経路を、作業計画またはユーザの指示に従って生成する。例えば、管理装置600は、作業計画が示す農作業の順序、各農作業が行われる圃場の位置、圃場の出入口の位置、各農作業の開始予定時刻および終了予定時刻、地図に記録された各道の属性情報、路面状態、気象状況、または交通状況などの、種々の情報に基づいて圃場外の目標経路を生成することができる。管理装置600は、作業計画によらず、ユーザが端末装置400を操作して指定した経路または経由地点を示す情報に基づいて目標経路を生成してもよい。
 管理装置600は、さらに、作業車両100または他の移動体がLiDARセンサなどのセンシング装置を用いて収集したデータに基づいて、環境地図の生成および編集を行ってもよい。管理装置600は、生成した作業計画、目標経路、および環境地図のデータを作業車両100に送信する。作業車両100は、それらのデータに基づいて、移動および農作業を自動で行う。
 なお、大域的経路設計および環境地図の生成(または編集)は、管理装置600に限らず、他の装置が行ってもよい。例えば、作業車両100の制御装置が、大域的経路設計または環境地図の生成もしくは編集を行ってもよい。
 端末装置400は、作業車両100から離れた場所にいるユーザが使用するコンピュータである。図1に示す端末装置400はラップトップコンピュータであるが、これに限定されない。端末装置400は、デスクトップPC(personal computer)などの据え置き型のコンピュータであってもよいし、スマートフォンまたはタブレットコンピュータなどのモバイル端末でもよい。端末装置400は、作業車両100を遠隔監視したり、作業車両100を遠隔操作したりするために用いられ得る。例えば、端末装置400は、作業車両100が備える1台以上のカメラ(撮像装置)が撮影した映像をディスプレイに表示させることができる。ユーザは、その映像を見て、作業車両100の周囲の状況を確認し、作業車両100に停止または発進の指示を送ることができる。端末装置400は、さらに、作業車両100の作業計画(例えば各農作業のスケジュール)を作成するために必要な情報をユーザが入力するための設定画面をディスプレイに表示することもできる。ユーザが設定画面上で必要な情報を入力し送信の操作を行うと、端末装置400は、入力された情報を管理装置600に送信する。管理装置600は、その情報に基づいて作業計画を作成する。端末装置400は、作業車両100が農作業を実行する1つ以上の圃場、作業車両100の保管場所、および作業車両100が一時的に待機する1つ以上の待機場所の登録にも使用され得る。端末装置400は、さらに、目標経路を設定するために必要な情報をユーザが入力するための設定画面をディスプレイに表示する機能を備えていてもよい。
 以下、本実施形態におけるシステムの構成および動作をより詳細に説明する。
 [1.構成]
 図2は、作業車両100、および作業車両100に連結された作業機300の例を模式的に示す側面図である。本実施形態における作業車両100は、手動運転モードと自動運転モードの両方で動作することができる。自動運転モードにおいて、作業車両100は無人で走行することができる。作業車両100は、圃場内と圃場外の両方で自動運転が可能である。
 図2に示すように、作業車両100は、車両本体101と、原動機(エンジン)102と、変速装置(トランスミッション)103とを備える。車両本体101には、タイヤ付きの車輪104と、キャビン105とが設けられている。車輪104は、一対の前輪104Fと一対の後輪104Rとを含む。キャビン105の内部に運転席107、操舵装置106、操作端末200、および操作のためのスイッチ群が設けられている。作業車両100が圃場内で作業走行を行うとき、前輪104Fおよび後輪104Rの一方または両方は、タイヤ付き車輪ではなく無限軌道(track)を装着した複数の車輪(クローラ)に置き換えられてもよい。
 作業車両100は、作業車両100の周囲の環境をセンシングする少なくとも1つのセンシング装置を備える。図2に示す例では、作業車両100は複数のセンシング装置を備える。センシング装置は、複数のカメラ120と、LiDARセンサ140と、複数の障害物センサ130とを含む。
 カメラ120は、例えば作業車両100の前後左右に設けられ得る。カメラ120は、作業車両100の周囲の環境を撮影し、画像データを生成する。カメラ120が取得した画像は、遠隔監視を行うための端末装置400に送信され得る。当該画像は、無人運転時に作業車両100を監視するために用いられ得る。カメラ120は、作業車両100が圃場外の道(農道または一般道)を走行するときに、周辺の地物もしくは障害物、白線、標識、または表示などを認識するための画像を生成する用途でも使用され得る。
 図2の例におけるLiDARセンサ140は、車両本体101の前面下部に配置されている。LiDARセンサ140は、他の位置に設けられていてもよい。例えばLiDARセンサ140は、キャビン105の上部に設けられていてもよい。LiDARセンサ140は、3D-LiDARセンサであり得るが、2D-LiDARセンサであってもよい。LiDARセンサ140は、作業車両100の周辺の環境をセンシングして、センシングデータを出力する。LiDARセンサ140は、作業車両100が走行している間、周囲の環境に存在する物体の各計測点までの距離および方向、または各計測点の2次元もしくは3次元の座標値を示すセンサデータを繰り返し出力する。LiDARセンサ140から出力されたセンサデータは、作業車両100の制御装置によって処理される。制御装置は、センサデータと、環境地図とのマッチングにより、作業車両100の自己位置推定を行うことができる。制御装置は、さらに、センサデータに基づいて、作業車両100の周辺に存在する障害物などの物体を検出することができる。制御装置は、例えばSLAM(Simultaneous Localization and Mapping)などのアルゴリズムを利用して、環境地図を生成または編集することもできる。作業車両100は、異なる位置に異なる向きで配置された複数のLiDARセンサを備えていてもよい。
 図2に示す複数の障害物センサ130は、キャビン105の前部および後部に設けられている。障害物センサ130は、他の部位にも配置され得る。例えば、車両本体101の側部、前部、および後部の任意の位置に、1または複数の障害物センサ130が設けられ得る。障害物センサ130は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ130は、自動走行時に周囲の障害物を検出して作業車両100を停止したり迂回したりするために用いられる。LiDARセンサ140が障害物センサ130の1つとして利用されてもよい。
 作業車両100は、さらに、GNSSユニット110を備える。GNSSユニット110は、GNSS受信機を含む。GNSS受信機は、GNSS衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて作業車両100の位置を計算するプロセッサとを備え得る。GNSSユニット110は、複数のGNSS衛星から送信される衛星信号を受信し、衛星信号に基づいて測位を行う。GNSSは、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System、例えばみちびき)、GLONASS、Galileo、およびBeiDouなどの衛星測位システムの総称である。本実施形態におけるGNSSユニット110は、キャビン105の上部に設けられているが、他の位置に設けられていてもよい。
 GNSSユニット110は、慣性計測装置(IMU)を含み得る。IMUからの信号を利用して位置データを補完することができる。IMUは、作業車両100の傾きおよび微小な動きを計測することができる。IMUによって取得されたデータを用いて、衛星信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
 作業車両100の制御装置は、GNSSユニット110による測位結果に加えて、カメラ120またはLiDARセンサ140などのセンシング装置が取得したセンシングデータを測位に利用してもよい。農道、林道、一般道、または果樹園のように、作業車両100が走行する環境内に特徴点として機能する地物が存在する場合、カメラ120またはLiDARセンサ140によって取得されたデータと、予め記憶装置に格納された環境地図とに基づいて、作業車両100の位置および向きを高い精度で推定することができる。カメラ120またはLiDARセンサ140が取得したデータを用いて、衛星信号に基づく位置データを補正または補完することで、より高い精度で作業車両100の位置を特定できる。
 原動機102は、例えばディーゼルエンジンであり得る。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置103は、変速によって作業車両100の推進力および移動速度を変化させることができる。変速装置103は、作業車両100の前進と後進とを切り換えることもできる。
 操舵装置106は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪104Fは操舵輪であり、その切れ角(「操舵角」とも称する。)を変化させることにより、作業車両100の走行方向を変化させることができる。前輪104Fの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪104Fの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、作業車両100内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
 車両本体101の後部には、連結装置108が設けられている。連結装置108は、例えば3点支持装置(「3点リンク」または「3点ヒッチ」とも称する。)、PTO(Power Take Off)軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置108によって作業機300を作業車両100に着脱することができる。連結装置108は、例えば油圧装置によって3点リンクを昇降させ、作業機300の位置または姿勢を変化させることができる。また、ユニバーサルジョイントを介して作業車両100から作業機300に動力を送ることができる。作業車両100は、作業機300を引きながら、作業機300に所定の作業を実行させることができる。連結装置は、車両本体101の前部に設けられていてもよい。その場合、作業車両100の前部にインプルメントを接続することができる。
 図2に示す作業機300は、ロータリ耕耘機であるが、作業機300はロータリ耕耘機に限定されない。例えば、シーダ(播種機)、スプレッダ(施肥機)、移植機、モーア(草刈機)、レーキ、ベーラ(集草機)、ハーベスタ(収穫機)、スプレイヤ、またはハローなどの、任意のインプルメントを作業車両100に接続して使用することができる。
 図2に示す作業車両100は、有人運転が可能であるが、無人運転のみに対応していてもよい。その場合には、キャビン105、操舵装置106、および運転席107などの、有人運転にのみ必要な構成要素は、作業車両100に設けられていなくてもよい。無人の作業車両100は、自律走行、またはユーザによる遠隔操作によって走行することができる。
 図3は、作業車両100および作業機300の構成例を示すブロック図である。作業車両100と作業機300は、連結装置108に含まれる通信ケーブルを介して互いに通信することができる。作業車両100は、ネットワーク80を介して、端末装置400および管理装置600と通信することができる。
 図3の例における作業車両100は、GNSSユニット110、カメラ120、障害物センサ130、LiDARセンサ140および操作端末200に加え、作業車両100の動作状態を検出するセンサ群150、制御システム160、通信装置190、操作スイッチ群210、ブザー220、および駆動装置240を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。GNSSユニット110は、GNSS受信機111と、RTK受信機112と、慣性計測装置(IMU)115と、処理回路116とを備える。センサ群150は、ステアリングホイールセンサ152と、切れ角センサ154、車軸センサ156とを含む。制御システム160は、記憶装置170と、制御装置180とを備える。制御装置180は、複数の電子制御ユニット(ECU)181から186を備える。作業機300は、駆動装置340と、制御装置380と、通信装置390とを備える。なお、図3には、作業車両100による自動運転の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
 GNSSユニット110におけるGNSS受信機111は、複数のGNSS衛星から送信される衛星信号を受信し、衛星信号に基づいてGNSSデータを生成する。GNSSデータは、例えばNMEA-0183フォーマットなどの所定のフォーマットで生成される。GNSSデータは、例えば、衛星信号が受信されたそれぞれの衛星の識別番号、仰角、方位角、および受信強度を示す値を含み得る。受信強度は、例えば搬送波雑音電力密度比(C/N0)などの値で表現され得る。GNSSデータは、受信された複数の衛星信号に基づいて計算された作業車両100の位置情報、および当該位置情報の信頼性を示す情報も含み得る。位置情報は、例えば緯度、経度、および平均海水面からの高さなどによって表され得る。位置情報の信頼性は、例えば衛星の配置状況を示すDOP値などによって表され得る。
 図3に示すGNSSユニット110は、RTK(Real Time Kinematic)-GNSSを利用して作業車両100の測位を行う。図4は、RTK-GNSSによる測位を行う作業車両100の例を示す概念図である。RTK-GNSSによる測位では、複数のGNSS衛星50から送信される衛星信号に加えて、基準局60から送信される補正信号が利用される。基準局60は、作業車両100が作業走行を行う圃場の付近(例えば、作業車両100から10km以内の位置)に設置され得る。基準局60は、複数のGNSS衛星50から受信した衛星信号に基づいて、例えばRTCMフォーマットの補正信号を生成し、GNSSユニット110に送信する。RTK受信機112は、アンテナおよびモデムを含み、基準局60から送信される補正信号を受信する。GNSSユニット110の処理回路116は、補正信号に基づき、GNSS受信機111による測位結果を補正する。RTK-GNSSを用いることにより、例えば誤差数cmの精度で測位を行うことが可能である。緯度、経度、および高度の情報を含む位置情報が、RTK-GNSSによる高精度の測位によって取得される。GNSSユニット110は、例えば1秒間に1回から10回程度の頻度で、作業車両100の位置を計算する。
 なお、測位方法はRTK-GNSSに限らず、必要な精度の位置情報が得られる任意の測位方法(干渉測位法または相対測位法など)を用いることができる。例えば、VRS(Virtual Reference Station)またはDGPS(Differential Global Positioning System)を利用した測位を行ってもよい。基準局60から送信される補正信号を用いなくても必要な精度の位置情報が得られる場合は、補正信号を用いずに位置情報を生成してもよい。その場合、GNSSユニット110は、RTK受信機112を備えていなくてもよい。
 RTK-GNSSを利用する場合であっても、基準局60からの補正信号が得られない場所(例えば圃場から遠く離れた道路上)では、RTK受信機112からの信号によらず、他の方法で作業車両100の位置が推定される。例えば、LiDARセンサ140および/またはカメラ120から出力されたデータと、高精度の環境地図とのマッチングによって、作業車両100の位置が推定され得る。
 本実施形態におけるGNSSユニット110は、さらにIMU115を備える。IMU115は、3軸加速度センサおよび3軸ジャイロスコープを備え得る。IMU115は、3軸地磁気センサなどの方位センサを備えていてもよい。IMU115は、モーションセンサとして機能し、作業車両100の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。処理回路116は、衛星信号および補正信号に加えて、IMU115から出力された信号に基づいて、作業車両100の位置および向きをより高い精度で推定することができる。IMU115から出力された信号は、衛星信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。IMU115は、GNSS受信機111よりも高い頻度で信号を出力する。その高頻度の信号を利用して、処理回路116は、作業車両100の位置および向きをより高い頻度(例えば、10Hz以上)で計測することができる。IMU115に代えて、3軸加速度センサおよび3軸ジャイロスコープを別々に設けてもよい。IMU115は、GNSSユニット110とは別の装置として設けられていてもよい。
 カメラ120は、作業車両100の周囲の環境を撮影する撮像装置である。カメラ120は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを備える。カメラ120は、他にも、1つ以上のレンズを含む光学系、および信号処理回路を備え得る。カメラ120は、作業車両100の走行中、作業車両100の周囲の環境を撮影し、画像(例えば動画)のデータを生成する。カメラ120は、例えば、3フレーム/秒(fps: frames per second)以上のフレームレートで動画を撮影することができる。カメラ120によって生成された画像は、例えば遠隔の監視者が端末装置400を用いて作業車両100の周囲の環境を確認するときに利用され得る。カメラ120によって生成された画像は、測位または障害物の検出に利用されてもよい。図2に示すように、複数のカメラ120が作業車両100の異なる位置に設けられていてもよいし、単数のカメラが設けられていてもよい。可視光画像を生成する可視カメラと、赤外線画像を生成する赤外カメラとが別々に設けられていてもよい。可視カメラと赤外カメラの両方が監視用の画像を生成するカメラとして設けられていてもよい。赤外カメラは、夜間において障害物の検出にも用いられ得る。
 障害物センサ130は、作業車両100の周囲に存在する物体を検出する。障害物センサ130は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ130は、障害物センサ130から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ130が作業車両100の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、作業車両100の異なる位置に配置されていてもよい。そのような多くの障害物センサ130を備えることにより、作業車両100の周囲の障害物の監視における死角を減らすことができる。
 ステアリングホイールセンサ152は、作業車両100のステアリングホイールの回転角を計測する。切れ角センサ154は、操舵輪である前輪104Fの切れ角を計測する。ステアリングホイールセンサ152および切れ角センサ154による計測値は、制御装置180による操舵制御に利用される。
 車軸センサ156は、車輪104に接続された車軸の回転速度、すなわち単位時間あたりの回転数を計測する。車軸センサ156は、例えば磁気抵抗素子(MR)、ホール素子、または電磁ピックアップを利用したセンサであり得る。車軸センサ156は、例えば、車軸の1分あたりの回転数(単位:rpm)を示す数値を出力する。車軸センサ156は、作業車両100の速度を計測するために使用される。
 駆動装置240は、前述の原動機102、変速装置103、操舵装置106、および連結装置108などの、作業車両100の走行および作業機300の駆動に必要な各種の装置を含む。原動機102は、例えばディーゼル機関などの内燃機関を備え得る。駆動装置240は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
 ブザー220は、異常を報知するための警告音を発する音声出力装置である。ブザー220は、例えば、自動運転時に、障害物が検出された場合に警告音を発する。ブザー220は、制御装置180によって制御される。
 記憶装置170は、フラッシュメモリまたは磁気ディスクなどの1つ以上の記憶媒体を含む。記憶装置170は、GNSSユニット110、カメラ120、障害物センサ130、LiDARセンサ140、センサ群150、および制御装置180が生成する各種のデータを記憶する。記憶装置170が記憶するデータには、作業車両100が走行する環境内の地図データ(環境地図)、および自動運転のための大域的経路(目標経路)のデータが含まれ得る。環境地図は、作業車両100が農作業を行う複数の圃場およびその周辺の道の情報を含む。環境地図および目標経路は、管理装置600における処理装置(プロセッサ)によって生成され得る。なお、制御装置180が、環境地図および目標経路を生成または編集する機能を備えていてもよい。制御装置180は、管理装置600から取得した環境地図および目標経路を、作業車両100の走行環境に応じて編集することができる。記憶装置170は、通信装置190が管理装置600から受信した作業計画のデータも記憶する。
 作業計画は、複数の作業日にわたって作業車両100が実行する複数の農作業に関する情報を含む。作業計画は、例えば、各作業日において作業車両100が実行する各農作業の予定時刻の情報を含む作業スケジュールのデータであり得る。
 記憶装置170は、制御装置180における各ECUに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体(例えば半導体メモリまたは光ディスク等)または電気通信回線(例えばインターネット)を介して作業車両100に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
 制御装置180は、複数のECUを含む。複数のECUは、例えば、速度制御用のECU181、ステアリング制御用のECU182、インプルメント制御用のECU183、自動運転制御用のECU184、経路生成用のECU185、および地図作成用のECU186を含む。
 ECU181は、駆動装置240に含まれる原動機102、変速装置103、およびブレーキを制御することによって作業車両100の速度を制御する。
 ECU182は、ステアリングホイールセンサ152の計測値に基づいて、操舵装置106に含まれる油圧装置または電動モータを制御することによって作業車両100のステアリングを制御する。
 ECU183は、作業機300に所望の動作を実行させるために、連結装置108に含まれる3点リンクおよびPTO軸などの動作を制御する。ECU183はまた、作業機300の動作を制御する信号を生成し、その信号を通信装置190から作業機300に送信する。
 ECU184は、GNSSユニット110、カメラ120、障害物センサ130、LiDARセンサ140およびセンサ群150から出力されたデータに基づいて、自動運転を実現するための演算および制御を行う。例えば、ECU184は、GNSSユニット110、カメラ120、およびLiDARセンサ140の少なくとも1つから出力されたデータに基づいて、作業車両100の位置を特定する。圃場内においては、ECU184は、GNSSユニット110から出力されたデータのみに基づいて作業車両100の位置を決定してもよい。ECU184は、カメラ120またはLiDARセンサ140が取得したデータに基づいて作業車両100の位置を推定または補正してもよい。カメラ120またはLiDARセンサ140が取得したデータを利用することにより、測位の精度をさらに高めることができる。また、圃場外においては、ECU184は、LiDARセンサ140またはカメラ120から出力されるデータを利用して作業車両100の位置を推定する。例えば、ECU184は、LiDARセンサ140またはカメラ120から出力されるデータと、環境地図とのマッチングにより、作業車両100の位置を推定してもよい。自動運転中、ECU184は、推定された作業車両100の位置に基づいて、目標経路または局所的経路に沿って作業車両100が走行するために必要な演算を行う。ECU184は、ECU181に速度変更の指令を送り、ECU182に操舵角変更の指令を送る。ECU181は、速度変更の指令に応答して原動機102、変速装置103、またはブレーキを制御することによって作業車両100の速度を変化させる。ECU182は、操舵角変更の指令に応答して操舵装置106を制御することによって操舵角を変化させる。
 ECU185は、作業車両100が目標経路に沿って走行している間、障害物を回避可能な局所的経路を逐次生成する。ECU185は、作業車両100の走行中、カメラ120、障害物センサ130、およびLiDARセンサ140から出力されたデータに基づいて、作業車両100の周囲に存在する障害物を認識する。ECU185は、認識した障害物を回避するように局所的経路を生成する。
 ECU185は、管理装置600の代わりに大域的経路設計を行う機能を備えていてもよい。その場合、ECU185は、記憶装置170に格納された作業計画に基づいて作業車両100の移動先を決定し、作業車両100の移動の開始地点から目的地点までの目標経路を決定する。ECU185は、記憶装置170に格納された道路情報を含む環境地図に基づき、例えば最短の時間で移動先に到達できる経路を目標経路として作成することができる。あるいは、ECU185は、環境地図に含まれる各道の属性情報に基づいて、特定の種類の道(例えば、農道、水路などの特定の地物に沿った道、またはGNSS衛星からの衛星信号を良好に受信できる道など)を優先する経路を目標経路として生成してもよい。
 ECU186は、作業車両100が走行する環境の地図を生成または編集する。本実施形態では、管理装置600などの外部の装置によって生成された環境地図が作業車両100に送信され、記憶装置170に記録されるが、ECU186が代わりに環境地図を生成または編集することもできる。以下、ECU186が環境地図を生成する場合の動作を説明する。環境地図は、LiDARセンサ140から出力されたセンサデータに基づいて生成され得る。環境地図を生成するとき、ECU186は、作業車両100が走行している間にLiDARセンサ140から出力されたセンサデータに基づいて3次元の点群データを逐次生成する。ECU186は、例えばSLAMなどのアルゴリズムを利用して、逐次生成した点群データを繋ぎ合わせることにより、環境地図を生成することができる。このようにして生成された環境地図は、高精度の3次元地図であり、ECU184による自己位置推定に利用され得る。この3次元地図に基づいて、大域的経路計画に利用される2次元地図が生成され得る。本明細書では、自己位置推定に利用される3次元地図と、大域的経路計画に利用される2次元地図とを、いずれも「環境地図」と称する。ECU186は、さらに、カメラ120またはLiDARセンサ140から出力されたデータに基づいて認識された地物(例えば、水路、川、草、木など)、道の種類(例えば農道か否か)、路面の状態、または道の通行可能性等に関する種々の属性情報を、地図に付加することによって地図を編集することもできる。
 これらのECUの働きにより、制御装置180は、自動運転を実現する。自動運転時において、制御装置180は、計測または推定された作業車両100の位置と、目標経路とに基づいて、駆動装置240を制御する。これにより、制御装置180は、作業車両100を目標経路に沿って走行させることができる。
 制御装置180に含まれる複数のECUは、例えばCAN(Controller Area Network)などのビークルバス規格に従って、相互に通信することができる。CANに代えて、車載イーサネット(登録商標)などの、より高速の通信方式が用いられてもよい。図3において、ECU181から186のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のECUによって実現されていてもよい。ECU181から186の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置180は、ECU181から186以外のECUを備えていてもよく、機能に応じて任意の個数のECUが設けられ得る。各ECUは、1つ以上のプロセッサを含む処理回路を備える。
 通信装置190は、作業機300、端末装置400、および管理装置600と通信を行う回路を含む装置である。通信装置190は、例えばISOBUS-TIM等のISOBUS規格に準拠した信号の送受信を、作業機300の通信装置390との間で実行する回路を含む。これにより、作業機300に所望の動作を実行させたり、作業機300から情報を取得したりすることができる。通信装置190は、さらに、ネットワーク80を介した信号の送受信を、端末装置400および管理装置600のそれぞれの通信装置との間で実行するためのアンテナおよび通信回路を含み得る。ネットワーク80は、例えば、3G、4Gもしくは5Gなどのセルラー移動体通信網およびインターネットを含み得る。通信装置190は、作業車両100の近くにいる監視者が使用する携帯端末と通信する機能を備えていてもよい。そのような携帯端末との間では、Wi-Fi(登録商標)、3G、4Gもしくは5Gなどのセルラー移動体通信、またはBluetooth(登録商標)などの、任意の無線通信規格に準拠した通信が行われ得る。
 操作端末200は、作業車両100の走行および作業機300の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル(VT)とも称される。操作端末200は、タッチスクリーンなどの表示装置、および/または1つ以上のボタンを備え得る。表示装置は、例えば液晶または有機発光ダイオード(OLED)などのディスプレイであり得る。ユーザは、操作端末200を操作することにより、例えば自動運転モードのオン/オフの切り替え、環境地図の記録または編集、目標経路の設定、および作業機300のオン/オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群210を操作することによっても実現され得る。操作端末200は、作業車両100から取り外せるように構成されていてもよい。作業車両100から離れた場所にいるユーザが、取り外された操作端末200を操作して作業車両100の動作を制御してもよい。ユーザは、操作端末200の代わりに、端末装置400などの、必要なアプリケーションソフトウェアがインストールされたコンピュータを操作して作業車両100の動作を制御してもよい。
 図5は、キャビン105の内部に設けられる操作端末200および操作スイッチ群210の例を示す図である。キャビン105の内部には、ユーザが操作可能な複数のスイッチを含む操作スイッチ群210が配置されている。操作スイッチ群210は、例えば、主変速または副変速の変速段を選択するためのスイッチ、自動運転モードと手動運転モードとを切り替えるためのスイッチ、前進と後進とを切り替えるためのスイッチ、および作業機300を昇降するためのスイッチ等を含み得る。なお、作業車両100が無人運転のみを行い、有人運転の機能を備えていない場合、作業車両100が操作スイッチ群210を備えている必要はない。
 図3に示す作業機300における駆動装置340は、作業機300が所定の作業を実行するために必要な動作を行う。駆動装置340は、例えば油圧装置、電気モータ、またはポンプなどの、作業機300の用途に応じた装置を含む。制御装置380は、駆動装置340の動作を制御する。制御装置380は、通信装置390を介して作業車両100から送信された信号に応答して、駆動装置340に各種の動作を実行させる。また、作業機300の状態に応じた信号を通信装置390から作業車両100に送信することもできる。
 次に、図6を参照しながら、管理装置600および端末装置400の構成を説明する。図6は、管理装置600および端末装置400の概略的なハードウェア構成を例示するブロック図である。
 管理装置600は、記憶装置650と、プロセッサ660と、ROM(Read Only Memory)670と、RAM(Random Access Memory)680と、通信装置690とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。管理装置600は、作業車両100が実行する圃場における農作業のスケジュール管理を行い、管理するデータを活用して農業を支援するクラウドサーバとして機能し得る。ユーザは、端末装置400を用いて作業計画の作成に必要な情報を入力し、その情報をネットワーク80を介して管理装置600にアップロードすることが可能である。管理装置600は、その情報に基づき、農作業のスケジュール、すなわち作業計画を作成することができる。管理装置600は、さらに、環境地図の生成または編集を実行することができる。環境地図は、管理装置600の外部のコンピュータから配信されてもよい。
 通信装置690は、ネットワーク80を介して作業車両100および端末装置400と通信するための通信モジュールである。通信装置690は、例えば、IEEE1394(登録商標)またはイーサネット(登録商標)などの通信規格に準拠した有線通信を行うことができる。通信装置690は、Bluetooth(登録商標)規格もしくはWi-Fi規格に準拠した無線通信、または、3G、4Gもしくは5Gなどのセルラー移動体通信を行ってもよい。
 プロセッサ660は、例えば中央演算処理装置(CPU)を含む半導体集積回路であり得る。プロセッサ660は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。あるいは、プロセッサ660は、CPUを搭載したFPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)、または、これら回路の中から選択される二つ以上の回路の組み合わせによっても実現され得る。プロセッサ660は、ROM670に格納された、少なくとも1つの処理を実行するための命令群を記述したコンピュータプログラムを逐次実行し、所望の処理を実現する。
 ROM670は、例えば、書き込み可能なメモリ(例えばPROM)、書き換え可能なメモリ(例えばフラッシュメモリ)、または読み出し専用のメモリである。ROM670は、プロセッサ660の動作を制御するプログラムを記憶する。ROM670は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。複数の記憶媒体の集合体の一部は、取り外し可能なメモリであってもよい。
 RAM680は、ROM670に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。RAM680は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。
 記憶装置650は、主としてデータベースのストレージとして機能する。記憶装置650は、例えば、磁気記憶装置または半導体記憶装置であり得る。磁気記憶装置の例は、ハードディスクドライブ(HDD)である。半導体記憶装置の例は、ソリッドステートドライブ(SSD)である。記憶装置650は、管理装置600とは独立した装置であってもよい。例えば、記憶装置650は、管理装置600にネットワーク80を介して接続される記憶装置、例えばクラウドストレージであってもよい。
 端末装置400は、入力装置420と、表示装置430と、記憶装置450と、プロセッサ460と、ROM470と、RAM480と、通信装置490とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。入力装置420は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置420は、例えば、キーボード、マウス、またはタッチパネルであり得る。表示装置430は、例えば液晶ディスプレイまたは有機ELディスプレイであり得る。プロセッサ460、ROM470、RAM480、記憶装置450、および通信装置490のそれぞれに関する説明は、管理装置600のハードウェア構成例において記載したとおりであり、それらの説明を省略する。
 [2.動作]
 次に、作業車両100、端末装置400、および管理装置600の動作を説明する。
 [2-1.自動走行動作]
 まず、作業車両100による自動走行の動作の例を説明する。本実施形態における作業車両100は、圃場内および圃場外の両方で自動で走行することができる。圃場内において、作業車両100は、予め設定された目標経路に沿って走行しながら、作業機300を駆動して所定の農作業を行う。作業車両100は、圃場内を走行中、障害物センサ130によって障害物が検出された場合、例えば、走行を停止し、ブザー220からの警告音の発出、および端末装置400への警告信号の送信などの動作を行ってもよい。圃場内において、作業車両100の測位は、主にGNSSユニット110から出力されるデータに基づいて行われる。一方、圃場外において、作業車両100は、圃場外の農道または一般道に設定された目標経路に沿って自動で走行する。作業車両100は、圃場外を走行中、カメラ120またはLiDARセンサ140によって取得されたデータを活用して走行する。圃場外において、作業車両100は、障害物が検出されると、例えば障害物を回避するか、その場で停止する。圃場外においては、GNSSユニット110から出力される測位データに加え、LiDARセンサ140またはカメラ120から出力されるデータに基づいて作業車両100の位置が推定され得る。
 以下、作業車両100が圃場内を自動走行する場合の動作の例を説明する。
 図7は、圃場内を目標経路に沿って自動で走行する作業車両100の例を模式的に示す図である。この例において、圃場は、作業車両100が作業機300を用いて作業を行う作業領域72と、圃場の外周縁付近に位置する枕地74とを含む。地図上で圃場のどの領域が作業領域72または枕地74に該当するかは、ユーザによって事前に設定され得る。この例における目標経路は、並列する複数の主経路P1と、複数の主経路P1を接続する複数の旋回経路P2とを含む。主経路P1は作業領域72内に位置し、旋回経路P2は枕地74内に位置する。図7に示す各主経路P1は直線状の経路であるが、各主経路P1は曲線状の部分を含んでいてもよい。主経路P1は、例えば、ユーザが操作端末200または端末装置400に表示された圃場の地図を見ながら、圃場の端付近の2点(図7における点AおよびB)を指定する操作を行うことによって自動で生成され得る。その場合、ユーザが指定した点Aと点Bとを結ぶ線分に平行に、複数の主経路P1が設定され、それらの主経路P1を旋回経路P2で接続することによって圃場内の目標経路が生成される。図7における破線は、作業機300の作業幅を表している。作業幅は、予め設定され、記憶装置170に記録される。作業幅は、ユーザが操作端末200または端末装置400を操作することによって設定され、記録され得る。あるいは、作業幅は、作業機300を作業車両100に接続したときに自動で認識され、記録されてもよい。複数の主経路P1の間隔は、作業幅に合わせて設定され得る。目標経路は、自動運転が開始される前に、ユーザの操作に基づいて作成され得る。目標経路は、例えば圃場内の作業領域72の全体をカバーするように作成され得る。作業車両100は、図7に示すような目標経路に沿って、作業の開始地点から作業の終了地点まで、往復を繰り返しながら自動で走行する。なお、図7に示す目標経路は一例に過ぎず、目標経路の定め方は任意である。
 次に、制御装置180による圃場内における自動運転時の制御の例を説明する。
 図8は、制御装置180によって実行される自動運転時の操舵制御の動作の例を示すフローチャートである。制御装置180は、作業車両100の走行中、図8に示すステップS121からS125の動作を実行することにより、自動操舵を行う。速度に関しては、例えば予め設定された速度に維持される。制御装置180は、作業車両100の走行中、GNSSユニット110によって生成された作業車両100の位置を示すデータを取得する(ステップS121)。次に、制御装置180は、作業車両100の位置と、目標経路との偏差を算出する(ステップS122)。偏差は、その時点における作業車両100の位置と、目標経路との距離を表す。制御装置180は、算出した位置の偏差が予め設定された閾値を超えるか否かを判定する(ステップS123)。偏差が閾値を超える場合、制御装置180は、偏差が小さくなるように、駆動装置240に含まれる操舵装置の制御パラメータを変更することにより、操舵角を変更する。ステップS123において偏差が閾値を超えない場合、ステップS124の動作は省略される。続くステップS125において、制御装置180は、動作終了の指令を受けたか否かを判定する。動作終了の指令は、例えばユーザが遠隔操作で自動運転の停止を指示したり、作業車両100が目的地に到達したりした場合に出され得る。動作終了の指令が出されていない場合、ステップS121に戻り、新たに計測された作業車両100の位置に基づいて、同様の動作を実行する。制御装置180は、動作終了の指令が出されるまで、ステップS121からS125の動作を繰り返す。上記の動作は、制御装置180におけるECU182、184によって実行される。
 図8に示す例では、制御装置180は、GNSSユニット110によって特定された作業車両100の位置と目標経路との偏差のみに基づいて駆動装置240を制御するが、方位の偏差もさらに考慮して制御してもよい。例えば、制御装置180は、GNSSユニット110によって特定された作業車両100の向きと、目標経路の方向との角度差である方位偏差が予め設定された閾値を超える場合に、その偏差に応じて駆動装置240の操舵装置の制御パラメータ(例えば操舵角)を変更してもよい。
 以下、図9Aから図9Dを参照しながら、制御装置180による操舵制御の例をより具体的に説明する。
 図9Aは、目標経路Pに沿って走行する作業車両100の例を示す図である。図9Bは、目標経路Pから右にシフトした位置にある作業車両100の例を示す図である。図9Cは、目標経路Pから左にシフトした位置にある作業車両100の例を示す図である。図9Dは、目標経路Pに対して傾斜した方向を向いている作業車両100の例を示す図である。これらの図において、GNSSユニット110によって計測された作業車両100の位置および向きを示すポーズがr(x,y,θ)と表現されている。(x,y)は、地球に固定された2次元座標系であるXY座標系における作業車両100の基準点の位置を表す座標である。図9Aから図9Dに示す例において、作業車両100の基準点はキャビン上のGNSSアンテナが設置された位置にあるが、基準点の位置は任意である。θは、作業車両100の計測された向きを表す角度である。図示されている例においては、目標経路PがY軸に平行であるが、一般的には目標経路PはY軸に平行であるとは限らない。
 図9Aに示すように、作業車両100の位置および向きが目標経路Pから外れていない場合には、制御装置180は、作業車両100の操舵角および速度を変更せずに維持する。
 図9Bに示すように、作業車両100の位置が目標経路Pから右側にシフトしている場合には、制御装置180は、作業車両100の走行方向が左寄りに傾き、経路Pに近付くように操舵角を変更する。このとき、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δxの大きさに応じて調整され得る。
 図9Cに示すように、作業車両100の位置が目標経路Pから左側にシフトしている場合には、制御装置180は、作業車両100の走行方向が右寄りに傾き、経路Pに近付くように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の変化量は、例えば位置偏差Δxの大きさに応じて調整され得る。
 図9Dに示すように、作業車両100の位置は目標経路Pから大きく外れていないが、向きが目標経路Pの方向とは異なる場合は、制御装置180は、方位偏差Δθが小さくなるように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δxおよび方位偏差Δθのそれぞれの大きさに応じて調整され得る。例えば、位置偏差Δxの絶対値が小さいほど方位偏差Δθに応じた操舵角の変化量を大きくしてもよい。位置偏差Δxの絶対値が大きい場合には、経路Pに戻るために操舵角を大きく変化させることになるため、必然的に方位偏差Δθの絶対値が大きくなる。逆に、位置偏差Δxの絶対値が小さい場合には、方位偏差Δθをゼロに近づけることが必要である。このため、操舵角を決定するための方位偏差Δθの重み(すなわち制御ゲイン)を相対的に大きくすることが妥当である。
 作業車両100の操舵制御および速度制御には、PID制御またはMPC制御(モデル予測制御)などの制御技術が適用され得る。これらの制御技術を適用することにより、作業車両100を目標経路Pに近付ける制御を滑らかにすることができる。
 なお、走行中に1つ以上の障害物センサ130によって障害物が検出された場合には、制御装置180は、例えば、作業車両100を停止させる。このとき、ブザー220に警告音を発出させたり、警告信号を端末装置400に送信してもよい。障害物の回避が可能な場合、制御装置180は、障害物を回避可能な局所的な経路を生成し、その経路に沿って作業車両100が走行するように駆動装置240を制御してもよい。
 本実施形態における作業車両100は、圃場内だけでなく、圃場外でも自動走行が可能である。圃場外において、制御装置180は、カメラ120またはLiDARセンサ140から出力されたデータに基づいて、作業車両100から比較的離れた位置に存在する物体(例えば、他の車両または歩行者等)を検出することができる。制御装置180は、検出された物体を回避するように局所的経路を生成し、局所的経路に沿って速度制御および操舵制御を行うことにより、圃場外の道における自動走行を実現できる。
 このように、本実施形態における作業車両100は、無人で圃場内および圃場外を自動で走行できる。図10は、複数の作業車両100が圃場70の内部および圃場70の外側の道76を自動走行している状況の例を模式的に示す図である。記憶装置170には、複数の圃場およびその周辺の道を含む領域の環境地図および目標経路が記録される。環境地図および目標経路は、管理装置600またはECU185によって生成され得る。作業車両100が道路上を走行する場合、作業車両100は、作業機300を上昇させた状態で、カメラ120およびLiDARセンサ140などのセンシング装置を用いて周囲をセンシングしながら、目標経路に沿って走行する。走行中、制御装置180は、局所的経路を逐次生成し、局所的経路に沿って作業車両100を走行させる。これにより、障害物を回避しながら自動走行することができる。走行中に、状況に応じて目標経路が変更されてもよい。
 [2-2.局所的経路計画]
 作業車両100が圃場外を走行しているとき、大域的経路上またはその付近に、歩行者または他の車両などの障害物が存在することがある。作業車両100が障害物に衝突することを回避するために、制御装置180におけるECU185は、作業車両100の走行中、障害物を回避可能な局所的経路を逐次生成する。ECU185は、作業車両100が走行しているとき、作業車両100が備えるセンシング装置(障害物センサ130、LiDARセンサ140、およびカメラ120等)によって取得されたセンシングデータに基づいて、局所的経路を生成する。局所的経路は、第2経路30Bの一部に沿った複数のウェイポイントによって規定される。ECU185は、センシングデータに基づいて、作業車両100の進路上またはその付近に障害物が存在するか否かを判断する。そのような障害物が存在する場合、ECU185は、障害物を避けるように複数のウェイポイントを設定して局所的経路を生成する。障害物が存在しない場合、ECU185は、第2経路30Bにほぼ平行に局所的経路を生成する。生成された局所的経路を示す情報は、自動運転制御用のECU184に送られる。ECU184は、局所的経路に沿って作業車両100が走行するように、ECU181およびECU182を制御する。これにより、作業車両100は、障害物を回避しながら走行することができる。なお、作業車両100が走行する道路に信号機が存在する場合、作業車両100は、例えばカメラ120が撮影した画像に基づいて信号機を認識し、赤信号で停止し、青信号で発進する、といった動作を行ってもよい。
 図11は、障害物が存在する環境で生成される大域的経路および局所的経路の一例を示す図である。図11において、大域的経路30が点線矢印で例示され、走行中に逐次生成される局所的経路32が実線矢印で例示されている。大域的経路30は、複数のウェイポイント30pによって規定される。局所的経路32は、ウェイポイント30pよりも短い間隔で設定された複数のウェイポイント32pによって規定される。各ウェイポイントは、例えば、位置および向きの情報を有する。管理装置600は、複数のウェイポイント30pを、道76の交差点を含む複数の箇所に設定することによって大域的経路30を生成する。ウェイポイント30pの間隔は、比較的長く、例えば数メートルから数十メートル程度であってもよい。ECU185は、作業車両100の走行中、センシング装置から出力されたセンシングデータに基づいて、複数のウェイポイント32pを設定することにより、局所的経路32を生成する。局所的経路32におけるウェイポイント32pの間隔は、大域的経路30におけるウェイポイント30pの間隔よりも短い。ウェイポイント32pの間隔は、例えば、数十センチメートル(cm)から数メートル(m)程度であり得る。局所的経路32は、作業車両100の位置を起点とする比較的狭い範囲(例えば数メートル程度の範囲)内に生成される。図11には、作業車両100が圃場70の間の道76に沿って走行し、交差点で左折する間に生成される一連の局所的経路32が例示されている。ECU185は、作業車両100の移動中、ECU184によって推定された作業車両100の位置から、例えば数メートル先の地点までの局所的経路を生成する動作を繰り返す。作業車両100は、逐次生成される局所的経路に沿って走行する。
 図11に示す例では、作業車両100の前方に障害物40(例えば人)が存在する。図11には、作業車両100に搭載されたカメラ120、障害物センサ130、またはLiDARセンサ140などのセンシング装置によってセンシングされる範囲の一例が扇形で例示されている。このような状況において、ECU185は、センシングデータに基づいて検出された障害物40を回避するように、局所的経路32を生成する。ECU185は、例えば、センシングデータと、作業車両100の幅(インプルメントが装着されている場合はインプルメントの幅も含む)とに基づいて、作業車両100が障害物40に衝突する可能性があるかを判断する。作業車両100が障害物40に衝突する可能性がある場合、ECU185は、その障害物40を避けるように複数のウェイポイント32pを設定して局所的経路32を生成する。なお、ECU185は、障害物40の有無だけでなく、路面の状態(例えば、ぬかるみ、陥没等)をセンシングデータに基づいて認識し、走行が困難な箇所が検出された場合、そのような箇所を回避するように局所的経路32を生成してもよい。作業車両100は、局所的経路32に沿って走行する。局所的経路32をどのように設定しても障害物40を回避できない場合、制御装置180は、作業車両100を停止させてもよい。このとき、制御装置180は、端末装置400に警告信号を送信して監視者に注意喚起を行ってもよい。停止後、障害物40が移動して衝突のおそれがなくなったことを認識した場合、制御装置180は、作業車両100の走行を再開してもよい。
 図12は、本実施形態における経路計画および走行制御の動作を示すフローチャートである。図12に示すステップS141からS146の動作を実行することにより、経路計画を行い、作業車両100の自動走行を制御することができる。
 図12に示す例において、管理装置600は、まず、記憶装置650から地図および作業計画を取得する(ステップS141)。次に、管理装置600は、地図および作業計画に基づいて、前述の方法により、作業車両100の大域的経路設計を行う(ステップS142)。大域的経路設計は、作業車両100の走行を開始する前の任意のタイミングで行われ得る。大域的経路設計は、作業車両100の走行開始の直前に行われてもよいし、走行開始の前日以前に行われてもよい。また、大域的経路は、ユーザが端末装置400を用いて入力した情報(例えば、出発地点、目的地点、経由地点等)に基づいて生成されてもよい。前述のように、管理装置600は、圃場に向かう経路、または圃場から他の場所(例えば作業車両100の保管場所または待機場所)に向かう経路を生成するとき、地図上の各道の属性情報に基づいて、農道を優先する経路、特定の地物に沿った道を優先する経路、および衛星信号を正常に受信できる道を優先する経路の少なくとも1つを作業車両100の経路として生成する。管理装置600は、生成した大域的経路を示すデータを作業車両100に送信する。その後、管理装置600は、所定のタイミングで、作業車両100に走行の指示を出す。これを受けて、作業車両100の制御装置180は、作業車両100の走行を開始するように駆動装置240を制御する(ステップS143)。これにより、作業車両100は走行を開始する。走行開始のタイミングは、例えば、作業計画が示す各作業日における最初の農作業の開始予定時刻までに作業車両100が圃場に到達できる適切なタイミングに設定され得る。制御装置180のECU185は、作業車両100の走行中、前述の方法により、障害物との衝突を回避するための局所的経路設計を行う(ステップS144)。障害物が検出されなかった場合、ECU185は、大域的経路にほぼ平行に局所的経路を生成する。障害物が検出された場合、ECU185は、障害物を回避可能な局所的経路を生成する。続いて、ECU184は、作業車両100の走行を終了させるか否かを判定する(ステップS145)。例えば、障害物を回避できる局所的経路を生成できなかった場合、または、作業車両100が目的地点に到着した場合、ECU184は、作業車両100を停止させる(ステップS146)。障害物が検出されなかった場合、または障害物を回避可能な局所的経路が生成できた場合は、ステップS143に戻り、ECU184は、生成された局所的経路に沿って作業車両100を走行させる。以後、ステップS145において走行を終了すると判断されるまで、ステップS143からS145の動作が繰り返される。
 以上の動作により、作業車両100は、障害物に衝突することなく、生成された経路に沿って自動で走行することができる。
 図12の例において、大域的経路は、一度生成された後、目的地に到達するまで変更されない。このような例に限らず、作業車両100の走行中に大域的経路が修正されてもよい。例えば、ECU185は、作業車両100の走行中に、カメラ120またはLiDARセンサ140などのセンシング装置によって取得されたセンシングデータに基づいて、作業車両100が走行している道の状態、作業車両100の周辺の草木の状態、および天候の状態の少なくとも1つを認識し、認識した状態が所定の条件を満たす場合に、大域的経路を変更してもよい。作業車両100が大域的経路に沿って走行しているとき、一部の道の通行が困難である場合がある。例えば、豪雨によって道がぬかるんでいたり、路面が陥没していたり、事故その他の原因で通行できなくなっていたりすることがある。あるいは、農道の周辺の草木が想定よりも伸びていたり、建造物が新たに建設されていたりして、GNSS衛星からの衛星信号が受信しにくくなっていることがある。そのような状況を考慮して、ECU185は、作業車両100の走行中に取得されたセンシングデータに基づいて、通行が困難な道を検出し、そのような道を回避するように経路を変更してもよい。また、ECU185は、経路を変更した場合、変更後の経路を記憶装置170に記憶させ、管理装置600に変更後の経路の情報を送信してもよい。その場合、管理装置600は、次回、同じ圃場への経路生成時に、変更後の経路を採用してもよい。これにより、走行環境の変化に応じた柔軟な経路計画が可能になる。
 [2-3.走行制御システムおよび走行制御方法]
 本実施形態による管理装置600は、周辺の環境をセンシングしながら自動運転を行う農業機械(この例では作業車両100)のための走行制御システムとして機能する。本実施形態による走行制御システムは、主に、作業車両100が圃場外を自動で走行している間に用いられるが、作業車両100が圃場内を自動で走行しているときに用いられてもよい。
 本実施形態による走行制御システムとして機能する管理装置600は、作業車両100の走行履歴を記憶する記憶装置650と、処理装置(プロセッサ)660とを備える。記憶装置650に記憶された作業車両100の走行履歴は、少なくとも、作業車両100の過去の走行状態と、過去の走行中に検出された障害物候補の位置の情報とを含む。処理装置660は、作業車両100の周辺の環境をセンシングして得られたセンサデータと、記憶装置650に記憶された作業車両100の走行履歴とに基づいて、作業車両100に障害物を回避するための回避動作を実行させる。
 本実施形態による走行制御方法は、周辺の環境をセンシングしながら自動運転を行う農業機械(この例では作業車両100)のための走行制御方法であって、作業車両100の過去の走行状態および過去の走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶することと、作業車両100の周辺の環境をセンシングして得られたセンサデータと、作業車両100の走行履歴とに基づいて、作業車両100に障害物を回避するための回避動作を実行させることとを含む。
 「障害物」は、農業機械の走行にとって障害となる物体をいい、例えば、地上にあって移動または静止する物体、および、特定の状態にある地面の一部を含む。障害物の例として、地上にある移動する物体(動的障害物)としては、人(通行人)、動物(例えば鹿、狸、猪、熊、等)、他の車両、等が挙げられ、地上にある静止する物体(静的障害物)としては、石、岩、倒木、電柱、ガードレール、建物、堀、道まで伸びてきた樹の枝、等が挙げられる。「特定の状態にある地面の一部」の例としては、陥没部分、走行の障害となる凹凸(欠落、突起)、ぬかるみ、道路のひび割れ、等が挙げられる。「障害物候補」は、障害物の可能性がある物体として検出される物体をいい、実際には障害物ではない物体(すなわち農業機械の走行にとって障害とならない物体)を含み得る。実際には障害物ではないが障害物候補として検出され得る物体の例としては、雑草、少量の雪、小さな水たまり、二番穂、走行の障害とならない程度の地面の凹凸(耕耘跡)等が挙げられる。「農業機械の走行状態」は、農業機械の速度、加速度、進行方向、目標経路、目標経路を規定する複数のウェイポイントのそれぞれの位置および方向、等のパラメータによって規定される。「農業機械の走行状態の変更」は、農業機械の走行状態を規定するパラメータの少なくとも1つを変更することをいう。「回避動作」は、農業機械の走行状態を変更することだけでなく、農業機械の走行状態を変更することなく周辺の環境のセンシングにおける警戒レベルを上げる(具体的には、センシングで取得するデータ量を増やす)ことも含む。
 作業車両100は、作業車両100が有する1または複数のセンシング装置で、周辺の環境をセンシングしながら自動運転を行う。作業車両100が有するセンシング装置は、例えば図2の例では、複数のカメラ120と、LiDARセンサ140と、複数の障害物センサ130とを含む。これに限られず、作業車両100のセンシング装置は、カメラ120、障害物センサ130、およびLiDARセンサ140の少なくとも1つを含み得る。作業車両100は、作業車両100が有するセンシング装置の少なくとも1つで周辺の環境をセンシングしながら自動運転を行う。処理装置660は、作業車両100が有するセンシング装置の少なくとも1つが取得したセンサデータ、例えば、カメラ120が取得した画像データ、障害物センサ130またはLiDARセンサ140から出力されたデータ(例えば点群データ)等を取得する。
 図13Aおよび図13Bは、作業車両100が有するLiDARセンサ140およびカメラ120がセンシング可能な領域の例を模式的に示す図である。図13Aおよび図13Bに示す例では、作業車両100は、作業車両100の前部、後部、左側および右側に設けられた4つのLiDARセンサ140(140a、140b、140cおよび140d)および4つのカメラ120(120a、120b、120cおよび120d)を有し、これらによって周辺の環境をセンシングすることができる。図13Aおよび図13Bにおいては、LiDARセンサ140およびカメラ120でセンシングされる範囲の一例がグレーの扇形または三角形で示されている。
 LiDARセンサ140は、レーザビームのパルス(以下「レーザパルス」と略記する。)を、出射方向を変えながら次々と出射し、出射時刻と各レーザパルスの反射光を取得した時刻との時間差から各反射点の位置までの距離を計測することができる(ToF(Time of Flight)方式)。あるいは、LiDARセンサ140は、FMCW(Frequency Modulated Continuous Wave)技術を利用して測距を行うセンサであってもよい。FMCW技術を利用したLiDARセンサは、周波数が線形的に変調されたレーザ光を出射し、出射光と反射光との干渉光を検出することによって得られるビート信号の周波数に基づいて反射点までの距離および速度を求めることができる。「反射点」は、作業車両100の周辺の環境に位置する物体の表面上の点であり得る。
 LiDARセンサ140は、任意の方法により、LiDARセンサ140から物体までの距離を計測し得る。LiDARセンサ140の計測方法としては、例えば機械回転方式、MEMS方式、フェーズドアレイ方式がある。これらの計測方法は、それぞれレーザパルスを出射する方法(スキャンの方法)が異なっている。例えば、機械回転方式のLiDARセンサは、レーザパルスの出射およびレーザパルスの反射光の検出を行う筒状のヘッドを回転させて、回転軸の周囲360度全方位の周辺環境をスキャンする。MEMS方式のLiDARセンサは、MEMSミラーを用いてレーザパルスの出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の周辺環境をスキャンする。フェーズドアレイ方式のLiDARセンサは、光の位相を制御して光の出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の周辺環境をスキャンする。
 図14を参照しながら、処理装置660が作業車両100に障害物を回避するための回避動作(作業車両100の走行状態の変更および/または周辺の環境のセンシングにおける警戒レベルの変更を含む)を実行させる手順の一例を説明する。図14は、処理装置660が作業車両100に障害物を回避するための回避動作を実行させる手順の一例を示すフローチャートである。図14のフローチャートは、作業車両100が周辺の環境のセンシングを行いながら自動で走行している間に用いられる手順を示しており、主に、障害物候補が検出された後に用いられる手順の例である。
 ステップS161において、処理装置660は、センサデータに基づいて物体が検出されたとき、検出された物体が障害物候補か否かの判定を行う。物体の検出は、作業車両100が周辺の環境をセンシングしながら自動運転を行っている間、絶えず行われてもよいし、予め設定された所定の時間間隔で行われてもよい。検出された物体が障害物候補か否かの判定は、予め定められた基準で行われる。例えば、検出された物体が地上にある物体の場合、処理装置660は、物体の幅および高さを検出し、物体の幅および/または高さが予め定められた値以上である場合、障害物候補と判定してもよい。検出された物体が特定の状態にある地面の一部である場合は、処理装置660は、その部分の幅および長さを検出し、地面の特定の状態にある部分の幅および/または長さが予め定められた値以上である場合、障害物候補と判定してもよい。物体または特定の状態にある地面の一部の幅は、作業車両100の幅(車体幅)と実質的に平行な方向における物体または特定の状態にある地面の一部の長さである。処理装置660は、障害物候補か否かの判定にあたって、物体の幅または特定の状態にある地面の一部の幅を、作業車両100の幅と比較してもよい。作業車両100に作業機300が連結されている場合は、処理装置660は、障害物候補か否かの判定にあたって、物体の幅または特定の状態にある地面の一部の幅を、作業車両100の幅および/または作業機300の幅と比較してもよい。
 あるいは、処理装置660は、例えばカメラ120が取得した物体の画像データに基づいて、検出された物体の種別を識別し、障害物候補か否かの判定を行ってもよい。処理装置660は、例えば、検出された物体が移動する物体(人(歩行者)、動物、他の車両等)である場合、障害物候補であると判定してもよい。
 ステップS161において、センサデータに基づいて検出された物体が障害物候補であると判定された場合(すなわち、センサデータに基づいて障害物候補が検出された場合)、ステップS162に進む。
 ステップS162において、処理装置660は、センサデータと、記憶装置650に記憶された作業車両100の走行履歴とに基づいて、作業車両100に実行させる回避動作(作業車両100の走行状態の変更および/または周辺の環境のセンシングにおける警戒レベルの変更)を決定する。ステップS162は、処理装置660が、センサデータと、作業車両100の走行履歴とに基づいて、作業車両100に回避動作を実行させる必要がない(すなわち、作業車両100の走行状態および周辺の環境のセンシングにおける警戒レベルの両方を変更せずに維持する)と決定する場合も含む。
 ステップS163において、処理装置660は、ステップS162で決定した回避動作を作業車両100に実行させる。
 例えば、処理装置660は、記憶装置650に記憶された作業車両100の走行履歴に、同じ位置で過去に検出された障害物候補の情報が含まれている場合、作業車両100の走行履歴に含まれる作業車両100の走行状態のデータを用いて、作業車両100に回避動作を実行させる。処理装置660は、例えば、障害物候補の種別に応じて、作業車両100に実行させる回避動作を異ならせてもよい。処理装置660は、検出された障害物候補が移動しない物体であるとき、例えば図11および図12を参照しながら説明した方法で、検出された障害物候補を回避するように作業車両100の目標経路を変更する。処理装置660は、検出された障害物候補が移動する物体(人、動物、他の車両等)であるとき、作業車両100を所定時間停止させ、所定時間経過後に周辺の環境をセンシングし、障害物候補が検出されない場合、作業車両100の走行を再開させる。作業車両100の走行を再開させる際、作業車両100の速度を低く設定してもよい(例えば徐行させてもよい)。所定時間経過後に周辺の環境をセンシングし、障害物候補が検出された場合は、例えば図11および図12を参照しながら説明した方法で、障害物候補を回避するように作業車両100の目標経路を変更する。
 ステップS164において、処理装置660は、ステップS163で作業車両100に実行させた回避動作と、障害物候補が検出された位置の情報とを、記憶装置650に記憶された作業車両100の走行履歴に追加する。処理装置660は、検出された物体が障害物候補であると判定されたとき、検出された障害物候補が存在する位置の情報を取得してもよいし、物体を検出したときにその位置の情報を取得してもよい。処理装置660は、ステップS163において作業車両100の走行状態を変更したときのみ、障害物候補が検出された位置の情報と、変更した作業車両100の走行状態とを、走行履歴に追加してもよい。処理装置660は、ステップS163において作業車両100の走行状態を変更せず作業車両100のセンシングにおける警戒レベルのみ変更したときにも、障害物候補が検出された位置の情報と、作業車両100の走行状態とを、走行履歴に追加してもよい。処理装置660は、ステップS163において作業車両100の走行状態も作業車両100のセンシングにおける警戒レベルもいずれも変更しなかったときにも、障害物候補が検出された位置の情報と、作業車両100の走行状態とを、走行履歴に追加してもよい。
 処理装置660は、動作終了の指令が出されるまで(ステップS165)、ステップS161からS164の工程を繰り返す。
 図14を参照して説明したように、処理装置660は、作業車両100の自動走行中、障害物候補を検出したとき、センサデータと作業車両100の走行履歴とに基づいて、作業車両100に障害物を回避するための回避動作を実行させる。処理装置660は、例えば、障害物を回避するように作業車両100の目標経路を変更または生成することができ、作業車両100が立ち往生することを抑制することができる。また、処理装置660は、実際には障害物ではない物体(例えば、雑草、少量の雪、小さな水たまり等)を障害物候補として検出した場合、作業車両100の走行にとって障害とならない場合は、目標経路を変更せずに作業車両100を走行させることができる。処理装置660は、作業車両100の走行が効率的に行われるよう制御することができる。
 また、処理装置660は、作業車両100が回避した障害物の位置およびそのときの作業車両100の走行状態を記憶装置650に走行履歴として記憶させることで、次回以降の走行において同様の障害物を検出したときは、作業車両100の走行履歴を参照し、そのときの作業車両100の走行状態を用いることができる。過去の走行履歴(実績)に基づいて作業車両100の走行を制御することができるので、作業車両100の走行がより安定してかつ効率的に行われ得る。処理装置660は、センサデータに加えて、作業車両100の走行履歴も参照して作業車両100の走行を制御することによって、作業車両100の自動走行の効率をさらに上げることができる。処理装置660は、作業車両100が障害物候補を検出する都度、作業車両100の走行状態を走行履歴に追加(フィードバック)することで、作業車両100の走行制御の精度を高めることができる。
 また、処理装置660は、障害物候補として検出された物体が障害物ではないと判定された場合(例えば、雑草、少量の雪、小さな水たまり等)であっても、過去の走行履歴を参照することによって、検出した物体に隠された障害物(例えば、雑草や雪に隠された地面の凹凸(陥没穴、欠落、突起等))が見過ごされる可能性を下げることができる。
 記憶装置650に記憶された作業車両100の走行履歴は、上述したように、少なくとも、作業車両100の過去の走行状態と、過去の走行中に検出された障害物候補の位置の情報とを含む。記憶装置650に記憶された作業車両100の走行履歴は、以下の情報の少なくとも1つをさらに含んでもよい。例えば、作業車両100の過去の走行中に検出された障害物候補の種別の情報、障害物候補の大きさの情報、障害物候補が障害物と判定されたか否かの情報、障害物候補が検出された日時の情報、障害物候補が検出されたときの天候の情報、作業車両100に連結されている作業機の種類、等が挙げられる。障害物候補の大きさは、例えば、障害物候補が地上にある物体の場合、物体の幅および高さを含み、障害物候補が特定の状態にある地面の一部の場合、特定の状態にある地面の一部の幅および長さを含む。処理装置660は、作業車両100に作業機300が連結されている場合は、作業機300の幅および/または種類によって、作業車両100に実行させる回避動作を異ならせることができる。
 図15を参照しながら、処理装置660が作業車両100に障害物を回避するための回避動作を実行させる手順の他の例を説明する。図15は、処理装置660が作業車両100に障害物を回避するための回避動作(ここでは周辺の環境のセンシングにおける警戒レベルの変更)を実行させる手順の一例を示すフローチャートである。図15のフローチャートの手順は、作業車両100が周辺の環境のセンシングを行いながら自動で走行している間に用いられ、障害物候補が検出されたか否かにかかわらず用いることができる。処理装置660は、図15のフローチャートの手順と、図14のフローチャートの手順とを並行して実行してもよい。例えば、処理装置660は、図14のフローチャートのステップS161において、センサデータに基づいて検出された物体が障害物候補でないと判定されたとき(「No」に進むとき)に図15のフローチャートの手順を行ってもよい。
 ステップS181において、処理装置660は、作業車両100の走行中、記憶装置650に記憶された作業車両100の走行履歴に基づいて、周辺の環境のセンシングにおける警戒レベルを決定する。周辺の環境のセンシングにおける警戒レベルは、例えば複数のレベル(段階)が予め設定されており、そのなかの1つのレベルを選択することによって、警戒レベルを決定してもよい。
 ステップS182において、処理装置660は、ステップS181で決定した警戒レベルで作業車両100に周辺の環境のセンシングを実行させる。処理装置660は、ステップS181で決定した警戒レベルに基づいて、作業車両100の周辺の環境のセンシングにおける警戒レベルを上げる、下げる、または、維持する(変更しない)のいずれかを行う。
 例えば、処理装置660は、作業車両100の走行履歴に、作業車両100の目標経路上で過去に検出された障害物候補の情報が含まれている場合、周辺の環境のセンシングにおける警戒レベルを上げ、作業車両100の走行履歴に、作業車両100の目標経路上で過去に検出された障害物候補の情報が含まれていない場合、周辺の環境のセンシングにおける警戒レベルを維持する。あるいは、処理装置660は、作業車両100の走行履歴に、作業車両100の目標経路上で過去に検出された障害物候補の情報が含まれている場合は、作業車両100の走行履歴に、作業車両100の目標経路上で過去に検出された障害物候補の情報が含まれていない場合よりも、周辺の環境のセンシングにおける警戒レベルを高く設定してもよい。
 処理装置660は、周辺の環境のセンシングにおける警戒レベルを上げるとき、センサデータの取得頻度を上げるまたはセンサデータを取得する周辺の環境の範囲を広くすることによって、取得するセンサデータのデータ量を増大させる。処理装置660は、周辺の環境のセンシングにおける警戒レベルを下げるとき、センサデータの取得頻度を下げるまたはセンサデータを取得する周辺の環境の範囲を狭くすることによって、取得するセンサデータのデータ量を減少させる。例えば、図13Aおよび図13Bに示したLiDARセンサ140およびカメラ120でセンシングされる範囲の大きさを変更することで、取得するセンサデータのデータ量を増大させる。LiDARセンサ140によってセンシングされる範囲は、例えばLiDARセンサ140からの最大距離を変更することで、変更することができる。図13Aには、LiDARセンサ140aによってセンシングされる範囲Rsaについて、LiDARセンサ140aからの最大距離Lを示している。
 LiDARセンサ140によってセンシングされる範囲の大きさの変更は、例えば、LiDARセンサ140が出力する3次元点群データのうちの、物体の検出に用いるデータ部分を変更することで実現することができる。LiDARセンサ140が出力する3次元点群データには複数の点が含まれている。それらのうちの物体の検出に用いる点を、LiDARセンサ140と点との間の距離に着目して選択する。その選択の基準となる距離の大きさを変更することで、LiDARセンサ140によってセンシングされる範囲の大きさを変更することができる。LiDARセンサ140からの距離がL以下の点のみを、物体の検出の対象とすることで、LiDARセンサ140からの最大距離がLの範囲を、LiDARセンサ140によってセンシングされる範囲として設定することができる。あるいは、LiDARセンサ140がスキャンする範囲を変更することで、LiDARセンサ140によってセンシングされる範囲の大きさを変更してもよい。例えば、LiDARセンサ140から出射されるレーザパルスの出力を変更することで、サーチ領域におけるLiDARセンサ140からの最大距離の大きさを変更してもよい。
 処理装置660は、動作終了の指令が出されるまで(ステップS183)、ステップS181からS182の工程を繰り返す。
 図15を参照して説明したように、処理装置660は、作業車両100の自動走行中に行われるセンシングによって実際に障害物候補が検出されていなくても、過去に障害物候補が検出された場所やその近傍に近づくときは、周辺の環境のセンシングにおける警戒レベルを上げて走行することができるので、障害物候補の検出を効率的に行うことができる。また、過去に回避した障害物が何らかの理由で検出されない場合、例えば、雑草や雪に隠されて検出されない場合やセンシングの精度が一時的に低下しているような場合においても、過去の走行履歴(実績)を利用することで、障害物の見落としを抑制しつつ、自動運転による作業車両100の走行効率の低下を抑制することができる。例えば過去の走行履歴に基づいて、障害物候補が存在する可能性が高い範囲におけるセンシングを重点的に行う等の選択を行うことができる。処理装置660は、自動運転による作業車両100の走行が効率的に行われるよう制御することができる。
 なお、図15のフローチャートの例では、処理装置660が作業車両100に行わせる回避動作は、周辺の環境のセンシングにおける警戒レベルの設定のみであるが、この例に限られない。例えば、処理装置660は、ステップS181において、作業車両100の走行中、記憶装置650に記憶された作業車両100の走行履歴に基づいて、周辺の環境のセンシングにおける警戒レベルを決定するとともに、作業車両100の走行状態を決定してもよい。例えば、周辺の環境のセンシングにおける警戒レベルを上げるとともに、作業車両100の速度を低下させてもよい(例えば作業車両100を徐行させてもよい)。
 以下、処理装置660が作業車両100に障害物を回避するための回避動作を実行させる手順のより詳細な例を説明する。
 図16を参照しながら、処理装置660が作業車両100に障害物を回避するための回避動作を実行させる手順の他の例を説明する。図16は、処理装置660が作業車両100に障害物を回避するための回避動作を実行させる手順の他の一例を示すフローチャートである。図14のフローチャートと共通する工程については、詳細な説明を省略することがある。
 ステップS201において、処理装置660は、センサデータに基づいて物体が検出されたとき、検出された物体が障害物候補か否かの判定を行う。ステップS201において、センサデータに基づいて検出された物体が障害物候補であると判定された場合、ステップS202に進む。
 ステップS202において、処理装置660は、検出された障害物候補が、障害物か否かの判定を行う。ステップS202において、検出された障害物候補が障害物であると判定された場合、ステップS203に進む。
 ステップS203において、処理装置660は、過去に、同じ位置または近接する位置で同様の障害物(例えば同じ種別の障害物)が検出されたか否かを、記憶装置650に記憶された作業車両100の走行履歴を参照して、判定する。処理装置660は、記憶装置650に記憶された作業車両100の走行履歴を参照し、過去に、同じまたは近接する位置で検出された同じ種別の障害物の情報が含まれているか否かを調べる。ステップS203において、過去に、同じまたは近接する位置で同じ種別の障害物が検出されたと判定された場合、ステップS204に進む。ステップS203において、過去に、同じまたは近接する位置で同じ種別の障害物が検出されていないと判定された場合、ステップS205に進む。
 ステップS204において、処理装置660は、過去に同じまたは近接する位置で同じ種別の障害物が検出されたときの、作業車両100の走行状態のデータを記憶装置650から取得し、取得したデータに基づいて、作業車両100の走行状態を変更させる。
 ステップS205において、処理装置660は、障害物を回避するように、作業車両100の走行状態を変更させる。処理装置660は、予め定められた作業車両100の走行状態の変更方法(デフォルトパラメータ)に基づいて作業車両100の走行状態を変更させてもよい。処理装置660は、図11および図12を参照しながら説明した方法で、障害物を回避するように、作業車両100の走行状態を変更させてもよい。
 ステップS204またはステップS205の後、ステップS206において、処理装置660は、作業車両100の走行状態および検出された障害物の位置の情報を、記憶装置650に記憶させ、作業車両100の走行履歴に追加する。処理装置660は、検出された障害物の位置に関する情報以外の情報も作業車両100の走行履歴に追加してもよい。作業車両100の走行履歴に追加された情報は、以後の作業車両100の走行制御に用いられるので、作業車両100の走行制御の精度が高められる。
 ステップS202において、検出された障害物候補が障害物でないと判定された場合、ステップS207に進む。
 ステップS207において、処理装置660は、過去に、同じ位置または近接する位置で障害物候補が検出されたか否かを、記憶装置650に記憶された作業車両100の走行履歴を参照して、判定する。ステップS207において、過去に、同じ位置または近接する位置で障害物候補が検出されたと判定された場合、ステップS208に進む。ステップS207において、過去に、同じ位置または近接する位置で障害物候補が検出されていないと判定された場合、ステップS210に進む。
 ステップS208において、処理装置660は、過去に、同じ位置または近接する位置で検出された障害物候補は障害物であったか否かを、記憶装置650に記憶された作業車両100の走行履歴を参照して、判定する。ステップS208において、処理装置660は、過去に、同じ位置または近接する位置で検出された障害物候補は障害物であったと判定された場合、ステップS204に進む。
 処理装置660は、ステップS207およびステップS208の工程を行うことで、障害物候補として検出された物体が障害物ではないと判定された場合(例えば、雑草、少量の雪、小さな水たまり等)であっても、過去の作業車両100の走行履歴を参照することによって、例えば、過去に同じまたは近接する位置で障害物(例えば地面の凹凸)が検出および回避されたことが記憶装置650に記憶されていれば、検出された物体に隠された障害物(例えば、雑草や雪に隠された地面の凹凸(陥没穴、欠落、突起等))が見過ごされることを抑制することができる。特に、過去に検出された障害物が特定の状態にある地面の一部である場合、雑草、少量の雪、小さな水たまり等に隠されてセンサデータによって検出されない場合があり得る。また、過去に検出された障害物が移動しない小さい物体(例えば小さい石等)である場合、同じ障害物が同じ位置に存在している可能性が高く、雑草や雪に隠されてしまうことも考えられる。処理装置660は、作業車両100の走行履歴を参照して作業車両100に回避動作を行わせることによって、これらの障害物を精度良く検出することができる。
 ステップS208において、処理装置660は、過去に、同じ位置または近接する位置で検出された障害物候補は障害物でなかったと判定された場合、ステップS209に進む。
 ステップS209において、処理装置660は、周辺の環境のセンシングにおける警戒レベルを上げる。処理装置660は、例えば、作業車両100の走行状態は変更せずに、作業車両100の走行を引き続き行わせる。処理装置660は、周辺の環境のセンシングにおける警戒レベルを上げるとともに、作業車両100の走行状態を変更してもよい(例えば作業車両100の速度を低下させてもよい)。
 ステップS210において、処理装置660は、作業車両100に回避動作を実行させない。処理装置660は、周辺の環境のセンシングにおける警戒レベルを下げてもよい。処理装置660は、作業車両100の走行状態は変更せずに、作業車両100の走行を引き続き行わせる。
 処理装置660は、動作終了の指令が出されるまで(ステップS211)、ステップS201からステップS210の工程を繰り返す。
 次に、図17を参照しながら、処理装置660が作業車両100に障害物を回避するための回避動作(ここでは、周辺の環境のセンシングにおける警戒レベルの設定)を実行させる手順を説明する。図17は、処理装置660が作業車両100に障害物を回避するための回避動作を実行させる手順の他の一例を示すフローチャートである。図14~図16のフローチャートと共通する工程については、詳細な説明を省略することがある。
 ステップS219において、処理装置660は、作業車両100の目標経路上で過去に障害物候補が検出されたか否かを、記憶装置650に記憶された作業車両100の走行履歴を参照して、判定する。例えば、処理装置660は、作業車両100の目標経路上において、作業車両100の現在位置から予め設定された距離Daの範囲内(例えば作業車両100の現在位置から70m以内)で、過去に障害物候補が検出されたか否かを判定する。距離Daの値は、作業車両100の走行状態(例えば作業車両100の速度)、作業車両100の種類、作業車両100に連結された作業機300の種類等によって調整され得る。処理装置660は、作業車両100の目標経路上で過去に障害物候補が検出されたか否かの判定を複数回行ってもよい。例えば、作業車両100の目標経路上において、作業車両100の現在位置から予め設定された距離Daの範囲内で、過去に障害物候補が検出されたか否かを判定すし、検出されていないと判定された場合は、作業車両100の目標経路上において、作業車両100の現在位置から予め設定された距離Dbの範囲内(例えば作業車両100の現在位置から25m以内)で、過去に障害物候補が検出されたか否かを判定する。距離Dbは距離Daよりも小さい。
 ステップS219において、作業車両100の目標経路上で作業車両100の目標経路上で過去に障害物候補が検出されたと判定された場合は、ステップS220に進む。ステップS219において、作業車両100の目標経路上で過去に障害物候補が検出されていないと判定された場合は、処理装置660は、作業車両100に回避動作を実行させない(ステップS226)。すなわち、処理装置660は、作業車両100の警戒レベルを上げず、警戒レベルを維持または低下させる。
 ステップS220において、処理装置660は、作業車両100の目標経路上で過去に検出された障害物候補が障害物と判定されたか否かを、記憶装置650に記憶された作業車両100の走行履歴を参照して、判定する。処理装置660は、例えば、記憶装置650に記憶された作業車両100の走行履歴を参照し、過去に障害物候補を検出したときの作業車両100の走行状態に基づいて、過去に検出された障害物候補が障害物と判定されたものか否かを判定することができる。例えば、作業車両100がその障害物候補を回避する経路を走行していた場合は、その障害物候補が障害物であると判定されたと考えられる。記憶装置650に記憶された作業車両100の走行履歴に、過去に検出された障害物候補の種別を識別した結果の情報が含まれている場合は、処理装置660は、障害物候補の種別に基づいて、その障害物候補が障害物であると判定されたか否かを判定してもよい。例えば、障害物候補が、移動する物体と識別された場合は、障害物であると判定されてもよい。
 ステップS220において、作業車両100の目標経路上で過去に検出された障害物候補が障害物と判定されたと判定された場合は、ステップS221に進む。ステップS220において、作業車両100の目標経路上で過去に検出された障害物候補が障害物でないと判定されたと判定された場合は、ステップS225に進む。
 ステップS221において、処理装置660は、過去に検出された障害物が、現在も同じ位置に存在し得るか否かを、記憶装置650に記憶された作業車両100の走行履歴を参照して、判定する。処理装置660は、例えば、過去に検出された障害物が、移動しない物体と識別された場合は、現在も同じ位置に存在し得ると判定してもよい。
 ステップS221において、過去に検出された障害物が、現在も同じ位置に存在し得ると判定された場合は、ステップS222に進む。ステップS221において、過去に検出された障害物が、現在も同じ位置に存在しないと判定された場合は、ステップS224に進む。
 ステップS222において、処理装置660は、過去に検出された障害物に対応する、作業車両100の走行状態のデータを記憶装置650から取得し、取得したデータに基づいて、作業車両100の走行状態を変更させる。
 ステップS222の後、ステップS223において、処理装置660は、作業車両100の走行状態を、記憶装置650に記憶させ、作業車両100の走行履歴に追加する。
 ステップS224およびステップS225において、処理装置660は、周辺の環境のセンシングにおける警戒レベルを上げる。処理装置660は、例えば、作業車両100の走行状態は変更せずに、作業車両100の走行を引き続き行わせる。処理装置660は、周辺の環境のセンシングにおける警戒レベルを上げるとともに、作業車両100の走行状態を変更してもよい(例えば作業車両100の速度を低下させてもよい)。
 処理装置660は、動作終了の指令が出されるまで(ステップS227)、ステップS219からステップS226の工程を繰り返す。
 ここで説明した例では、処理装置660は、作業車両100が有する1または複数のセンシング装置によって取得されたセンサデータと、記憶装置650に記憶された作業車両100の走行履歴とに基づいて、作業車両100に障害物を回避するための回避動作を実行させる。ただし、作業車両100は、例えば作業車両100とは異なる農業機械、またはドローン(無人航空機、Unmanned Arial Vehicle:UAV)などの他の移動体が有するセンシング装置で、周辺の環境をセンシングしながら自動運転を行ってもよい。本実施形態による走行制御システムは、例えば作業車両100とは異なる農業機械、またはドローンなどの他の移動体が有するセンシング装置が取得したセンサデータを用いて、作業車両100に行わせる回避動作を決定してもよい。
 また、ここでは、管理装置600の処理装置660が走行制御システムの処理装置として機能する例を説明したが、走行制御システムにおいて管理装置600の処理装置660が実行する処理の一部または全部は、他の装置によって実行されてもよい。そのような他の装置は、端末装置400(プロセッサ460)、作業車両100の制御装置180および操作端末200のいずれかであってもよい。例えば、管理装置600の処理装置660が実行する処理の一部が制御装置180によって実行される場合、管理装置600と制御装置180との組み合わせが走行制御システムの処理装置として機能する。また、説明する例では、管理装置600の記憶装置650が、作業車両100の走行履歴を記憶する記憶装置として機能するが、端末装置400の記憶装置450および/または作業車両100の記憶装置170が、走行制御システムの記憶装置として機能してもよい。作業車両100が走行制御システムを備えていてもよく、その場合は、作業車両100の制御装置180および記憶装置170が、走行制御システムの処理装置および記憶装置として機能する。作業車両100の制御装置180は、例示したECU181~186に加えて、走行を制御するための処理の一部または全部を行うためのECUをさらに有してもよい。
 以上のように、本開示は、以下の項目に記載の走行制御システム、農業機械および走行制御方法を含む。
 [項目1]
 周辺の環境をセンシングしながら自動運転を行う農業機械のための走行制御システムであって、
 前記農業機械の過去の走行状態および走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶する記憶装置と、
 前記周辺の環境をセンシングして得られたセンサデータと、前記走行履歴とに基づいて、前記農業機械に障害物を回避するための回避動作を実行させる処理装置と
を有する、走行制御システム。
 [項目2]
 前記処理装置は、
 前記センサデータに基づいて障害物候補が検出されたとき、前記センサデータと、前記走行履歴とに基づいて、前記農業機械の走行状態を変更するおよび/または前記周辺の環境のセンシングにおける警戒レベルを上げる、項目1に記載の走行制御システム。
 [項目3]
 前記処理装置は、
 前記センサデータに基づいて障害物候補が検出され、前記センサデータと、前記走行履歴とに基づいて、前記農業機械の走行状態を変更したとき、前記障害物候補が検出された位置と、変更した前記農業機械の走行状態とを前記走行履歴に追加する、項目2に記載の走行制御システム。
 [項目4]
 前記処理装置は、
 前記農業機械の走行中、前記走行履歴に基づいて、前記周辺の環境のセンシングにおける警戒レベルを設定する、項目1から3のいずれか1項に記載の走行制御システム。
 [項目5]
 前記処理装置は、
 前記周辺の環境のセンシングにおける警戒レベルを上げるとき、前記センサデータの取得頻度を上げるまたは前記センサデータを取得する前記周辺の環境の範囲を広くすることによって、前記センサデータのデータ量を増大させる、項目1から4のいずれか1項に記載の走行制御システム。
 [項目6]
 前記走行履歴は、
 前記農業機械の過去の走行中に検出された障害物候補の種別の情報、障害物候補の大きさの情報、障害物候補が障害物と判定されたか否かの情報、障害物候補が検出された日時の情報、および、障害物候補が検出されたときの天候の情報の少なくとも1つをさらに含む、項目1から5のいずれか1項に記載の走行制御システム。
 [項目7]
 前記処理装置は、
 前記センサデータに基づいて障害物候補が検出されたとき、検出された前記障害物候補の種別を識別する、項目1から6のいずれか1項に記載の走行制御システム。
 [項目8]
 前記処理装置は、
 前記センサデータに基づいて障害物候補が検出され、前記検出された障害物候補が移動する物体であるとき、前記農業機械を所定時間停止させ、前記所定時間経過後に前記周辺の環境をセンシングし、障害物候補が検出されない場合、前記農業機械の走行を再開させる、項目1から7のいずれか1項に記載の走行制御システム。
 [項目9]
 前記処理装置は、
 前記センサデータに基づいて障害物候補が検出され、前記検出された障害物候補が移動しない物体であるとき、検出された前記障害物候補を回避するように前記農業機械の目標経路を生成または変更する、項目1から8のいずれか1項に記載の走行制御システム。
 [項目10]
 前記処理装置は、
 前記センサデータに基づいて障害物候補が検出されたとき、検出された前記障害物候補が存在する位置の情報を取得し、
 前記走行履歴に、前記位置で過去に検出された障害物候補の情報が含まれている場合、前記走行履歴に含まれる前記農業機械の走行状態のデータを用いて、前記農業機械に前記回避動作を実行させる、項目1から9のいずれか1項に記載の走行制御システム。
 [項目11]
 前記処理装置は、
 前記農業機械の走行中、
 前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれている場合、前記周辺の環境のセンシングにおける警戒レベルを上げ、
 前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれていない場合、前記周辺の環境のセンシングにおける警戒レベルを維持する、
 項目1から10のいずれか1項に記載の走行制御システム。
 [項目12]
 前記処理装置は、
 前記農業機械の走行中、
 前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれている場合は、前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれていない場合よりも、前記周辺の環境のセンシングにおける警戒レベルを高く設定する、
 項目1から11のいずれか1項に記載の走行制御システム。
 [項目13]
 項目1から12のいずれか1項に記載の走行制御システムを備える農業機械。
 [項目14]
 前記農業機械が、作業車両と、前記作業車両に連結された作業機とを有する場合、
 前記処理装置は、前記作業機の種類および/または前記作業機の幅に基づいて、前記回避動作を変更する、項目13に記載の農業機械。
 [項目15]
 周辺の環境をセンシングしながら自動運転を行う農業機械のための走行制御方法であって、
 前記農業機械の過去の走行状態および走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶することと、
 前記周辺の環境をセンシングして得られたセンサデータと、前記走行履歴とに基づいて、前記農業機械に障害物を回避するための回避動作を実行させることと
を含む、走行制御方法。
 本開示の技術は、例えばトラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、または農業用ロボットなどの農業機械の自動運転による走行を制御する走行制御システム、そのような走行制御システムを備える農業機械、および、走行制御方法に適用することができる。
 40・・・障害物、50・・・GNSS衛星、60・・・基準局、70・・・圃場、72・・・作業領域、74・・・枕地、76・・・道、80・・・ネットワーク、100・・・作業車両、101・・・車両本体、102・・・原動機(エンジン)、103・・・変速装置(トランスミッション)、104・・・車輪、105・・・キャビン、106・・・操舵装置、107・・・運転席、108・・・連結装置、110・・・測位装置(GNSSユニット)、111・・・GNSS受信機、112・・・RTK受信機、115・・・慣性計測装置(IMU)、116・・・処理回路、120・・・カメラ、130・・・障害物センサ、140・・・LiDARセンサ、150・・・センサ群、152・・・ステアリングホイールセンサ、154・・・切れ角センサ、156・・・車軸センサ、160・・・制御システム、170・・・記憶装置、180・・・制御装置、181~186・・・ECU、190・・・通信装置、200・・・操作端末、210・・・操作スイッチ群、220・・・ブザー、240・・・駆動装置、300・・・作業機(インプルメント)、340・・・駆動装置、380・・・制御装置、390・・・通信装置、400・・・端末装置、420・・・入力装置、430・・・表示装置、450・・・記憶装置、460・・・プロセッサ、470・・・ROM、480・・・RAM、490・・・通信装置、600・・・管理装置、650・・・記憶装置、660・・・プロセッサ(処理装置)、670・・・ROM、680・・・RAM、690・・・通信装置

Claims (15)

  1.  周辺の環境をセンシングしながら自動運転を行う農業機械のための走行制御システムであって、
     前記農業機械の過去の走行状態および走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶する記憶装置と、
     前記周辺の環境をセンシングして得られたセンサデータと、前記走行履歴とに基づいて、前記農業機械に障害物を回避するための回避動作を実行させる処理装置と
    を有する、走行制御システム。
  2.  前記処理装置は、
     前記センサデータに基づいて障害物候補が検出されたとき、前記センサデータと、前記走行履歴とに基づいて、前記農業機械の走行状態を変更するおよび/または前記周辺の環境のセンシングにおける警戒レベルを上げる、請求項1に記載の走行制御システム。
  3.  前記処理装置は、
     前記センサデータに基づいて障害物候補が検出され、前記センサデータと、前記走行履歴とに基づいて、前記農業機械の走行状態を変更したとき、前記障害物候補が検出された位置と、変更した前記農業機械の走行状態とを前記走行履歴に追加する、請求項2に記載の走行制御システム。
  4.  前記処理装置は、
     前記農業機械の走行中、前記走行履歴に基づいて、前記周辺の環境のセンシングにおける警戒レベルを設定する、請求項1から3のいずれか1項に記載の走行制御システム。
  5.  前記処理装置は、
     前記周辺の環境のセンシングにおける警戒レベルを上げるとき、前記センサデータの取得頻度を上げるまたは前記センサデータを取得する前記周辺の環境の範囲を広くすることによって、前記センサデータのデータ量を増大させる、請求項1から4のいずれか1項に記載の走行制御システム。
  6.  前記走行履歴は、
     前記農業機械の過去の走行中に検出された障害物候補の種別の情報、障害物候補の大きさの情報、障害物候補が障害物と判定されたか否かの情報、障害物候補が検出された日時の情報、および、障害物候補が検出されたときの天候の情報の少なくとも1つをさらに含む、請求項1から5のいずれか1項に記載の走行制御システム。
  7.  前記処理装置は、
     前記センサデータに基づいて障害物候補が検出されたとき、検出された前記障害物候補の種別を識別する、請求項1から6のいずれか1項に記載の走行制御システム。
  8.  前記処理装置は、
     前記センサデータに基づいて障害物候補が検出され、前記検出された障害物候補が移動する物体であるとき、前記農業機械を所定時間停止させ、前記所定時間経過後に前記周辺の環境をセンシングし、障害物候補が検出されない場合、前記農業機械の走行を再開させる、請求項1から7のいずれか1項に記載の走行制御システム。
  9.  前記処理装置は、
     前記センサデータに基づいて障害物候補が検出され、前記検出された障害物候補が移動しない物体であるとき、検出された前記障害物候補を回避するように前記農業機械の目標経路を生成または変更する、請求項1から8のいずれか1項に記載の走行制御システム。
  10.  前記処理装置は、
     前記センサデータに基づいて障害物候補が検出されたとき、検出された前記障害物候補が存在する位置の情報を取得し、
     前記走行履歴に、前記位置で過去に検出された障害物候補の情報が含まれている場合、前記走行履歴に含まれる前記農業機械の走行状態のデータを用いて、前記農業機械に前記回避動作を実行させる、請求項1から9のいずれか1項に記載の走行制御システム。
  11.  前記処理装置は、
     前記農業機械の走行中、
     前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれている場合、前記周辺の環境のセンシングにおける警戒レベルを上げ、
     前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれていない場合、前記周辺の環境のセンシングにおける警戒レベルを維持する、
     請求項1から10のいずれか1項に記載の走行制御システム。
  12.  前記処理装置は、
     前記農業機械の走行中、
     前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれている場合は、前記走行履歴に、前記農業機械の目標経路上で過去に検出された障害物候補の情報が含まれていない場合よりも、前記周辺の環境のセンシングにおける警戒レベルを高く設定する、
     請求項1から11のいずれか1項に記載の走行制御システム。
  13.  請求項1から12のいずれか1項に記載の走行制御システムを備える農業機械。
  14.  前記農業機械が、作業車両と、前記作業車両に連結された作業機とを有する場合、
     前記処理装置は、前記作業機の種類および/または前記作業機の幅に基づいて、前記回避動作を変更する、請求項13に記載の農業機械。
  15.  周辺の環境をセンシングしながら自動運転を行う農業機械のための走行制御方法であって、
     前記農業機械の過去の走行状態および走行中に検出された障害物候補の位置の情報を含む走行履歴を記憶することと、
     前記周辺の環境をセンシングして得られたセンサデータと、前記走行履歴とに基づいて、前記農業機械に障害物を回避するための回避動作を実行させることと
    を含む、走行制御方法。
PCT/JP2023/022145 2022-06-21 2023-06-14 走行制御システム、農業機械および走行制御方法 WO2023248909A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022099456 2022-06-21
JP2022-099456 2022-06-21

Publications (1)

Publication Number Publication Date
WO2023248909A1 true WO2023248909A1 (ja) 2023-12-28

Family

ID=89379874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022145 WO2023248909A1 (ja) 2022-06-21 2023-06-14 走行制御システム、農業機械および走行制御方法

Country Status (1)

Country Link
WO (1) WO2023248909A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185412A (ja) * 1995-12-28 1997-07-15 Yaskawa Electric Corp 自律移動装置
JP2018041435A (ja) * 2016-09-01 2018-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 自律移動型ロボット、移動制御方法及び移動制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185412A (ja) * 1995-12-28 1997-07-15 Yaskawa Electric Corp 自律移動装置
JP2018041435A (ja) * 2016-09-01 2018-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 自律移動型ロボット、移動制御方法及び移動制御プログラム

Similar Documents

Publication Publication Date Title
US6199000B1 (en) Methods and apparatus for precision agriculture operations utilizing real time kinematic global positioning system systems
US20240172577A1 (en) Control system for agricultural machine and agriculture management system
WO2022107587A1 (ja) 移動体、データ生成ユニット、およびデータを生成する方法
WO2023119871A1 (ja) 自動走行を行う農業機械のための経路計画システムおよび経路計画方法
WO2023127391A1 (ja) 遠隔操作走行が可能な農業機械の走行制御システム
US20210095963A1 (en) System and method for tile cached visualizations
WO2023248909A1 (ja) 走行制御システム、農業機械および走行制御方法
WO2024004486A1 (ja) 作業車両、制御方法および制御システム
JP7433267B2 (ja) 作業車両、および作業車両の制御システム
WO2023218688A1 (ja) 地図作成システムおよび経路計画システム
WO2024004463A1 (ja) 走行制御システム、走行制御方法およびコンピュータプログラム
WO2023127557A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023127556A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023119996A1 (ja) 障害物検出システム、農業機械および障害物検出方法
WO2023238827A1 (ja) 農業管理システム
WO2023106071A1 (ja) 農道識別システム、制御システムおよび農業機械
WO2023095856A1 (ja) 自動運転を行う農業機械のための経路計画システム
WO2023112515A1 (ja) 地図生成システムおよび地図生成方法
WO2023238724A1 (ja) 農業機械の自動走行のための経路生成システムおよび経路生成方法
WO2023234255A1 (ja) センシングシステム、農業機械、およびセンシング装置
JP2024003645A (ja) 経路生成システム、農業機械および経路生成方法
WO2023243514A1 (ja) 作業車両、および作業車両の制御方法
WO2023007835A1 (ja) 管理システム、および農業機械の圃場へのアクセスを管理するための方法
WO2024004575A1 (ja) 作業車両、および作業車両の制御方法
WO2023106158A1 (ja) 自動運転を行う農業機械のための経路計画システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827095

Country of ref document: EP

Kind code of ref document: A1