WO2023234255A1 - センシングシステム、農業機械、およびセンシング装置 - Google Patents

センシングシステム、農業機械、およびセンシング装置 Download PDF

Info

Publication number
WO2023234255A1
WO2023234255A1 PCT/JP2023/019920 JP2023019920W WO2023234255A1 WO 2023234255 A1 WO2023234255 A1 WO 2023234255A1 JP 2023019920 W JP2023019920 W JP 2023019920W WO 2023234255 A1 WO2023234255 A1 WO 2023234255A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
work vehicle
data
lidar sensor
implement
Prior art date
Application number
PCT/JP2023/019920
Other languages
English (en)
French (fr)
Inventor
亮 茶畑
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Publication of WO2023234255A1 publication Critical patent/WO2023234255A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present disclosure relates to a sensing system, an agricultural machine, and a sensing device.
  • ICT Information and Communication Technology
  • IoT Internet of Things
  • work vehicles have been put into practical use that use positioning systems such as GNSS (Global Navigation Satellite System) that can perform precise positioning to automatically travel within a field while performing agricultural work.
  • GNSS Global Navigation Satellite System
  • Patent Document 1 discloses an example of a work vehicle that recognizes crop rows in a field using a LiDAR sensor and automatically travels between the crop rows.
  • Patent Document 2 discloses an example of a work vehicle that automatically travels along a target route set in a field while detecting obstacles using a LiDAR sensor.
  • sensing may be obstructed by an implement connected to the work vehicle.
  • a ranging sensor such as a LiDAR sensor
  • sensing may be obstructed by an implement connected to the work vehicle.
  • an implement is connected to the front of a work vehicle, a blind spot occurs within the sensing range in front of the work vehicle, which impedes sensing.
  • the present disclosure provides a technique for avoiding sensing being obstructed by an implement.
  • a sensing system includes a first ranging sensor attached to a work vehicle, a second ranging sensor attached to an implement coupled to the working vehicle, and a sensing system of the first ranging sensor.
  • a marker member located within the range and a processing device are provided.
  • the processing device calculates a relative relationship of the second distance measurement sensor with respect to the first distance measurement sensor based on first sensor data generated by the first distance measurement sensor sensing an area including the marker member.
  • a position and orientation (pose) is estimated, and data indicating the estimated position and orientation is output.
  • Computer-readable storage media may include volatile storage media or non-volatile storage media.
  • the device may be composed of multiple devices. When a device is composed of two or more devices, the two or more devices may be arranged within one device, or may be arranged separately within two or more separate devices. .
  • FIG. 1 is a side view schematically showing an agricultural machine in an exemplary embodiment of the present disclosure. It is a figure showing the example of composition of a marker member.
  • FIG. 6 is a diagram for explaining a process of estimating the relative position and orientation of the second LiDAR sensor with respect to the first LiDAR sensor. It is a figure which shows the other example of a marker member. It is a figure showing other examples of a sensing system.
  • FIG. 3 is a diagram showing an example of a marker member including a plurality of parts of different colors. It is a figure which shows yet another example of a sensing system.
  • FIG. 1 is a diagram illustrating an overview of a system according to an exemplary embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a process of estimating the relative position and orientation of the second LiDAR sensor with respect to the first LiDAR sensor. It is a figure which shows the other example of a marker member. It is a figure showing other examples of a sensing system.
  • FIG. 1 is a side view schematically showing an example of a work vehicle and an implement connected to the work vehicle.
  • FIG. 2 is a block diagram showing an example of the configuration of a work vehicle and an implement.
  • FIG. 2 is a conceptual diagram showing an example of a work vehicle that performs positioning using RTK-GNSS.
  • FIG. 1 is a diagram schematically showing an example of an environment in which a work vehicle travels.
  • FIG. 2 is a diagram schematically showing an example of a travel route of a work vehicle.
  • FIG. 7 is a diagram schematically showing another example of a travel route of a work vehicle. It is a flow chart which shows an example of operation of steering control at the time of automatic driving performed by a control device.
  • FIG. 1 is a side view schematically showing an example of a work vehicle and an implement connected to the work vehicle.
  • FIG. 2 is a block diagram showing an example of the configuration of a work vehicle and an implement.
  • FIG. 2 is a conceptual diagram showing an example of
  • FIG. 3 is a diagram showing an example of a work vehicle traveling along a target route.
  • FIG. 3 is a diagram illustrating an example of a work vehicle in a position shifted to the right from a target route.
  • FIG. 3 is a diagram illustrating an example of a work vehicle in a position shifted to the left from a target route.
  • FIG. 3 is a diagram illustrating an example of a work vehicle facing in a direction inclined with respect to a target route. It is a flowchart which shows a specific example of self-position estimation processing.
  • work vehicle means a vehicle used to perform work at a work site.
  • a "work site” is any place where work is performed, such as a field, a forest, or a construction site.
  • a "field” is any place where agricultural operations are carried out, such as an orchard, a field, a rice field, a grain farm, or a pasture.
  • the work vehicle may be an agricultural machine such as a tractor, a rice transplanter, a combine harvester, a riding management machine, or a riding mower, or a vehicle used for purposes other than agriculture, such as a construction work vehicle or a snowplow.
  • the work vehicle according to the present disclosure can be equipped with an implement (also referred to as a “work machine” or “work device”) depending on the work content, on at least one of its front and rear parts.
  • an implement also referred to as a "work machine” or “work device”
  • work travel The movement of a work vehicle while performing work is sometimes referred to as "work travel.”
  • Agricultural machinery means machinery used for agricultural purposes. Examples of agricultural machinery include tractors, harvesters, rice transplanters, riding management machines, vegetable transplanters, mowers, seeders, fertilizer spreaders, and agricultural mobile robots. Not only does a working vehicle such as a tractor function as an "agricultural machine” alone, but also an implement attached to or towed by the working vehicle and the entire working vehicle may function as a single “agricultural machine.” Agricultural machines perform agricultural work such as plowing, sowing, pest control, fertilization, planting crops, or harvesting on the ground within a field.
  • Automatic driving means controlling the running of a vehicle by the function of a control device, without manual operation by the driver.
  • automatic driving not only the movement of the vehicle but also the operation of the work (for example, the operation of the implement) may be automatically controlled.
  • the control device can control at least one of steering necessary for running the vehicle, adjustment of running speed, starting and stopping of running.
  • the control device may control operations such as raising and lowering the implement, starting and stopping the operation of the implement, and the like.
  • Driving by automatic driving may include not only driving a vehicle along a predetermined route toward a destination, but also driving the vehicle to follow a tracking target.
  • a vehicle that performs automatic driving may run partially based on instructions from a user. Furthermore, in addition to the automatic driving mode, a vehicle that performs automatic driving may operate in a manual driving mode in which the vehicle travels by manual operation by the driver.
  • ⁇ Automatic steering'' refers to steering a vehicle not manually but by the action of a control device. Part or all of the control device may be external to the vehicle. Communication such as control signals, commands, or data may occur between a control device external to the vehicle and the vehicle.
  • a self-driving vehicle may run autonomously while sensing the surrounding environment without any human involvement in controlling the vehicle's driving. Vehicles that are capable of autonomous driving can run unmanned. Obstacle detection and obstacle avoidance operations may be performed during autonomous driving.
  • the distance sensor is a sensor that measures distance.
  • the distance measurement sensor may be configured to measure the distance to one or more measurement points and output data indicating the distance or data indicating the position of the measurement point converted from the distance.
  • the ranging sensor may include, for example, a LiDAR sensor, a Time of Flight (ToF) camera, or a stereo camera, or any combination thereof.
  • the LiDAR sensor measures distance by emitting light (for example, infrared light or visible light).
  • a distance measurement technique such as ToF (Time of Flight) or FMCW (Frequency Modulated Continuous Wave) may be used.
  • Environmental map is data that expresses the positions or areas of objects existing in the environment in which the work vehicle travels using a predetermined coordinate system.
  • Examples of coordinate systems that define an environmental map include not only a world coordinate system such as a geographic coordinate system fixed relative to the earth, but also an odometry coordinate system that displays a pose based on odometry information.
  • the environmental map may include information other than location (for example, attribute information and other information) about objects existing in the environment.
  • Environmental maps include maps in various formats, such as point cloud maps or grid maps.
  • FIG. 1 is a side view schematically showing an agricultural machine in an exemplary embodiment of the present disclosure.
  • the agricultural machine shown in FIG. 1 includes a working vehicle 100 and an implement 300 connected to the working vehicle 100.
  • Work vehicle 100 in this embodiment is a tractor.
  • the work vehicle 100 is equipped with a coupling device 108 at the front thereof.
  • An implement 300 is coupled to the front portion of the work vehicle 100 via a coupling device 108 .
  • Work vehicle 100 may also include a coupling device for connecting implements at the rear. In FIG. 1, the illustration of the rear coupling device and the rear implement is omitted.
  • the implement 300 may be any work machine that performs agricultural work in front of the work vehicle 100, such as a front loader, a harvester, a sweeper, or a sprayer.
  • the agricultural machine shown in FIG. 1 is equipped with a sensing system that senses the environment around the work vehicle 100.
  • Sensing systems can be used, for example, for obstacle detection or self-localization.
  • Work vehicle 100 may be configured to automatically travel based on the results of self-position estimation using a sensing system.
  • the sensing system in this embodiment includes a first LiDAR sensor 140A, a second LiDAR sensor 140B, a marker member 148, and a processing device 250.
  • the first LiDAR sensor 140A is an example of a first ranging sensor.
  • the second LiDAR sensor 140B is an example of a second ranging sensor.
  • the first LiDAR sensor 140A is attached to the work vehicle 100. In the example shown in FIG. 1, the first LiDAR sensor 140A is attached near the upper front end of the cabin 105 in the work vehicle 100.
  • the second LiDAR sensor 140B is attached to the implement 300. In the example shown in FIG. 1, the second LiDAR sensor 140B is attached near the upper front end of the implement 300.
  • the positions of the first LiDAR sensor 140A and the second LiDAR sensor 140B may be other positions.
  • the second LiDAR sensor 140B is externally attached to the implement 300.
  • the second LiDAR sensor 140B may be operated by power supply from a battery or the implement 300, for example.
  • the second LiDAR sensor 140B shown in FIG. 1 includes a fixture 149 for attachment to the implement 300.
  • Fittings 149 may include various parts used for attachment to implement 300, such as magnets, bolts and nuts, screws, or fittings.
  • the attachment 149 allows the second LiDAR sensor 140B to be easily attached to and removed from the implement 300.
  • the second LiDAR sensor 140 can be installed at a position on the implement 300 where there are no obstacles between the second LiDAR sensor 140 and the first LiDAR sensor 140A, and where there are relatively few blind spots toward the front.
  • the implement 300 may be provided with a fixture for fixing the second LiDAR sensor 140B.
  • the fixture may have a structure that engages, for example, a fixture 149 on the second LiDAR sensor 140B. In that case, the second LiDAR sensor 140B is fixed to the implement 300 by engaging the fixture 149 and the fixture.
  • the second LiDAR sensor 140B is not limited to the specific implement 300, but can be attached to various implements. Therefore, sensing described below is possible regardless of the type of implement 300. Such an external second LiDAR sensor 140B may be manufactured or sold separately.
  • the marker member 148 is placed within the sensing range of the first LiDAR sensor 140A.
  • the marker member 148 is attached to the second LiDAR sensor 140B.
  • the marker member 148 may be provided on the implement 300 at a position away from the second LiDAR sensor 140B.
  • the positional and directional relationship between the marker member 148 and the second LiDAR sensor 140B is known, and the information may be recorded in advance in a storage device inside or outside the processing device 250.
  • the marker member 148 may include, for example, one or more reflective parts that have a higher reflectance of light emitted from the first LiDAR sensor 140A than other parts of the marker member 148.
  • the first LiDAR sensor 140A when the second LiDAR sensor 140B is provided in the implement 300 in front of the work vehicle 100, the first LiDAR sensor 140A is arranged to sense at least the front of the work vehicle 100.
  • the first LiDAR sensor 140A generates and outputs first sensor data by sensing an area including the marker member 148.
  • the second LiDAR sensor 140B generates and outputs second sensor data by sensing the area in front of the implement 300.
  • the sensing range 30A of the first LiDAR sensor 140A and the sensing range 30B of the second LiDAR sensor 140B are illustrated as fan-shaped dashed lines. Each of sensing ranges 30A and 30B extends not only in the vertical direction toward the traveling direction of work vehicle 100 but also in the horizontal direction.
  • Each of the first LiDAR sensor 140A and the second LiDAR sensor 140B may be a scanning type sensor that generates information indicating the distribution of objects in space by scanning a laser beam, for example.
  • a LiDAR sensor may be configured to measure the distance to a reflection point located on the surface of an object, for example by the ToF method.
  • a LiDAR sensor that measures distance using the ToF method emits a laser pulse, that is, a pulsed laser beam, and measures the time it takes for the laser pulse to be reflected by an object in the surrounding environment and return to the LiDAR sensor. may be configured.
  • the distance measurement method is not limited to the ToF method, and other methods such as the FMCW method may be used.
  • Scan-type LiDAR sensors can be classified into two-dimensional LiDAR sensors and three-dimensional LiDAR sensors.
  • a two-dimensional LiDAR sensor scanning of the environment can be performed such that the laser beam rotates in one plane.
  • the environment may be scanned such that a plurality of laser beams rotate along different conical surfaces.
  • Each of the first LiDAR sensor 140A and the second LiDAR sensor 140B is not limited to a scan type sensor, but may also be a flash type sensor that emits light that is diffused over a wide range to obtain information on the distance distribution of objects in space. good.
  • a scan-type LiDAR sensor uses higher intensity light than a flash-type LiDAR sensor, so it can obtain distance information from a longer distance.
  • flash-type LiDAR sensors have a simple structure and can be manufactured at low cost, so they are suitable for applications that do not require strong light.
  • a second LiDAR sensor 140B attached to the implement 300 is provided. If the second LiDAR sensor 140B is not provided, the implementation 300 will be located within the sensing range of the first LiDAR sensor 140A, which will prevent sensing of the front of the implement 300. In particular, if the implement 300 in front of the work vehicle 100 is large, there will be many blind spots within the sensing range of the first LiDAR sensor 140A, making it difficult to acquire sufficient data necessary for obstacle detection or self-position estimation. Can not. In order to avoid this problem, in this embodiment, an external second LiDAR sensor 140B is attached to the implement 300.
  • Obstacle detection or self-position estimation is performed based on the second sensor data output from the second LiDAR sensor 140B.
  • the first LiDAR sensor 140A may be used to estimate the position and orientation of the second LiDAR sensor 140B.
  • Point cloud data indicating the distribution of features around the work vehicle 100 is generated by combining the first sensor data output from the first LiDAR sensor 140A and the second sensor data output from the second LiDAR sensor 140B. Good too.
  • the processing device 250 is a computer that processes data output from the first LiDAR sensor 140A and the second LiDAR sensor 140B.
  • the processing device 250 is arranged inside the cabin 105 of the work vehicle 100.
  • Processing device 250 may be implemented as part of a control device that controls the operation of work vehicle 100.
  • Processing device 250 may be realized by, for example, an electronic control unit (ECU).
  • ECU electronice control unit
  • the processing device 250 is not limited to being placed inside the cabin 105, but may be placed at another location.
  • the processing device 250 may be built into the first LiDAR sensor 140A.
  • Processing device 250 may be implemented by multiple computers or multiple circuits. At least some of the functions of processing device 250 may be realized by an external computer such as a server located away from work vehicle 100.
  • the processing device 250 may be communicably connected to the first LiDAR sensor 140A and the second LiDAR sensor 140B wirelessly (for example, Bluetooth (registered trademark) or 4G or 5G communication, etc.) or wired (for example, CAN communication, etc.).
  • the processing device 250 acquires first sensor data from the first LiDAR sensor 140A and acquires second sensor data from the second LiDAR sensor 140B.
  • the processing device 250 estimates the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A based on the first sensor data. For example, the processing device 250 determines the relative position of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A based on the first sensor data and information indicating the positional and orientation relationship between the second LiDAR sensor 140B and the marker member 148. Estimate the position and orientation.
  • the "position and orientation" is a combination of position and orientation, and is also called “pose.”
  • the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A may be simply referred to as "the position and orientation of the second LiDAR sensor 140B.”
  • the positional relationship between work vehicle 100 and implement 300 is not fixed, and the position and orientation of implement 300 with respect to work vehicle 100 may vary due to play in coupling device 108 or movement of implement 300 itself. .
  • the implement 300 may swing vertically or horizontally with respect to the work vehicle 100.
  • the second LiDAR sensor 140B can also swing vertically or horizontally with respect to the work vehicle 100.
  • the second sensor data In order to use the second sensor data output from the second LiDAR sensor 140B for automatic driving of the work vehicle 100, the second sensor data must be converted into data expressed in a coordinate system fixed to the work vehicle 100. is necessary.
  • This coordinate transformation requires information on the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A (or work vehicle 100). Therefore, the processing device 250 estimates the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A based on the first sensor data generated by the first LiDAR sensor 140A sensing the area including the marker member 148. do.
  • the processing device 250 can estimate the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A based on the position and/or shape of one or more reflective parts in the marker member 148. A specific example of this process will be described below.
  • FIG. 2 is a diagram showing an example of the configuration of the marker member 148.
  • the marker member 148 in this example has three reflective parts 148a, 148b, and 148c.
  • Each of the reflective parts 148a, 148b, and 148c has a reflective surface provided with a reflective material such as a reflective tape that reflects the light emitted from the first LiDAR sensor 140A with a high reflectance, for example.
  • the marker member 148 may be arranged such that the reflective surfaces of each of the reflective parts 148a, 148b, and 148c face the first LiDAR 140A.
  • the marker member 148 may be arranged such that the normal direction of the reflective surface of each of the reflective parts 148a, 148b, and 148c is close to the direction toward the first LiDAR sensor 140A.
  • a retroreflective material (for example, retroreflective tape) may be provided on each reflective surface of the reflective parts 148a, 148b, and 148c.
  • each of the reflective parts 148a, 148b, and 148c has a two-dimensional extent, and may have a size larger than 10 mm x 10 mm, for example.
  • the reflective surface of each reflective section 148a, 148b, 148c may be larger than 30 mm x 30 mm. The larger the size of the reflective surface, the easier it is to detect the reflective parts 148a, 148b, and 148c based on the first sensor data.
  • the three reflecting parts 148a, 148b, and 148c shown in FIG. 2 are supported by three pillars 148e, 148f, and 148g extending in three directions from the central base 148d of the marker member 148, respectively.
  • the three pillars 148e, 148f, and 148g are located in a plane perpendicular to the front direction D2 of the second LiDAR sensor 140B.
  • the three pillars 148e, 148f, and 148g extend in different directions by 90 degrees within the plane.
  • the struts 148f and 148g extend in the left-right direction toward the front direction D2 of the second LiDAR sensor 140B, and the strut 148e extends vertically upward. In the example of FIG.
  • the lengths of struts 148e, 148f, and 148g are all equal.
  • the three reflecting parts 148a, 148b, and 148c are provided at the tips of the three pillars 148e, 148f, and 148g, respectively.
  • the reflecting portions 148a, 148b, and 148c are provided at positions separated from the base portion 148d in three directions, left, right, and vertical. Such an arrangement makes it easier to estimate the position and orientation of the second LiDAR sensor 140B.
  • the positional relationship between the three reflecting portions 148a, 148b, and 148c is not limited to the illustrated relationship, and can be changed as appropriate.
  • the first LiDAR sensor 140A performs beam scanning within a region including the three reflecting parts 148a, 148b, and 148c, and generates first sensor data indicating the distance distribution or position distribution of objects within the region.
  • the processing device 250 identifies the positions of the three reflecting parts 148a, 148b, and 148c based on the first sensor data.
  • each of the reflecting portions 148a, 148b, and 148c has a rectangular shape, but may have another shape.
  • the shape of each of the reflecting portions 148a, 148b, and 148c may be an ellipse, a perfect circle, a triangle or other polygon, or a characteristic shape such as a star or a cross.
  • the shapes of the reflecting portions 148a, 148b, and 148c may be different.
  • the processing device 250 estimates the position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A based on the estimated positions of each of the reflectors 148a, 148b, and 148c.
  • FIG. 3 is a diagram for explaining the process of estimating the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A.
  • three light rays respectively directed from the first LiDAR sensor 140A to the three reflecting parts 148a, 148b, and 148c are illustrated by solid arrows.
  • the first LiDAR sensor 140A measures the distance to each reflection point of the object existing in the area including the three reflection parts 148a, 148b, and 148c by performing beam scanning centered on the front direction D1. .
  • the first LiDAR sensor 140A transmits point cloud data including information on three-dimensional coordinate values of each reflection point in the first sensor coordinate system fixed to the first LiDAR sensor 140A based on the distance and direction to each reflection point. It can be generated as data.
  • the first sensor coordinate system is also a coordinate system fixed to work vehicle 100.
  • FIG. 3 illustrates mutually orthogonal X, Y, and Z axes that define the first sensor coordinate system.
  • the first sensor data may be, for example, point group data indicating the correspondence between identification numbers of a plurality of reflection points where reflected light was detected and coordinate values (x, y, z) of each reflection point.
  • the first sensor data may include information on the brightness of each reflection point.
  • the processing device 250 extracts some reflection points corresponding to the three reflection parts 148a, 148b, and 148c from the plurality of reflection points indicated by the first sensor data output from the first LiDAR sensor 140A. For example, the processing device 250 clusters the point group indicated by the first sensor data based on the distance between the points, which is estimated to reflect the actual positional relationship and shape of the reflecting portions 148a, 148b, and 148c. Three clusters may be extracted as reflection points corresponding to the reflection parts 148a, 148b, and 148c. Alternatively, if the first sensor data includes information on the brightness of each reflective point, among the reflective points whose brightness exceeds the threshold value, the reflective points constituting three clusters that are close to each other are divided into three reflective points. It may be extracted as reflection points corresponding to 148a, 148b, and 148c.
  • the processing device 250 determines the representative position of each of the reflective parts 148a, 148b, 148c based on the coordinate values of the plurality of reflective points corresponding to the extracted reflective parts 148a, 148b, 148c.
  • the representative position of each reflecting part may be, for example, the average value or median value of the positions of a plurality of reflecting points corresponding to that reflecting part.
  • the representative position of each reflecting section will be referred to as the "position" of that reflecting section.
  • the relationship between the positions of the three reflecting parts 148a, 148b, and 148c, the reference position (for example, the position of the beam emission point) of the second LiDAR sensor 140B, and the front direction D2 of the second LiDAR sensor 140B is known.
  • data indicating the relationship is stored in advance in the storage device.
  • the processing device 250 determines the reference position of the second LiDAR sensor 140B in the first sensor coordinate system based on the data indicating the relationship and the positions of the three reflecting parts 148a, 148b, and 148c determined based on the first sensor data. and determine the front direction D2.
  • the positions of the three reflecting parts 148a, 148b, and 148c in the first sensor coordinate system are P1 (x1, y1, z1), P2 (x2, y2, z2), and P3 (x3, y3, z3).
  • the processing device 250 can determine the reference position and front direction D2 of the second LiDAR sensor 140B in the first sensor coordinate system, for example, by the following method.
  • the processing device 250 first calculates the center of gravity of a triangle formed by the positions P1, P2, and P3 of the three reflecting portions 148a, 148b, and 148c determined based on the first sensor data, and the center of gravity of a plane including the positions P1, P2, and P3.
  • the normal vector is determined by calculation.
  • the processing device 250 determines a position displaced by a predetermined distance from the center of gravity of the determined triangle in a predetermined direction (for example, the direction of a vector from point P1 toward the center of gravity) as the reference position of the second LiDAR sensor 140B. do.
  • the processing device 250 determines the direction of the normal vector of the determined plane as the front direction D2 of the second LiDAR sensor 140B.
  • the processing device 250 can estimate the position and attitude angle (roll, pitch, yaw) of the second LiDAR sensor 140B.
  • the method for estimating the position and orientation of the second LiDAR sensor 140B depends on the relative position and orientation relationship between the second LiDAR sensor 140B and the marker member 148. For example, if the normal direction of the plane including the three points P1, P2, and P3 on the marker member 148 deviates from the front direction D2 of the second LiDAR sensor 140B, the direction of the normal to the plane including the three points P1, P2, and P3 in the marker member 148 deviates from the front direction D2 of the second LiDAR sensor 140B. The relative position and orientation of the 2LiDAR sensor 140B is estimated.
  • the marker member 148 may be provided at a position away from the second LiDAR sensor 140B.
  • the positional relationship between the marker member 148 and the second LiDAR sensor 140B and the size of each reflective section can be adjusted as appropriate. If the first LiDAR sensor 140A and the second LiDAR sensor 140B are too far away from each other, it may be difficult to detect the reflective part. On the other hand, if the first LiDAR sensor 140A and the second LiDAR sensor 140B are too close, there is a possibility that the reflective part protrudes from the detection range of the first LiDAR sensor 140A. In such a case, each reflective portion can be appropriately detected by changing the distance between the marker member 148 and the second LiDAR sensor 140B or the size of each reflective portion.
  • FIG. 4 is a diagram showing another example of the marker member 148.
  • the marker member 148 in this example is attached to the implement 300 independently of the second LiDAR sensor 140B.
  • the marker member 148 shown in FIG. 4 has a flat plate 148k supported by two pillars 148j, and three reflective parts 148a, 148b, and 148c are provided on the flat plate 148k.
  • the reflective parts 148a, 148b, and 148c include a reflective material (for example, a retroreflective material) whose reflectance for the light emitted from the first LiDAR sensor 140A is higher (for example, twice or more) than the reflectance at the flat plate 148k and the pillar 148j. may be provided.
  • the position of the marker member 148 can be changed as appropriate. Even when such a marker member 148 is used, the position and orientation of the second LiDAR sensor 140B can be estimated by processing similar to the example shown in FIG.
  • the processing device 250 controls the three reflecting parts 148a of the marker member 148 provided near the second LiDAR sensor 140B based on the first sensor data output from the first LiDAR sensor 140A. , 148b, 148c.
  • the processing device 250 estimates the position and orientation of the first LiDAR sensor 140A and the second LiDAR sensor 140B in the coordinate system fixed to the work vehicle 100 based on the recognized positions of the three reflecting parts 148a, 148b, and 148c.
  • the processing device 250 outputs data indicating the estimated position and orientation of the second LiDAR sensor 140B.
  • the processing device 250 may output data indicating the position and orientation of the second LiDAR sensor 140B to a storage device for storage.
  • the processing device 250 may transmit data indicating the position and orientation of the second LiDAR sensor 140B to an external computer.
  • the processing device 250 converts the second sensor data output from the second LiDAR sensor 140B into data expressed in a vehicle coordinate system fixed to the work vehicle 100 based on the estimated position and orientation of the second LiDAR sensor 140B. It can be configured to output the following information. For example, the processing device 250 may perform coordinate transformation by performing a matrix operation to translate and rotate the coordinate values of each reflection point in the second sensor data based on the estimated position and attitude angle of the second LiDAR sensor 140B. I can do it. Processing device 250 can generate point cloud data in the vehicle coordinate system through such coordinate transformation. The processing device 250 may generate synthesized point cloud data using not only the second sensor data but also the first sensor data.
  • the processing device 250 converts the second sensor data into data expressed in the vehicle coordinate system based on the estimated position and orientation of the second LiDAR sensor 140B, and converts the second sensor data into data expressed by the first sensor data and the converted second sensor data. You may generate and output point cloud data based on the data.
  • the processing device 250 can convert the first sensor data expressed in the first sensor coordinate system to data expressed in the vehicle coordinate system. Alternatively, the processing device 250 may process the first sensor coordinate system as the vehicle coordinate system. In that case, the process of coordinate transformation of the first sensor data is unnecessary.
  • the processing device 250 can generate point cloud data by combining the first sensor data and the second sensor data expressed in the vehicle coordinate system. At this time, the processing device 250 synthesizes data obtained by removing data in areas corresponding to the implement 300, the second LiDAR sensor 140B, and the marker member 148 from the first sensor data, and the converted second sensor data.
  • Point cloud data may be generated by The shapes and positional relationships of the implement 300, the second LiDAR sensor 140B, and the marker member 148 with respect to the first LiDAR sensor 140A are known. Based on the known positional relationship, the processing device 250 can identify and remove data of the region corresponding to the implement 300, the second LiDAR sensor 140B, and the marker member 148 from the first sensor data. Through such processing, it is possible to generate synthesized point cloud data in which point clouds corresponding to the implement 300, the second LiDAR sensor 140B, and the marker member 148 that are unnecessary for automatic driving are removed.
  • the processing device 250 itself generates the point cloud data based on the first sensor data and the second sensor data, but another computer may generate the point cloud data instead.
  • the processing device 250 transmits data indicating the estimated position and orientation of the second LiDAR sensor 140B and the second sensor data (and first sensor data in some cases) to the other computer.
  • the other computer can generate point cloud data indicating the distribution of features around work vehicle 100 based on the data transmitted from processing device 250.
  • the second LiDAR sensor 140B transmits the generated second sensor data to the processing device 250, for example, wirelessly.
  • the second LiDAR sensor 140B may perform downsampling of the second sensor data as necessary to compress the amount of data, and then transmit the second sensor data to the processing device 250. The same applies to the first LiDAR sensor 140A.
  • the sensing system in this embodiment may further include a storage device that stores an environmental map.
  • the storage device may be provided internally or externally to the processing device 250.
  • the environmental map is data representing the positions or areas of objects existing in the environment in which the work vehicle 100 travels using a predetermined coordinate system.
  • Processing device 250 may be configured to estimate the self-position of work vehicle 100 through the following processes (S1) to (S4).
  • S1 The position and orientation of the second LiDAR sensor 140B is estimated by the above processing based on the first sensor data.
  • S2 Based on the estimated position and orientation, the second sensor data is converted into data expressed in the vehicle coordinate system.
  • S3 Based on the converted second sensor data, point cloud data indicating the distribution of features around the work vehicle 100 is generated. At this time, point cloud data may be generated further based on the first sensor data.
  • S4 The position and orientation of the work vehicle 100 is estimated by matching the point cloud data with the environmental map.
  • the processing device 250 estimates the position and orientation of the work vehicle 100 at short time intervals (for example, at intervals of 1 second) by repeating the processes (S1) to (S4) described above. (one or more times).
  • Processing device 250 may send data indicating the estimated position and orientation of work vehicle 100 to a control device that controls automatic travel of work vehicle 100.
  • the control device may perform steering control and speed control based on the estimated position and orientation of work vehicle 100 and a preset target route. Thereby, automatic traveling of the work vehicle 100 can be realized.
  • the position and orientation of the second LiDAR sensor 140B is estimated based on the first sensor data output from the first LiDAR sensor 140A.
  • the position and orientation of the second LiDAR sensor 140B may be estimated using other types of sensing devices.
  • FIG. 5 is a diagram showing another example of the sensing system.
  • a camera 120 is provided instead of the first LiDAR sensor 140A shown in FIG.
  • Camera 120 includes an image sensor that outputs image data as first sensor data.
  • camera 120 or an image sensor functions as the first ranging sensor.
  • a photographing range 40 by the camera 120 is illustrated by a dotted line.
  • Marker member 148 in this example has a characteristic brightness distribution or color distribution.
  • the processing device 250 estimates the relative position and orientation of the LiDAR sensor 140B with respect to the camera 120 based on the brightness distribution or color distribution of the area corresponding to the marker member 148 in the image indicated by the first sensor data.
  • the processing device 250 can estimate the position and attitude angle of the LiDAR sensor 140B as seen from the camera 120 based on the estimated distances to each of the reflecting sections 148a, 148b, and 148c.
  • the marker member 148 may include a plurality of parts (for example, three or more parts) of different colors instead of the reflective parts 148a, 148b, and 148c having high light reflectance.
  • FIG. 6 is a diagram showing an example of a marker member 148 including a plurality of portions of different colors.
  • the marker member 148 shown in FIG. 6 includes a flat plate 148k provided with a color chart having a plurality of portions of different colors.
  • the processing device 250 estimates the distance to each portion based on the size and positional relationship of multiple portions of different colors in the image generated by the camera 120 photographing a scene including such a marker member 148. be able to.
  • the processing device 250 can estimate the position and orientation of the second LiDAR sensor 140B based on the distance to each part.
  • FIG. 7 is a diagram showing still another example of the sensing system.
  • the work vehicle 100 is provided with a first GNSS receiver 110A.
  • the implement 300 is provided with three or more second GNSS receivers 110B and a LiDAR sensor 140B.
  • Work vehicle 100 is not equipped with a LiDAR sensor.
  • the first GNSS receiver 110A is provided at the top of the cabin 105.
  • the second GNSS receivers 110B are arranged around the LiDAR sensor 140B in the implement 300 at intervals.
  • Each of the GNSS receivers 110A, 110B may be provided at a different position from the position shown in FIG.
  • Each of the GNSS receivers 110A, 110B may include an antenna that receives signals from GNSS satellites and a processor that calculates its position based on the signals received by the antenna.
  • Each of the GNSS receivers 110A and 110B receives satellite signals transmitted from a plurality of GNSS satellites, and performs positioning based on the satellite signals.
  • GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System, such as Michibiki), GLONASS, Galileo, and BeiDou.
  • the processing device 250 may be connected to each of the GNSS receivers 110A and 110B wirelessly or by wire.
  • the processing device 250 determines the relative position and orientation of the LiDAR sensor 140B with respect to the first GNSS receiver 110A based on the satellite signal received by the first GNSS receiver 110A and the satellite signals received by the three or more second GNSS receivers 110B.
  • the processing device 250 uses the first GNSS receiver 110A as a reference station (moving base) and the plurality of second GNSS receivers 110B as mobile stations (rovers), and performs a moving baseline calculation on each second GNSS receiver 110B with respect to the first GNSS receiver 110A.
  • the relative position of can be calculated.
  • the positional relationship between each second GNSS receiver 110B and LiDAR sensor 140B is known, and data indicating the positional relationship is recorded in advance in the storage device.
  • the processing device 250 can estimate the position and orientation of the second LiDAR sensor 140B based on the calculated position of each second GNSS receiver 110B and the known positional relationship between each second GNSS receiver 110B and LiDAR sensor 140B. can. Note that the above processing executed by the processing device 250 may be executed by a processor in the first GNSS receiver 110A.
  • FIG. 8 is a diagram for explaining an overview of a system according to an exemplary embodiment of the present disclosure.
  • the system shown in FIG. 8 includes a work vehicle 100, a terminal device 400, and a management device 600.
  • Terminal device 400 is a computer used by a user who remotely monitors work vehicle 100.
  • the management device 600 is a computer managed by a business operator that operates the system. Work vehicle 100, terminal device 400, and management device 600 can communicate with each other via network 80. Although one work vehicle 100 is illustrated in FIG. 8, the system may include multiple work vehicles or other agricultural machinery.
  • the work vehicle 100 in this embodiment is a tractor.
  • Work vehicle 100 can be equipped with an implement on one or both of the rear and front parts.
  • the work vehicle 100 can travel within a field while performing agricultural work depending on the type of implement.
  • the work vehicle 100 may run inside or outside the field without any implements attached thereto.
  • the work vehicle 100 is equipped with an automatic driving function. In other words, the work vehicle 100 can be driven not manually but by the action of the control device.
  • the control device in this embodiment is provided inside the work vehicle 100 and can control both the speed and steering of the work vehicle 100.
  • the work vehicle 100 can automatically travel not only inside the field but also outside the field (for example, on a road).
  • the work vehicle 100 includes devices used for positioning or self-position estimation, such as a GNSS receiver and a LiDAR sensor.
  • the control device of the work vehicle 100 automatically causes the work vehicle 100 to travel based on the position of the work vehicle 100 and information on the target route.
  • the control device also controls the operation of the implement.
  • the work vehicle 100 can perform agricultural work using the implement while automatically traveling within the field. Further, the work vehicle 100 can automatically travel along a target route on a road outside the field (for example, a farm road or a general road).
  • the work vehicle 100 When the work vehicle 100 automatically travels along a road outside the field, the work vehicle 100 creates a local route that can avoid obstacles along the target route based on data output from a sensing device such as a camera or a LiDAR sensor. Run while generating. In the field, the work vehicle 100 may travel while generating a local route as described above, or may travel along the target route without generating a local route, and when an obstacle is detected. You may also perform an operation of stopping if there is a problem.
  • a sensing device such as a camera or a LiDAR sensor
  • the management device 600 is a computer that manages agricultural work performed by the work vehicle 100.
  • the management device 600 may be, for example, a server computer that centrally manages information regarding fields on the cloud and supports agriculture by utilizing data on the cloud.
  • the management device 600 creates a work plan for the work vehicle 100 and plans a route for the work vehicle 100 according to the work plan.
  • the management device 600 may further generate and edit an environmental map based on data collected by the work vehicle 100 or other moving body using a sensing device such as a LiDAR sensor.
  • the management device 600 transmits the generated work plan, target route, and environmental map data to the work vehicle 100.
  • the work vehicle 100 automatically performs movement and agricultural work based on the data.
  • the terminal device 400 is a computer used by a user located away from the work vehicle 100.
  • Terminal device 400 can be used to remotely monitor work vehicle 100 or remotely control work vehicle 100.
  • the terminal device 400 can display images captured by one or more cameras (imaging devices) included in the work vehicle 100 on a display. The user can view the video, check the situation around the work vehicle 100, and send an instruction to the work vehicle 100 to stop or start.
  • imaging devices imaging devices
  • FIG. 9 is a side view schematically showing an example of the work vehicle 100 and the implement 300 connected to the work vehicle 100.
  • Work vehicle 100 in this embodiment can operate in both manual driving mode and automatic driving mode. In the automatic driving mode, the work vehicle 100 can run unmanned.
  • a work vehicle 100 shown in FIG. 9 includes a vehicle body 101, a prime mover (engine) 102, and a transmission 103.
  • the vehicle body 101 is provided with wheels 104 with tires and a cabin 105.
  • the wheels 104 include a pair of front wheels 104F and a pair of rear wheels 104R.
  • a driver's seat 107, a steering device 106, an operation terminal 200, and a group of switches for operation are provided inside the cabin 105.
  • One or both of the front wheel 104F and the rear wheel 104R may be replaced with a plurality of wheels (crawlers) equipped with tracks instead of wheels with tires.
  • the work vehicle 100 includes a plurality of sensing devices that sense the surroundings of the work vehicle 100.
  • the sensing device includes a camera 120, a first LiDAR sensor 140A, and a plurality of obstacle sensors 130.
  • a second LiDAR sensor 140B and a marker member 148 are attached to the implement 300.
  • the camera 120 photographs the environment around the work vehicle 100 and generates image data.
  • a plurality of cameras 120 may be provided in work vehicle 100. Images acquired by camera 120 may be transmitted to terminal device 400 for remote monitoring. The image may be used to monitor work vehicle 100 during unmanned operation.
  • the camera 120 is also used to generate images for recognizing surrounding features, obstacles, white lines, signs, signs, etc. when the work vehicle 100 travels on a road outside the field (farm road or general road). can be used.
  • the first LiDAR sensor 140A is arranged on the cabin 105.
  • the second LiDAR sensor 140B is arranged on the implement 300.
  • Each of the first LiDAR sensor 140A and the second LiDAR sensor 140B may be provided at a different position from the illustrated position. While the work vehicle 100 is traveling, each of the first LiDAR sensor 140A and the second LiDAR sensor 140B measures the distance and direction to each measurement point of an object existing in the surrounding environment, or the two-dimensional or three-dimensional
  • the first sensor data indicating the coordinate values of is repeatedly output.
  • the first sensor data output from the first LiDAR sensor 140A and the second sensor data output from the second LiDAR sensor 140B are processed by a processing device in the work vehicle 100.
  • the processing device estimates the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A based on the first sensor data generated by the first LiDAR sensor 140A sensing the area including the marker member 148.
  • the processing device converts the second sensor data into data expressed in a vehicle coordinate system fixed to the work vehicle 100 based on the estimated position and orientation of the second LiDAR sensor 140B.
  • the processing device generates point group data in the vehicle coordinate system based on the converted second sensor data or by combining the converted second sensor data and the first sensor data.
  • the processing device can estimate the self-position of the work vehicle 100 by matching the point cloud data with the environmental map.
  • the processing device can also generate or edit the environmental map using an algorithm such as SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • Work vehicle 100 and implement 300 may include a plurality of LiDAR sensors arranged at different positions and in different orientations.
  • a plurality of obstacle sensors 130 shown in FIG. 9 are provided at the front and rear of the cabin 105. Obstacle sensor 130 may also be placed at other locations. For example, one or more obstacle sensors 130 may be provided at arbitrary positions on the side, front, and rear of the vehicle body 101. Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 is used to detect surrounding obstacles during automatic driving and to stop work vehicle 100 or take a detour. LiDAR sensor 140 may be used as one of the obstacle sensors 130.
  • the work vehicle 100 further includes a GNSS unit 110.
  • GNSS unit 110 includes a GNSS receiver.
  • the GNSS receiver may include an antenna that receives signals from GNSS satellites and a processor that calculates the position of work vehicle 100 based on the signals received by the antenna.
  • the GNSS unit 110 receives satellite signals transmitted from a plurality of GNSS satellites, and performs positioning based on the satellite signals.
  • the GNSS unit 110 in this embodiment is provided in the upper part of the cabin 105, it may be provided in another position.
  • the GNSS unit 110 may include an inertial measurement unit (IMU). Signals from the IMU can be used to supplement the position data.
  • the IMU can measure the tilt and minute movements of the work vehicle 100. By using data acquired by the IMU to supplement position data based on satellite signals, positioning performance can be improved.
  • the control device of the work vehicle 100 may use sensing data acquired by a sensing device such as the camera 120 or the LiDAR sensor 140 for positioning.
  • a sensing device such as the camera 120 or the LiDAR sensor 140
  • the data acquired by the camera 120 or the LiDAR sensor 140 and the previously stored can be estimated with high accuracy based on the environmental map stored in the device.
  • the position of work vehicle 100 can be specified with higher accuracy.
  • the prime mover 102 may be, for example, a diesel engine.
  • An electric motor may be used instead of a diesel engine.
  • Transmission device 103 can change the propulsive force and moving speed of work vehicle 100 by shifting. The transmission 103 can also switch the work vehicle 100 between forward movement and reverse movement.
  • the steering device 106 includes a steering wheel, a steering shaft connected to the steering wheel, and a power steering device that assists steering with the steering wheel.
  • the front wheel 104F is a steered wheel, and by changing its turning angle (also referred to as a "steering angle"), the traveling direction of the work vehicle 100 can be changed.
  • the steering angle of the front wheels 104F can be changed by operating the steering wheel.
  • the power steering device includes a hydraulic device or an electric motor that supplies an auxiliary force to change the steering angle of the front wheels 104F. When automatic steering is performed, the steering angle is automatically adjusted by the power of a hydraulic system or an electric motor under control from a control device disposed within work vehicle 100.
  • a coupling device 108 is provided at the front of the vehicle body 101.
  • the coupling device 108 may include, for example, a three-point support device (also referred to as a "three-point link” or “three-point hitch"), a PTO (Power Take Off) shaft, a universal joint, and a communication cable.
  • the implement 300 can be attached to and detached from the work vehicle 100 by the coupling device 108.
  • the coupling device 108 can change the position or posture of the implement 300 by raising and lowering the three-point link using, for example, a hydraulic device. Further, power can be sent from the work vehicle 100 to the implement 300 via the universal joint.
  • the coupling device may also be provided at the rear of the vehicle body 101. In that case, an implement can be connected to the rear of the work vehicle 100.
  • FIG. 10 is a block diagram showing a configuration example of the work vehicle 100 and the implement 300.
  • Work vehicle 100 and implement 300 can communicate with each other via a communication cable included in coupling device 108 .
  • Work vehicle 100 can communicate with terminal device 400 and management device 600 via network 80 .
  • the work vehicle 100 in the example of FIG. 10 includes a GNSS unit 110, a camera 120, an obstacle sensor 130, a first LiDAR sensor 140A, and an operation terminal 200, as well as a sensor group 150 that detects the operating state of the work vehicle 100, and a control system 160. , a communication device 190, an operation switch group 210, and a drive device 240. These components are communicatively connected to each other via a bus.
  • the GNSS unit 110 includes a GNSS receiver 111 , an RTK receiver 112 , an inertial measurement unit (IMU) 115 , and a processing circuit 116 .
  • Sensor group 150 includes a steering wheel sensor 152, a turning angle sensor 154, and an axle sensor 156.
  • Control system 160 includes a storage device 170 and a control device 180.
  • the control device 180 includes a plurality of electronic control units (ECUs) 181 to 184.
  • the implement 300 includes a drive device 340, a control device 380, a communication device 390, and a second LiDAR sensor 140B. Note that FIG. 10 shows components that are relatively highly relevant to the automatic driving operation of the work vehicle 100, and illustration of other components is omitted.
  • the GNSS receiver 111 in the GNSS unit 110 receives satellite signals transmitted from multiple GNSS satellites, and generates GNSS data based on the satellite signals.
  • GNSS data is generated in a predetermined format, such as NMEA-0183 format.
  • GNSS data may include, for example, values indicating the identification number, elevation, azimuth, and reception strength of each satellite from which the satellite signal was received.
  • the GNSS unit 110 shown in FIG. 10 may be configured to perform positioning of the work vehicle 100 using, for example, RTK (Real Time Kinematic)-GNSS.
  • FIG. 11 is a conceptual diagram showing an example of a work vehicle 100 that performs positioning using RTK-GNSS.
  • RTK-GNSS Real Time Kinematic
  • a correction signal transmitted from the reference station 60 is used in positioning using RTK-GNSS.
  • the reference station 60 may be installed near a field where the work vehicle 100 travels for work (for example, within 10 km from the work vehicle 100).
  • the reference station 60 generates, for example, a correction signal in RTCM format based on the satellite signals received from the plurality of GNSS satellites 50, and transmits it to the GNSS unit 110.
  • RTK receiver 112 includes an antenna and a modem, and receives the correction signal transmitted from reference station 60.
  • the processing circuit 116 of the GNSS unit 110 corrects the positioning result by the GNSS receiver 111 based on the correction signal.
  • RTK-GNSS it is possible to perform positioning with an accuracy of a few centimeters, for example.
  • Location information including latitude, longitude, and altitude information is obtained through highly accurate positioning using RTK-GNSS.
  • GNSS unit 110 calculates the position of work vehicle 100 at a frequency of about 1 to 10 times per second, for example.
  • the positioning method is not limited to RTK-GNSS, and any positioning method (interferometric positioning method, relative positioning method, etc.) that can obtain position information with the necessary accuracy can be used.
  • positioning may be performed using VRS (Virtual Reference Station) or DGPS (Differential Global Positioning System). If positional information with the necessary accuracy can be obtained without using the correction signal transmitted from the reference station 60, the positional information may be generated without using the correction signal.
  • GNSS unit 110 may not include RTK receiver 112.
  • the position of vehicle 100 is estimated.
  • the position of work vehicle 100 can be estimated by matching data output from LiDAR sensors 140A, 140B and/or camera 120 with a high-precision environmental map.
  • the GNSS unit 110 in this embodiment further includes an IMU 115.
  • IMU 115 may include a 3-axis acceleration sensor and a 3-axis gyroscope.
  • the IMU 115 may include an orientation sensor such as a 3-axis geomagnetic sensor.
  • IMU 115 functions as a motion sensor and can output signals indicating various quantities such as acceleration, speed, displacement, and posture of work vehicle 100.
  • Processing circuit 116 can estimate the position and orientation of work vehicle 100 with higher accuracy based on the signal output from IMU 115 in addition to the satellite signal and correction signal.
  • the signal output from IMU 115 may be used to correct or supplement the position calculated based on the satellite signal and the correction signal.
  • IMU 115 outputs signals more frequently than GNSS receiver 111.
  • the processing circuit 116 can measure the position and orientation of the work vehicle 100 at a higher frequency (eg, 10 Hz or more).
  • a 3-axis acceleration sensor and a 3-axis gyroscope may be provided separately.
  • IMU 115 may be provided as a separate device from GNSS unit 110.
  • the camera 120 is an imaging device that photographs the environment around the work vehicle 100.
  • the camera 120 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • Camera 120 may also include an optical system including one or more lenses, and signal processing circuitry.
  • Camera 120 photographs the environment around work vehicle 100 while work vehicle 100 is traveling, and generates image (for example, video) data.
  • the camera 120 can shoot moving images at a frame rate of 3 frames per second (fps) or more, for example.
  • the image generated by camera 120 can be used, for example, when a remote monitor uses terminal device 400 to check the environment around work vehicle 100. Images generated by camera 120 may be used for positioning or obstacle detection.
  • One camera 120 may be provided, or multiple cameras 120 may be provided at different positions on work vehicle 100.
  • a visible camera that generates visible light images and an infrared camera that generates infrared images may be provided separately. Both a visible camera and an infrared camera may be provided as cameras that generate images for surveillance. Infrared cameras can also be used to detect obstacles at night.
  • Camera 120 may be a stereo camera. A stereo camera can acquire a distance image showing a distance distribution within a shooting range.
  • the obstacle sensor 130 detects objects existing around the work vehicle 100.
  • Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 outputs a signal indicating that an obstacle exists when an object exists closer than a predetermined distance from obstacle sensor 130 .
  • a plurality of obstacle sensors 130 may be provided at different positions of work vehicle 100. For example, multiple laser scanners and multiple ultrasonic sonars may be placed at different positions on work vehicle 100. By providing such a large number of obstacle sensors 130, blind spots in monitoring obstacles around the work vehicle 100 can be reduced.
  • the steering wheel sensor 152 measures the rotation angle of the steering wheel of the work vehicle 100.
  • the turning angle sensor 154 measures the turning angle of the front wheel 104F, which is a steered wheel. Measured values by the steering wheel sensor 152 and turning angle sensor 154 are used for steering control by the control device 180.
  • the axle sensor 156 measures the rotational speed of the axle connected to the wheel 104, that is, the number of rotations per unit time.
  • the axle sensor 156 may be a sensor using a magnetoresistive element (MR), a Hall element, or an electromagnetic pickup, for example.
  • the axle sensor 156 outputs, for example, a numerical value indicating the number of revolutions per minute (unit: rpm) of the axle.
  • Axle sensor 156 is used to measure the speed of work vehicle 100.
  • the drive device 240 includes various devices necessary for running the work vehicle 100 and driving the implement 300, such as the above-mentioned prime mover 102, transmission device 103, and steering device 106.
  • Prime mover 102 may include, for example, an internal combustion engine such as a diesel engine.
  • the drive device 240 may include an electric motor for traction instead of or in addition to the internal combustion engine.
  • the storage device 170 includes one or more storage media such as flash memory or magnetic disks.
  • the storage device 170 stores various data generated by the GNSS unit 110, camera 120, obstacle sensor 130, LiDAR sensor 140, sensor group 150, and control device 180.
  • the data stored in the storage device 170 includes map data in the environment in which the work vehicle 100 travels (environmental map), data on the target route for automatic driving, and the position between the second LiDAR sensor 140B and the marker member 148. Data indicating relationships may be included.
  • the environmental map includes information on a plurality of fields where the work vehicle 100 performs agricultural work and roads around the fields.
  • the environmental map and target route may be generated by a processor in management device 600.
  • the control device 180 may have the ability to generate or edit an environmental map and a target route.
  • the storage device 170 also stores computer programs that cause each ECU in the control device 180 to execute various operations described below.
  • a computer program may be provided to work vehicle 100 via a storage medium (eg, semiconductor memory or optical disk, etc.) or a telecommunications line (eg, the Internet).
  • Such computer programs may be sold as commercial software.
  • the control device 180 includes multiple ECUs.
  • the plurality of ECUs include, for example, an ECU 181 for speed control, an ECU 182 for steering control, an ECU 183 for instrument control, and an ECU 184 for automatic driving control.
  • ECU 181 controls the speed of work vehicle 100 by controlling prime mover 102, transmission 103, and brakes included in drive device 240.
  • the ECU 182 controls the steering of the work vehicle 100 by controlling the hydraulic system or electric motor included in the steering device 106 based on the measured value of the steering wheel sensor 152.
  • the ECU 183 controls the operations of the three-point link, PTO axis, etc. included in the coupling device 108 in order to cause the implement 300 to perform a desired operation. ECU 183 also generates a signal to control the operation of implement 300 and transmits the signal from communication device 190 to implement 300.
  • the ECU 184 has the function of the processing device described above.
  • the ECU 184 performs calculation and control to realize automatic driving based on data output from the GNSS unit 110, camera 120, obstacle sensor 130, first LiDAR sensor 140A, sensor group 150, and second LiDAR sensor 140B.
  • ECU 184 identifies the position of work vehicle 100 based on data output from at least one of GNSS unit 110, camera 120, and LiDAR sensors 140A and 140B.
  • ECU 184 may determine the position of work vehicle 100 based only on data output from GNSS unit 110.
  • the ECU 184 uses data output from the LiDAR sensors 140A and 140B to determine the position of the work vehicle 100. Estimate. For example, the ECU 184 estimates the self-position of the work vehicle 100 by matching the data output from the LiDAR sensors 140A and 140B with an environmental map. During automatic driving, the ECU 184 performs calculations necessary for the work vehicle 100 to travel along a preset target route based on the estimated position of the work vehicle 100. The ECU 184 sends a speed change command to the ECU 181 and a steering angle change command to the ECU 182. ECU 181 changes the speed of work vehicle 100 by controlling prime mover 102, transmission 103, or brake in response to a speed change command. The ECU 182 changes the steering angle by controlling the steering device 106 in response to a command to change the steering angle.
  • objects for example, trees, buildings, etc.
  • control device 180 realizes automatic operation.
  • control device 180 controls drive device 240 based on the measured or estimated position of work vehicle 100 and the target route. Thereby, the control device 180 can cause the work vehicle 100 to travel along the target route.
  • a plurality of ECUs included in the control device 180 can communicate with each other, for example, according to a vehicle bus standard such as CAN (Controller Area Network). Instead of CAN, a faster communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • CAN Controller Area Network
  • a faster communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • FIG. 10 each of the ECUs 181 to 184 is shown as an individual block, but the functions of each of these may be realized by a plurality of ECUs.
  • An on-vehicle computer that integrates at least some of the functions of the ECUs 181 to 184 may be provided.
  • the control device 180 may include ECUs other than the ECUs 181 to 184, and any number of ECUs may be provided depending on the function.
  • Each ECU includes one or more processors.
  • the communication device 190 is a device that includes a circuit that communicates with the implement 300, the terminal device 400, and the management device 600.
  • the communication device 190 includes a circuit that transmits and receives signals compliant with the ISOBUS standard, such as ISOBUS-TIM, to and from the communication device 390 of the implement 300. Thereby, it is possible to cause the implement 300 to perform a desired operation or to obtain information from the implement 300.
  • the communication device 190 also has a function of wirelessly communicating with the second LiDAR sensor 140B. Between the communication device 190 and the second LiDAR sensor 140B, communication is performed based on any wireless communication standard such as Wi-Fi (registered trademark), cellular mobile communication such as 3G, 4G or 5G, or Bluetooth (registered trademark).
  • Wi-Fi registered trademark
  • cellular mobile communication such as 3G, 4G or 5G
  • Bluetooth registered trademark
  • Communication may take place.
  • Communication device 190 may further include an antenna and a communication circuit for transmitting and receiving signals via network 80 with respective communication devices of terminal device 400 and management device 600.
  • Network 80 may include, for example, a cellular mobile communications network such as 3G, 4G or 5G and the Internet.
  • the operation terminal 200 is a terminal for a user to perform operations related to the traveling of the work vehicle 100 and the operation of the implement 300, and is also referred to as a virtual terminal (VT).
  • Operation terminal 200 may include a display device such as a touch screen and/or one or more buttons.
  • the display device may be a display such as a liquid crystal or an organic light emitting diode (OLED), for example.
  • OLED organic light emitting diode
  • the operating terminal 200 may be configured to be detachable from the work vehicle 100. A user located away from work vehicle 100 may operate detached operation terminal 200 to control the operation of work vehicle 100. Instead of the operation terminal 200, the user may control the operation of the work vehicle 100 by operating a computer, such as the terminal device 400, in which necessary application software is installed.
  • the drive device 340 in the implement 300 shown in FIG. 10 performs operations necessary for the implement 300 to perform a predetermined work.
  • the drive device 340 includes a device depending on the use of the implement 300, such as a hydraulic device, an electric motor, or a pump, for example.
  • Control device 380 controls the operation of drive device 340.
  • Control device 380 causes drive device 340 to perform various operations in response to signals transmitted from work vehicle 100 via communication device 390. Further, a signal depending on the state of the implement 300 can be transmitted from the communication device 390 to the work vehicle 100.
  • FIG. 12 is a diagram schematically showing an example of the environment in which the work vehicle 100 travels.
  • the work vehicle 100 performs predetermined work (for example, mowing, pest control, etc.) using the implement 300 while traveling between a plurality of tree rows 20 in an orchard (for example, a vineyard).
  • an orchard for example, a vineyard
  • the sky is blocked by branches and leaves, making it difficult to drive automatically using GNSS.
  • ECU 184 estimates the self-position of work vehicle 100 based on data from first LiDAR sensor 140A and second LiDAR sensor 140B.
  • the ECU 184 uses the sensor data output from the LiDAR sensors 140A and 140B to generate an environmental map showing the distribution of trunks of the tree rows 20 in the entire orchard or in one section of the orchard, and records it in the storage device 170. do.
  • Generation of an environmental map is performed by repeating self-position estimation and local map generation.
  • ECU 184 detects a row of trees in the environment around work vehicle 100 while estimating its own position based on sensor data repeatedly output from LiDAR sensors 140A and 140B while work vehicle 100 is moving; The operation of generating a local map showing the distribution of the detected tree rows and recording it in the storage device 170 is repeated.
  • the ECU 184 generates an environmental map by connecting local maps generated while the work vehicle 100 travels through the entire orchard or one section of the orchard.
  • This environmental map is data that records the distribution of tree rows 20 in the environment in a format that allows them to be distinguished from other objects.
  • the tree row 20 can be used as a SLAM landmark.
  • the ECU 184 detects a tree row 20 in the surrounding environment based on sensor data repeatedly output from the LiDAR sensors 140A and 140B, and matches the detected tree row 20 with an environmental map. By this, the position of the work vehicle 100 is estimated. ECU 184 controls traveling of work vehicle 100 according to the estimated position of work vehicle 100. For example, when the work vehicle 100 deviates from a target route set between two adjacent rows of trees, the ECU 184 controls the ECU 182 to adjust the steering of the work vehicle 100 to bring it closer to the target route. conduct. Such steering control may be performed based not only on the position of work vehicle 100 but also on its orientation.
  • FIG. 13A is a diagram schematically showing an example of a travel route of the work vehicle 100.
  • the work vehicle 100 travels between a plurality of tree rows 20 in an orchard, for example, along a route 25 shown by an arrow in FIG. 13A.
  • the line segments included in route 25 are depicted as straight lines, but the route that work vehicle 100 actually travels may include meandering portions.
  • the plurality of tree rows 20 are ordered from the end as a first tree row 20A, a second tree row 20B, a third tree row 20C, a fourth tree row 20D, and so on.
  • FIG. 13A is a diagram schematically showing an example of a travel route of the work vehicle 100.
  • the work vehicle 100 travels between a plurality of tree rows 20 in an orchard, for example, along a route 25 shown by an arrow in FIG. 13A.
  • the line segments included in route 25 are depicted as straight lines, but the route that work vehicle 100 actually travels may include meandering portions.
  • the work vehicle 100 first travels between the first tree row 20A and the second tree row 20B, and when that travel is completed, it turns and moves between the second tree row 20B and the third tree row 20B.
  • the vehicle runs in the opposite direction between the row of trees 20C.
  • the vehicle further turns and travels between the third tree row 20C and the fourth tree row 20D.
  • the vehicle travels to the end of the route 25 between the last two rows of trees. Note that if the distance between adjacent tree rows is short, the vehicle may travel every other row as shown in FIG. 13B.
  • an operation may be performed to travel between every other row of trees that has not yet been traveled. Such traveling is automatically performed while the work vehicle 100 estimates its own position using the LiDAR sensors 140A and 140B.
  • positioning may be performed based on the GNSS signal at a timing when the GNSS unit 110 can receive the GNSS signal. For example, at the timing of turning in route 25 shown in FIGS. 13A and 13B, there are no leaves blocking the GNSS signal, so positioning based on the GNSS signal is possible.
  • FIG. 14 is a flowchart showing an example of the operation of steering control during automatic driving executed by the control device 180.
  • the control device 180 performs automatic steering by executing the operations from steps S121 to S125 shown in FIG. 14 while the work vehicle 100 is traveling. Regarding the speed, it may be maintained at a preset speed, for example.
  • the control device 180 estimates the self-position of the work vehicle 100 based on the data output from the GNSS unit 110 or the LiDAR sensors 140A and 140B (step S121). A specific example of self-position estimation processing will be described later.
  • control device 180 calculates the deviation between the estimated position of work vehicle 100 and the target route (step S122). The deviation represents the distance between the position of work vehicle 100 at that point and the target route.
  • the control device 180 determines whether the calculated positional deviation exceeds a preset threshold (step S123). If the deviation exceeds the threshold, the control device 180 changes the steering angle by changing the control parameters of the steering device included in the drive device 240 so that the deviation becomes smaller. If the deviation does not exceed the threshold in step S123, the operation in step S124 is omitted. In subsequent step S125, control device 180 determines whether or not it has received an instruction to end the operation.
  • the instruction to end the operation may be issued, for example, when a user remotely instructs to stop automatic driving or when work vehicle 100 reaches a destination. If the instruction to end the operation has not been issued, the process returns to step S121, and a similar operation is executed based on the newly measured position of the work vehicle 100.
  • the control device 180 repeats the operations from steps S121 to S125 until an instruction to end the operation is issued. The above operations are executed by the ECUs 182 and 184 in the control device 180.
  • the control device 180 controls the drive device 240 based only on the deviation between the position of the work vehicle 100 and the target route, but the control device 180 may also take into consideration the deviation in the direction. For example, if the azimuth deviation, which is the angular difference between the direction of the work vehicle 100 estimated by the above-described self-position estimation process and the direction of the target route, exceeds a preset threshold, the control device 180 controls the The control parameters (for example, steering angle) of the steering device of the drive device 240 may be changed accordingly.
  • FIG. 15A is a diagram showing an example of the work vehicle 100 traveling along the target route P.
  • FIG. 15B is a diagram showing an example of work vehicle 100 in a position shifted to the right from target route P.
  • FIG. 15C is a diagram showing an example of work vehicle 100 in a position shifted to the left from target route P.
  • FIG. 15D is a diagram illustrating an example of work vehicle 100 facing in a direction inclined with respect to target route P.
  • the pose indicating the position and orientation of the work vehicle 100 measured by the GNSS unit 110 is expressed as r(x, y, ⁇ ).
  • (x, y) are coordinates representing the position of the reference point of work vehicle 100 in the XY coordinate system, which is a two-dimensional coordinate system fixed to the earth.
  • the reference point of the work vehicle 100 is located at the location where the GNSS antenna is installed on the cabin, but the location of the reference point is arbitrary.
  • ⁇ is an angle representing the measured direction of work vehicle 100.
  • the target route P is parallel to the Y-axis, but generally the target route P is not necessarily parallel to the Y-axis.
  • control device 180 maintains the steering angle and speed of work vehicle 100 unchanged.
  • the control device 180 steers the work vehicle 100 so that the traveling direction of the work vehicle 100 leans to the left and approaches the route P. Change the corner. At this time, the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, depending on the magnitude of the positional deviation ⁇ x.
  • control device 180 steers work vehicle 100 so that the traveling direction of work vehicle 100 leans to the right and approaches route P. Change the corner. In this case as well, the speed may be changed in addition to the steering angle. The amount of change in the steering angle can be adjusted, for example, depending on the magnitude of the positional deviation ⁇ x.
  • the control device 180 steers the work vehicle 100 so that the azimuth deviation ⁇ becomes smaller. Change the corner.
  • the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, depending on the magnitude of each of the positional deviation ⁇ x and the azimuth deviation ⁇ . For example, the smaller the absolute value of the positional deviation ⁇ x, the larger the amount of change in the steering angle according to the azimuth deviation ⁇ .
  • the absolute value of the positional deviation ⁇ x is large, the steering angle will be changed significantly in order to return to the route P, so the absolute value of the azimuth deviation ⁇ will inevitably become large. Conversely, when the absolute value of the positional deviation ⁇ x is small, it is necessary to bring the azimuth deviation ⁇ close to zero. Therefore, it is appropriate to relatively increase the weight (ie, control gain) of the azimuth deviation ⁇ for determining the steering angle.
  • a control technique such as PID control or MPC control (model predictive control) may be applied to the steering control and speed control of the work vehicle 100. By applying these control techniques, it is possible to smoothly control the work vehicle 100 to approach the target route P.
  • the control device 180 stops the work vehicle 100. At this time, the buzzer 220 may be made to emit a warning sound, or a warning signal may be transmitted to the terminal device 400. If the obstacle can be avoided, the control device 180 may control the drive device 240 to avoid the obstacle.
  • step S121 in FIG. 14 Next, a specific example of the self-position estimation process in step S121 in FIG. 14 will be described.
  • FIG. 16 is a flowchart showing a specific example of the process of step S121 in FIG. 14.
  • step S121 includes the processing of steps S141 to S146.
  • the ECU 184 (processing device) of the control device 180 first obtains first sensor data and second sensor data (step S141). Next, the ECU 184 identifies the positions of the plurality of reflective parts in the marker member 148 based on the first sensor data (step S142).
  • the plurality of reflection parts are parts having a higher light reflectance than other parts, such as reflection parts 148a, 148b, and 148c illustrated in FIG. 2 or 4, for example.
  • the ECU 184 determines the relative position of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A based on the positions of the plurality of reflection parts in the marker member 148 and the known positional relationship between the plurality of reflection parts and the second LiDAR sensor 140B.
  • the posture is estimated (step S143).
  • the ECU 184 converts the second sensor data into data in the coordinate system fixed to the work vehicle 100 based on the relative position and orientation of the second LiDAR sensor 140B with respect to the first LiDAR sensor 140A (step S144).
  • the coordinate system fixed to the work vehicle 100 may match, for example, the coordinate system set to the first LiDAR sensor 140A.
  • the ECU 184 synthesizes the first sensor data and the converted second sensor data to generate point cloud data (step S145).
  • the ECU 184 removes point data in areas corresponding to the implement 300, the second LiDAR sensor 140B, and the marker member 148 from the first sensor data, and then combines the data with the first sensor data and the second sensor data. You may.
  • Such processing can prevent point cloud data from including point data that is unnecessary for self-position estimation.
  • the ECU 184 may generate point cloud data based only on the second sensor data that has been subjected to coordinate transformation. Subsequently, the ECU 184 matches the generated point cloud data with the environmental map stored in the storage device 170, and determines the position and orientation of the work vehicle 100 (step S146).
  • the ECU 184 can estimate the self-position of the work vehicle 100.
  • a second LiDAR sensor 140B and a marker member 148 are attached to the implement 300, separately from the first LiDAR sensor 140A provided in the work vehicle 100. Based on the first sensor data acquired by the first LiDAR 140A sensing the marker member 148, the position and orientation of the second LiDAR sensor 140B can be estimated. Thereby, the second sensor data can be converted into data in the coordinate system fixed to the work vehicle 100, and can be used for self-position estimation. Through such an operation, self-position estimation can be performed even when a large-sized implement 300 is mounted in front of the work vehicle 100.
  • LiDAR sensors 140A and 140B are used, but sensors that measure distance using other methods may also be used.
  • a method similar to the example using the camera 120 shown in FIG. 5 or the plurality of GNSS receivers 110A and 110B shown in FIG. 7 may be applied.
  • the LiDAR sensor other types of ranging sensors such as stereo cameras or ToF cameras may be used.
  • the sensing system was applied to an agricultural work vehicle 100 such as a tractor.
  • the sensing system is not limited to the agricultural work vehicle 100, but may be used in other applications, such as work vehicles used for civil engineering work, construction work, snow removal work, or the like.
  • the present disclosure includes the systems and methods described in the following items.
  • the processing device is configured to control the second distance measurement sensor relative to the first distance measurement sensor based on the first sensor data and information indicating a positional and directional relationship between the second distance measurement sensor and the marker member.
  • the sensing system according to any one of items 1 to 3, which estimates the relative position and orientation.
  • the processing device converts second sensor data output from the second ranging sensor into data expressed in a coordinate system fixed to the work vehicle and outputs the data based on the estimated position and orientation. , the sensing system according to any one of items 1 to 4.
  • the first ranging sensor includes a first LiDAR sensor that outputs the first sensor data
  • the second ranging sensor includes a second LiDAR sensor that outputs second sensor data
  • the marker member includes one or more reflective parts that have a higher reflectance of light emitted from the first LiDAR sensor than other parts of the marker member
  • the processing device estimates the relative position and orientation of the second distance measurement sensor with respect to the first distance measurement sensor based on the position and/or shape of the one or more reflecting parts.
  • the sensing system according to any one of items 1 to 5.
  • the processing device converts the second sensor data into data expressed in a coordinate system fixed to the work vehicle based on the estimated position and orientation, and converts the second sensor data into data expressed in a coordinate system fixed to the work vehicle, and converts the second sensor data into data expressed in a coordinate system fixed to the work vehicle.
  • the processing device calculates the point by combining data obtained by removing data of an area corresponding to the implement and the second ranging sensor from the first sensor data and the converted second sensor data.
  • the first ranging sensor includes an image sensor that outputs image data as the first sensor data
  • the processing device determines the relative position and orientation of the second ranging sensor with respect to the first ranging sensor based on the brightness distribution or color distribution of a region corresponding to the marker member in the image indicated by the first sensor data.
  • the sensing system according to any one of items 1 to 5, which estimates .
  • the processing device converts second sensor data output from the second ranging sensor into data expressed in a coordinate system fixed to the work vehicle based on the estimated position and orientation, generating point cloud data indicating a distribution of features around the work vehicle based on the converted second sensor data;
  • the sensing system according to any one of items 1 to 9, wherein the position of the work vehicle is estimated by matching the point cloud data with the environmental map.
  • the implement is connected to a front part of the work vehicle, The sensing system according to any one of items 1 to 10, wherein the first distance measurement sensor senses at least an area in front of the work vehicle.
  • a sensing device used as the second ranging sensor in the sensing system according to any one of items 1 to 11, comprising a fitting for attaching to the implement, and being externally attached to the implement; Sensing device.
  • the processing device includes: Based on first sensor data generated by the first sensing device sensing a region including the marker member and the data stored in the storage device, the relative position of the LiDAR sensor with respect to the first sensing device is determined. Estimate the position and orientation of outputting data indicating the estimated position and orientation; sensing system.
  • the technology of the present disclosure can be applied to a work vehicle that runs while performing work using an implement.
  • the technology of the present disclosure can be applied to a work vehicle such as a tractor that automatically travels while performing agricultural work with an implement attached to the front or rear.
  • DESCRIPTION OF SYMBOLS 100... Work vehicle, 101... Vehicle body, 102... Prime mover, 103... Transmission device, 104... Wheels, 105... Cabin, 106... Steering device, 107... Driver's seat, 108... Connection device, 110... GNSS unit, 110A, 110B, 111... GNSS receiver, 112... RTK receiver, 115... Inertial measurement device, 116... Processing circuit, 120... Camera, 130... Obstacle sensor, 140... LiDAR sensor, 140A... First LiDAR sensor, 140B... Second LiDAR sensor, 148... Marker member, 149... Mounting tool , 150... Sensor group, 152... Steering wheel sensor, 154... Turning angle sensor, 156...
  • Axle sensor 160... Control system, 170... Storage device, 180... Control Device, 181-184... ECU, 190... Communication device, 200... Operation terminal, 210... Operation switch group, 240... Drive device, 250... Processing device, 300... Implement, 340... Drive device, 380... Control device, 390... Communication device

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

センシングシステムは、作業車両に取り付けられる第１測距センサと、前記作業車両に連結されるインプルメントに取り付けられる第２測距センサと、前記第１測距センサのセンシング範囲内に位置するマーカ部材と、処理装置とを備える。前記処理装置は、前記第１測距センサが前記マーカ部材を含む領域をセンシングすることによって生成した第１センサデータに基づいて、前記第１測距センサに対する前記第２測距センサの相対的な位置姿勢を推定し、推定した前記位置姿勢を示すデータを出力する。

Description

センシングシステム、農業機械、およびセンシング装置
　本開示は、センシングシステム、農業機械、およびセンシング装置に関する。
　次世代農業として、ＩＣＴ（Information and Communication Technology）およびＩｏＴ（Internet of Things）を活用したスマート農業の研究開発が進められている。圃場で使用されるトラクタ、田植機、およびコンバイン等の農業機械の自動化および無人化に向けた研究開発も進められている。例えば、精密な測位が可能なＧＮＳＳ（Global Navigation Satellite System）などの測位システムを利用して圃場内を自動で走行しながら農作業を行う作業車両が実用化されている。
　一方、ＬｉＤＡＲ（Light Detection and Ranging）などの測距センサを利用して自動走行を行う作業車両の開発も進められている。例えば特許文献１は、ＬｉＤＡＲセンサを利用して圃場における作物列を認識し、作物列の間を自動で走行する作業車両の例を開示している。特許文献２は、ＬｉＤＡＲセンサを利用して障害物を検知しながら、圃場内に設定された目標経路に沿って自動走行を行う作業車両の例を開示している。
特開２０１９－１５４３７９号公報 特開２０１９－１７０２７１号公報
　ＬｉＤＡＲセンサなどの測距センサを用いて周辺環境のセンシングを行いながら自動走行を行う作業車両においては、作業車両に連結されたインプルメントによってセンシングが妨げられることがある。例えば、作業車両の前部にインプルメントが連結されている場合、作業車両の前方のセンシング範囲内に死角が生じ、センシングが妨げられる。
　本開示は、インプルメントによってセンシングが妨げられることを回避するための技術を提供する。
　本開示の一実施形態によるセンシングシステムは、作業車両に取り付けられる第１測距センサと、前記作業車両に連結されるインプルメントに取り付けられる第２測距センサと、前記第１測距センサのセンシング範囲内に位置するマーカ部材と、処理装置とを備える。前記処理装置は、前記第１測距センサが前記マーカ部材を含む領域をセンシングすることによって生成した第１センサデータに基づいて、前記第１測距センサに対する前記第２測距センサの相対的な位置姿勢（pose）を推定し、推定した前記位置姿勢を示すデータを出力する。
　本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されていてもよい。
　本開示の実施形態によれば、インプルメントによってセンシングが妨げられることを回避することができる。
本開示の例示的な実施形態における農業機械を模式的に示す側面図である。 マーカ部材の構成例を示す図である。 第１ＬｉＤＡＲセンサに対する第２ＬｉＤＡＲセンサの相対的な位置姿勢を推定する処理を説明するための図である。 マーカ部材の他の例を示す図である。 センシングシステムの他の例を示す図である。 色の異なる複数の部分を含むマーカ部材の一例を示す図である。 センシングシステムのさらに他の例を示す図である。 本開示の例示的な実施形態によるシステムの概要を説明するための図である。 作業車両、および作業車両に連結されたインプルメントの例を模式的に示す側面図である。 作業車両およびインプルメントの構成例を示すブロック図である。 ＲＴＫ－ＧＮＳＳによる測位を行う作業車両の例を示す概念図である。 作業車両が走行する環境の一例を模式的に示す図である。 作業車両の走行経路の一例を模式的に示す図である。 作業車両の走行経路の他の例を模式的に示す図である。 制御装置によって実行される自動運転時の操舵制御の動作の例を示すフローチャートである。 目標経路に沿って走行する作業車両の例を示す図である。 目標経路から右にシフトした位置にある作業車両の例を示す図である。 目標経路から左にシフトした位置にある作業車両の例を示す図である。 目標経路に対して傾斜した方向を向いている作業車両の例を示す図である。 自己位置推定処理の具体例を示すフローチャートである。
　（用語の定義）
　本開示において「作業車両」は、作業地で作業を行うために使用される車両を意味する。「作業地」は、例えば圃場、山林、または建設現場等の、作業が行われる任意の場所である。「圃場」は、例えば果樹園、畑、水田、穀物農場、または牧草地等の、農作業が行われる任意の場所である。作業車両は、例えばトラクタ、田植機、コンバイン、乗用管理機、もしくは乗用草刈機などの農業機械、または、建設作業車もしくは除雪車などの、農業以外の用途で使用される車両であり得る。本開示における作業車両は、その前部および後部の少なくとも一方に、作業内容に応じたインプルメント（「作業機」または「作業装置」とも呼ばれる。）を装着することができる。作業車両が作業を行いながら走行することを「作業走行」と称することがある。
　「農業機械」は、農業用途で使用される機械を意味する。農業機械の例は、トラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、および農業用移動ロボットを含む。トラクタのような作業車両が単独で「農業機械」として機能する場合だけでなく、作業車両に装着または牽引されるインプルメントと作業車両の全体が一つの「農業機械」として機能する場合がある。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う。
　「自動運転」は、運転者による手動操作によらず、制御装置の働きによって車両の走行を制御することを意味する。自動運転中、車両の走行だけでなく、作業の動作（例えばインプルメントの動作）も自動で制御されてもよい。自動運転によって車両が走行することを「自動走行」と称する。制御装置は、車両の走行に必要な操舵、走行速度の調整、走行の開始および停止の少なくとも一つを制御し得る。インプルメントが装着された作業車両を制御する場合、制御装置は、インプルメントの昇降、インプルメントの動作の開始および停止などの動作を制御してもよい。自動運転による走行には、車両が所定の経路に沿って目的地に向かう走行のみならず、追尾目標に追従する走行も含まれ得る。自動運転を行う車両は、部分的にユーザの指示に基づいて走行してもよい。また、自動運転を行う車両は、自動運転モードに加えて、運転者の手動操作によって走行する手動運転モードで動作してもよい。手動によらず、制御装置の働きによって車両の操舵を行うことを「自動操舵」と称する。制御装置の一部または全部が車両の外部にあってもよい。車両の外部にある制御装置と車両との間では、制御信号、コマンド、またはデータなどの通信が行われ得る。自動運転を行う車両は、人がその車両の走行の制御に関与することなく、周囲の環境をセンシングしながら自律的に走行してもよい。自律的な走行が可能な車両は、無人で走行することができる。自律走行中に、障害物の検出および障害物の回避動作が行われ得る。
　「測距センサ」は、測距すなわち距離計測を行うセンサである。測距センサは、１以上の計測点までの距離を計測し、当該距離を示すデータ、または当該距離から変換された計測点の位置を示すデータを出力するように構成され得る。測距センサは、例えばＬｉＤＡＲセンサ、ＴｏＦ（Time of Flight）カメラ、もしくはステレオカメラ、またはそれらの任意の組み合わせを含み得る。ＬｉＤＡＲセンサは、光（例えば赤外光または可視光）を出射して測距を行う。測距には、例えばＴｏＦ（Time of Flight）またはＦＭＣＷ（Frequency Modulated Continuous Wave）等の測距技術が用いられ得る。
　「環境地図」は、作業車両が走行する環境に存在する物の位置または領域を所定の座標系によって表現したデータである。環境地図を規定する座標系の例は、地球に対して固定された地理座標系などのワールド座標系だけでなく、オドメトリ情報に基づくポーズを表示するオドメトリ座標系などを含む。環境地図は、環境に存在する物について、位置以外の情報（例えば、属性情報その他の情報）を含んでいてもよい。環境地図は、点群地図または格子地図など、さまざまな形式の地図を含む。
　（実施形態）
　以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細な説明および実質的に同一の構成に関する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同一の参照符号を付している。
　以下の実施形態は例示であり、本開示の技術は以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、ステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
　図１は、本開示の例示的な実施形態における農業機械を模式的に示す側面図である。図１に示す農業機械は、作業車両１００と、作業車両１００に連結されたインプルメント３００とを備えている。本実施形態における作業車両１００はトラクタである。作業車両１００は、その前部に連結装置１０８を備えている。連結装置１０８を介して、インプルメント３００が作業車両１００の前部に連結されている。作業車両１００は、後部にもインプルメントを接続するための連結装置を備え得る。図１において、後部の連結装置および後部のインプルメントの図示は省略されている。インプルメント３００は、例えば、フロントローダ、ハーベスタ、スウィーパ、またはスプレイヤといった、作業車両１００の前方で農作業を行う任意の作業機であり得る。
　図１に示す農業機械は、作業車両１００の周囲の環境のセンシングを行うセンシングシステムを備えている。センシングシステムは、例えば障害物検知または自己位置推定に利用され得る。作業車両１００は、センシングシステムを用いた自己位置推定の結果に基づいて自動走行を行うように構成され得る。
　本実施形態におけるセンシングシステムは、第１ＬｉＤＡＲセンサ１４０Ａと、第２ＬｉＤＡＲセンサ１４０Ｂと、マーカ部材１４８と、処理装置２５０とを備える。第１ＬｉＤＡＲセンサ１４０Ａは、第１測距センサの一例である。第２ＬｉＤＡＲセンサ１４０Ｂは、第２測距センサの一例である。第１ＬｉＤＡＲセンサ１４０Ａは、作業車両１００に取り付けられる。図１に示す例では、第１ＬｉＤＡＲセンサ１４０Ａは、作業車両１００におけるキャビン１０５の上部前端付近に取り付けられている。第２ＬｉＤＡＲセンサ１４０Ｂは、インプルメント３００に取り付けられる。図１に示す例では、第２ＬｉＤＡＲセンサ１４０Ｂは、インプルメント３００における上部前端付近に取り付けられている。第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂの位置は他の位置であってもよい。
　第２ＬｉＤＡＲセンサ１４０Ｂは、インプルメント３００に外付けされる。第２ＬｉＤＡＲセンサ１４０Ｂは、例えばバッテリーまたはインプルメント３００からの電力供給によって動作し得る。図１に示す第２ＬｉＤＡＲセンサ１４０Ｂは、インプルメント３００に取り付けるための取付具１４９を含む。取付具１４９は、例えばマグネット、ボルトおよびナット、ネジ、または接続金具等の、インプルメント３００への取付に用いられる各種の部品を含み得る。取付具１４９により、第２ＬｉＤＡＲセンサ１４０Ｂをインプルメント３００に取り付けたり、取り外したりすることが容易にできる。第２ＬｉＤＡＲセンサ１４０は、第１ＬｉＤＡＲセンサ１４０Ａとの間に障害物がなく、かつ、インプルメント３００上で前方への死角が比較的少ない位置に取り付けられ得る。
　インプルメント３００には、第２ＬｉＤＡＲセンサ１４０Ｂを固定するための固定具が設けられてもよい。固定具は、例えば第２ＬｉＤＡＲセンサ１４０Ｂにおける取付具１４９と係合する構造を備えていてもよい。その場合、取付具１４９と固定具とが係合することにより、第２ＬｉＤＡＲセンサ１４０Ｂがインプルメント３００に固定される。
　第２ＬｉＤＡＲセンサ１４０Ｂは、特定のインプルメント３００に限らず、様々なインプルメントに取り付けることができる。このため、インプルメント３００の種類によらず、後述するセンシングが可能である。このような外付けの第２ＬｉＤＡＲセンサ１４０Ｂは、単独で製造または販売され得る。
　マーカ部材１４８は、第１ＬｉＤＡＲセンサ１４０Ａのセンシング範囲内に配置される。図１に示す例において、マーカ部材１４８は、第２ＬｉＤＡＲセンサ１４０Ｂに取り付けられている。マーカ部材１４８は、インプルメント３００上において、第２ＬｉＤＡＲセンサ１４０Ｂから離れた位置に設けられていてもよい。マーカ部材１４８と第２ＬｉＤＡＲセンサ１４０Ｂとの間の位置および向きの関係は既知であり、その情報が、処理装置２５０の内部または外部の記憶装置に予め記録され得る。マーカ部材１４８は、例えば、第１ＬｉＤＡＲセンサ１４０Ａから出射される光の反射率がマーカ部材１４８における他の部分よりも高い１つ以上の反射部を含み得る。
　図１に示すように第２ＬｉＤＡＲセンサ１４０Ｂが作業車両１００の前方のインプルメント３００に設けられる場合、第１ＬｉＤＡＲセンサ１４０Ａは、作業車両１００の少なくとも前方をセンシングするように配置される。第１ＬｉＤＡＲセンサ１４０Ａは、マーカ部材１４８を含む領域をセンシングすることによって第１センサデータを生成して出力する。一方、第２ＬｉＤＡＲセンサ１４０Ｂは、インプルメント３００の前方の領域をセンシングすることによって第２センサデータを生成して出力する。図１において、第１ＬｉＤＡＲセンサ１４０Ａのセンシング範囲３０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂのセンシング範囲３０Ｂが、破線の扇形で例示されている。センシング範囲３０Ａおよび３０Ｂの各々は、作業車両１００の進行方向に向かって上下方向だけでなく、左右方向にも広がりを有する。
　第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂの各々は、例えばレーザビームのスキャンによって空間中の物体の分布を示す情報を生成するスキャン型のセンサであり得る。ＬｉＤＡＲセンサは、例えばＴｏＦ法により、物体の表面に位置する反射点までの距離を計測するように構成され得る。ＴｏＦ法によって距離を計測するＬｉＤＡＲセンサは、レーザパルス、すなわちパルス状のレーザビームを出射し、周囲の環境に存在する物体によって反射されたレーザパルスがＬｉＤＡＲセンサに帰還するまでの時間を計測するように構成され得る。距離計測の方法はＴｏＦ法に限らず、ＦＭＣＷ法などの他の方法を用いてもよい。ＦＭＣＷ法においては、周波数が時間の経過とともに線形的に変化する光が出射され、出射光と反射光との干渉で生じる干渉光のビート周波数に基づいて距離が計算される。反射点までの距離および方向に基づいて、作業車両１００に固定された座標系における反射点の座標が計算される。スキャン型のＬｉＤＡＲセンサは、２次元ＬｉＤＡＲセンサと、３次元ＬｉＤＡＲセンサとに分類することができる。２次元ＬｉＤＡＲセンサによれば、レーザビームが１つの平面内を回転するように環境のスキャンが行われ得る。一方、３次元ＬｉＤＡＲセンサでは、例えば、複数のレーザビームがそれぞれ異なる円錐面に沿って回転するように環境のスキャンが行われ得る。図１に示す第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂの各々は３次元ＬｉＤＡＲセンサであるが、２次元ＬｉＤＡＲセンサが用いられてもよい。
　第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂの各々は、スキャン型のセンサに限らず、広範囲に拡散する光を出射して空間中の物体の距離分布の情報を取得するフラッシュ型のセンサであってもよい。スキャン型のＬｉＤＡＲセンサは、フラッシュ型のＬｉＤＡＲセンサよりも高い強度の光を使用するため、より遠方の距離情報を取得することができる。一方、フラッシュ型のＬｉＤＡＲセンサは、構造が簡単であり、低いコストで製造できるため、強い光を必要としない用途に適している。
　本実施形態では、作業車両１００に取り付けられる第１ＬｉＤＡＲセンサ１４０Ａに加えて、インプルメント３００に取り付けられる第２ＬｉＤＡＲセンサ１４０Ｂが設けられている。仮に第２ＬｉＤＡＲセンサ１４０Ｂが設けられていないとすると、第１ＬｉＤＡＲセンサ１４０Ａのセンシング範囲内にインプルメント３００が位置することにより、インプルメント３００の前方のセンシングが妨げられることになる。特に、作業車両１００の前方のインプルメント３００が大型である場合、第１ＬｉＤＡＲセンサ１４０Ａのセンシングの範囲内に死角が多くなり、障害物検知または自己位置推定に必要な十分なデータを取得することができない。この課題を回避するため、本実施形態では、外付けの第２ＬｉＤＡＲセンサ１４０Ｂがインプルメント３００に取り付けられている。第２ＬｉＤＡＲセンサ１４０Ｂから出力される第２センサデータに基づいて障害物検知または自己位置推定が行われる。第１ＬｉＤＡＲセンサ１４０Ａは、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定するために用いられ得る。第１ＬｉＤＡＲセンサ１４０Ａから出力される第１センサデータと、第２ＬｉＤＡＲセンサ１４０Ｂから出力される第２センサデータとを組み合わせて、作業車両１００の周囲の地物の分布を示す点群データが生成されてもよい。
　処理装置２５０は、第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂから出力されたデータを処理するコンピュータである。図１に示す例において、処理装置２５０は、作業車両１００のキャビン１０５の内部に配置されている。処理装置２５０は、作業車両１００の動作を制御する制御装置の一部として実装されていてもよい。処理装置２５０は、例えば、電子制御ユニット（ＥＣＵ）によって実現されてもよい。処理装置２５０は、キャビン１０５の内部に限らず、他の位置に配置されていてもよい。例えば、処理装置２５０は、第１ＬｉＤＡＲセンサ１４０Ａに内蔵されていてもよい。処理装置２５０は、複数のコンピュータまたは複数の回路によって実現されていてもよい。処理装置２５０の少なくとも一部の機能が、作業車両１００から離れた位置にあるサーバ等の外部コンピュータによって実現されていてもよい。
　処理装置２５０は、第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂに無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）または４Ｇもしくは５Ｇ通信等）または有線（例えば、ＣＡＮ通信等）で通信可能に接続され得る。処理装置２５０は、第１ＬｉＤＡＲセンサ１４０Ａから第１センサデータを取得し、第２ＬｉＤＡＲセンサ１４０Ｂから第２センサデータを取得する。
　処理装置２５０は、第１センサデータに基づいて、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定する。例えば、処理装置２５０は、第２ＬｉＤＡＲセンサ１４０Ｂとマーカ部材１４８との間の位置および向きの関係を示す情報と、第１センサデータとに基づいて、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定する。ここで「位置姿勢」は、位置と向きとの組み合わせであり、「ポーズ」とも呼ばれる。以下の説明において、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を、単に「第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢」と称することがある。
　作業車両１００とインプルメント３００との位置関係は固定されておらず、連結装置１０８の遊び、またはインプルメント３００自身の動作に起因して、作業車両１００に対するインプルメント３００の位置姿勢が変動し得る。例えば、作業車両１００の走行中、インプルメント３００は、作業車両１００に対して上下または左右に揺動し得る。これに伴い、第２ＬｉＤＡＲセンサ１４０Ｂも、作業車両１００に対して上下または左右に揺動し得る。第２ＬｉＤＡＲセンサ１４０Ｂから出力される第２センサデータを作業車両１００の自動運転に利用するためには、第２センサデータを、作業車両１００に固定された座標系で表現されたデータに変換することが必要である。この座標変換には、第１ＬｉＤＡＲセンサ１４０Ａ（または作業車両１００）に対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢の情報が必要である。そこで、処理装置２５０は、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を、第１ＬｉＤＡＲセンサ１４０Ａがマーカ部材１４８を含む領域をセンシングすることによって生成した第１センサデータに基づいて推定する。
　処理装置２５０は、マーカ部材１４８における１つ以上の反射部の位置および／または形状に基づいて、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定することができる。以下、この処理の具体例を説明する。
　図２は、マーカ部材１４８の構成例を示す図である。この例におけるマーカ部材１４８は、３つの反射部１４８ａ、１４８ｂ、１４８ｃを有している。反射部１４８ａ、１４８ｂ、１４８ｃの各々は、例えば、第１ＬｉＤＡＲセンサ１４０Ａから出射される光を高い反射率で反射する反射テープ等の反射材が設けられた反射面を有する。マーカ部材１４８は、各反射部１４８ａ、１４８ｂ、１４８ｃの反射面が第１ＬｉＤＡＲ１４０Ａの方向を向くように配置され得る。例えば、マーカ部材１４８は、各反射部１４８ａ、１４８ｂ、１４８ｃの反射面の法線方向が、第１ＬｉＤＡＲセンサ１４０Ａに向かう方向に近くなるように配置され得る。反射部１４８ａ、１４８ｂ、１４８ｃの各々の反射面には、再帰反射材（例えば再帰反射テープ）が設けられていてもよい。再帰反射材を用いることにより、第１ＬｉＤＡＲセンサ１４０Ａの発光部から出射された光線を、第１ＬｉＤＡＲセンサ１４０Ａの受光部に強く反射することができる。各反射部１４８ａ、１４８ｂ、１４８ｃの反射面は、２次元的な広がりを有し、例えば１０ｍｍ×１０ｍｍよりも大きいサイズを有し得る。各反射部１４８ａ、１４８ｂ、１４８ｃの反射面は、３０ｍｍ×３０ｍｍよりも大きくてもよい。反射面のサイズが大きいほど、第１センサデータに基づく反射部１４８ａ、１４８ｂ、１４８ｃの検出が容易になる。
　図２に示す３つの反射部１４８ａ、１４８ｂ、１４８ｃは、マーカ部材１４８の中央の基部１４８ｄから３方向に延びる３本の支柱１４８ｅ、１４８ｆ、１４８ｇによってそれぞれ支持されている。３本の支柱１４８ｅ、１４８ｆ、１４８ｇは、第２ＬｉＤＡＲセンサ１４０Ｂの正面方向Ｄ２に垂直な平面内に位置している。３本の支柱１４８ｅ、１４８ｆ、１４８ｇは、当該平面内において、９０度ずつ異なる方向に延びている。支柱１４８ｆ、１４８ｇは、第２ＬｉＤＡＲセンサ１４０Ｂの正面方向Ｄ２に向かって左右方向に延び、支柱１４８ｅは、鉛直上方向に延びている。図２の例では、支柱１４８ｅ、１４８ｆ、１４８ｇの長さはいずれも等しい。３つの反射部１４８ａ、１４８ｂ、１４８ｃは、３本の支柱１４８ｅ、１４８ｆ、１４８ｇの先端にそれぞれ設けられている。このように、基部１４８ｄに対して左右および鉛直の３方向に離れた位置に反射部１４８ａ、１４８ｂ、１４８ｃが設けられている。このような配置により、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定しやすくなる。なお、３つの反射部１４８ａ、１４８ｂ、１４８ｃの位置関係は、図示される関係に限定されず、適宜変更が可能である。
　第１ＬｉＤＡＲセンサ１４０Ａは、３つの反射部１４８ａ、１４８ｂ、１４８ｃを含む領域内でビームスキャンを行い、当該領域内の物体の距離分布または位置分布を示す第１センサデータを生成する。処理装置２５０は、第１センサデータに基づき、３つの反射部１４８ａ、１４８ｂ、１４８ｃの位置を特定する。図２に示す例では、反射部１４８ａ、１４８ｂ、１４８ｃの各々の形状は矩形であるが、他の形状であってもよい。例えば、反射部１４８ａ、１４８ｂ、１４８ｃの各々の形状は、楕円、真円、三角形その他の多角形、または星形もしくは十字形等の特徴的な形状であってもよい。反射部１４８ａ、１４８ｂ、１４８ｃごとに形状が異なっていてもよい。処理装置２５０は、反射部１４８ａ、１４８ｂ、１４８ｃの各々の推定された位置に基づき、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定する。
　図３は、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定する処理を説明するための図である。図３には、第１ＬｉＤＡＲセンサ１４０Ａから３つの反射部１４８ａ、１４８ｂ、１４８ｃにそれぞれ向かう３本の光線が実線矢印で例示されている。この例では、第１ＬｉＤＡＲセンサ１４０Ａは、正面方向Ｄ１を中心にビームスキャンを行うことにより、３つの反射部１４８ａ、１４８ｂ、１４８ｃを含む領域内に存在する物体の各反射点までの距離を計測する。第１ＬｉＤＡＲセンサ１４０Ａは、各反射点までの距離および方向に基づき、第１ＬｉＤＡＲセンサ１４０Ａに固定された第１センサ座標系における各反射点の３次元座標値の情報を含む点群データを第１センサデータとして生成することができる。第１センサ座標系は、作業車両１００に固定された座標系でもある。図３には、第１センサ座標系を規定する互いに直交するＸ、Ｙ、Ｚ軸が例示されている。第１センサデータは、例えば、反射光が検出された複数の反射点の識別番号と、それぞれの反射点の座標値（ｘ，ｙ，ｚ）との対応を示す点群データであり得る。第１センサデータは、各反射点の輝度の情報を含んでいてもよい。
　処理装置２５０は、第１ＬｉＤＡＲセンサ１４０Ａから出力された第１センサデータが示す複数の反射点から、３つの反射部１４８ａ、１４８ｂ、１４８ｃに対応する一部の反射点を抽出する。例えば、処理装置２５０は、第１センサデータが示す点群を、点間の距離に基づいてクラスタリングし、反射部１４８ａ、１４８ｂ、１４８ｃの実際の位置関係および形状を反映していると推定される３つのクラスタを、反射部１４８ａ、１４８ｂ、１４８ｃに対応する反射点として抽出してもよい。あるいは、第１センサデータが各反射点の輝度の情報を含んでいる場合、輝度が閾値を超える反射点のうち、相互に近い距離にある３つのクラスタを構成する反射点を、３つの反射部１４８ａ、１４８ｂ、１４８ｃに対応する反射点として抽出してもよい。
　処理装置２５０は、抽出した反射部１４８ａ、１４８ｂ、１４８ｃに対応する複数の反射点の座標値に基づいて、反射部１４８ａ、１４８ｂ、１４８ｃの各々の代表位置を決定する。各反射部の代表位置は、例えば、その反射部に対応する複数の反射点の位置の平均値または中央値であり得る。以下、各反射部の代表位置を、その反射部の「位置」と称する。
　図３に示す例において、３つの反射部１４８ａ、１４８ｂ、１４８ｃの位置と、第２ＬｉＤＡＲセンサ１４０Ｂの基準位置（例えばビームの出射点の位置）および第２ＬｉＤＡＲセンサ１４０Ｂの正面方向Ｄ２との関係は既知であり、その関係を示すデータが記憶装置に予め格納されている。処理装置２５０は、当該関係を示すデータと、第１センサデータに基づいて決定した３つの反射部１４８ａ、１４８ｂ、１４８ｃの位置とに基づいて、第１センサ座標系における第２ＬｉＤＡＲセンサ１４０Ｂの基準位置および正面方向Ｄ２を決定する。
　図３に示すように、第１センサ座標系における３つの反射部１４８ａ、１４８ｂ、１４８ｃの位置が、それぞれＰ１（ｘ１，ｙ１，ｚ１）、Ｐ２（ｘ２，ｙ２，ｚ２）、およびＰ３（ｘ３，ｙ３，ｚ３）として決定されたとする。この場合、処理装置２５０は、例えば以下の方法で、第１センサ座標系における第２ＬｉＤＡＲセンサ１４０Ｂの基準位置および正面方向Ｄ２を決定することができる。
　処理装置２５０は、まず、第１センサデータに基づいて決定した３つの反射部１４８ａ、１４８ｂ、１４８ｃの位置Ｐ１、Ｐ２、Ｐ３がなす三角形の重心位置と、位置Ｐ１、Ｐ２、Ｐ３を含む平面の法線ベクトルとを演算によって決定する。処理装置２５０は、決定した三角形の重心から、予め定められた方向（例えば点Ｐ１から重心に向かうベクトルの方向）に予め定められた距離だけ変位した位置を、第２ＬｉＤＡＲセンサ１４０Ｂの基準位置として決定する。また、処理装置２５０は、決定した平面の法線ベクトルの方向を、第２ＬｉＤＡＲセンサ１４０Ｂの正面方向Ｄ２として決定する。これにより、処理装置２５０は、第２ＬｉＤＡＲセンサ１４０Ｂの位置および姿勢角（ロール、ピッチ、ヨー）を推定することができる。なお、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定する方法は、第２ＬｉＤＡＲセンサ１４０Ｂとマーカ部材１４８との間の相対的な位置および姿勢の関係に依存する。例えば、マーカ部材１４８における３点Ｐ１、Ｐ２、Ｐ３を含む平面の法線の方向と第２ＬｉＤＡＲセンサ１４０Ｂの正面方向Ｄ２とがずれている場合は、そのずれを考慮して第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢が推定される。
　マーカ部材１４８は、第２ＬｉＤＡＲセンサ１４０Ｂから離れた位置に設けられてもよい。マーカ部材１４８と第２ＬｉＤＡＲセンサ１４０Ｂとの位置関係、および各反射部の大きさは、適宜調整可能である。第１ＬｉＤＡＲセンサ１４０Ａと第２ＬｉＤＡＲセンサ１４０Ｂとが互いに離れすぎている場合、反射部の検出が困難になる場合がある。反対に、第１ＬｉＤＡＲセンサ１４０Ａと第２ＬｉＤＡＲセンサ１４０Ｂとが近すぎる場合、第１ＬｉＤＡＲセンサ１４０Ａの検出範囲から反射部がはみ出る可能性がある。そのような場合には、マーカ部材１４８と第２ＬｉＤＡＲセンサ１４０Ｂとの距離、または各反射部の大きさを変更することにより、各反射部を適切に検出することができる。
　図４は、マーカ部材１４８の他の例を示す図である。この例におけるマーカ部材１４８は、第２ＬｉＤＡＲセンサ１４０Ｂとは独立してインプルメント３００に取り付けられている。図４に示すマーカ部材１４８は、２本の支柱１４８ｊによって支持される平板１４８ｋを有し、平板１４８ｋに３つの反射部１４８ａ、１４８ｂ、１４８ｃが設けられている。反射部１４８ａ、１４８ｂ、１４８ｃには、第１ＬｉＤＡＲセンサ１４０Ａから出射される光に対する反射率が、平板１４８ｋおよび支柱１４８ｊにおける反射率よりも高い（例えば２倍以上の）反射材（例えば再帰反射材）が設けられ得る。マーカ部材１４８の位置は適宜変更が可能である。このようなマーカ部材１４８を用いた場合でも、図３に示す例と同様の処理により、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定することができる。
　上記のように、本実施形態では、処理装置２５０が、第１ＬｉＤＡＲセンサ１４０Ａから出力された第１センサデータに基づいて、第２ＬｉＤＡＲセンサ１４０Ｂの近傍に設けられたマーカ部材１４８における３つの反射部１４８ａ、１４８ｂ、１４８ｃを認識する。処理装置２５０は、認識した３つの反射部１４８ａ、１４８ｂ、１４８ｃの位置に基づいて、第１ＬｉＤＡＲセンサ１４０Ａおよび作業車両１００に固定された座標系における第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定する。処理装置２５０は、推定した第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を示すデータを出力する。例えば、処理装置２５０は、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を示すデータを、記憶装置に出力して記憶させてもよい。あるいは、処理装置２５０は、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を示すデータを外部のコンピュータに送信してもよい。
　処理装置２５０は、推定した第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢に基づいて、第２ＬｉＤＡＲセンサ１４０Ｂから出力された第２センサデータを、作業車両１００に固定された車両座標系で表現されたデータに変換して出力するように構成され得る。例えば、処理装置２５０は、第２ＬｉＤＡＲセンサ１４０Ｂの推定された位置および姿勢角に基づいて、第２センサデータにおける各反射点の座標値を並進・回転させる行列演算を行うことによって座標変換を行うことができる。処理装置２５０は、そのような座標変換によって車両座標系における点群データを生成することができる。処理装置２５０は、第２センサデータだけでなく、第１センサデータも利用して合成された点群データを生成してもよい。例えば、処理装置２５０は、第２ＬｉＤＡＲセンサ１４０Ｂの推定された位置姿勢に基づいて、第２センサデータを、車両座標系で表現されたデータに変換し、第１センサデータと変換後の第２センサデータとに基づく点群データを生成して出力してもよい。
　第１ＬｉＤＡＲセンサ１４０Ａに関しては、事前（例えば工場出荷時）にキャリブレーションが実施されており、作業車両１００と第１ＬｉＤＡＲセンサ１４０Ａとの間の位置および向きの関係は既知である。処理装置２５０は、当該既知の関係に基づいて、第１センサ座標系で表現された第１センサデータを車両座標系で表現されたデータに変換することができる。あるいは、処理装置２５０は、第１センサ座標系を車両座標系として処理してもよい。その場合には、第１センサデータの座標変換の処理は不要である。
　処理装置２５０は、車両座標系で表現された第１センサデータおよび第２センサデータを合成することによって点群データを生成することができる。このとき、処理装置２５０は、第１センサデータから、インプルメント３００、第２ＬｉＤＡＲセンサ１４０Ｂ、およびマーカ部材１４８に相当する領域のデータを除去したデータと、変換後の第２センサデータとを合成することによって点群データを生成してもよい。インプルメント３００、第２ＬｉＤＡＲセンサ１４０Ｂ、およびマーカ部材１４８の形状および第１ＬｉＤＡＲセンサ１４０Ａに対する位置関係は既知である。処理装置２５０は、当該既知の位置関係に基づいて、第１センサデータから、インプルメント３００、第２ＬｉＤＡＲセンサ１４０Ｂ、およびマーカ部材１４８に相当する領域のデータを特定し、除去することができる。そのような処理により、自動運転には不要なインプルメント３００、第２ＬｉＤＡＲセンサ１４０Ｂ、およびマーカ部材１４８に相当する点群が除去された合成された点群データを生成することができる。
　本実施形態では、処理装置２５０自身が第１センサデータおよび第２センサデータに基づいて点群データを生成するが、他のコンピュータが代わりに点群データを生成してもよい。その場合、処理装置２５０は、推定した第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を示すデータと、第２センサデータ（および場合によっては第１センサデータ）とを、当該他のコンピュータに送信する。当該他のコンピュータは、処理装置２５０から送信されたデータに基づいて、作業車両１００の周辺の地物の分布を示す点群データを生成することができる。
　本実施形態において、第２ＬｉＤＡＲセンサ１４０Ｂは、生成した第２センサデータを、例えば無線で処理装置２５０に送信する。第２ＬｉＤＡＲセンサ１４０Ｂは、必要に応じて第２センサデータのダウンサンプリングを行い、データ量を圧縮した上で第２センサデータを処理装置２５０に送信してもよい。第１ＬｉＤＡＲセンサ１４０Ａについても同様である。
　本実施形態におけるセンシングシステムは、環境地図を記憶する記憶装置をさらに備えていてもよい。記憶装置は、処理装置２５０の内部または外部に設けられ得る。環境地図は、作業車両１００が走行する環境に存在する物の位置または領域を所定の座標系によって表現したデータである。処理装置２５０は、以下の（Ｓ１）～（Ｓ４）の処理によって作業車両１００の自己位置推定を行うように構成され得る。
（Ｓ１）第１センサデータに基づく上記の処理により、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定する。
（Ｓ２）推定した位置姿勢に基づいて、第２センサデータを、車両座標系で表現されたデータに変換する。
（Ｓ３）変換後の第２センサデータに基づいて、作業車両１００の周辺の地物の分布を示す点群データを生成する。このとき、第１センサデータにさらに基づいて点群データを生成してもよい。
（Ｓ４）点群データと、環境地図とのマッチングにより、作業車両１００の位置姿勢を推定する。
　処理装置２５０は、作業車両１００が走行している間、上記の（Ｓ１）～（Ｓ４）の処理を繰り返すことにより、作業車両１００の位置姿勢の推定を、短い時間間隔で（例えば、１秒間に１回以上）実行するように構成され得る。処理装置２５０は、推定した作業車両１００の位置姿勢を示すデータを、作業車両１００の自動走行を制御する制御装置に送ってもよい。制御装置は、推定された作業車両１００の位置姿勢と、予め設定された目標経路とに基づいて、操舵制御および速度制御を行ってもよい。これにより、作業車両１００の自動走行を実現することができる。
　上記の例では、第１ＬｉＤＡＲセンサ１４０Ａから出力された第１センサデータに基づいて第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢が推定される。そのような構成に代えて、他の種類のセンシング装置を用いて第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定してもよい。
　図５は、センシングシステムの他の例を示す図である。図５に示す例では、図１に示す第１ＬｉＤＡＲセンサ１４０Ａの代わりに、カメラ１２０が設けられている。カメラ１２０は、画像データを第１センサデータとして出力するイメージセンサを含む。この例では、カメラ１２０またはイメージセンサが第１測距センサとして機能する。図５には、カメラ１２０による撮影範囲４０が点線で例示されている。この例におけるマーカ部材１４８は、特徴的な輝度分布または色分布を有している。処理装置２５０は、第１センサデータが示す画像におけるマーカ部材１４８に相当する領域の輝度分布または色分布に基づいて、カメラ１２０に対するＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定する。例えば、マーカ部材１４８が図４に示すような３つの反射部１４８ａ、１４８ｂ、１４８ｃを含む場合、画像データから認識される反射部１４８ａ、１４８ｂ、１４８ｃの大きさから、反射部１４８ａ、１４８ｂ、１４８ｃの各々までの距離を推定することができる。処理装置２５０は、推定した反射部１４８ａ、１４８ｂ、１４８ｃの各々までの距離に基づいて、カメラ１２０からみたＬｉＤＡＲセンサ１４０Ｂの位置および姿勢角を推定することができる。
　マーカ部材１４８は、高い光反射率を有する反射部１４８ａ、１４８ｂ、１４８ｃの代わりに、色の異なる複数の部分（例えば３つ以上の部分）を含む部材であってもよい。図６は、色の異なる複数の部分を含むマーカ部材１４８の一例を示す図である。図６に示すマーカ部材１４８は、平板１４８ｋに色の異なる複数の部分を有するカラーチャートが設けられている。処理装置２５０は、このようなマーカ部材１４８を含むシーンをカメラ１２０が撮影することによって生成した画像中の色の異なる複数の部分の大きさおよび位置関係に基づいて各部分までの距離を推定することができる。処理装置２５０は、各部分までの距離に基づいて、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定することが可能である。
　図７は、センシングシステムのさらに他の例を示す図である。図７に示す例では、作業車両１００に第１ＧＮＳＳレシーバ１１０Ａが設けられている。インプルメント３００には、３つ以上の第２ＧＮＳＳレシーバ１１０Ｂと、ＬｉＤＡＲセンサ１４０Ｂとが設けられている。作業車両１００はＬｉＤＡＲセンサを備えていない。
　第１ＧＮＳＳレシーバ１１０Ａは、キャビン１０５の上部に設けられている。第２ＧＮＳＳレシーバ１１０Ｂは、インプルメント３００におけるＬｉＤＡＲセンサ１４０Ｂの周辺に互いに間隔を空けて配置されている。ＧＮＳＳレシーバ１１０Ａ、１１０Ｂの各々は、図７に示す位置とは異なる位置に設けられていてもよい。ＧＮＳＳレシーバ１１０Ａ、１１０Ｂの各々は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて自己の位置を計算するプロセッサとを備え得る。ＧＮＳＳレシーバ１１０Ａ、１１０Ｂの各々は、複数のＧＮＳＳ衛星から送信される衛星信号を受信し、衛星信号に基づいて測位を行う。ＧＮＳＳは、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System、例えばみちびき）、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、およびＢｅｉＤｏｕなどの衛星測位システムの総称である。
　処理装置２５０は、ＧＮＳＳレシーバ１１０Ａ、１１０Ｂの各々と無線または有線で接続され得る。処理装置２５０は、第１ＧＮＳＳレシーバ１１０Ａによって受信された衛星信号、および３つ以上の第２ＧＮＳＳレシーバ１１０Ｂによって受信された衛星信号に基づいて、第１ＧＮＳＳレシーバ１１０Ａに対するＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定する。例えば、処理装置２５０は、第１ＧＮＳＳレシーバ１１０Ａを基準局（moving base）、複数の第２ＧＮＳＳレシーバ１１０Ｂを移動局（rover）として、ムービングベースライン演算を行うことによって第１ＧＮＳＳレシーバ１１０Ａに対する各第２ＧＮＳＳレシーバ１１０Ｂの相対的な位置を算出することができる。各第２ＧＮＳＳレシーバ１１０Ｂと、ＬｉＤＡＲセンサ１４０Ｂとの間の位置関係は既知であり、当該位置関係を示すデータが予め記憶装置に記録されている。処理装置２５０は、算出した各第２ＧＮＳＳレシーバ１１０Ｂの位置と、各第２ＧＮＳＳレシーバ１１０ＢとＬｉＤＡＲセンサ１４０Ｂとの間の既知の位置関係とに基づいて、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定することができる。なお、処理装置２５０によって実行される上記の処理は、第１ＧＮＳＳレシーバ１１０Ａにおけるプロセッサによって実行されてもよい。
　［自動運転を行う作業車両の例］
　次に、センシングシステムを利用して自己位置推定を行いながら自動走行を行う作業車両１００のより具体的な例を説明する。
　図８は、本開示の例示的な実施形態によるシステムの概要を説明するための図である。図８に示すシステムは、作業車両１００と、端末装置４００と、管理装置６００とを備える。端末装置４００は、作業車両１００を遠隔で監視するユーザが使用するコンピュータである。管理装置６００は、システムを運営する事業者が管理するコンピュータである。作業車両１００、端末装置４００、および管理装置６００は、ネットワーク８０を介して互いに通信することができる。図８には１台の作業車両１００が例示されているが、システムは、複数の作業車両またはその他の農業機械を含んでいてもよい。
　本実施形態における作業車両１００はトラクタである。作業車両１００は、後部および前部の一方または両方にインプルメントを装着することができる。作業車両１００は、インプルメントの種類に応じた農作業を行いながら圃場内を走行することができる。作業車両１００は、インプルメントを装着しない状態で圃場内または圃場外を走行してもよい。
　作業車両１００は、自動運転機能を備える。すなわち、作業車両１００は、手動によらず、制御装置の働きによって走行することができる。本実施形態における制御装置は、作業車両１００の内部に設けられ、作業車両１００の速度および操舵の両方を制御することができる。作業車両１００は、圃場内に限らず、圃場外（例えば道路）を自動走行することもできる。
　作業車両１００は、ＧＮＳＳレシーバおよびＬｉＤＡＲセンサなどの、測位あるいは自己位置推定のために利用される装置を備える。作業車両１００の制御装置は、作業車両１００の位置と、目標経路の情報とに基づいて、作業車両１００を自動で走行させる。制御装置は、作業車両１００の走行制御に加えて、インプルメントの動作の制御も行う。これにより、作業車両１００は、圃場内を自動で走行しながらインプルメントを用いて農作業を実行することができる。さらに、作業車両１００は、圃場外の道（例えば、農道または一般道）を目標経路に沿って自動で走行することができる。作業車両１００は、圃場外の道に沿って自動走行を行うとき、カメラまたはＬｉＤＡＲセンサなどのセンシング装置から出力されるデータに基づいて、障害物を回避可能な局所的経路を目標経路に沿って生成しながら走行する。作業車両１００は、圃場内においては、上記と同様に局所的経路を生成しながら走行してもよいし、局所的経路を生成せずに目標経路に沿って走行し、障害物が検出された場合に停止する、という動作を行ってもよい。
　管理装置６００は、作業車両１００による農作業を管理するコンピュータである。管理装置６００は、例えば圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援するサーバコンピュータであり得る。管理装置６００は、例えば、作業車両１００の作業計画を作成し、その作業計画に従って、作業車両１００の経路計画を行う。管理装置６００は、さらに、作業車両１００または他の移動体がＬｉＤＡＲセンサなどのセンシング装置を用いて収集したデータに基づいて、環境地図の生成および編集を行ってもよい。管理装置６００は、生成した作業計画、目標経路、および環境地図のデータを作業車両１００に送信する。作業車両１００は、それらのデータに基づいて、移動および農作業を自動で行う。
　端末装置４００は、作業車両１００から離れた場所にいるユーザが使用するコンピュータである。端末装置４００は、作業車両１００を遠隔監視したり、作業車両１００を遠隔操作したりするために用いられ得る。例えば、端末装置４００は、作業車両１００が備える１台以上のカメラ（撮像装置）が撮影した映像をディスプレイに表示させることができる。ユーザは、その映像を見て、作業車両１００の周囲の状況を確認し、作業車両１００に停止または発進の指示を送ることができる。
　図９は、作業車両１００、および作業車両１００に連結されたインプルメント３００の例を模式的に示す側面図である。本実施形態における作業車両１００は、手動運転モードと自動運転モードの両方で動作することができる。自動運転モードにおいて、作業車両１００は無人で走行することができる。
　図９に示す作業車両１００は、車体１０１と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車体１０１には、タイヤ付き車輪１０４と、キャビン１０５とが設けられている。車輪１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。前輪１０４Ｆおよび後輪１０４Ｒの一方または両方は、タイヤ付き車輪ではなく無限軌道（track）を装着した複数の車輪（クローラ）に置き換えられてもよい。
　作業車両１００は、作業車両１００の周囲をセンシングする複数のセンシング装置を備える。図９の例では、センシング装置は、カメラ１２０と、第１ＬｉＤＡＲセンサ１４０Ａと、複数の障害物センサ１３０とを含む。インプルメント３００には、第２ＬｉＤＡＲセンサ１４０Ｂおよびマーカ部材１４８が取り付けられている。
　カメラ１２０は、作業車両１００の周囲の環境を撮影し、画像データを生成する。複数のカメラ１２０が作業車両１００に設けられていてもよい。カメラ１２０が取得した画像は、遠隔監視を行うための端末装置４００に送信され得る。当該画像は、無人運転時に作業車両１００を監視するために用いられ得る。カメラ１２０は、作業車両１００が圃場外の道（農道または一般道）を走行するときに、周辺の地物もしくは障害物、白線、標識、または表示などを認識するための画像を生成する用途でも使用され得る。
　第１ＬｉＤＡＲセンサ１４０Ａは、キャビン１０５上に配置されている。第２ＬｉＤＡＲセンサ１４０Ｂは、インプルメント３００上に配置されている。第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂの各々は、図示される位置とは異なる位置に設けられていてもよい。第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂの各々は、作業車両１００が走行している間、周囲の環境に存在する物体の各計測点までの距離および方向、または各計測点の２次元もしくは３次元の座標値を示す第１センサデータを繰り返し出力する。
　第１ＬｉＤＡＲセンサ１４０Ａから出力された第１センサデータおよび第２ＬｉＤＡＲセンサ１４０Ｂから出力された第２センサデータは、作業車両１００における処理装置によって処理される。処理装置は、第１ＬｉＤＡＲセンサ１４０Ａがマーカ部材１４８を含む領域をセンシングすることによって生成した第１センサデータに基づいて、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定する。処理装置は、推定した第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢に基づいて、第２センサデータを、作業車両１００に固定された車両座標系で表現されたデータに変換する。処理装置は、変換後の第２センサデータに基づいて、または変換後の第２センサデータと第１センサデータとを合成して、車両座標系における点群データを生成する。処理装置は、当該点群データと、環境地図とのマッチングにより、作業車両１００の自己位置推定を行うことができる。処理装置は、例えばＳＬＡＭ（Simultaneous Localization and Mapping）などのアルゴリズムを利用して、環境地図を生成または編集することもできる。作業車両１００およびインプルメント３００は、異なる位置に異なる向きで配置された複数のＬｉＤＡＲセンサを備えていてもよい。
　図９に示す複数の障害物センサ１３０は、キャビン１０５の前部および後部に設けられている。障害物センサ１３０は、他の部位にも配置され得る。例えば、車体１０１の側部、前部、および後部の任意の位置に、一つまたは複数の障害物センサ１３０が設けられ得る。障害物センサ１３０は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ１３０は、自動走行時に周囲の障害物を検出して作業車両１００を停止したり迂回したりするために用いられる。ＬｉＤＡＲセンサ１４０が障害物センサ１３０の一つとして利用されてもよい。
　作業車両１００は、さらに、ＧＮＳＳユニット１１０を備える。ＧＮＳＳユニット１１０は、ＧＮＳＳレシーバを含む。ＧＮＳＳレシーバは、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて作業車両１００の位置を計算するプロセッサとを備え得る。ＧＮＳＳユニット１１０は、複数のＧＮＳＳ衛星から送信される衛星信号を受信し、衛星信号に基づいて測位を行う。本実施形態におけるＧＮＳＳユニット１１０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。
　ＧＮＳＳユニット１１０は、慣性計測装置（ＩＭＵ）を含み得る。ＩＭＵからの信号を利用して位置データを補完することができる。ＩＭＵは、作業車両１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、衛星信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
　作業車両１００の制御装置は、ＧＮＳＳユニット１１０による測位結果に加えて、カメラ１２０またはＬｉＤＡＲセンサ１４０などのセンシング装置が取得したセンシングデータを測位に利用してもよい。農道、林道、一般道、または果樹園のように、作業車両１００が走行する環境内に特徴点として機能する地物が存在する場合、カメラ１２０またはＬｉＤＡＲセンサ１４０によって取得されたデータと、予め記憶装置に格納された環境地図とに基づいて、作業車両１００の位置および向きを高い精度で推定することができる。カメラ１２０またはＬｉＤＡＲセンサ１４０が取得したデータを用いて、衛星信号に基づく位置データを補正または補完することで、より高い精度で作業車両１００の位置を特定できる。
　原動機１０２は、例えばディーゼルエンジンであり得る。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって作業車両１００の推進力および移動速度を変化させることができる。変速装置１０３は、作業車両１００の前進と後進とを切り換えることもできる。
　操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変化させることにより、作業車両１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、作業車両１００内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
　車体１０１の前部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Power Take Off）軸、ユニバーサルジョイント、および通信ケーブルを含み得る。連結装置１０８によってインプルメント３００を作業車両１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、インプルメント３００の位置または姿勢を変化させることができる。また、ユニバーサルジョイントを介して作業車両１００からインプルメント３００に動力を送ることができる。連結装置は、車体１０１の後方にも設けられ得る。その場合、作業車両１００の後方にインプルメントを接続することができる。
　図１０は、作業車両１００およびインプルメント３００の構成例を示すブロック図である。作業車両１００とインプルメント３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。作業車両１００は、ネットワーク８０を介して、端末装置４００および管理装置６００と通信することができる。
　図１０の例における作業車両１００は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、第１ＬｉＤＡＲセンサ１４０Ａ、および操作端末２００に加え、作業車両１００の動作状態を検出するセンサ群１５０、制御システム１６０、通信装置１９０、操作スイッチ群２１０、および駆動装置２４０を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。ＧＮＳＳユニット１１０は、ＧＮＳＳレシーバ１１１と、ＲＴＫレシーバ１１２と、慣性計測装置（ＩＭＵ）１１５と、処理回路１１６とを備える。センサ群１５０は、ステアリングホイールセンサ１５２と、切れ角センサ１５４と、車軸センサ１５６とを含む。制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８４を備える。インプルメント３００は、駆動装置３４０と、制御装置３８０と、通信装置３９０と、第２ＬｉＤＡＲセンサ１４０Ｂとを備える。なお、図１０には、作業車両１００による自動運転の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
　ＧＮＳＳユニット１１０におけるＧＮＳＳレシーバ１１１は、複数のＧＮＳＳ衛星から送信される衛星信号を受信し、衛星信号に基づいてＧＮＳＳデータを生成する。ＧＮＳＳデータは、例えばＮＭＥＡ－０１８３フォーマットなどの所定のフォーマットで生成される。ＧＮＳＳデータは、例えば、衛星信号が受信されたそれぞれの衛星の識別番号、仰角、方位角、および受信強度を示す値を含み得る。
　図１０に示すＧＮＳＳユニット１１０は、例えばＲＴＫ（Real Time Kinematic）－ＧＮＳＳを利用して作業車両１００の測位を行うように構成され得る。図１１は、ＲＴＫ－ＧＮＳＳによる測位を行う作業車両１００の例を示す概念図である。ＲＴＫ－ＧＮＳＳによる測位では、複数のＧＮＳＳ衛星５０から送信される衛星信号に加えて、基準局６０から送信される補正信号が利用される。基準局６０は、作業車両１００が作業走行を行う圃場の付近（例えば、作業車両１００から１０ｋｍ以内の位置）に設置され得る。基準局６０は、複数のＧＮＳＳ衛星５０から受信した衛星信号に基づいて、例えばＲＴＣＭフォーマットの補正信号を生成し、ＧＮＳＳユニット１１０に送信する。ＲＴＫレシーバ１１２は、アンテナおよびモデムを含み、基準局６０から送信される補正信号を受信する。ＧＮＳＳユニット１１０の処理回路１１６は、補正信号に基づき、ＧＮＳＳレシーバ１１１による測位結果を補正する。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度、および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。ＧＮＳＳユニット１１０は、例えば１秒間に１回から１０回程度の頻度で、作業車両１００の位置を計算する。
　なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Virtual Reference Station）またはＤＧＰＳ（Differential Global Positioning System）を利用した測位を行ってもよい。基準局６０から送信される補正信号を用いなくても必要な精度の位置情報が得られる場合は、補正信号を用いずに位置情報を生成してもよい。その場合、ＧＮＳＳユニット１１０は、ＲＴＫレシーバ１１２を備えていなくてもよい。
　ＲＴＫ－ＧＮＳＳを利用する場合であっても、基準局６０からの補正信号が得られない場所（例えば圃場から遠く離れた道路上）では、ＲＴＫレシーバ１１２からの信号によらず、他の方法で作業車両１００の位置が推定される。例えば、ＬｉＤＡＲセンサ１４０Ａ、１４０Ｂおよび／またはカメラ１２０から出力されたデータと、高精度の環境地図とのマッチングによって、作業車両１００の位置が推定され得る。
　本実施形態におけるＧＮＳＳユニット１１０は、さらにＩＭＵ１１５を備える。ＩＭＵ１１５は、３軸加速度センサおよび３軸ジャイロスコープを備え得る。ＩＭＵ１１５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１１５は、モーションセンサとして機能し、作業車両１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。処理回路１１６は、衛星信号および補正信号に加えて、ＩＭＵ１１５から出力された信号に基づいて、作業車両１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１１５から出力された信号は、衛星信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１１５は、ＧＮＳＳレシーバ１１１よりも高い頻度で信号を出力する。その高頻度の信号を利用して、処理回路１１６は、作業車両１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１１５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１１５は、ＧＮＳＳユニット１１０とは別の装置として設けられていてもよい。
　カメラ１２０は、作業車両１００の周囲の環境を撮影する撮像装置である。カメラ１２０は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを備える。カメラ１２０は、他にも、一つ以上のレンズを含む光学系、および信号処理回路を備え得る。カメラ１２０は、作業車両１００の走行中、作業車両１００の周囲の環境を撮影し、画像（例えば動画）のデータを生成する。カメラ１２０は、例えば、３フレーム／秒（ｆｐｓ: frames per second）以上のフレームレートで動画を撮影することができる。カメラ１２０によって生成された画像は、例えば遠隔の監視者が端末装置４００を用いて作業車両１００の周囲の環境を確認するときに利用され得る。カメラ１２０によって生成された画像は、測位または障害物の検出に利用されてもよい。１つのカメラ１２０が設けられていてもよいし、複数のカメラ１２０が作業車両１００の異なる位置に設けられていてもよい。可視光画像を生成する可視カメラと、赤外線画像を生成する赤外カメラとが別々に設けられていてもよい。可視カメラと赤外カメラの両方が監視用の画像を生成するカメラとして設けられていてもよい。赤外カメラは、夜間において障害物の検出にも用いられ得る。カメラ１２０は、ステレオカメラであってもよい。ステレオカメラにより、撮影範囲内の距離分布を示す距離画像を取得することができる。
　障害物センサ１３０は、作業車両１００の周囲に存在する物体を検出する。障害物センサ１３０は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ１３０は、障害物センサ１３０から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３０が作業車両１００の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、作業車両１００の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３０を備えることにより、作業車両１００の周囲の障害物の監視における死角を減らすことができる。
　ステアリングホイールセンサ１５２は、作業車両１００のステアリングホイールの回転角を計測する。切れ角センサ１５４は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５２および切れ角センサ１５４による計測値は、制御装置１８０による操舵制御に利用される。
　車軸センサ１５６は、車輪１０４に接続された車軸の回転速度、すなわち単位時間あたりの回転数を計測する。車軸センサ１５６は、例えば磁気抵抗素子（ＭＲ）、ホール素子、または電磁ピックアップを利用したセンサであり得る。車軸センサ１５６は、例えば、車軸の１分あたりの回転数（単位：ｒｐｍ）を示す数値を出力する。車軸センサ１５６は、作業車両１００の速度を計測するために使用される。
　駆動装置２４０は、前述の原動機１０２、変速装置１０３、操舵装置１０６などの、作業車両１００の走行およびインプルメント３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備え得る。駆動装置２４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
　記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの一つ以上の記憶媒体を含む。記憶装置１７０は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、ＬｉＤＡＲセンサ１４０、センサ群１５０、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、作業車両１００が走行する環境内の地図データ（環境地図）、自動運転のための目標経路のデータ、および第２ＬｉＤＡＲセンサ１４０Ｂとマーカ部材１４８との間の位置関係を示すデータが含まれ得る。環境地図は、作業車両１００が農作業を行う複数の圃場およびその周辺の道の情報を含む。環境地図および目標経路は、管理装置６００におけるプロセッサによって生成され得る。制御装置１８０が環境地図および目標経路を生成または編集する機能を備えていてもよい。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して作業車両１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
　制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、例えば、速度制御用のＥＣＵ１８１、ステアリング制御用のＥＣＵ１８２、インプルメント制御用のＥＣＵ１８３、自動運転制御用のＥＣＵ１８４を含む。
　ＥＣＵ１８１は、駆動装置２４０に含まれる原動機１０２、変速装置１０３、およびブレーキを制御することによって作業車両１００の速度を制御する。
　ＥＣＵ１８２は、ステアリングホイールセンサ１５２の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することによって作業車両１００のステアリングを制御する。
　ＥＣＵ１８３は、インプルメント３００に所望の動作を実行させるために、連結装置１０８に含まれる３点リンクおよびＰＴＯ軸などの動作を制御する。ＥＣＵ１８３はまた、インプルメント３００の動作を制御する信号を生成し、その信号を通信装置１９０からインプルメント３００に送信する。
　ＥＣＵ１８４は、前述の処理装置としての機能を有する。ＥＣＵ１８４は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、第１ＬｉＤＡＲセンサ１４０Ａ、センサ群１５０、および第２ＬｉＤＡＲセンサ１４０Ｂから出力されたデータに基づいて、自動運転を実現するための演算および制御を行う。例えば、ＥＣＵ１８４は、ＧＮＳＳユニット１１０、カメラ１２０、およびＬｉＤＡＲセンサ１４０Ａ、１４０Ｂの少なくとも１つから出力されたデータに基づいて、作業車両１００の位置を特定する。ＧＮＳＳユニット１１０が衛星信号を良好に受信できる環境では、ＥＣＵ１８４は、ＧＮＳＳユニット１１０から出力されたデータのみに基づいて作業車両１００の位置を決定してもよい。反対に、衛星信号の受信を妨げる物体（例えば、樹木、建造物等）が周囲に存在する環境においては、ＥＣＵ１８４は、ＬｉＤＡＲセンサ１４０Ａおよび１４０Ｂから出力されるデータを利用して作業車両１００の位置を推定する。例えば、ＥＣＵ１８４は、ＬｉＤＡＲセンサ１４０Ａおよび１４０Ｂから出力されるデータと、環境地図とのマッチングにより、作業車両１００の自己位置推定を行う。自動運転中、ＥＣＵ１８４は、推定された作業車両１００の位置に基づいて、予め設定された目標経路に沿って作業車両１００が走行するために必要な演算を行う。ＥＣＵ１８４は、ＥＣＵ１８１に速度変更の指令を送り、ＥＣＵ１８２に操舵角変更の指令を送る。ＥＣＵ１８１は、速度変更の指令に応答して原動機１０２、変速装置１０３、またはブレーキを制御することによって作業車両１００の速度を変化させる。ＥＣＵ１８２は、操舵角変更の指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。
　これらのＥＣＵの働きにより、制御装置１８０は、自動運転を実現する。自動運転時において、制御装置１８０は、計測または推定された作業車両１００の位置と、目標経路とに基づいて、駆動装置２４０を制御する。これにより、制御装置１８０は、作業車両１００を目標経路に沿って走行させることができる。
　制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Controller Area Network）などのビークルバス規格に従って、相互に通信することができる。ＣＡＮに代えて、車載イーサネット（登録商標）などの、より高速の通信方式が用いられてもよい。図１０において、ＥＣＵ１８１から１８４のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。ＥＣＵ１８１から１８４の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８４以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、一つ以上のプロセッサを含む。
　通信装置１９０は、インプルメント３００、端末装置４００、および管理装置６００と通信を行う回路を含む装置である。通信装置１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、インプルメント３００の通信装置３９０との間で実行する回路を含む。これにより、インプルメント３００に所望の動作を実行させたり、インプルメント３００から情報を取得したりすることができる。通信装置１９０は、第２ＬｉＤＡＲセンサ１４０Ｂと無線で通信する機能も備える。通信装置１９０と第２ＬｉＤＡＲセンサ１４０Ｂとの間では、Ｗｉ－Ｆｉ（登録商標）、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）などの、任意の無線通信規格に準拠した通信が行われ得る。通信装置１９０は、さらに、ネットワーク８０を介した信号の送受信を、端末装置４００および管理装置６００のそれぞれの通信装置との間で実行するためのアンテナおよび通信回路を含み得る。ネットワーク８０は、例えば、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信網およびインターネットを含み得る。
　操作端末２００は、作業車両１００の走行およびインプルメント３００の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または一つ以上のボタンを備え得る。表示装置は、例えば液晶または有機発光ダイオード（ＯＬＥＤ）などのディスプレイであり得る。ユーザは、操作端末２００を操作することにより、例えば自動運転モードのオン／オフの切り替え、環境地図の記録または編集、目標経路の設定、およびインプルメント３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１０を操作することによっても実現され得る。操作端末２００は、作業車両１００から取り外せるように構成されていてもよい。作業車両１００から離れた場所にいるユーザが、取り外された操作端末２００を操作して作業車両１００の動作を制御してもよい。ユーザは、操作端末２００の代わりに、端末装置４００などの、必要なアプリケーションソフトウェアがインストールされたコンピュータを操作して作業車両１００の動作を制御してもよい。
　図１０に示すインプルメント３００における駆動装置３４０は、インプルメント３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、インプルメント３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信装置３９０を介して作業車両１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、インプルメント３００の状態に応じた信号を通信装置３９０から作業車両１００に送信することもできる。
　次に、作業車両１００による自動走行の動作の例を説明する。
　図１２は、作業車両１００が走行する環境の一例を模式的に示す図である。この例では、作業車両１００は、果樹園（例えばぶどう園）における複数の樹木列２０の間を走行しながら、インプルメント３００を用いて所定の作業（例えば、草刈り、防除、その他）を行う。果樹園では、上空が枝および葉で遮られ、ＧＮＳＳを用いた自動走行が難しい。そのような環境では、ＥＣＵ１８４は、第１ＬｉＤＡＲセンサ１４０Ａおよび第２ＬｉＤＡＲセンサ１４０Ｂからのデータに基づいて作業車両１００の自己位置推定を行う。
　以下、作業車両１００の動作の例を具体的に説明する。ＥＣＵ１８４は、ＬｉＤＡＲセンサ１４０Ａ、１４０Ｂから出力されるセンサデータを利用して、果樹園全体または果樹園の一区画における樹木列２０の幹部の分布を示す環境地図をまず生成し、記憶装置１７０に記録する。環境地図の生成は、自己位置推定と、局所的な地図の生成とを繰り返すことによって実行される。ＥＣＵ１８４は、作業車両１００が移動している間にＬｉＤＡＲセンサ１４０Ａ、１４０Ｂから繰り返し出力されるセンサデータに基づいて、自己位置推定を行いながら、作業車両１００の周囲の環境における樹木列を検出し、検出した樹木列の分布を示す局所地図を生成して記憶装置１７０に記録する動作を繰り返す。ＥＣＵ１８４は、作業車両１００が果樹園全体または果樹園の一区画を走行する間に生成した局所地図を繋ぎ合わせることにより、環境地図を生成する。この環境地図は、環境中の樹木列２０の分布を、他の物体と区別可能な形式で記録したデータである。このように、本実施形態では、樹木列２０がＳＬＡＭのランドマークとして使用され得る。
　環境地図が生成されると、作業車両１００による自動走行が可能になる。ＥＣＵ１８４は、作業車両１００の走行中、ＬｉＤＡＲセンサ１４０Ａ、１４０Ｂから繰り返し出力されるセンサデータに基づいて、周囲の環境における樹木列２０を検出し、検出した樹木列２０と環境地図とのマッチングを行うことにより、作業車両１００の位置を推定する。ＥＣＵ１８４は、推定された作業車両１００の位置に応じて作業車両１００の走行を制御する。例えば、ＥＣＵ１８４は、隣接する２つの樹木列の間に設定される目標経路から作業車両１００が逸脱している場合に、ＥＣＵ１８２に作業車両１００のステアリングを調整させることにより、目標経路に近付ける制御を行う。このような操舵制御は、作業車両１００の位置だけでなく向きに基づいて行われてもよい。
　図１３Ａは、作業車両１００の走行経路の一例を模式的に示す図である。作業車両１００は、例えば図１３Ａに矢印で示す経路２５に沿って果樹園内の複数の樹木列２０の間を走行する。図１３Ａでは、経路２５に含まれる線分が直線状に記載されているが、作業車両１００が実際に走行する経路は、蛇行部分を含んでいてもよい。ここで、複数の樹木列２０を、端から順に第１の樹木列２０Ａ、第２の樹木列２０Ｂ、第３の樹木列２０Ｃ、第４の樹木列２０Ｄ、・・・と順序付けする。図１３Ａの例では、作業車両１００は、第１の樹木列２０Ａと第２の樹木列２０Ｂとの間をまず走行し、その走行が完了すると、旋回して第２の樹木列２０Ｂと第３の樹木列２０Ｃとの間を逆向きに走行する。第２の樹木列２０Ｂと第３の樹木列２０Ｃとの間の走行が完了すると、さらに旋回して第３の樹木列２０Ｃと第４の樹木列２０Ｄとの間を走行する。以後、同様の動作を繰り返すことにより、最後の２つの樹木列の間の経路２５の終端まで走行する。なお、隣り合う樹木列の間の距離が短い場合は、図１３Ｂに示すように、１列おきに走行してもよい。この場合、最後の２つの樹木列の間の走行が完了した後、まだ走行していない樹木列間を１列おきに走行する動作が実行され得る。このような走行は、作業車両１００がＬｉＤＡＲセンサ１４０Ａ、１４０Ｂを利用して自己位置推定を行いながら、自動で行う。なお、ＧＮＳＳユニット１１０がＧＮＳＳ信号を受信できるタイミングにおいては、ＧＮＳＳ信号に基づいて測位を行ってもよい。例えば、図１３Ａおよび図１３Ｂに示す経路２５において方向転換するタイミングでは、ＧＮＳＳ信号を遮る葉が存在しないことから、ＧＮＳＳ信号に基づく測位が可能である。
　図１４は、制御装置１８０によって実行される自動運転時の操舵制御の動作の例を示すフローチャートである。制御装置１８０は、作業車両１００の走行中、図１４に示すステップＳ１２１からＳ１２５の動作を実行することにより、自動操舵を行う。速度に関しては、例えば予め設定された速度に維持され得る。制御装置１８０は、作業車両１００の走行中、ＧＮＳＳユニット１１０またはＬｉＤＡＲセンサ１４０Ａ、１４０Ｂから出力されたデータに基づいて、作業車両１００の自己位置推定を行う（ステップＳ１２１）。自己位置推定の具体的な処理の例については後述する。次に、制御装置１８０は、作業車両１００の推定された位置と、目標経路との偏差を算出する（ステップＳ１２２）。偏差は、その時点における作業車両１００の位置と、目標経路との距離を表す。制御装置１８０は、算出した位置の偏差が予め設定された閾値を超えるか否かを判定する（ステップＳ１２３）。偏差が閾値を超える場合、制御装置１８０は、偏差が小さくなるように、駆動装置２４０に含まれる操舵装置の制御パラメータを変更することにより、操舵角を変更する。ステップＳ１２３において偏差が閾値を超えない場合、ステップＳ１２４の動作は省略される。続くステップＳ１２５において、制御装置１８０は、動作終了の指令を受けたか否かを判定する。動作終了の指令は、例えばユーザが遠隔操作で自動運転の停止を指示したり、作業車両１００が目的地に到達したりした場合に出され得る。動作終了の指令が出されていない場合、ステップＳ１２１に戻り、新たに計測された作業車両１００の位置に基づいて、同様の動作を実行する。制御装置１８０は、動作終了の指令が出されるまで、ステップＳ１２１からＳ１２５の動作を繰り返す。上記の動作は、制御装置１８０におけるＥＣＵ１８２、１８４によって実行される。
　図１４に示す例では、制御装置１８０は、作業車両１００の位置と目標経路との偏差のみに基づいて駆動装置２４０を制御するが、方位の偏差もさらに考慮して制御してもよい。例えば、制御装置１８０は、上記の自己位置推定処理によって推定された作業車両１００の向きと、目標経路の方向との角度差である方位偏差が予め設定された閾値を超える場合に、その偏差に応じて駆動装置２４０の操舵装置の制御パラメータ（例えば操舵角）を変更してもよい。
　以下、図１５Ａから図１５Ｄを参照しながら、制御装置１８０による操舵制御の例をより具体的に説明する。
　図１５Ａは、目標経路Ｐに沿って走行する作業車両１００の例を示す図である。図１５Ｂは、目標経路Ｐから右にシフトした位置にある作業車両１００の例を示す図である。図１５Ｃは、目標経路Ｐから左にシフトした位置にある作業車両１００の例を示す図である。図１５Ｄは、目標経路Ｐに対して傾斜した方向を向いている作業車両１００の例を示す図である。これらの図において、ＧＮＳＳユニット１１０によって計測された作業車両１００の位置および向きを示すポーズがｒ（ｘ，ｙ，θ）と表現されている。（ｘ，ｙ）は、地球に固定された２次元座標系であるＸＹ座標系における作業車両１００の基準点の位置を表す座標である。図１５Ａから図１５Ｄに示す例において、作業車両１００の基準点はキャビン上のＧＮＳＳアンテナが設置された位置にあるが、基準点の位置は任意である。θは、作業車両１００の計測された向きを表す角度である。図示されている例においては、目標経路ＰがＹ軸に平行であるが、一般的には目標経路ＰはＹ軸に平行であるとは限らない。
　図１５Ａに示すように、作業車両１００の位置および向きが目標経路Ｐから外れていない場合には、制御装置１８０は、作業車両１００の操舵角および速度を変更せずに維持する。
　図１５Ｂに示すように、作業車両１００の位置が目標経路Ｐから右側にシフトしている場合には、制御装置１８０は、作業車両１００の走行方向が左寄りに傾き、経路Ｐに近付くように操舵角を変更する。このとき、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δｘの大きさに応じて調整され得る。
　図１５Ｃに示すように、作業車両１００の位置が目標経路Ｐから左側にシフトしている場合には、制御装置１８０は、作業車両１００の走行方向が右寄りに傾き、経路Ｐに近付くように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の変化量は、例えば位置偏差Δｘの大きさに応じて調整され得る。
　図１５Ｄに示すように、作業車両１００の位置は目標経路Ｐから大きく外れていないが、向きが目標経路Ｐの方向とは異なる場合は、制御装置１８０は、方位偏差Δθが小さくなるように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δｘおよび方位偏差Δθのそれぞれの大きさに応じて調整され得る。例えば、位置偏差Δｘの絶対値が小さいほど方位偏差Δθに応じた操舵角の変化量を大きくしてもよい。位置偏差Δｘの絶対値が大きい場合には、経路Ｐに戻るために操舵角を大きく変化させることになるため、必然的に方位偏差Δθの絶対値が大きくなる。逆に、位置偏差Δｘの絶対値が小さい場合には、方位偏差Δθをゼロに近づけることが必要である。このため、操舵角を決定するための方位偏差Δθの重み（すなわち制御ゲイン）を相対的に大きくすることが妥当である。
　作業車両１００の操舵制御および速度制御には、ＰＩＤ制御またはＭＰＣ制御（モデル予測制御）などの制御技術が適用され得る。これらの制御技術を適用することにより、作業車両１００を目標経路Ｐに近付ける制御を滑らかにすることができる。
　なお、走行中に一つ以上の障害物センサ１３０によって障害物が検出された場合には、制御装置１８０は、作業車両１００を停止させる。このとき、ブザー２２０に警告音を発出させたり、警告信号を端末装置４００に送信してもよい。障害物の回避が可能な場合、制御装置１８０は、障害物を回避するように駆動装置２４０を制御してもよい。
　次に、図１４におけるステップＳ１２１の自己位置推定処理の具体的な例を説明する。
　図１６は、図１４におけるステップＳ１２１の処理の具体例を示すフローチャートである。ここでは、第１ＬｉＤＡＲセンサ１４０Ａから出力される第１センサデータと、第２ＬｉＤＡＲセンサ１４０Ｂから出力される第２センサデータとに基づく自己位置推定の処理の例を説明する。図１６の例において、ステップＳ１２１は、ステップＳ１４１からＳ１４６の処理を含む。
　制御装置１８０のＥＣＵ１８４（処理装置）は、まず、第１センサデータおよび第２センサデータを取得する（ステップＳ１４１）。次に、ＥＣＵ１８４は、第１センサデータに基づき、マーカ部材１４８における複数の反射部の位置を特定する（ステップＳ１４２）。複数の反射部は、例えば図２または図４に例示される反射部１４８ａ、１４８ｂ、１４８ｃのような、他の部位よりも高い光反射率を有する部分である。ＥＣＵ１８４は、マーカ部材１４８における複数の反射部の位置、および複数の反射部と第２ＬｉＤＡＲセンサ１４０Ｂとの間の既知の位置関係とに基づき、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢を推定する（ステップＳ１４３）。続いて、ＥＣＵ１８４は、第１ＬｉＤＡＲセンサ１４０Ａに対する第２ＬｉＤＡＲセンサ１４０Ｂの相対的な位置姿勢に基づいて、第２センサデータを、作業車両１００に固定された座標系におけるデータに変換する（ステップＳ１４４）。ここで、作業車両１００に固定された座標系は、例えば第１ＬｉＤＡＲセンサ１４０Ａに設定された座標系に一致していてもよい。ＥＣＵ１８４は、第１センサデータと、変換後の第２センサデータとを合成して点群データを生成する（ステップＳ１４５）。このとき、ＥＣＵ１８４は、第１センサデータから、インプルメント３００、第２ＬｉＤＡＲセンサ１４０Ｂ、およびマーカ部材１４８に相当する領域における点のデータを除去した上で、第１センサデータと第２センサデータと合成してもよい。そのような処理により、自己位置推定には不要な点のデータが点群データに含まれることを回避できる。なお、ＥＣＵ１８４は、座標変換が行われた第２センサデータのみに基づいて点群データを生成してもよい。続いて、ＥＣＵ１８４は、生成した点群データと記憶装置１７０に格納されている環境地図とのマッチングを行い、作業車両１００の位置姿勢を決定する（ステップＳ１４６）。
　以上の動作により、ＥＣＵ１８４は、作業車両１００の自己位置推定を行うことができる。本実施形態によれば、作業車両１００に設けられる第１ＬｉＤＡＲセンサ１４０Ａとは別に、第２ＬｉＤＡＲセンサ１４０Ｂおよびマーカ部材１４８がインプルメント３００に取り付けられる。第１ＬｉＤＡＲ１４０Ａがマーカ部材１４８をセンシングすることによって取得した第１センサデータに基づいて、第２ＬｉＤＡＲセンサ１４０Ｂの位置姿勢を推定することができる。これにより、第２センサデータを作業車両１００に固定された座標系におけるデータに変換することができ、自己位置推定に利用することができる。このような動作により、作業車両１００の前方にサイズの大きいインプルメント３００が装着されている場合であっても、自己位置推定を行うことができる。
　なお、上記の処理は、自己位置推定に限らず、ＬｉＤＡＲセンサ１４０Ａ、１４０Ｂを用いて障害物検知を行う場合にも適用され得る。本実施形態では、ＬｉＤＡＲセンサ１４０Ａ、１４０Ｂが用いられるが、他の方法で測距を行うセンサが用いられてもよい。例えば、図５に示されるカメラ１２０、または図７に示される複数のＧＮＳＳレシーバ１１０Ａ、１１０Ｂを用いた例と同様の方法を適用してもよい。ＬｉＤＡＲセンサに代えて、ステレオカメラまたはＴｏＦカメラ等の他の種類の測距センサが用いられてもよい。
　以上の実施形態では、トラクタなどの農業用の作業車両１００にセンシングシステムを適用した例を説明した。センシングシステムは、農業用の作業車両１００に限らず、他の用途、例えば、土木作業、建設作業、または除雪作業等に利用される作業車両において用いられてもよい。
　以上のように、本開示は、以下の項目に記載のシステムおよび方法を含む。
　［項目１］
　作業車両に取り付けられる第１測距センサと、
　前記作業車両に連結されるインプルメントに取り付けられる第２測距センサと、
　前記第１測距センサのセンシング範囲内に位置するマーカ部材と、
　処理装置と、
を備え、
　前記処理装置は、
　前記第１測距センサが前記マーカ部材を含む領域をセンシングすることによって生成した第１センサデータに基づいて、前記第１測距センサに対する前記第２測距センサの相対的な位置姿勢を推定し、
　推定した前記位置姿勢を示すデータを出力する、
　センシングシステム。
　［項目２］
　前記第２測距センサは、前記インプルメントに取り付けるための取付具を含み、前記インプルメントに外付けされる、項目１に記載のセンシングシステム。
　［項目３］
　前記マーカ部材は、前記第２測距センサに取り付けられている、項目１または２に記載のセンシングシステム。
　［項目４］
　前記処理装置は、前記第１センサデータ、および前記第２測距センサと前記マーカ部材との位置および向きの関係を示す情報に基づいて、前記第１測距センサに対する前記第２測距センサの前記相対的な位置姿勢を推定する、項目１から３のいずれかに記載のセンシングシステム。
　［項目５］
　前記処理装置は、推定した前記位置姿勢に基づいて、前記第２測距センサから出力された第２センサデータを、前記作業車両に固定された座標系で表現されたデータに変換して出力する、項目１から４のいずれかに記載のセンシングシステム。
　［項目６］
　前記第１測距センサは、前記第１センサデータを出力する第１ＬｉＤＡＲセンサを含み、
　前記第２測距センサは、第２センサデータを出力する第２ＬｉＤＡＲセンサを含み、
　前記マーカ部材は、前記第１ＬｉＤＡＲセンサから出射される光の反射率が前記マーカ部材における他の部分よりも高い１つ以上の反射部を含み、
　前記処理装置は、前記１つ以上の反射部の位置および／または形状に基づいて、前記第１測距センサに対する前記第２測距センサの前記相対的な位置姿勢を推定する、
　項目１から５のいずれかに記載のセンシングシステム。
　［項目７］
　前記処理装置は、推定した前記位置姿勢に基づいて、前記第２センサデータを、前記作業車両に固定された座標系で表現されたデータに変換し、前記第１センサデータと変換後の前記第２センサデータとに基づく点群データを生成して出力する、項目６に記載のセンシングシステム。
　［項目８］
　前記処理装置は、前記第１センサデータから、前記インプルメントおよび前記第２測距センサに相当する領域のデータを除去したデータと、変換後の前記第２センサデータとを合成することによって前記点群データを生成する、項目７に記載のセンシングシステム。
　［項目９］
　前記第１測距センサは、画像データを前記第１センサデータとして出力するイメージセンサを含み、
　前記処理装置は、前記第１センサデータが示す画像における前記マーカ部材に相当する領域の輝度分布または色分布に基づいて、前記第１測距センサに対する前記第２測距センサの相対的な位置姿勢を推定する、項目１から５のいずれかに記載のセンシングシステム。
　［項目１０］
　環境地図を記憶する記憶装置をさらに備え、
　前記処理装置は、推定した前記位置姿勢に基づいて、前記第２測距センサから出力された第２センサデータを、前記作業車両に固定された座標系で表現されたデータに変換し、
　変換後の前記第２センサデータに基づいて、前記作業車両の周辺の地物の分布を示す点群データを生成し、
　前記点群データと、前記環境地図とのマッチングにより、前記作業車両の位置を推定する、項目１から９のいずれかに記載のセンシングシステム。
　［項目１１］
　前記インプルメントは、前記作業車両の前部に連結され、
　前記第１測距センサは、前記作業車両の少なくとも前方をセンシングする、項目１から１０のいずれかに記載のセンシングシステム。
　［項目１２］
　項目１から１１のいずれかに記載のセンシングシステムを備えた農業機械。
　［項目１３］
　項目１から１１のいずれかに記載のセンシングシステムにおける前記第２測距センサとして用いられるセンシング装置であって、
　前記インプルメントに取り付けるための取付具を備え、前記インプルメントに外付けされる、
　センシング装置。
　［項目１４］
　作業車両に取り付けられる第１センシング装置と、
　前記作業車両に連結されるインプルメントに取り付けられる第２センシング装置と、
　前記インプルメントに取り付けられるマーカ部材と、
　前記第２センシング装置と前記マーカ部材との相対的な位置および向きの関係を示すデータを記憶する記憶装置と、
　処理装置と、
を備え、
　前記第２センシング装置は、ＬｉＤＡＲセンサを含み、
　前記処理装置は、
　前記第１センシング装置が前記マーカ部材を含む領域をセンシングすることによって生成した第１センサデータと、前記記憶装置に記憶された前記データとに基づいて、前記第１センシング装置に対する前記ＬｉＤＡＲセンサの相対的な位置姿勢を推定し、
　推定した前記位置姿勢を示すデータを出力する、
　センシングシステム。
　［項目１５］
　作業車両に取り付けられる第１ＧＮＳＳレシーバと、
　前記作業車両に連結されるインプルメントに取り付けられるＬｉＤＡＲセンサと、
　前記インプルメントに取り付けられる３つ以上の第２ＧＮＳＳレシーバと、
　処理装置と、
を備え、
　前記処理装置は、
　前記第１ＧＮＳＳレシーバによって受信された信号、および前記３つ以上の第２ＧＮＳＳレシーバによって受信された信号に基づいて、前記第１センシング装置に対する前記第２センシング装置の相対的な位置姿勢を推定し、
　推定した前記位置姿勢を示すデータを出力する、
　センシングシステム。
　本開示の技術は、インプルメントを用いて作業を行いながら走行する作業車両に適用することができる。例えば、前方または後方にインプルメントを装着した状態で農作業を行いながら自動走行を行うトラクタ等の作業車両に本開示の技術を適用することができる。
　１００・・・作業車両、１０１・・・車両本体、１０２・・・原動機、１０３・・・変速装置、１０４・・・車輪、１０５・・・キャビン、１０６・・・操舵装置、１０７・・・運転席、１０８・・・連結装置、１１０・・・ＧＮＳＳユニット、１１０Ａ、１１０Ｂ、１１１・・・ＧＮＳＳレシーバ、１１２・・・ＲＴＫレシーバ、１１５・・・慣性計測装置、１１６・・・処理回路、１２０・・・カメラ、１３０・・・障害物センサ、１４０・・・ＬｉＤＡＲセンサ、１４０Ａ・・・第１ＬｉＤＡＲセンサ、１４０Ｂ・・・第２ＬｉＤＡＲセンサ、１４８・・・マーカ部材、１４９・・・取付具、１５０・・・センサ群、１５２・・・ステアリングホイールセンサ、１５４・・・切れ角センサ、１５６・・・車軸センサ、１６０・・・制御システム、１７０・・・記憶装置、１８０・・・制御装置、１８１～１８４・・・ＥＣＵ、１９０・・・通信装置、２００・・・操作端末、２１０・・・操作スイッチ群、２４０・・・駆動装置、２５０・・・処理装置、３００・・・インプルメント、３４０・・・駆動装置、３８０・・・制御装置、３９０・・・通信装置

Claims (13)

  1. 　作業車両に取り付けられる第１測距センサと、
    　前記作業車両に連結されるインプルメントに取り付けられる第２測距センサと、
    　前記第１測距センサのセンシング範囲内に位置するマーカ部材と、
    　処理装置と、
    を備え、
    　前記処理装置は、
    　前記第１測距センサが前記マーカ部材を含む領域をセンシングすることによって生成した第１センサデータに基づいて、前記第１測距センサに対する前記第２測距センサの相対的な位置姿勢を推定し、
    　推定した前記位置姿勢を示すデータを出力する、
    　センシングシステム。
  2. 　前記第２測距センサは、前記インプルメントに取り付けるための取付具を含み、前記インプルメントに外付けされる、請求項１に記載のセンシングシステム。
  3. 　前記マーカ部材は、前記第２測距センサに取り付けられている、請求項１または２に記載のセンシングシステム。
  4. 　前記処理装置は、前記第１センサデータ、および前記第２測距センサと前記マーカ部材との位置および向きの関係を示す情報に基づいて、前記第１測距センサに対する前記第２測距センサの前記相対的な位置姿勢を推定する、請求項１または２に記載のセンシングシステム。
  5. 　前記処理装置は、推定した前記位置姿勢に基づいて、前記第２測距センサから出力された第２センサデータを、前記作業車両に固定された座標系で表現されたデータに変換して出力する、請求項１または２に記載のセンシングシステム。
  6. 　前記第１測距センサは、前記第１センサデータを出力する第１ＬｉＤＡＲセンサを含み、
    　前記第２測距センサは、第２センサデータを出力する第２ＬｉＤＡＲセンサを含み、
    　前記マーカ部材は、前記第１ＬｉＤＡＲセンサから出射される光の反射率が前記マーカ部材における他の部分よりも高い１つ以上の反射部を含み、
    　前記処理装置は、前記１つ以上の反射部の位置および／または形状に基づいて、前記第１測距センサに対する前記第２測距センサの前記相対的な位置姿勢を推定する、
    　請求項１または２に記載のセンシングシステム。
  7. 　前記処理装置は、推定した前記位置姿勢に基づいて、前記第２センサデータを、前記作業車両に固定された座標系で表現されたデータに変換し、前記第１センサデータと変換後の前記第２センサデータとに基づく点群データを生成して出力する、請求項６に記載のセンシングシステム。
  8. 　前記処理装置は、前記第１センサデータから、前記インプルメントおよび前記第２測距センサに相当する領域のデータを除去したデータと、変換後の前記第２センサデータとを合成することによって前記点群データを生成する、請求項７に記載のセンシングシステム。
  9. 　前記第１測距センサは、画像データを前記第１センサデータとして出力するイメージセンサを含み、
    　前記処理装置は、前記第１センサデータが示す画像における前記マーカ部材に相当する領域の輝度分布または色分布に基づいて、前記第１測距センサに対する前記第２測距センサの相対的な位置姿勢を推定する、請求項１または２に記載のセンシングシステム。
  10. 　環境地図を記憶する記憶装置をさらに備え、
    　前記処理装置は、推定した前記位置姿勢に基づいて、前記第２測距センサから出力された第２センサデータを、前記作業車両に固定された座標系で表現されたデータに変換し、
    　変換後の前記第２センサデータに基づいて、前記作業車両の周辺の地物の分布を示す点群データを生成し、
    　前記点群データと、前記環境地図とのマッチングにより、前記作業車両の位置を推定する、請求項１または２に記載のセンシングシステム。
  11. 　前記インプルメントは、前記作業車両の前部に連結され、
    　前記第１測距センサは、前記作業車両の少なくとも前方をセンシングする、請求項１または２に記載のセンシングシステム。
  12. 　請求項１に記載のセンシングシステムを備えた農業機械。
  13. 　請求項１に記載のセンシングシステムにおける前記第２測距センサとして用いられるセンシング装置であって、
    　前記インプルメントに取り付けるための取付具を備え、前記インプルメントに外付けされる、
    　センシング装置。
     
PCT/JP2023/019920 2022-05-31 2023-05-29 センシングシステム、農業機械、およびセンシング装置 WO2023234255A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-088213 2022-05-31
JP2022088213 2022-05-31

Publications (1)

Publication Number Publication Date
WO2023234255A1 true WO2023234255A1 (ja) 2023-12-07

Family

ID=89025076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/019920 WO2023234255A1 (ja) 2022-05-31 2023-05-29 センシングシステム、農業機械、およびセンシング装置

Country Status (1)

Country Link
WO (1) WO2023234255A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021036772A (ja) * 2019-08-30 2021-03-11 井関農機株式会社 作業車両
US20210144902A1 (en) * 2018-07-18 2021-05-20 Precision Planting Llc Systems and methods of working a field and determining a location of implements within a field
US20210176912A1 (en) * 2019-12-16 2021-06-17 Cnh Industrial America Llc System and method for assessing agricultural operation performance based on image data of processed and unprocessed portions of the field
US20210201531A1 (en) * 2019-12-31 2021-07-01 Trimble Inc. Pose estimation and applications using computer imaging
US20210230842A1 (en) * 2020-01-28 2021-07-29 Topcon Positioning Systems, Inc. System and method for controlling an implement on a work machine using machine vision
US20210255639A1 (en) * 2020-02-14 2021-08-19 Deere & Company Implement control of vehicle and implement combination
JP2021131684A (ja) * 2020-02-19 2021-09-09 株式会社フジタ 自律走行システム
JP2021185366A (ja) * 2018-03-29 2021-12-09 ヤンマーパワーテクノロジー株式会社 障害物検知システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021185366A (ja) * 2018-03-29 2021-12-09 ヤンマーパワーテクノロジー株式会社 障害物検知システム
US20210144902A1 (en) * 2018-07-18 2021-05-20 Precision Planting Llc Systems and methods of working a field and determining a location of implements within a field
JP2021036772A (ja) * 2019-08-30 2021-03-11 井関農機株式会社 作業車両
US20210176912A1 (en) * 2019-12-16 2021-06-17 Cnh Industrial America Llc System and method for assessing agricultural operation performance based on image data of processed and unprocessed portions of the field
US20210201531A1 (en) * 2019-12-31 2021-07-01 Trimble Inc. Pose estimation and applications using computer imaging
US20210230842A1 (en) * 2020-01-28 2021-07-29 Topcon Positioning Systems, Inc. System and method for controlling an implement on a work machine using machine vision
US20210255639A1 (en) * 2020-02-14 2021-08-19 Deere & Company Implement control of vehicle and implement combination
JP2021131684A (ja) * 2020-02-19 2021-09-09 株式会社フジタ 自律走行システム

Similar Documents

Publication Publication Date Title
EP3826449B1 (en) Vehicle controllers for agricultural and industrial applications
WO2022107588A1 (ja) 移動体、制御ユニット、データ生成ユニット、移動体の動作を制御する方法、およびデータを生成する方法
US20230288942A1 (en) Mobile machine, data generation unit, and method of generating data
JP2022099084A (ja) 農業機械、ならびに農業機械を制御するシステムおよび方法
EP4365809A1 (en) Agricultural machine control system and agriculture management system
WO2023119871A1 (ja) 自動走行を行う農業機械のための経路計画システムおよび経路計画方法
WO2023127391A1 (ja) 遠隔操作走行が可能な農業機械の走行制御システム
Adams Farm Machinery Automation for Tillage, Planting Cultivation, and Harvesting
WO2023234255A1 (ja) センシングシステム、農業機械、およびセンシング装置
WO2024004463A1 (ja) 走行制御システム、走行制御方法およびコンピュータプログラム
WO2023238827A1 (ja) 農業管理システム
WO2023127556A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023127557A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2024004486A1 (ja) 作業車両、制御方法および制御システム
WO2023243514A1 (ja) 作業車両、および作業車両の制御方法
WO2024004574A1 (ja) 作業車両、制御方法およびコンピュータプログラム
WO2023119996A1 (ja) 障害物検出システム、農業機械および障害物検出方法
WO2023248909A1 (ja) 走行制御システム、農業機械および走行制御方法
WO2023238724A1 (ja) 農業機械の自動走行のための経路生成システムおよび経路生成方法
US20240138282A1 (en) Management system for agricultural machines
WO2024004575A1 (ja) 作業車両、および作業車両の制御方法
WO2023218688A1 (ja) 地図作成システムおよび経路計画システム
WO2023243369A1 (ja) 映像表示システムおよび作業車両
US20240172577A1 (en) Control system for agricultural machine and agriculture management system
WO2023007836A1 (ja) 農業支援システムおよび農業支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23816012

Country of ref document: EP

Kind code of ref document: A1