WO2020240983A1 - 障害物判定システム及び自律走行システム - Google Patents

障害物判定システム及び自律走行システム Download PDF

Info

Publication number
WO2020240983A1
WO2020240983A1 PCT/JP2020/010147 JP2020010147W WO2020240983A1 WO 2020240983 A1 WO2020240983 A1 WO 2020240983A1 JP 2020010147 W JP2020010147 W JP 2020010147W WO 2020240983 A1 WO2020240983 A1 WO 2020240983A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
operation information
work machine
work
tractor
Prior art date
Application number
PCT/JP2020/010147
Other languages
English (en)
French (fr)
Inventor
雅人 安達
Original Assignee
ヤンマー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンマー株式会社 filed Critical ヤンマー株式会社
Priority to US17/614,506 priority Critical patent/US20220201923A1/en
Priority to KR1020217035737A priority patent/KR20220012843A/ko
Priority to EP20813687.9A priority patent/EP3977840A1/en
Priority to CN202080034683.6A priority patent/CN113825389A/zh
Publication of WO2020240983A1 publication Critical patent/WO2020240983A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/22—Agricultural vehicles
    • B60Y2200/221—Tractors

Definitions

  • the present invention mainly relates to an obstacle determination system that determines obstacles around a work vehicle.
  • the work vehicle of Patent Document 1 is provided with an obstacle sensor.
  • the obstacle sensor detects an obstacle existing in the obstacle detection range.
  • this work vehicle can perform work with a work machine (working device).
  • the work machine may be located within the obstacle detection range of the obstacle sensor. Therefore, this work vehicle has a masking function in order to prevent the work machine from being determined as an obstacle.
  • the masking function is a function that does not determine an obstacle in the masking range predetermined by the user in the obstacle detection range. By setting the range in which the work machine can be located as the masking range, it is possible to prevent the work machine from being determined as an obstacle.
  • the masking range is set too large, the range in which the obstacle sensor can detect obstacles becomes narrow. On the other hand, if the masking range is set too small, the work equipment may be detected as an obstacle.
  • the present invention has been made in view of the above circumstances, and a main object thereof is to make it difficult for the work machine to be erroneously determined as an obstacle and to determine the presence or absence of an obstacle in a wide range around the work vehicle. Is to provide an obstacle determination system capable of.
  • an obstacle determination system having the following configuration. That is, the obstacle determination system determines the presence or absence of obstacles around the work vehicle to which the work machine is attached.
  • This obstacle determination system includes an obstacle sensor, a creation unit, and a determination unit.
  • the obstacle sensor detects an obstacle and includes the working machine within the detection range.
  • the creating unit creates operation information indicating the movement of the working machine by detecting the working machine with the obstacle sensor while moving the working machine. Based on the operation information and the detection result of the obstacle sensor, the determination unit recognizes an object other than the work machine and determines the presence or absence of an obstacle.
  • the obstacle determination system can function regardless of the shape of the work equipment to be attached. Therefore, for example, even when the work machine is replaced with a new work machine, the shape of the work machine is changed, or a work tool or the like is attached to the work machine, the obstacle can be determined without any problem.
  • the obstacle determination system described above preferably has the following configuration. That is, the obstacle sensor can measure the distance to the object to be detected.
  • the creating unit creates the operation information without using the detection object whose measured distance is less than the threshold value and without using the detection object whose measured distance is greater than or equal to the threshold value.
  • the creation unit determines that the operation information created by the creation unit is different from the detection result of the work machine by the obstacle sensor during the work of the work vehicle. In this case, it is preferable to update the operation information based on the detection result.
  • the obstacle can be determined by using the corresponding operation information.
  • an autonomous traveling system including the above-mentioned obstacle determination system and having the following features. That is, the work vehicle can autonomously travel by using the positioning satellite system. It is possible to set whether to enable or disable obstacle determination during autonomous driving. When the obstacle determination is effective, the acquisition of the operation information is included as a start condition of autonomous driving. If the obstacle determination is invalid, the acquisition of the operation information is not included as a start condition for autonomous driving.
  • a block diagram showing the main configurations of an autonomous driving system including an obstacle determination system.
  • a flowchart showing a process of permitting autonomous driving after the preparation of operation information is completed.
  • a flowchart showing an obstacle determination The figure which shows the image which the rear camera detected when the obstacle in the part other than a work machine was detected at the time of obstacle determination.
  • the obstacle determination system of the present embodiment is applied to a work vehicle that performs autonomous traveling, and determines the presence or absence of obstacles around the work vehicle.
  • a system for autonomously traveling a work vehicle is referred to as an autonomous traveling system.
  • the autonomous traveling system autonomously travels one or a plurality of work vehicles in a field (traveling area) to execute all or a part of the work.
  • autonomous traveling means that at least steering is autonomously performed along a predetermined route by controlling the configuration related to traveling provided by the work vehicle by a control unit such as an ECU. ..
  • the vehicle speed or work by the working machine may be autonomously performed.
  • Autonomous driving includes a case where a person is on the work vehicle and a case where no person is on the work vehicle.
  • a tractor will be described as an example of a work vehicle.
  • the obstacle determination system of this embodiment can be applied to rice transplanters, combines, civil engineering / construction vehicles, snowplows, and the like.
  • the planting part for planting seedlings corresponds to a working machine
  • the cutting part for cutting grain culms corresponds to a working machine.
  • FIG. 1 is a side view showing the overall configuration of the tractor 1.
  • FIG. 2 is a block diagram showing a main configuration of an autonomous traveling system 100 including an obstacle determination system 200.
  • the tractor 1 shown in FIG. 1 is used in the autonomous traveling system 100.
  • the tractor 1 is configured to be operable based on an instruction received from the wireless communication terminal 70.
  • the tractor 1 includes a traveling machine body (body portion) 2 capable of autonomously traveling in the field.
  • a work machine 3 for performing agricultural work is detachably attached to the traveling machine body 2.
  • FIG. 1 shows an example in which a cultivator is attached as the working machine 3.
  • a cultivator 3b is arranged inside the cover 3a, and the cultivator 3b rotates around the vehicle width direction to cultivate the field.
  • the traveling body 2 of the tractor 1 is supported by a pair of left and right front wheels (wheels) 7 and 7 at its front portion and a pair of left and right rear wheels 8 and 8 at its rear portion. There is.
  • a bonnet 9 is arranged at the front of the traveling machine 2.
  • the engine 10 and the fuel tank (not shown), which are the drive sources of the tractor 1, are housed in the bonnet 9.
  • the engine 10 can be configured by, for example, a diesel engine, but is not limited to this, and may be configured by, for example, a gasoline engine. Further, as the drive source, an electric motor may be used in addition to or instead of the engine.
  • a cabin 11 for the user to board is arranged. Inside the cabin 11, a steering wheel (steering wheel) 12, a seat 13, a meter panel 14, a sub-display 15, and various operating tools for performing other operations are mainly provided. ..
  • the tractor 1 may or may not include the cabin 11.
  • the steering handle 12 is an operating tool for the user to steer.
  • the seat 13 is a place where a user who operates the tractor 1 or monitors autonomous traveling is seated.
  • the meter panel 14 can display a traveling speed, an engine rotation speed, a state of a working machine, a warning light, and the like.
  • the sub-display 15 can display information on autonomous traveling, information on the state of the tractor 1 or the work equipment 3, and the like.
  • the chassis 20 of the tractor 1 is provided in the lower part of the traveling machine body 2.
  • the chassis 20 is composed of an airframe frame 21, a transmission 22, a front axle 23, a rear axle 24, and the like.
  • the airframe frame 21 is a support member at the front portion of the tractor 1, and supports the engine 10 directly or via a vibration isolator or the like.
  • the transmission 22 changes the power from the engine 10 and transmits it to the front axle 23 and the rear axle 24.
  • the front axle 23 is configured to transmit the power input from the transmission 22 to the front wheels 7.
  • the rear axle 24 is configured to transmit the power input from the transmission 22 to the rear wheels 8.
  • the tractor 1 includes a control unit 4.
  • the control unit 4 is configured as a known computer, and includes an arithmetic unit such as a CPU (not shown), a storage device such as a non-volatile memory, an input / output unit, and the like.
  • the storage device stores various programs, data related to the control of the tractor 1, and the like.
  • the arithmetic unit can read various programs from the storage device and execute them.
  • the control unit 4 can be operated as a travel control unit 4a, a work machine control unit 4b, a creation unit 4c, a determination unit 4d, and a registration unit 4e.
  • the travel control unit 4a controls the travel (forward, reverse, stop, turn, etc.) of the traveling aircraft 2.
  • the work machine control unit 4b controls the operation (elevation, drive, stop, etc.) of the work machine 3.
  • the control unit 4 can also perform controls other than these (for example, analysis of captured images). Further, the control unit 4 may be composed of one computer or may be composed of a plurality of computers.
  • the travel control unit 4a performs vehicle speed control for controlling the vehicle speed of the tractor 1 and steering control for steering the tractor 1.
  • the control unit 4 controls at least one of the rotational speed of the engine 10 and the gear ratio of the transmission 22.
  • the engine 10 is provided with a governor device 41 provided with an actuator (not shown) for changing the rotation speed of the engine 10.
  • the travel control unit 4a can control the rotation speed of the engine 10 by controlling the governor device 41.
  • the engine 10 is provided with a fuel injection device 42 for adjusting the injection timing and injection amount of fuel for injection (supply) into the combustion chamber of the engine 10. By controlling the fuel injection device 42, the travel control unit 4a can, for example, stop the supply of fuel to the engine 10 and stop the driving of the engine 10.
  • the transmission 22 is provided with, for example, a transmission 43 which is a movable sloping plate type hydraulic continuously variable transmission.
  • the travel control unit 4a changes the gear ratio of the transmission 22 by changing the angle of the swash plate of the transmission 43 with an actuator (not shown). By performing the above processing, the tractor 1 is changed to the target vehicle speed.
  • the travel control unit 4a controls the rotation angle of the steering handle 12 when performing steering control.
  • a steering actuator 44 is provided in the middle of the rotation shaft (steering shaft) of the steering handle 12.
  • the control unit 4 calculates and obtains an appropriate rotation angle of the steering handle 12 so that the tractor 1 travels along the route.
  • the steering actuator 44 is driven so as to have a rotation angle, and the rotation angle of the steering handle 12 is controlled.
  • the work machine control unit 4b switches between driving and stopping the work machine 3 by controlling the PTO switch based on whether or not the work execution condition is satisfied. Further, the work machine control unit 4b controls the raising and lowering of the work machine 3. Specifically, the tractor 1 includes an elevating actuator 45 made of a hydraulic cylinder or the like in the vicinity of a three-point link mechanism that connects the working machine 3 to the traveling machine body 2. The work machine control unit 4b drives the elevating actuator 45 to appropriately raise and lower the work machine 3, so that the work machine 3 can perform work at a desired height.
  • the creation unit 4c, the determination unit 4d, and the registration unit 4e perform processing related to obstacle determination, which will be described later.
  • the tractor 1 provided with the control unit 4 as described above controls each part of the tractor 1 (traveling machine 2, working machine 3, etc.) by the control unit 4 without the user boarding in the cabin 11 and performing various operations. Then, the autonomous work can be performed while autonomously traveling in the field.
  • the tractor 1 of the present embodiment includes a positioning antenna 61, a wireless communication antenna 63, an inertial measurement unit 51, a vehicle speed sensor 52, a steering angle sensor 53, and the like.
  • the positioning antenna 61 receives a signal from a positioning satellite that constitutes a positioning system such as a satellite positioning system (GNSS).
  • the positioning signal received by the positioning antenna 61 is input to the position information acquisition unit 62 as the position detection unit shown in FIG.
  • the position information acquisition unit 62 calculates and acquires the position information of the traveling body 2 (strictly speaking, the positioning antenna 61) of the tractor 1 as latitude / longitude information, for example.
  • the position information acquired by the position information acquisition unit 62 is input to the control unit 4 and used for autonomous traveling.
  • a high-precision satellite positioning system using the GNSS-RTK method is used, but the present invention is not limited to this, and other positioning systems can be used as long as high-precision position coordinates can be obtained. May be good.
  • DGPS relative positioning method
  • SBAS geostationary satellite navigation augmentation system
  • the wireless communication antenna 63 is an antenna for exchanging data with the wireless communication terminal 70 operated by the user.
  • the signal from the wireless communication terminal 70 received by the wireless communication antenna 63 is signal-processed by the communication processing unit 64 shown in FIG. 2 and then input to the control unit 4. Further, the signal transmitted from the control unit 4 or the like to the wireless communication terminal 70 is signal-processed by the communication processing unit 64, then transmitted from the wireless communication antenna 63 and received by the wireless communication terminal 70.
  • the inertial measurement unit 51 is a sensor unit capable of specifying the posture, acceleration, etc. of the tractor 1 (traveling machine body 2). Specifically, the inertial measurement unit 51 includes a sensor group in which an angular velocity sensor and an acceleration sensor are attached to each of the first axis, the second axis, and the third axis orthogonal to each other.
  • the posture of the tractor 1 is, for example, a roll angle, a pitch angle, and a yaw angle of the tractor 1.
  • the positioning antenna 61, the position information acquisition unit 62, the wireless communication antenna 63, the communication processing unit 64, and the inertial measurement unit 51 constitute the antenna unit 6 shown in FIG. Further, the antenna unit 6 may further include an antenna for communicating with an external server or the like via a mobile communication line.
  • the above-mentioned vehicle speed sensor 52 detects the vehicle speed of the tractor 1, and is provided on, for example, the axle between the front wheels 7 and 7.
  • the detection result data obtained by the vehicle speed sensor 52 is output to the control unit 4.
  • the vehicle speed of the tractor 1 may be calculated based on the moving time of the tractor 1 at a predetermined distance based on the positioning antenna 61 without being detected by the vehicle speed sensor 52.
  • the steering angle sensor 53 is a sensor that detects the steering angles of the front wheels 7 and 7.
  • the steering angle sensor 53 is provided on a kingpin (not shown) provided on the front wheels 7 and 7.
  • the detection result data obtained by the steering angle sensor 53 is output to the control unit 4.
  • the steering angle sensor 53 may be provided on the steering shaft.
  • the tractor 1 includes a front camera 54, a rear camera 55, a front LiDAR 56, and a rear LiDAR 57 as obstacle sensors.
  • the front camera 54 captures the front of the tractor 1 and acquires an image (or moving image).
  • the rear camera 55 captures the rear of the tractor 1 and acquires an image (or moving image).
  • the image acquired here has color information (hue, saturation, and lightness) information set for each pixel.
  • the front camera 54 and the rear camera 55 are attached to, for example, the roof 5 of the tractor 1.
  • the images acquired by the front camera 54 and the rear camera 55 are transmitted from the wireless communication antenna 63 to the wireless communication terminal 70 by the communication processing unit 64.
  • the wireless communication terminal 70 that has received this image displays the contents on the screen.
  • the images acquired by the front camera 54 and the rear camera 55 are also used for obstacle determination (details will be described later).
  • the front LiDAR 56 detects the front of the tractor 1.
  • the rear LiDAR 57 detects the rear of the tractor 1.
  • LiDAR is a device that detects the presence or absence of surrounding objects by reflected light by irradiating with pulsed light. If there is an object, LiDAR detects the orientation and distance of the object based on the direction of the pulsed light when the reflected light is received and the time until the light is received. Based on this detection result, LiDAR creates surrounding data representing objects existing in the surroundings. Further, the front LiDAR 56 and the rear LiDAR 57 are attached to, for example, the roof 5 of the tractor 1. The surrounding data detected by the front LiDAR56 and the rear LiDAR57 is used for obstacle determination (details will be described later). There are various formats of surrounding data, but it can be in the format of a distance image.
  • the distance image is an image in which information on the distance from the LiDAR to the detection target is set for each pixel.
  • the wireless communication terminal 70 shown in FIG. 2 includes a display and a touch panel.
  • the wireless communication terminal 70 is a tablet terminal, but may be a smartphone, a notebook PC, or the like.
  • the tractor 1 side (for example, the control unit 4) may have the same function as the wireless communication terminal 70.
  • the user can refer to and confirm the information displayed on the display of the wireless communication terminal 70.
  • the user can operate a touch panel, a hardware key, or the like to transmit a control signal (for example, a pause signal or the like) for controlling the tractor 1 to the control unit 4 of the tractor 1.
  • the wireless communication terminal 70 can also create a route for autonomously traveling the tractor 1 based on the operation of the user.
  • the obstacle determination is performed by the obstacle determination system 200.
  • the obstacle determination system 200 is performed by an obstacle sensor (front camera 54, rear camera 55, front LiDAR56, rear LiDAR57) and a control unit 4 (particularly, a creation unit 4c, a determination unit 4d, a registration unit 4e). ..
  • the control unit 4 on the tractor 1 side performs arithmetic processing related to obstacle determination, but the wireless communication terminal 70 may perform at least a part of the processing.
  • the working machine 3 is attached to the rear of the tractor 1. Further, the working machine 3 is included in the detection range of the rear camera 55 and the rear LiDAR 57. Therefore, in the present embodiment, information for excluding the work machine 3 from the detection result of the obstacle sensor (hereinafter, operation information) is created and registered for each work machine 3. The flow of creating operation information will be described below.
  • the control unit 4 determines whether or not the operation information of the currently mounted work machine 3 has been registered, for example, after replacing the work machine 3, preparing for autonomous traveling, starting the tractor 1, or the like (S101). ..
  • the control unit 4 can recognize the currently mounted work machine 3 based on, for example, the information input by the operator. Alternatively, the control unit 4 may recognize the currently mounted work machine 3 by communicating with the work machine 3.
  • the control unit 4 ends the process because it is not necessary to create new operation information.
  • the control unit 4 displays that fact on, for example, the sub-display 15 or the like, and displays a screen prompting the registration of the operation information. Then, when it is determined that the instruction from the user to register the operation information has been received (S102), the operation information is registered. Specifically, the control unit 4 operates the work machine 3 based on the operation of the user or automatically (S103). Since it is necessary to actually operate the work machine 3 in order to register the operation information, the operation information is registered after the user's instruction in step S102 is given.
  • the operating working machine 3 is detected by an obstacle sensor (rear camera 55 and rear LiDAR 57 in this embodiment) (S104).
  • the detection by the obstacle sensor is performed at predetermined time intervals, and a plurality of color images or a plurality of distance images (ambient data) are acquired for one operation of the work machine 3.
  • the operation to be performed by the working machine 3 in step S103 differs depending on the working machine 3.
  • the work machine 3 is moved up and down.
  • the working machine 3 is openable / closable or rotatable, the working machine 3 is opened / closed or rotated.
  • the operation in which the area occupied by the working machine 3 does not change in the detection range of the obstacle sensor does not necessarily have to be performed in step S103.
  • it is preferable that all types of operations are detected by an obstacle sensor.
  • FIGS. 4 to 6 show images detected by the rear camera 55 when the working machine 3 as a cultivator is moved up and down.
  • FIG. 4 is an image detected by the rear camera 55 with the working machine 3 at the highest position.
  • FIG. 5 is an image detected by the rear camera 55 with the working machine 3 in the middle position.
  • FIG. 6 is an image detected by the rear camera 55 with the working machine 3 at the lowest position. In the present embodiment, only three images are shown for raising and lowering the working machine 3, but it is preferable that more images are acquired.
  • the work machine 3 to which the work tool 85 is attached is shown.
  • the work tool 85 is a tool for maintaining the tractor 1 or the work machine 3, a tool for performing work in the field, and the like.
  • the work tool 85 is not an accessory of the work machine 3, but is attached at the user's discretion.
  • the work tool 85 is not strictly a work machine 3, it is attached to the work machine 3 and operates integrally with the work machine 3. Therefore, in the obstacle judgment of the obstacle judgment system 200, one of the work machines 3 is used. Treated as a department.
  • the control unit 4 creates operation information based on the detection result obtained in step S104 (S105).
  • the operation information is information indicating how the work machine 3 is detected by the obstacle sensor when the work machine 3 operates.
  • the obstacle sensor is a camera
  • the extracted image obtained by extracting the working machine 3 from the color image acquired by the camera corresponds to the operation information.
  • the obstacle sensor is LiDAR
  • the extracted image obtained by extracting the working machine 3 from the distance image acquired by LiDAR corresponds to the operation information. Since the camera or LiDAR captures the working machine 3 in various states, there are basically a plurality of extracted images included in the operation information.
  • the tractor 1 may be included in the operation information.
  • the front obstacle sensor detects the front wheels 7, the front wheels 7 having different steering angles may be registered as operation information by, for example, operating the steering handle 12. Therefore, in the following description of the operation information, the portion described as “working machine 3" can be read as “working machine 3 and tractor 1" or the like.
  • a process of removing information other than the work machine 3 from the detection result (color image or distance image) of the obstacle sensor is performed.
  • a method of removing information other than the working machine 3 for example, there is a method of sorting according to a distance.
  • a method of estimating the distance of an object in an image has been proposed even if the image is acquired by a single camera.
  • the distance to the object can be detected based on the information of each pixel of the distance image. Since the work machine 3 is considered to be closer to the obstacle sensor than other objects, the operation information is created by using an object whose distance is less than the threshold value and without using an object whose distance is greater than or equal to the threshold value. it can.
  • an object for example, the truck 81 shown in FIG. 4, the building shown in the figure, etc.
  • operation information can be created for the work tool 3 including the work tool 85.
  • the work machine 3 may be specified by image recognition. That is, the work machine 3 included in the image can be specified by learning the images of various states of the various work machines 3 in advance and matching with the image detected by the camera as an obstacle sensor. .. Further, when a person can be recognized by image recognition, it is preferable to exclude the range in which the person appears from the extracted image even if the distance from the obstacle sensor to the person is short. Further, even for non-humans, if it is possible to recognize objects that are clearly different from the work machine 3 or the work tool 85, these objects may be excluded from the extracted image.
  • the control unit 4 registers the created operation information in the registration unit 4e in association with the information (identification information) for identifying the work machine 3 (S105).
  • the operation information Before registering the operation information, the operation information may be presented to the user to request confirmation. That is, since the operation information is a set of extracted images obtained by extracting the working machine 3 from the color image or the distance image, these extracted images are displayed on the sub-display 15 or the like. The user can confirm the operation information by looking at these extracted images. When an obstacle or the like appears in the extracted image, or when the entire working machine 3 does not appear in the extracted image, it is preferable to correct the operation information. Specifically, the user can modify the operation information by selecting a range that needs to be modified.
  • Obstacle determination by the obstacle determination system 200 is mainly performed during autonomous driving. Further, for example, when the user gets on the tractor 1 and determines the presence or absence of an obstacle by himself / herself, autonomous traveling is possible even if there is no obstacle determination by the obstacle determination system 200. Therefore, the obstacle determination by the obstacle determination system 200 can be switched between valid and invalid. In the present embodiment, when the obstacle determination by the obstacle determination system 200 is effective, autonomous driving is permitted only when the operation information is registered. Hereinafter, a specific description will be given.
  • the control unit 4 or the wireless communication terminal 70 determines whether or not the obstacle determination during autonomous travel is effective during preparations for autonomous travel (S201). When the obstacle determination is valid, the control unit 4 or the wireless communication terminal 70 determines whether or not the operation information of the currently mounted work machine 3 has been registered (S202). If the operation information is not registered, the obstacle determination cannot be performed properly. Therefore, the control unit 4 or the wireless communication terminal 70 requests the user to register the operation information (S203). The request to the user is made, for example, by displaying on the wireless communication terminal 70, the sub-display 15, or the like that autonomous driving cannot be started unless the operation information is registered.
  • the control unit 4 or the wireless communication terminal 70 has another autonomous travel start condition (for example, the tractor 1 is located at the start point). It is determined whether or not the condition is satisfied (S204). When other autonomous driving conditions are satisfied, the control unit 4 or the wireless communication terminal 70 permits autonomous driving (S205).
  • the control unit 4 determines whether or not the obstacle determination is valid (S301), and if it is valid, performs the following processing.
  • the determination unit 4d of the control unit 4 acquires the detection result of the obstacle sensor (S302).
  • the detection result (color image, distance image) acquired here includes the working machine 3.
  • the determination unit 4d specifies a range indicating the work machine 3 in the image of the detection result based on the operation information of the work machine 3 currently mounted. Specifically, the determination unit 4d matches the images of the plurality of working machines 3 registered as the operation information with the images of the detection results, so that the working machines 3 appearing in the images of the detection results. Can be identified.
  • the determination unit 4d determines whether or not an obstacle (tree, rock, building, person, etc.) exists in a range other than the work machine 3 in the image of the detection result (S304).
  • the determination unit 4d determines that there is an obstacle in a range other than the work machine 3
  • the determination unit 4d performs an obstacle handling process (S305).
  • the obstacle handling process is a process of warning the user, decelerating or stopping the tractor 1, and turning the tractor 1 to avoid obstacles.
  • the obstacle handling process may differ depending on the distance to the obstacle and the direction in which the obstacle is located.
  • the working machine 3 since the working machine 3 is operated to create the operation information, it is possible to determine the presence or absence of an obstacle only in the range excluding the working machine 3 for all the working machines 3. Further, even if the work tool 85 or the like is attached to the work machine 3, the work tool 85 or the like is not determined as an obstacle.
  • step S303 it is conceivable that the range of the work machine 3 cannot be specified based on the operation information. In this case, the process shown in FIG. 9 may be performed. The details will be described below.
  • control unit 4 calculates the degree of agreement between the work machine 3 appearing in the detection result of the obstacle sensor and the work machine 3 included in the operation information (S401). The higher the degree of agreement, the more reliably the working machine appearing in the detection result of the obstacle sensor can be identified.
  • the control unit 4 determines that the degree of coincidence is equal to or higher than the first threshold value (S402), the accuracy of identifying the working machine 3 appearing in the detection result of the obstacle sensor is sufficiently high, so that the obstacle determination of FIG. 8 is continued. (S403).
  • the control unit 4 determines whether or not the degree of agreement is equal to or less than the second threshold value ( ⁇ first threshold value) (S404).
  • the degree of coincidence is equal to or less than the second threshold value, the accuracy of identifying the working machine 3 appearing in the detection result of the obstacle sensor is too low, and the user is requested to re-register the operation information (S405).
  • the request to the user for example, since the attached working machine 3 and the working machine 3 of the operation information are different, it is displayed on the wireless communication terminal 70, the sub-display 15 or the like that the operation information needs to be re-registered. It is done by.
  • the control unit 4 asks the user whether or not the operation information needs to be corrected (S406).
  • control unit 4 determines that the user has instructed the correction (S407), the control unit 4 corrects the operation information based on the detection result of the obstacle sensor (S408).
  • the control unit 4 requests the user to re-register the operation information (S405).
  • the obstacle determination system 200 of the present embodiment determines the presence or absence of obstacles around the tractor 1 to which the work machine 3 is attached.
  • the obstacle determination system 200 includes obstacle sensors (front camera 54, rear camera 55, front LiDAR56, rear LiDAR57), a creation unit 4c, and a determination unit 4d.
  • the obstacle sensor detects an obstacle and includes the work machine 3 within the detection range.
  • the creating unit 4c creates operation information indicating the movement of the working machine 3 by detecting the working machine 3 with an obstacle sensor while moving the working machine 3.
  • the determination unit 4d recognizes an object other than the work machine 3 and determines the presence or absence of an obstacle based on the operation information and the detection result of the obstacle sensor.
  • the obstacle determination system 200 can be made to function regardless of the shape of the work machine 3 to be attached. Therefore, for example, even if the work machine 3 is replaced with a new work machine 3, the shape of the work machine 3 is changed, or the work tool 85 or the like is attached to the work machine 3, the obstacle determination can be performed without any problem. Can be done.
  • the obstacle sensor can measure the distance to the detection target.
  • the creation unit 4c creates operation information without using a detection object whose measured distance is less than the threshold value and without using a detection object whose measured distance is greater than or equal to the threshold value.
  • the obstacle determination system 200 of the present embodiment if the operation information created by the creation unit 4c and the detection result of the work machine 3 by the obstacle sensor during the work of the tractor 1 are different, it is based on the detection result. And update the operation information.
  • the autonomous traveling system 100 of the present embodiment includes an obstacle determination system 200. Further, the autonomous traveling system 100 enables the tractor 1 to autonomously travel by using the positioning satellite system. In the autonomous traveling system 100, it is possible to set whether to enable or disable obstacle determination during execution of autonomous traveling. If the obstacle determination is valid, the acquisition of motion information is included as a start condition for autonomous driving. If the obstacle determination is invalid, the acquisition of motion information is not included as a start condition for autonomous driving.
  • the work machine 3 is attached to the rear of the tractor 1, and the operation information is created so that the work machine 3 is not determined to be an obstacle.
  • a work machine 3 (for example, a front loader) can be attached to the tractor 1 in front of the tractor 1. Even in this case, by performing the same processing, it is possible to prevent the work machine 3 in front from being determined as an obstacle.
  • step S101 if the operation information has already been registered, no particular process is performed, but the user may be inquired whether to re-register the operation information.
  • a configuration including a camera and LiDAR as an obstacle sensor has been described as an example, but one of the camera and LiDAR may be omitted. Further, a sensor other than the camera and LiDAR (for example, an infrared sensor or sonar) can be used as an obstacle sensor.
  • a sensor other than the camera and LiDAR for example, an infrared sensor or sonar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)

Abstract

障害物判定システムは、作業機が取り付けられた作業車両の周囲の障害物の有無を判定する。この障害物判定システムは、障害物センサと、作成部と、判定部と、を備える。障害物センサは、障害物を検出するとともに検出範囲内に作業機が含まれている。作成部は、作業機を動かしながら当該作業機を障害物センサで検出することで、当該作業機の動きを示す動作情報を作成する。判定部は、動作情報と、障害物センサの検出結果と、に基づいて、作業機以外の物体を認識して障害物の有無を判定する。

Description

障害物判定システム及び自律走行システム
　本発明は、主として、作業車両の周囲の障害物の判定を行う障害物判定システムに関する。
　特許文献１の作業車両には、障害物センサが設けられている。障害物センサは、障害物検出範囲に存在する障害物を検出する。また、この作業車両は、作業機（作業装置）により作業を行うことが可能である。また、障害物センサの障害物検出範囲に、作業機が位置することがある。そのため、この作業車両では、作業機が障害物と判定されることを防止するため、マスキング機能を有する。マスキング機能とは、障害物検出範囲のうちユーザが予め定めたマスキング範囲については、障害物の判定を行わない機能である。作業機が位置し得る範囲をマスキング範囲に設定することで、作業機が障害物と判定されることが抑制される。
特開２０１８－１１３９３７号公報
　しかし、マスキング範囲を大きく設定し過ぎると、障害物センサが障害物を検出可能な範囲が狭くなる。一方で、マスキング範囲を小さく設定し過ぎると作業機が障害物として検出される可能性がある。
　本発明は以上の事情に鑑みてされたものであり、その主要な目的は、作業機が障害物と誤判定されにくくするとともに、作業車両の周囲の広い範囲について障害物の有無を判定することが可能な障害物判定システムを提供することにある。
課題を解決するための手段及び効果
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
　本発明の第１の観点によれば、以下の構成の障害物判定システムが提供される。即ち、障害物判定システムは、作業機が取り付けられた作業車両の周囲の障害物の有無を判定する。この障害物判定システムは、障害物センサと、作成部と、判定部と、を備える。前記障害物センサは、障害物を検出するとともに検出範囲内に前記作業機が含まれている。前記作成部は、前記作業機を動かしながら当該作業機を前記障害物センサで検出することで、当該作業機の動きを示す動作情報を作成する。前記判定部は、前記動作情報と、前記障害物センサの検出結果と、に基づいて、前記作業機以外の物体を認識して障害物の有無を判定する。
　これにより、作業機が障害物と誤認識される可能性を低くしつつ、かつ、作業車両の周囲の広い範囲について障害物の有無を判定することができる。従って、障害物の検出精度を高くすることができる。また、取り付ける作業機の形状に関係なく、障害物判定システムを機能させることができる。そのため、例えば、新たな作業機に交換されたり、作業機の形状が変更されたり、作業機に作業道具等が取り付けられたりした場合等においても、問題なく障害物判定を行うことができる。
　前記の障害物判定システムにおいては、以下の構成とすることが好ましい。即ち、前記障害物センサは、検出対象物までの距離を測定可能である。前記作成部は、測定した距離が閾値未満の前記検出対象物を用いるとともに、測定した距離が閾値以上の前記検出対象物を用いることなく前記動作情報を作成する。
　これにより、動作情報の作成時において、作業車両から遠い位置に物体が存在していた場合でも、適切な動作情報を作成できる。
　前記の障害物判定システムにおいては、前記作成部は、当該作成部が作成した前記動作情報と、前記作業車両の作業中において前記障害物センサによる前記作業機の検出結果と、が異なると判定した場合、当該検出結果に基づいて、前記動作情報を更新することが好ましい。
　これにより、作業機の形状が若干変化したり、作業機に別の物が新たに取り付けられたりした場合においても、それに応じた動作情報を用いて障害物の判定を行うことができる。
　本発明の第２の観点によれば、前記の障害物判定システムを備え、以下の特徴を有する自律走行システムが提供される。即ち、前記作業車両は、測位衛星システムを利用して自律走行することが可能である。自律走行の実行中における障害物判定の有効又は無効を設定可能である。障害物判定が有効である場合は、前記動作情報の取得を、自律走行の開始条件として含める。障害物判定が無効である場合は、前記動作情報の取得を、自律走行の開始条件として含めない。
　これにより、動作情報を取得した状態で自律走行を行うことをユーザに促すことができる。
本発明の一実施形態に係る障害物判定システムが適用されるトラクタの全体的な構成を示す側面図。 障害物判定システムを含む自律走行システムの主要な構成を示すブロック図。 障害物判定で用いる動作情報を作成する処理を示すフローチャート。 作業機が最も高い位置にある状態でリアカメラが検出した画像を示す図。 作業機が中途位置にある状態でリアカメラが検出した画像を示す図。 作業機が最も低い位置にある状態でリアカメラが検出した画像を示す図。 動作情報の準備が完了した後に自律走行を許可する処理を示すフローチャート。 障害物判定を示すフローチャート。 障害物判定時において、作業機以外の部分にある障害物を検出した際にリアカメラが検出した画像を示す図。
　次に、本発明の実施形態について説明する。本実施形態の障害物判定システムは、自律走行を行う作業車両に適用されており、作業車両の周囲の障害物の有無を判定する。また、以下の説明では、作業車両を自律走行させるシステムを自律走行システムと称する。自律走行システムは、圃場（走行領域）で１台又は複数台の作業車両を自律的に走行させて、作業の全部又は一部を実行させるものである。本明細書において自律走行とは、作業車両が備える走行に関する構成がＥＣＵ等の制御部により制御されることで、予め定められた経路に沿うように少なくとも操舵が自律的に行われることを意味する。また、操舵に加え、車速又は作業機による作業等が自律的に行われる構成であってもよい。自律走行には、作業車両に人が乗っている場合と、作業車両に人が乗っていない場合が含まれる。
　本実施形態では、作業車両としてトラクタを例にして説明する。なお、トラクタ以外に、田植機、コンバイン、土木・建設車両、除雪車等にも本実施形態の障害物判定システムを適用可能である。例えば田植機の場合は苗を植え付ける植付部が作業機に相当し、コンバインの場合は穀稈を刈り取る刈取部が作業機に相当する。
　次に、図１及び図２を参照して自律走行システム１００について具体的に説明する。図１は、トラクタ１の全体的な構成を示す側面図である。図２は、障害物判定システム２００を含む自律走行システム１００の主要な構成を示すブロック図である。
　図１に示すトラクタ１は、自律走行システム１００で用いられる。トラクタ１は、無線通信端末７０から受信した指示に基づいて動作可能に構成されている。トラクタ１は、圃場内を自律走行することが可能な走行機体（車体部）２を備える。走行機体２には、例えば農作業を行うための作業機３が着脱可能に取り付けられている。
　この作業機３としては、例えば、耕耘機、プラウ、施肥機、草刈機、播種機等の種々の作業機があり、これらの中から選択された作業機３が走行機体２に装着される。図１には、作業機３として耕耘機が取り付けられた例が示されている。耕耘機はカバー３ａの内側に耕耘爪３ｂが配置されており、この耕耘爪３ｂが車幅方向を回転中心として回転することによって圃場を耕耘する。
　トラクタ１の構成について、図１を参照してより詳細に説明する。トラクタ１の走行機体２は、図１に示すように、その前部が左右１対の前輪（車輪）７，７で支持され、その後部が左右１対の後輪８，８で支持されている。
　走行機体２の前部にはボンネット９が配置されている。このボンネット９内には、トラクタ１の駆動源であるエンジン１０及び燃料タンク（図略）が収容されている。このエンジン１０は、例えばディーゼルエンジンにより構成することができるが、これに限るものではなく、例えばガソリンエンジンにより構成してもよい。また、駆動源としては、エンジンに加えて、又はこれに代えて、電気モータを使用してもよい。
　ボンネット９の後方には、ユーザが搭乗するためのキャビン１１が配置されている。このキャビン１１の内部には、ステアリングハンドル（操舵具）１２と、座席１３と、メータパネル１４と、サブディスプレイ１５と、その他の操作を行うための様々な操作具と、が主として設けられている。トラクタ１は、キャビン１１を備えていてもよいし、キャビン１１を備えていなくてもよい。
　ステアリングハンドル１２は、ユーザが操舵を行うための操作具である。座席１３は、トラクタ１を操作したり自律走行を監視したりするユーザが着座する箇所である。メータパネル１４は、走行速度、エンジン回転速度、作業機の状態、警告灯等を表示可能である。サブディスプレイ１５は、自律走行に関する情報、トラクタ１又は作業機３の状態に関する情報等を表示可能である。
　図１に示すように、走行機体２の下部には、トラクタ１のシャーシ２０が設けられている。当該シャーシ２０は、機体フレーム２１、トランスミッション２２、フロントアクスル２３、及びリアアクスル２４等から構成されている。
　機体フレーム２１は、トラクタ１の前部における支持部材であって、直接、又は防振部材等を介してエンジン１０を支持している。トランスミッション２２は、エンジン１０からの動力を変化させてフロントアクスル２３及びリアアクスル２４に伝達する。フロントアクスル２３は、トランスミッション２２から入力された動力を前輪７に伝達するように構成されている。リアアクスル２４は、トランスミッション２２から入力された動力を後輪８に伝達するように構成されている。
　図２に示すように、トラクタ１は、制御部４を備える。制御部４は公知のコンピュータとして構成されており、図示しないＣＰＵ等の演算装置、不揮発性メモリ等の記憶装置、及び入出力部等を備える。記憶装置には、各種のプログラム及びトラクタ１の制御に関するデータ等が記憶されている。演算装置は、各種のプログラムを記憶装置から読み出して実行することができる。上記のハードウェアとソフトウェアの協働により、制御部４を走行制御部４ａ、作業機制御部４ｂ、作成部４ｃ、判定部４ｄ、登録部４ｅとして動作させることができる。
　走行制御部４ａは、走行機体２の走行（前進、後進、停止及び旋回等）を制御する。作業機制御部４ｂは、作業機３の動作（昇降、駆動及び停止等）を制御する。なお、制御部４は、これら以外の制御（例えば撮影した画像の解析等）を行うこともできる。また、制御部４は、１つのコンピュータから構成されていてもよいし、複数のコンピュータから構成されていてもよい。
　走行制御部４ａは、トラクタ１の車速を制御する車速制御と、トラクタ１を操舵する操舵制御と、を行う。制御部４は、車速制御を行う場合、エンジン１０の回転速度及びトランスミッション２２の変速比の少なくとも一方を制御する。
　具体的には、エンジン１０には、当該エンジン１０の回転速度を変更させる図略のアクチュエータを備えたガバナ装置４１が設けられている。走行制御部４ａは、ガバナ装置４１を制御することで、エンジン１０の回転速度を制御することができる。また、エンジン１０には、エンジン１０の燃焼室内に噴射（供給）するための燃料の噴射時期・噴射量を調整する燃料噴射装置４２が付設されている。走行制御部４ａは、燃料噴射装置４２を制御することで、例えばエンジン１０への燃料の供給を停止させ、エンジン１０の駆動を停止させることができる。
　また、トランスミッション２２には、例えば可動斜板式の油圧式無段変速装置である変速装置４３が設けられている。走行制御部４ａは、変速装置４３の斜板の角度を図略のアクチュエータによって変更することで、トランスミッション２２の変速比を変更する。以上の処理を行うことにより、トラクタ１が目標の車速に変更される。
　走行制御部４ａは、操舵制御を行う場合、ステアリングハンドル１２の回動角度を制御する。具体的には、ステアリングハンドル１２の回転軸（ステアリングシャフト）の中途部には、操舵アクチュエータ４４が設けられている。この構成で、予め定められた経路をトラクタ１が走行する場合、制御部４は、当該経路に沿ってトラクタ１が走行するようにステアリングハンドル１２の適切な回動角度を計算し、得られた回動角度となるように操舵アクチュエータ４４を駆動し、ステアリングハンドル１２の回動角度を制御する。
　作業機制御部４ｂは、作業実行条件を満たすか否かに基づいて、ＰＴＯスイッチを制御することで、作業機３の駆動と停止を切り替える。また、作業機制御部４ｂは、作業機３の昇降を制御する。具体的には、トラクタ１は、作業機３を走行機体２に連結している３点リンク機構の近傍に、油圧シリンダ等からなる昇降アクチュエータ４５を備えている。作業機制御部４ｂが昇降アクチュエータ４５を駆動して作業機３を適宜に昇降動作させることにより、所望の高さで作業機３による作業を行うことができる。
　作成部４ｃ、判定部４ｄ、登録部４ｅは、後述の障害物判定に関する処理を行う。
　上述のような制御部４を備えるトラクタ１は、ユーザがキャビン１１内に搭乗して各種操作をしなくとも、当該制御部４によりトラクタ１の各部（走行機体２、作業機３等）を制御して、圃場内を自律走行しながら自律作業を行うことができる。
　次に、自律走行を行うために必要な情報を取得する構成について説明する。具体的には、本実施形態のトラクタ１は、図２等に示すように、測位用アンテナ６１、無線通信用アンテナ６３、慣性計測装置５１、車速センサ５２、及び舵角センサ５３等を備える。
　測位用アンテナ６１は、例えば衛星測位システム（ＧＮＳＳ）等の測位システムを構成する測位衛星からの信号を受信するものである。測位用アンテナ６１で受信された測位信号は、図２に示す位置検出部としての位置情報取得部６２に入力される。位置情報取得部６２は、トラクタ１の走行機体２（厳密には、測位用アンテナ６１）の位置情報を、例えば緯度・経度情報として算出し、取得する。当該位置情報取得部６２で取得された位置情報は、制御部４に入力されて、自律走行に利用される。
　なお、本実施形態ではＧＮＳＳ－ＲＴＫ法を利用した高精度の衛星測位システムが用いられているが、これに限るものではなく、高精度の位置座標が得られる限りにおいて他の測位システムを用いてもよい。例えば、相対測位方式（ＤＧＰＳ）、又は静止衛星型衛星航法補強システム（ＳＢＡＳ）を使用することが考えられる。
　無線通信用アンテナ６３は、ユーザが操作する無線通信端末７０との間でデータをやり取りするためのアンテナである。無線通信用アンテナ６３で受信した無線通信端末７０からの信号は、図２に示す通信処理部６４で信号処理された後、制御部４に入力される。また、制御部４等から無線通信端末７０に送信する信号は、通信処理部６４で信号処理された後、無線通信用アンテナ６３から送信されて無線通信端末７０で受信される。
　慣性計測装置５１は、トラクタ１（走行機体２）の姿勢や加速度等を特定することが可能なセンサユニットである。具体的には、慣性計測装置５１は、互いに直交する第１軸、第２軸、及び第３軸のそれぞれに対して、角速度センサと加速度センサとを取り付けたセンサ群を備える。なお、トラクタ１の姿勢とは、例えば、トラクタ１のロール角、ピッチ角、及びヨー角である。
　また、測位用アンテナ６１、位置情報取得部６２、無線通信用アンテナ６３、通信処理部６４、及び慣性計測装置５１は、図１に示すアンテナユニット６を構成している。また、アンテナユニット６には、携帯通信回線を介して外部のサーバ等と通信するためのアンテナが更に含まれていてもよい。
　上記の車速センサ５２は、トラクタ１の車速を検出するものであり、例えば前輪７，７の間の車軸に設けられる。車速センサ５２で得られた検出結果のデータは、制御部４へ出力される。なお、トラクタ１の車速は車速センサ５２で検出せずに、測位用アンテナ６１に基づいて所定距離におけるトラクタ１の移動時間に基づいて算出してもよい。
　舵角センサ５３は、前輪７，７の舵角を検出するセンサである。本実施形態において、舵角センサ５３は前輪７，７に設けられた図示しないキングピンに備えられている。舵角センサ５３で得られた検出結果のデータは、制御部４へ出力される。なお、舵角センサ５３をステアリングシャフトに備える構成としてもよい。
　また、トラクタ１は、障害物センサとして、フロントカメラ５４、リアカメラ５５、フロントＬｉＤＡＲ５６、及びリアＬｉＤＡＲ５７を備える。
　フロントカメラ５４はトラクタ１の前方を撮影して、画像（又は動画）を取得する。リアカメラ５５はトラクタ１の後方を撮影して、画像（又は動画）を取得する。ここで取得される画像は、画素毎に色情報（色相、彩度、及び明度）の情報が設定されたものである。フロントカメラ５４及びリアカメラ５５は、例えばトラクタ１のルーフ５に取り付けられている。フロントカメラ５４及びリアカメラ５５が取得した画像は、通信処理部６４により、無線通信用アンテナ６３から無線通信端末７０に送信される。この画像を受信した無線通信端末７０は、その内容を画面に表示する。また、フロントカメラ５４及びリアカメラ５５が取得した画像は、障害物判定にも用いられる（詳細は後述）。
　フロントＬｉＤＡＲ５６は、トラクタ１の前方を検出する。リアＬｉＤＡＲ５７は、トラクタ１の後方を検出する。ＬｉＤＡＲとは、パルス光を照射することで、周囲の物体の有無を反射光により検出する装置である。物体がある場合は、ＬｉＤＡＲは、反射光を受光したときのパルス光の向きと、受光までの時間と、に基づいて、当該物体の方位と距離を検出する。ＬｉＤＡＲは、この検出結果に基づいて、周囲に存在する物体を表す周囲データを作成する。また、フロントＬｉＤＡＲ５６及びリアＬｉＤＡＲ５７は、例えばトラクタ１のルーフ５に取り付けられている。フロントＬｉＤＡＲ５６及びリアＬｉＤＡＲ５７が検出した周囲データは、障害物判定に用いられる（詳細は後述）。周囲データの形式は様々であるが、距離画像の形式とすることができる。距離画像とは、画素毎に、ＬｉＤＡＲから検出対象物までの距離の情報を設定した画像である。
　図２に示す無線通信端末７０は、ディスプレイ及びタッチパネルを備える。無線通信端末７０は、タブレット端末であるが、スマートフォン又はノートＰＣ等であってもよい。なお、トラクタ１にユーザが搭乗した状態でトラクタ１に自律走行を行わせる場合は、トラクタ１側（例えば制御部４）に無線通信端末７０と同じ機能を持たせてもよい。ユーザは、無線通信端末７０のディスプレイに表示された情報を参照して確認することができる。また、ユーザは、タッチパネル又はハードウェアキー等を操作して、トラクタ１の制御部４に、トラクタ１を制御するための制御信号（例えば、一時停止信号等）を送信することができる。また、無線通信端末７０は、ユーザの操作に基づいて、トラクタ１を自律走行させるための経路を作成することもできる。
　次に、図３から図９を参照して、障害物判定について説明する。障害物判定は、障害物判定システム２００によって行われる。障害物判定システム２００は、障害物センサ（フロントカメラ５４、リアカメラ５５、フロントＬｉＤＡＲ５６、リアＬｉＤＡＲ５７）と、制御部４（特に、作成部４ｃ、判定部４ｄ、登録部４ｅ）と、によって行われる。本実施形態では、トラクタ１側の制御部４が障害物判定に関する演算処理を行うが、少なくとも一部の処理を無線通信端末７０が行ってもよい。
　初めに、図３から図６を参照して、障害物判定を行うための事前処理について説明する。以下では、トラクタ１の後方の障害物判定について説明するが、後述するように、トラクタ１の前方においても同様の障害物判定を行うことが可能である。
　本実施形態では、作業機３がトラクタ１の後方に取り付けられている。また、リアカメラ５５及びリアＬｉＤＡＲ５７の検出範囲に作業機３が含まれている。そのため、本実施形態では、障害物センサの検出結果から作業機３を除くための情報（以下、動作情報）が作業機３毎に作成されて登録される。以下、動作情報の作成に関する流れについて説明する。
　制御部４は、例えば作業機３の交換後、自律走行の準備中、トラクタ１の起動後等において、現在装着中の作業機３について、動作情報が登録済みか否かを判定する（Ｓ１０１）。制御部４は、例えばオペレータが入力した情報に基づいて、現在装着されている作業機３を認識できる。あるいは、制御部４は、作業機３と通信を行うことにより、現在装着されている作業機３を認識してもよい。制御部４は、現在装着中の作業機３に動作情報が登録済みである場合、新たな動作情報の作成は不要であるため、処理を終了する。
　制御部４は、現在装着中の作業機３に動作情報が登録されていない場合、例えばサブディスプレイ１５等にその旨を表示して、動作情報の登録を促す画面を表示する。そして、動作情報の登録を行う旨のユーザからの指示を受信したと判定した場合（Ｓ１０２）、動作情報の登録を行う。具体的には、制御部４は、ユーザの操作に基づいて又は自動で作業機３を動作させる（Ｓ１０３）。なお、動作情報の登録には、作業機３を実際に動作させる必要があるため、ステップＳ１０２のユーザの指示があった後に動作情報の登録を行うこととしている。
　また、ステップＳ１０３で作業機３を動作させている間において、動作中の作業機３を障害物センサ（本実施形態ではリアカメラ５５及びリアＬｉＤＡＲ５７）で検出する（Ｓ１０４）。障害物センサによる検出は所定の時間間隔で行われ、作業機３の１つの動作につき、複数の色画像又は複数の距離画像（周囲データ）が取得される。
　ここで、ステップＳ１０３において作業機３に行わせる動作は、作業機３によって異なる。例えば耕耘機のように昇降可能な作業機３の場合、作業機３を昇降させる。また、作業機３が開閉可能であったり、回転可能であったりする場合、作業機３を開閉又は回転させる。一方で、障害物センサの検出範囲において作業機３が占める領域が変化しない動作（例えば耕耘爪３ｂの回転）については、ステップＳ１０３において必ずしも行う必要がない。言い換えれば、障害物センサの検出範囲において作業機３が占める領域が変化する動作を行って、障害物センサで検出すれば十分である。なお、複数種類の動作を行う作業機３については、全ての種類の動作を障害物センサで検出することが好ましい。
　図４から図６には、耕耘機としての作業機３を昇降させた際に、リアカメラ５５が検出した画像が示されている。図４は、作業機３が最も高い位置にある状態でリアカメラ５５が検出した画像である。図５は、作業機３が中途位置にある状態でリアカメラ５５が検出した画像である。図６は、作業機３が最も低い位置にある状態でリアカメラ５５が検出した画像である。本実施形態では、作業機３の昇降について、３枚の画像のみが示されているが、より多くの画像が取得されることが好ましい。
　また、これらの図には、作業道具８５が取り付けられた作業機３が示されている。作業道具８５は、トラクタ１又は作業機３をメンテナンスするための道具、又は、圃場で作業を行うための道具等である。作業道具８５は、作業機３の付属品ではなく、ユーザの判断で取り付けた物である。作業道具８５は厳密には作業機３ではないが、作業機３に取り付けられており、作業機３と一体的に動作するため、障害物判定システム２００の障害物判定では、作業機３の一部として取り扱われる。
　次に、制御部４（作成部４ｃ）は、ステップＳ１０４で得られた検出結果に基づいて、動作情報を作成する（Ｓ１０５）。動作情報は、作業機３が動作した際に、当該作業機３が障害物センサによってどのように検出されているかを示す情報である。障害物センサがカメラの場合、例えば、カメラが取得した色画像から作業機３を抽出した抽出画像が動作情報に該当する。また、障害物センサがＬｉＤＡＲの場合も、例えば、ＬｉＤＡＲが取得した距離画像から作業機３を抽出した抽出画像が動作情報に該当する。カメラ又はＬｉＤＡＲは、様々な状態の作業機３を撮影しているため、動作情報に含まれる抽出画像も基本的には複数である。
　なお、仮に、カメラ又はＬｉＤＡＲが作業機３だけでなく、トラクタ１（前輪７、後輪８、ボンネット９等）を検出している場合は、当該トラクタ１を動作情報に含めてもよい。特に、前方の障害物センサが前輪７を検出している場合、例えばステアリングハンドル１２を動作させることで、舵角が異なる前輪７を動作情報として登録してもよい。従って、以下の動作情報の説明において、「作業機３」と記載されている箇所を「作業機３及びトラクタ１」等と読み替えることもできる。
　動作情報の作成時において、障害物センサの検出結果（色画像又は距離画像）から、作業機３以外の情報を取り除く処理が行われる。作業機３以外の情報を取り除く方法としては、例えば距離に応じて選別を行う方法がある。近年では、単一のカメラで取得した画像であっても、画像内の対象物の距離を推定する方法が提案されている。また、ＬｉＤＡＲであれば、距離画像の各画素の情報に基づいて、対象物までの距離を検出できる。作業機３は、他の対象物よりも障害物センサに近いと考えられるので、距離が閾値未満の対象物を用いて、かつ、距離が閾値以上の対象物を用いずに、動作情報を作成できる。これにより、障害物センサからの距離が閾値以上の遠い位置にある対象物（例えば図４に示すトラック８１や、図略の建物等）を動作情報から除外することができる。なお、上述した作業道具８５については、障害物センサまでの距離が作業機３と同じであるため、作業道具８５を含めた作業機３について、動作情報を作成できる。
　また、障害物センサがカメラの場合、画像認識によって作業機３を特定してもよい。即ち、様々な作業機３の様々な状態の画像を予め学習しておき、障害物センサとしてのカメラが検出した画像とのマッチング等を行うことで、当該画像に含まれる作業機３を特定できる。また、画像認識により、人を認識可能である場合、仮に障害物センサから人までの距離が近い場合でも、人が表れている範囲を抽出画像から除外することが好ましい。また、人以外についても、明らかに作業機３又は作業道具８５等とは異なる物を認識可能であれば、これらの物を抽出画像から除外してもよい。
　制御部４は、作成した動作情報を、作業機３を特定するための情報（識別情報）と対応付けて、登録部４ｅに登録する（Ｓ１０５）。
　なお、動作情報の登録前に、動作情報をユーザに提示して確認を要求してもよい。つまり、動作情報は、色画像又は距離画像から作業機３を抽出した抽出画像の集合であるため、これらの抽出画像をサブディスプレイ１５等に表示する。ユーザは、これらの抽出画像を見ることで、動作情報を確認できる。なお、障害物等が抽出画像に表れている場合や、作業機３の全体が抽出画像に表れていない場合、動作情報を修正することが好ましい。具体的には、ユーザは、修正が必要な範囲を選択すること等により、動作情報を修正可能である。
　次に、図７を参照して、動作情報の登録の有無に基づいて、自律走行の開始を許可するか否か判定する処理について説明する。
　障害物判定システム２００による障害物判定は、主として自律走行中に行われる。また、例えばユーザがトラクタ１に乗車して自ら障害物の有無を判断する場合等は、障害物判定システム２００による障害物判定がなくとも、自律走行が可能である。従って、障害物判定システム２００による障害物判定は、有効又は無効を切替可能となっている。本実施形態では、障害物判定システム２００による障害物判定が有効である場合は、動作情報が登録されている場合にのみ、自律走行が許可される。以下、具体的に説明する。
　制御部４又は無線通信端末７０は、自律走行の準備中等において、自律走行中の障害物判定が有効か否かを判定する（Ｓ２０１）。障害物判定が有効である場合、制御部４又は無線通信端末７０は、現在装着中の作業機３の動作情報が登録済みか否かを判定する（Ｓ２０２）。動作情報が登録されていない場合は、障害物判定を適切に行うことができない。従って、制御部４又は無線通信端末７０は、動作情報の登録をユーザに要請する（Ｓ２０３）。ユーザへの要請は、例えば、動作情報を登録しないと自律走行が開始できないことを無線通信端末７０又はサブディスプレイ１５等に表示することで行われる。
　動作情報が登録された場合、又は、ステップＳ２０１で障害物判定が無効である場合、制御部４又は無線通信端末７０は、他の自律走行の開始条件（例えば、トラクタ１がスタート地点に位置していること）を満たすか否かを判定する（Ｓ２０４）。他の自律走行条件を満たす場合、制御部４又は無線通信端末７０は、自律走行を許可する（Ｓ２０５）。
　次に、図８を参照して、障害物判定システム２００による障害物判定について説明する。
　制御部４は、障害物判定が有効か否かを判定し（Ｓ３０１）、有効である場合に、以下の処理を行う。初めに、制御部４の判定部４ｄは、障害物センサの検出結果を取得する（Ｓ３０２）。ここで取得する検出結果（色画像、距離画像）には、作業機３が含まれている。次に、判定部４ｄは、現在装着中の作業機３の動作情報に基づいて、検出結果の画像のうち作業機３を示す範囲を特定する。具体的には、判定部４ｄは、動作情報として登録されている複数の作業機３の画像と、検出結果の画像と、のマッチングを行うことにより、検出結果の画像に表れている作業機３を特定できる。
　次に、判定部４ｄは、検出結果の画像のうち、作業機３以外の範囲に障害物（木、岩、建物、人等）が存在するか否かを判定する（Ｓ３０４）。判定部４ｄは、作業機３以外の範囲に障害物があると判定した場合、障害物対応処理を行う（Ｓ３０５）。障害物対応処理とは、ユーザに警告したり、トラクタ１を減速又は停止させたり、トラクタ１を旋回させて障害物を回避したりする処理である。障害物対応処理は、障害物までの距離及び障害物が位置する方向に応じて異なっていてもよい。
　ここで、作業機の形状及び動きに基づいて、上述のマスキング範囲を作成することでも、作業機を除いた範囲における障害物の検出は可能である。しかし、マスキング範囲を作成する場合、作業機がどのような姿勢であってもマスキング範囲から逸脱しないように、大きなマスキング範囲を設定する必要がある。従って、障害物の検出精度が低くなる。また、特にトラクタでは様々な種類の作業機を取付可能であるため、それらの全てについて予めマスキング範囲を作成することは現実的でない。更に、作業機に作業道具等を取り付けた場合、作業道具を障害物として認識してしまうことがある。
　これに対し、本実施形態では、作業機３を動作させて動作情報を作成するため、あらゆる作業機３に対して、作業機３を除いた範囲に対してのみ障害物の有無を判定できる。更に、作業道具８５等が作業機３に取り付けられていても、作業道具８５等が障害物として判定されることがない。
　また、ステップＳ３０３において、動作情報に基づいて、作業機３の範囲を特定できない事態も考えられる。この場合、図９に示す処理を行ってもよい。以下、詳細に説明する。
　初めに、制御部４は、障害物センサの検出結果に表れる作業機３と、動作情報に含まれる作業機３と、の一致度を算出する（Ｓ４０１）。この一致度が高いほど、障害物センサの検出結果に表れる作業機を確実に特定できていることとなる。
　制御部４は、この一致度が第１閾値以上と判定した場合（Ｓ４０２）、障害物センサの検出結果に表れる作業機３を特定する精度が十分高いため、図８の障害物判定を続行する（Ｓ４０３）。一方、一致度が第１閾値未満である場合、制御部４は、一致度が第２閾値（＜第１閾値）以下であるか否かを判定する（Ｓ４０４）。一致度が第２閾値以下である場合、障害物センサの検出結果に表れる作業機３を特定する精度が低過ぎるため、動作情報の再登録をユーザに要請する（Ｓ４０５）。ユーザへの要請は、例えば、取り付けた作業機３と、動作情報の作業機３と、が異なるため、動作情報の再登録が必要であることを無線通信端末７０又はサブディスプレイ１５等に表示することで行われる。
　一方、一致度が第２閾値より大きく第１閾値未満である場合、障害物センサの検出結果に表れる作業機３と、動作情報に含まれる作業機３と、の違いは僅かである。例えば、作業道具８５の位置が変わったり、作業機３のガタツキ等で僅かに位置が変わったりした程度の違いである。この場合、障害物センサの検出結果に基づいて、動作情報を修正できる。そのため、制御部４は、動作情報の修正の要否をユーザに問い合わせる（Ｓ４０６）。
　制御部４は、ユーザから修正の指示があったと判定した場合（Ｓ４０７）、障害物センサの検出結果に基づいて、動作情報を修正する（Ｓ４０８）。制御部４は、ユーザから修正しない旨の指示があった場合、動作情報の再登録をユーザに要請する（Ｓ４０５）。
　図９に示す処理を行うことにより、障害物センサの検出結果に表れる作業機３と、動作情報に含まれる作業機３と、の一致度が低い場合においても、適切な処理を行うことができる。
　以上に説明したように、本実施形態の障害物判定システム２００は、作業機３が取り付けられたトラクタ１の周囲の障害物の有無を判定する。この障害物判定システム２００は、障害物センサ（フロントカメラ５４、リアカメラ５５、フロントＬｉＤＡＲ５６、リアＬｉＤＡＲ５７）と、作成部４ｃと、判定部４ｄと、を備える。障害物センサは、障害物を検出するとともに検出範囲内に作業機３が含まれている。作成部４ｃは、作業機３を動かしながら当該作業機３を障害物センサで検出することで、当該作業機３の動きを示す動作情報を作成する。判定部４ｄは、動作情報と、障害物センサの検出結果と、に基づいて、作業機３以外の物体を認識して障害物の有無を判定する。
　これにより、作業機３が障害物と誤認識される可能性を低くしつつ、かつ、トラクタ１の周囲の広い範囲について障害物の有無を判定することができる。従って、障害物の検出精度を高くすることができる。また、取り付ける作業機３の形状に関係なく、障害物判定システム２００を機能させることができる。そのため、例えば、新たな作業機３に交換されたり、作業機３の形状が変更されたり、作業機３に作業道具８５等が取り付けられたりした場合等においても、問題なく障害物判定を行うことができる。
　また、本実施形態の障害物判定システム２００において、障害物センサは、検出対象物までの距離を測定可能である。作成部４ｃは、測定した距離が閾値未満の検出対象物を用いるとともに、測定した距離が閾値以上の検出対象物を用いることなく動作情報を作成する。
　これにより、動作情報の作成時において、トラクタ１から遠い位置に物体が存在していた場合でも、適切な動作情報を作成できる。
　また、本実施形態の障害物判定システム２００において、作成部４ｃが作成した動作情報と、トラクタ１の作業中における障害物センサによる作業機３の検出結果と、が異なる場合、当該検出結果に基づいて、動作情報を更新する。
　これにより、作業機３の形状が若干変化したり、作業機３に別の物が新たに取り付けられたりした場合においても、それに応じた動作情報を用いて障害物の判定を行うことができる。
　また、本実施形態の自律走行システム１００は、障害物判定システム２００を備える。また、自律走行システム１００により、トラクタ１は、測位衛星システムを利用して自律走行することが可能である。自律走行システム１００では、自律走行の実行中における障害物判定の有効又は無効を設定可能である。障害物判定が有効である場合は、動作情報の取得を、自律走行の開始条件として含める。障害物判定が無効である場合は、動作情報の取得を、自律走行の開始条件として含めない。
　これにより、動作情報を取得した状態で自律走行を行うことをユーザに促すことができる。
　以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
　上記実施形態では、トラクタ１の後方に作業機３が取り付けられており、この作業機３が障害物と判定されないように動作情報を作成する構成である。なお、トラクタ１は、前方にも作業機３（例えば、フロントローダ）を取付可能である。この場合においても、同様の処理を行うことで、前方の作業機３が障害物と判定されないようにすることができる。
　上記実施形態で示したフローチャートは一例であり、一部の処理を省略したり、一部の処理の内容を変更したり、新たな処理を追加したりしてもよい。例えば、ステップＳ１０１において、動作情報が登録済みの場合は特に処理を行わないが、動作情報を再登録するかをユーザに問い合わせてもよい。
　上記実施形態では、障害物センサとして、カメラ及びＬｉＤＡＲを備える構成を例として挙げて説明したが、カメラとＬｉＤＡＲの一方を省略してもよい。また、カメラとＬｉＤＡＲ以外のセンサ（例えば、赤外線センサ又はソナー）を障害物センサとして用いることもできる。
　１　トラクタ（作業車両）
　４　制御部
　４ｃ　作成部
　４ｄ　判定部
　４ｅ　登録部
　５４　フロントカメラ（障害物センサ）
　５５　リアカメラ（障害物センサ）
　５６　フロントＬｉＤＡＲ（障害物センサ）
　５７　リアＬｉＤＡＲ（障害物センサ）
　１００　自律走行システム
　２００　障害物判定システム

Claims (4)

  1. 　作業機が取り付けられた作業車両の周囲の障害物の有無を判定する障害物判定システムにおいて、
    　障害物を検出するとともに検出範囲内に前記作業機が含まれている障害物センサと、
    　前記作業機を動かしながら当該作業機を前記障害物センサで検出することで、当該作業機の動きを示す動作情報を作成する作成部と、
    　前記動作情報と、前記障害物センサの検出結果と、に基づいて、前記作業機以外の物体を認識して障害物の有無を判定する判定部と、
    を備えることを特徴とする障害物判定システム。
  2. 　請求項１に記載の障害物判定システムであって、
    　前記障害物センサは、検出対象物までの距離を測定可能であり、
    　前記作成部は、測定した距離が閾値未満の前記検出対象物を用いるとともに、測定した距離が閾値以上の前記検出対象物を用いることなく前記動作情報を作成することを特徴とする障害物判定システム。
  3. 　請求項１又は２に記載の障害物判定システムであって、
    　前記作成部は、当該作成部が作成した前記動作情報と、前記作業車両の作業中における前記障害物センサによる前記作業機の検出結果と、が異なると判定した場合、当該検出結果に基づいて、前記動作情報を更新することを特徴とする障害物判定システム。
  4. 　請求項１から３までの何れか一項に記載の障害物判定システムを備える自律走行システムであって、
    　前記作業車両は、測位衛星システムを利用して自律走行することが可能であり、
    　自律走行の実行中における障害物判定の有効又は無効を設定可能であり、
    　障害物判定が有効である場合は、前記動作情報の取得を、自律走行の開始条件として含め、
    　障害物判定が無効である場合は、前記動作情報の取得を、自律走行の開始条件として含めないことを特徴とする自律走行システム。
PCT/JP2020/010147 2019-05-27 2020-03-10 障害物判定システム及び自律走行システム WO2020240983A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/614,506 US20220201923A1 (en) 2019-05-27 2020-03-10 Obstacle Determination System and Autonomous Travel System
KR1020217035737A KR20220012843A (ko) 2019-05-27 2020-03-10 장해물 판정 시스템 및 자율 주행 시스템
EP20813687.9A EP3977840A1 (en) 2019-05-27 2020-03-10 Obstacle determination system and autonomous travel system
CN202080034683.6A CN113825389A (zh) 2019-05-27 2020-03-10 障碍物判定系统以及自主行驶系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019098259A JP2020194253A (ja) 2019-05-27 2019-05-27 障害物判定システム及び自律走行システム
JP2019-098259 2019-05-27

Publications (1)

Publication Number Publication Date
WO2020240983A1 true WO2020240983A1 (ja) 2020-12-03

Family

ID=73547593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010147 WO2020240983A1 (ja) 2019-05-27 2020-03-10 障害物判定システム及び自律走行システム

Country Status (6)

Country Link
US (1) US20220201923A1 (ja)
EP (1) EP3977840A1 (ja)
JP (1) JP2020194253A (ja)
KR (1) KR20220012843A (ja)
CN (1) CN113825389A (ja)
WO (1) WO2020240983A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220276656A1 (en) * 2019-12-18 2022-09-01 Kubota Corporation Work vehicle
WO2023127557A1 (ja) * 2021-12-27 2023-07-06 株式会社クボタ 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023238827A1 (ja) * 2022-06-08 2023-12-14 株式会社クボタ 農業管理システム
JP7536740B2 (ja) 2021-12-28 2024-08-20 株式会社クボタ 農作業支援システム、農業機械、農作業支援装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006519A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp ロボット装置及びロボット装置の制御方法
JP2017211696A (ja) * 2016-05-23 2017-11-30 株式会社Ｓｕｂａｒｕ 車両の後側方検知装置
JP2018113937A (ja) 2017-01-20 2018-07-26 株式会社クボタ 自動走行作業車
JP2019103421A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両の遠隔操作システム
JP2019103422A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071585A (ja) * 2014-09-30 2016-05-09 パナソニックＩｐマネジメント株式会社 運転制御システム、運転制御装置、および、遠隔操作装置
JP6640777B2 (ja) * 2017-03-17 2020-02-05 株式会社東芝 移動制御システム、移動制御装置及びプログラム
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006519A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp ロボット装置及びロボット装置の制御方法
JP2017211696A (ja) * 2016-05-23 2017-11-30 株式会社Ｓｕｂａｒｕ 車両の後側方検知装置
JP2018113937A (ja) 2017-01-20 2018-07-26 株式会社クボタ 自動走行作業車
JP2019103421A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両の遠隔操作システム
JP2019103422A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220276656A1 (en) * 2019-12-18 2022-09-01 Kubota Corporation Work vehicle
WO2023127557A1 (ja) * 2021-12-27 2023-07-06 株式会社クボタ 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
JP7536740B2 (ja) 2021-12-28 2024-08-20 株式会社クボタ 農作業支援システム、農業機械、農作業支援装置
WO2023238827A1 (ja) * 2022-06-08 2023-12-14 株式会社クボタ 農業管理システム

Also Published As

Publication number Publication date
CN113825389A (zh) 2021-12-21
KR20220012843A (ko) 2022-02-04
JP2020194253A (ja) 2020-12-03
US20220201923A1 (en) 2022-06-30
EP3977840A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
WO2020240983A1 (ja) 障害物判定システム及び自律走行システム
JP6682354B2 (ja) 自律走行経路生成システム
KR102287412B1 (ko) 병주 작업 시스템
JP6507109B2 (ja) 作業車両の走行領域形状登録システム
JP7049033B2 (ja) 自律走行システム
JP2017127291A (ja) 農業用作業車両
JP2017127289A (ja) 農業用作業車両
US11553635B2 (en) Work vehicle having a control unit
JP2019133701A (ja) 走行領域形状登録システム
JP2020119599A (ja) 自律走行システム
JP6878344B2 (ja) 領域登録システム
JP6695297B2 (ja) 自律走行システム
WO2020084962A1 (ja) 作業機昇降制御装置
JP2023129688A (ja) 自律走行システム及び自律走行方法
JP2019120723A (ja) 作業場管理システム
WO2021106361A1 (ja) 領域登録システム
JP2020109693A (ja) 自律走行経路生成システム
JP2021193478A (ja) 作業車両システム
WO2024143107A1 (ja) 経路生成装置及びコンピュータプログラム
JP2019135670A (ja) 作業車両の走行領域登録システム
JP6980087B2 (ja) 自動走行作業車両のための衛星測位システム
JP6812303B2 (ja) 自動走行作業車両のための衛星測位システム
JP2023005400A (ja) 管理システム
JP2023005574A (ja) 管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20813687

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020813687

Country of ref document: EP

Effective date: 20220103