WO2017204009A1 - 移動車両の走行制御装置 - Google Patents

移動車両の走行制御装置 Download PDF

Info

Publication number
WO2017204009A1
WO2017204009A1 PCT/JP2017/018146 JP2017018146W WO2017204009A1 WO 2017204009 A1 WO2017204009 A1 WO 2017204009A1 JP 2017018146 W JP2017018146 W JP 2017018146W WO 2017204009 A1 WO2017204009 A1 WO 2017204009A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
yaw angle
template
template image
area
Prior art date
Application number
PCT/JP2017/018146
Other languages
English (en)
French (fr)
Inventor
塙　圭二
淳一 林田
Original Assignee
国立研究開発法人農業・食品産業技術総合研究機構
三菱マヒンドラ農機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人農業・食品産業技術総合研究機構, 三菱マヒンドラ農機株式会社 filed Critical 国立研究開発法人農業・食品産業技術総合研究機構
Publication of WO2017204009A1 publication Critical patent/WO2017204009A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a travel control device for a moving vehicle, and is particularly suitable for use in a travel control device that performs control for automatically moving a moving vehicle toward a far target point.
  • the straight-ahead guidance system described in Patent Literature 1 outputs a traveling information by processing a target lamp installed on an extension line ahead of a running path on which a moving vehicle should travel straight, a camera mounted on the moving vehicle, and an image from the camera.
  • the image processing unit extracts the first and second far target portion candidate pixels in the current frame, the previous frame, and the current frame and the previous frame, and detects the position of the far target portion with respect to the far target portion candidate pixel obtained by integrating them And generating travel information based on the detection result.
  • the travel control device disclosed in Patent Document 2 is a target that is determined by a camera that captures a target lamp positioned in a target direction of vehicle travel, and a relationship between the position of a target portion image included in the captured image and the initial position of the vehicle.
  • a travel control unit that controls the travel of the vehicle so as to travel on the travel line, a yaw angle detection unit that detects the yaw angle of the vehicle with respect to the target unit based on the captured image, and a lateral deviation from the target travel line based on the captured image
  • a travel control unit that controls the travel of the vehicle based on the yaw angle and the lateral deviation.
  • Patent Documents 1 and 2 have a problem that it is necessary to install a target lamp at a target point in the field for each work process in which the vehicle travels straight ahead.
  • feature points such as distant mountains and buildings are extracted and tracked from the frontal landscape image taken by the far-view camera, and the change in the yaw angle of the agricultural vehicle is calculated from the change in the position of the feature point.
  • a technique for controlling straight traveling is known (for example, see Patent Document 3).
  • Non-Patent Document 1 A technique for detecting a change and causing an agricultural vehicle to travel straight ahead is also known (see, for example, Non-Patent Document 1).
  • the technique described in Non-Patent Document 1 is characterized in that the range used for the comparison process in the camera image is a wide range (18% in area ratio) near the center of the camera image.
  • Patent Document 3 it is necessary to satisfy the condition that there are conveniently characteristic mountain tops and houses near the target direction, and the distance between them and the agricultural vehicle is sufficiently long. . For this reason, there is a problem that the actual usable situation is limited.
  • Non-Patent Document 1 since images in a wide range are compared, priority is given to a portion having a large luminance change in the calculation process, and the matching point tends to be shifted to a portion having a large luminance change. Arise.
  • the amount of change in the position of the image is greater with respect to the travel of the unit distance in the left and right outer regions than in the region near the center of the captured image.
  • Non-Patent Document 1 has a problem that since the reference image is updated in a short cycle (every 0.86 m travel), errors mixed during the update process are accumulated and there is a risk of generating a large error. It was.
  • the present invention has been made to solve such a problem, and is intended to enable a mobile vehicle to travel straight ahead with high accuracy without performing a troublesome task of installing a target lamp. Objective.
  • a target area is set in association with a target point in a captured image in front of a moving vehicle in the traveling direction, and an image of the target area is generated as an equal-magnification template image.
  • this is enlarged at different magnifications to generate and store a plurality of template images.
  • the captured image is compared with the template image having the highest matching degree among the plurality of template images by comparing the captured image with the plurality of template images.
  • the yaw angle of the moving vehicle relative to the target point is detected from the difference between the position of the matching area on the captured image and the position of the moving vehicle in the front direction, and the moving vehicle is detected based on the detected yaw angle.
  • the steering is controlled.
  • the target region set forward in the traveling direction on the captured image A matching area is detected by comparing the generated template image with a captured image that changes as the moving vehicle travels. From the difference between the position of the matching area and the position in the front direction of the moving vehicle, The yaw angle can be detected to control the steering of the moving vehicle, and the vehicle can run straight.
  • the image of the target area is generated as a template image of the same magnification, and is enlarged at different magnifications to generate a plurality of template images. Therefore, it is not necessary to update the template image frequently, and even if the subject that appears in the captured image gradually increases as the moving vehicle moves forward, it matches the template image at any magnification with a high degree of matching. High matching accuracy can be maintained. Thus, the yaw angle of the moving vehicle can be accurately detected and the moving vehicle can travel straight ahead with high accuracy without performing the troublesome work of installing the target lamp forward in the traveling direction.
  • FIG. 1 is a side view of an agricultural vehicle that is one form of a moving vehicle that implements the travel control apparatus according to the first embodiment.
  • the agricultural vehicle 1 includes a vehicle cabin 2, a front wheel 3, a rear wheel 4, a steering mechanism including a steering wheel 9 and a steering shaft 10, a steering drive mechanism 6, and a brake mechanism 7.
  • a work machine 8 is attached to the rear.
  • the work machine 8 is, for example, for performing operations such as sowing, setting up, and tilling in the field 100.
  • the agricultural vehicle 1 is equipped with the traveling control device of the present embodiment.
  • the travel control device includes a camera (corresponding to an imaging unit) 11, an image processing device 12, and an ECU (Electronic control unit) 13.
  • the camera 11 is disposed in the upper part of the vehicle cabin 2 and images the front of the farm vehicle 1 in the traveling direction.
  • the camera 11 outputs the captured image to the image processing device 12.
  • the hail image processing unit 12 detects the yaw angle of the agricultural vehicle 1 by processing the captured image acquired from the camera 11 and supplies the detected yaw angle to the ECU 13.
  • the ECU 13 controls the steering of the front wheels 3 via the steering drive mechanism 6 based on the yaw angle supplied from the image processing device 12. Thereby, ECU13 controls driving
  • the steering mechanism has a steering wheel 9, a steering shaft 10, and a gear device (not shown) that converts the movement of the steering shaft 10 into the movement of the front wheels 3.
  • the steering mechanism converts the rotation of the steering wheel 9 as a handle into the turning motion of the front wheel 3.
  • the steering wheel 9 is provided in the vehicle cabin 2 and is turned by the driver.
  • One end of the steering shaft 10 is coupled to the steering wheel 9 so as to rotate together with the steering wheel 9, and functions as a rotating shaft that transmits the rotation of the steering wheel 9 to the gear device.
  • the steering drive mechanism 6 includes a steering angle sensor (not shown) and a motor (not shown).
  • the steering drive mechanism 6 drives a motor and gives a steering force to the steering mechanism.
  • the steering angle sensor is provided on the steering shaft 10 and the gear device of the steering mechanism, and detects the steering angle and the steering direction by the steering wheel 9.
  • the steering drive mechanism 6 is connected to the ECU 13, and the detection value of the steering angle sensor is output to the ECU 13.
  • the brake mechanism 7 applies a braking force to the rear wheel 4 in accordance with the amount of operation of the driver's brake pedal (not shown).
  • the brake pedal includes a left rear wheel brake pedal and a right rear wheel brake pedal.
  • a braking force can be individually applied to the left rear wheel and the right rear wheel.
  • the brake mechanism 7 is connected to the ECU 13, and the braking force applied to the rear wheel 4 is controlled by the ECU 13. Note that the front wheel 3 of the agricultural vehicle 1 may not have a brake mechanism.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the travel control device according to the first embodiment configured to include the camera 11, the image processing device 12, and the ECU 13.
  • the image processing apparatus 12 has, as its functional configuration, a front direction setting unit 20, an image acquisition unit 21, a target area setting unit 22, a template image generation unit 23, a storage unit 24, and a yaw angle detection unit 25. It has.
  • ECU13 is provided with the steering control part 26 as the function structure.
  • the functional blocks 20 to 25 included in the image processing apparatus 12 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • DSP Digital Signal Processor
  • each of the functional blocks 20 to 25 is actually configured by including a CPU, RAM, ROM, etc. of a computer, and a program stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. Is realized by operating.
  • the function of the steering control unit 26 provided in the ECU 13 can be configured by any of hardware, DSP, and software. Although an example in which the image processing device 12 and the ECU 13 are configured separately is shown here, the present invention is not limited to this.
  • the ECU 13 may be configured to have each function of the image processing device 12.
  • the image acquisition unit 21 acquires an image captured by the camera 11.
  • the image acquisition unit 21 acquires captured images from the camera 11 at predetermined time intervals (for example, every 0.1 second).
  • the front direction setting unit 20 sets the position in the front direction of the agricultural vehicle 1 on the captured image acquired by the camera 11.
  • FIG. 3 is a diagram for explaining the position of the agricultural vehicle 1 in the front direction.
  • the position on the front image of the agricultural vehicle 1 is shown in FIG. 3 in a state where the camera 11 is located at the center of the left and right of the agricultural vehicle 1 and is accurately attached to the vehicle body without tilt error in the roll direction. Exists on the vertical line.
  • the position in the left-right direction, that is, the I coordinate iv is measured in advance and stored in the storage unit 24.
  • the coordinates on the image are set to the I coordinate in the right direction and the J coordinate in the upward direction with the lower left corner as the origin, and the unit is a pixel (for example, the size of the image in FIG. 752 pixels, vertical 480 pixels).
  • the I coordinate iv representing the position in the front direction of the agricultural vehicle 1 is measured, for example, by the following procedure.
  • the straight line is regarded as the center line of the agricultural vehicle 1. This center line is extended in front of the agricultural vehicle 1 and a mark is placed on the floor surface that enters the field of view of the camera 11. Subsequently, the position of the mark on the floor is measured on the image of the camera 11, and this I coordinate is set to iv.
  • the target area setting unit 22 sets a target area in the captured image acquired from the camera 11 by the image acquisition unit 21.
  • the position information of the target area set by the target area setting unit 22 is stored in the storage unit 24.
  • FIG. 4 is a diagram illustrating an example of setting a target area by the target area setting unit 22.
  • the target area 31 is a rectangular area of a predetermined size composed of a plurality of pixel values, and is set at an arbitrary position on the captured image by the driver.
  • the camera 11 or the image processing device 12 is provided with a monitor so that the display frame of the target area 31 is displayed on the captured image, and the target area 31 is automatically set at a position in front of the agricultural vehicle 1 in the straight direction (front). Set. Subsequently, the driver sets the target area 31 by moving the display frame to an arbitrary position or making a fine correction by using the operation unit provided in the camera 11 or the image processing device 12.
  • the target area 31 is set so that a virtual vertical line passing through the target point of the farm field is the left-right center of the target area 31 on the image. That is, the target area 31 is set so that the I coordinate at the center of the left and right of the target area 31 is equal to the I coordinate on the image of the target point.
  • the target point refers to the position of the far end of the farm field in the work process when the agricultural vehicle 1 performs linear work on the farm field.
  • a specific operation procedure for setting the target area 31 in association with the target point is as follows. First, the agricultural vehicle 1 is made to enter the start point on the near side of the field, and then the direction of the agricultural vehicle 1 is generally adjusted to the direction of the target point. For example, in an agricultural field with a length of 100 m, if an attempt is made to adjust the direction of the agricultural vehicle 1 with an accuracy within 5 cm to the left and right with respect to the target point, the allowable error is within about 0.03 degrees. Adjustment is a laborious operation. Therefore, the driver adjusts the direction of the agricultural vehicle 1 with respect to the target point, and then starts processing of the target area setting unit 22.
  • the target area setting unit 22 automatically sets the target area 31 in the front direction of the agricultural vehicle 1. Subsequently, when the driver operates the operation unit provided in the camera 11 or the image processing device 12, the I coordinate at the center of the left and right of the target area 31 becomes equal to the I coordinate on the image of the target point.
  • the target area 31 is set by finely adjusting the position of the target area 31 so that the J coordinate of the center of the top and bottom of the target area 31 is approximately equal to the J coordinate of the horizon.
  • the target area 31 may be set automatically or semi-automatically by the image processing apparatus 12.
  • the target area setting unit 22 detects a horizon on the captured image. Specifically, the target area setting unit 22 detects line segment elements extending in the horizontal direction in an area near a predetermined pixel counted upward from the lower side of the captured image based on the luminance difference from the surroundings, and this is detected as a horizon line. To detect. Then, a target area 31 of a predetermined size is automatically set at a position on the image in the front direction of the agricultural vehicle 1 stored in advance in the storage unit 24 with respect to the width direction of the captured image including a part of the detected horizon. To do. Thereafter, the driver may be able to finely adjust the position of the target area 31 by operating an operation unit provided in the camera 11 or the image processing device 12.
  • the target area 31 is set when the traveling control of the agricultural vehicle 1 is started.
  • the travel control by the travel control device is started.
  • the driver turns off the automatic travel switch, steers the farm vehicle 1 to change the direction, and moves the farm vehicle 1 to a position for traveling the next work process.
  • the automatic travel switch is turned on again, and travel control by the travel control device is started. In this way, each time the driver turns on the automatic travel switch and starts travel control, the target area 31 is set.
  • the template image generation unit 23 uses the target region image set by the target region setting unit 22 as an equal-magnification template image, enlarges the image at a different magnification, generates a plurality of template images, and stores them in the storage unit 24.
  • 1.1 times, 1.2 times, 1.3 times, and 1.4 times of template images are generated from the target area image (1.0 times of template image), and a total of 5 templates are generated.
  • the image is stored in the storage unit 24.
  • FIG. 5 is a diagram showing an example of these five template images.
  • Magnification of the image is performed at a predetermined magnification in the vertical direction and the horizontal direction with reference to the center point of the image of the target area.
  • the outer peripheral portion may be removed so that the enlarged template image has the same size as the image of the original target area. By doing so, an increase in calculation load can be suppressed.
  • the template image is an image used for pattern matching with the image captured by the camera 11. That is, each time a new captured image is acquired from the camera 11, a region having a pixel value distribution similar to the template image is searched from the captured image by the yaw angle detection unit 25 described later.
  • the five template images with different magnifications are generated because when the agricultural vehicle 1 moves forward, the landscape image in the front direction gradually becomes larger, and the same region in the real space is newly captured. This is because the image is enlarged on the captured image.
  • the degree of match between the captured image newly captured by the camera 11 and the template image gradually decreases as the agricultural vehicle 1 moves forward. Therefore, in the present embodiment, as shown in FIG. 5, in addition to the target region template image (1.0 times template image), 1.1 times, 1.2 times, 1.3 times, and 1.4 times Generate an enlarged template image. A matching search between the five template images and the captured image is performed in parallel.
  • the yaw angle detection unit 25 compares the captured image with a plurality of template images each time a captured image from the camera 11 is acquired by the image acquisition unit 21 every predetermined time (every 0.1 second). A matching area that matches the template image having the highest matching degree among the plurality of template images is detected from the captured image. And the yaw angle with respect to the target point of the agricultural vehicle 1 is detected from the difference between the position of the matching region and the position of the moving vehicle in the front direction.
  • the yaw angle detected by the yaw angle detection unit 25 is in which direction the front side (I coordinate iv) of the agricultural vehicle 1 is directed toward the direction of the target point (I coordinate of the matching area on the captured image). It is a quantitative value indicating whether or not.
  • the search process for a matching area having a pixel value distribution similar to that of the template image may be performed preferentially around the position on the image detected during the previous process. This is because it is not assumed that the position will move greatly from the previous search processing. By doing so, the processing work load is reduced and the processing time can be shortened.
  • the size of the target area that is the generation source of the template image is preferably set to a small area of about 1% of the image captured by the camera 11.
  • FIG. 6 is a diagram illustrating an example of a calculation result of the degree of matching between a plurality of template images and a captured image.
  • the vertical axis represents the sum of absolute values of pixel value differences between the template image and the captured image (hereinafter referred to as SAD value), and the horizontal axis represents the elapsed time after the start of traveling. The smaller the SAD value, the higher the degree of match between the template image and the captured image.
  • the SAD value of the template image of 1.0 times becomes the smallest.
  • the subject appearing in the captured image gradually increases, and the SAD value increases due to the difference between the template image and the captured image of 1.0 times.
  • the SAD value of the 1.1 times template image decreases and becomes the minimum.
  • the SAD value of the 1.2 or 1.3 times template image is changed to 1.1 times and becomes the minimum in order.
  • the yaw angle detection unit 25 selects the matching area searched for by the template image having the smallest SAD value among the matching areas searched for by the five template images at that time. Adopted as a matching area in
  • the yaw angle detection unit 25 determines the direction of the target point of the agricultural vehicle 1 from the difference between the left and right positions on the image of the matching area detected as described above and the left and right positions on the image in the front direction of the agricultural vehicle 1. Detect yaw angle.
  • the yaw angle Y is the I coordinate iv of the position on the image in the front direction of the agricultural vehicle 1 shown in FIG.
  • PWH of the viewing angle in the direction it is approximately calculated as the following equation (1).
  • Y (iv -ig) ⁇ PWH (1)
  • the steering control unit 26 controls the steering of the agricultural vehicle 1 based on the yaw angle detected by the yaw angle detection unit 25. That is, the steering control unit 26 controls the steering of the front wheels 3 via the steering drive mechanism 6 based on the yaw angle detected by the yaw angle detection unit 25, so that the agricultural vehicle 1 goes straight straight forward. Control to run.
  • the degree of coincidence between the maximum magnification of 1.4 times the template image and the captured image also decreases.
  • the degree of coincidence between the 1.4 times template image and the captured image reaches a peak, and thereafter the degree of coincidence decreases. Therefore, when the distance of one stroke is long, that is, in the case of FIG. 6, a template image enlarged 1.5 times or more is required when the vehicle travels straight in a field where the traveling time is 25 seconds or more.
  • the upper limit of the magnification of the template image is 1.4 times, and the template image generation unit 23 updates the template image when a certain condition is satisfied after the agricultural vehicle 1 starts traveling. To do.
  • the template image generation unit 23 acquires SAD values of a plurality of template images from the yaw angle detection unit 25.
  • the matching degree between the template image enlarged at a predetermined magnification and the matching area image in the captured image is higher than the matching degree between the other template image enlarged at a predetermined magnification and the matching area image (SAD).
  • SAD matching degree between the other template image enlarged at a predetermined magnification and the matching area image
  • the template image is updated.
  • the template image is updated by making the matching region image a new 1.0 times template image (target region image) and enlarging the new same size template image at a magnification of 1.1 to 1.4 times. This is done by regenerating a plurality of template images.
  • the template image generation unit 23 updates and stores the regenerated five template images in the storage unit 24.
  • the SAD value indicating the magnitude of the difference between the template image magnified 1.3 times and the image of the matching region in the captured image is
  • the SAD value of the template image is reduced by a factor of 1.2. That is, at that time, the SAD of the template image that is 1.3 times the minimum among the plurality of template images is the smallest, and the degree of coincidence with the image of the matching region is the highest.
  • the template image generation unit 23 When the SAD value of the 1.3 times template image is the smallest among the plurality of template images, the template image generation unit 23 newly creates an image of a matching area that matches the 1.3 times template image. Is used as the same size template image, and the new same size template image is enlarged at a magnification of 1.1 to 1.4 times to regenerate a plurality of template images. In this way, by updating using a template image having the highest degree of match among a plurality of template images at multiple magnifications, an error (positional deviation from the initially set target area) at the time of update is mixed. Can be suppressed.
  • the magnification for updating the template image can be arbitrarily set. However, the update frequently occurs at 1.1 times or 1.2 times, and there is a possibility that errors mixed at the time of update are accumulated and enlarged. This is not preferable. Therefore, the magnification for updating the template image is preferably 1.3 times or 1.4 times. In this way, the template image is not updated until the captured image of the target area is enlarged 1.3 times or 1.4 times as the agricultural vehicle 1 moves forward, and the number of times of updating is minimized. Therefore, error accumulation can be suppressed.
  • the magnification for updating the template image is 1.3 times
  • the SAD value of the 1.3 times template image is smaller than the SAD values of the template images of other magnifications
  • the template image may be updated at an arbitrary timing.
  • the SAD value of the template image of 1.3 times is monitored, it is not known when it is minimized (it is not known only after the timing of minimization has passed).
  • the template image generation unit 23 matches the degree (SAD value) of the template image with a magnification (1.2 times) lower by one step than a predetermined magnification (for example, 1.3 times), and a magnification (Step 1) higher than the predetermined magnification (SAD value).
  • the template image is updated at a timing when the degree of coincidence (SAD value) regarding the template image of (1.4 times) becomes substantially equal.
  • the almost equal timing is, for example, a state in which the difference between two SAD values is within 3%.
  • the SAD value of the template image having a predetermined magnification has a characteristic that is minimized at the timing when the SAD value of the image becomes substantially equal. Therefore, for example, the timing at which the SAD value of the 1.3 times template image is minimized is determined by monitoring the SAD value of the 1.2 times template image and the SAD value of the 1.4 times template image. It is possible.
  • the template image generation unit 23 updates the template image at the timing “the SAD value relating to the 1.2 times template image and the SAD value relating to the 1.4 times template image are substantially equal”.
  • the “substantially equal” timing is a state that is regarded as a timing at which the SAD value of the 1.3 times template image is minimized.
  • the state in which the SAD value is minimized is a state in which the enlargement ratio of the template image and the enlargement ratio of the captured image that is gradually enlarged from the start of traveling of the agricultural vehicle 1 are substantially equal. I can say that.
  • the position of the matching area is drawn to the portion where the luminance change in the captured image is large, and the position of the matching area to be detected An error may occur.
  • it is possible to suppress mixing of errors by determining a state in which the magnification rate of the template image is equal to the magnification rate of the captured image and updating the template image at that timing.
  • FIG. 7 is a flowchart showing an operation example of the travel control apparatus according to the first embodiment configured as described above.
  • the flowchart shown in FIG. 7 starts when the driver turns on the power of the travel control device. It is assumed that the position in the front direction of the agricultural vehicle 1 on the captured image is already set by the front direction setting unit 20 and stored in the storage unit 24 before the start of the processing shown in this flowchart.
  • the image acquisition unit 21 of the image processing device 12 determines whether or not the automatic travel switch is turned on by the driver (step S1), and when it is turned on, acquires a captured image from the camera 11 (step S1). S2).
  • the target area setting unit 22 automatically sets a target area in the captured image acquired by the image acquisition unit 21 (step S3).
  • the target area setting unit 22 confirms whether or not the correction of the position of the set target area has been instructed by the driver's operation (step S4), and if so, the target area has been set according to the driver's operation. Is corrected (step S5).
  • the template image generation unit 23 generates an image of the target area as a template image of 1.0 times, and enlarges the image of the target area at different magnifications (1.1 to 1.4 times magnification).
  • a plurality of template images are generated and stored in the storage unit 24 (step S6).
  • the image acquisition unit 21 acquires a new captured image from the camera 11 (step S7).
  • the yaw angle detection unit 25 compares the captured image with a plurality of template images, so that the SAD value is the highest among a plurality of template images having different magnification rates. A matching area that matches the small template image is detected from the captured image (step S8). And the yaw angle detection part 25 detects the yaw angle with respect to the direction of the target point of the agricultural vehicle 1 from the difference of the position of the detected matching area
  • the steering control unit 26 controls the steering of the front wheels 3 via the steering drive mechanism 6 based on the yaw angle detected by the yaw angle detection unit 25 (step S10). Thereby, the agricultural vehicle 1 is controlled to travel straight toward the direction of the target area set in step S3 or step S5.
  • the template image generating unit 23 determines whether or not the template image update condition is satisfied (step S11).
  • the template image update condition is that the SAD value of the 1.3 times template image is the smallest, that is, the SAD value of the 1.2 times template image and the SAD value of the 1.4 times template image. And are almost equal. If this update condition is not satisfied, the process proceeds to step S14.
  • the template image generation unit 23 newly adopts the matching region image that matches the 1.3 times template image as the new equal size template image (target region image).
  • the update is stored in the storage unit 24 (step S12).
  • the template image generation unit 23 enlarges the image of the new target area updated and stored in the storage unit 24 at a magnification of 1.1 to 1.4, and regenerates a plurality of template images. Is updated and stored (step S13). Thereafter, the image acquisition unit 21 determines whether or not the automatic travel switch has been turned off by the driver (step S14). If the switch has not been turned off, the process returns to step S7, and the image acquisition unit 21 performs the next operation. A captured image is acquired from the camera 11. On the other hand, when the automatic travel switch is turned off, the process of the flowchart shown in FIG. 7 ends.
  • a target area is set in a captured image in front of the agricultural vehicle 1 in the traveling direction, and an image of the target area is generated as an equal-magnification template image.
  • a plurality of template images are generated and stored at different magnifications. Then, each time a captured image is acquired from the camera 11 every predetermined time, a matching region that matches the template image having the highest matching degree among the plurality of template images by comparing the captured image and the plurality of template images. Is detected from the captured image, the yaw angle of the agricultural vehicle 1 is detected from the difference between the position of the matching area and the position of the agricultural vehicle 1 in the front direction, and the agricultural vehicle 1 is steered based on the detected yaw angle. I try to control it.
  • Embodiment comprised in this way, even if there was no target lamp and a conspicuous feature in the position of the front straight toward the running direction of the agricultural vehicle 1, it set to the running direction front on the captured image.
  • the matching area is tracked by pattern matching between the template image generated from the target area and the captured image that changes as the agricultural vehicle 1 travels, and the agricultural vehicle is determined based on the difference between the position of the matching area and the position of the agricultural vehicle 1 in the front direction.
  • the image of the target area is generated as an equal-magnification template image, and is enlarged at different magnifications to generate a plurality of template images. Therefore, it is not necessary to update the template image frequently, and even if the subject that appears in the captured image gradually increases as the agricultural vehicle 1 moves forward, it matches the template image at any magnification with a high degree of matching. Therefore, high matching accuracy can be maintained. Thereby, the yaw angle of the agricultural vehicle 1 can be detected accurately and the agricultural vehicle 1 can be traveled straight ahead with high accuracy without performing a troublesome operation such as installing the target lamp forward in the traveling direction.
  • the enlargement rate of the template image is suppressed to a certain limit so that the enlargement of the template image does not become blurred and the degree of coincidence with the captured image does not decrease, and the SAD value of the template image is reduced.
  • the template image is updated when a certain condition is satisfied.
  • the template image is updated at a timing when the degree of coincidence between the captured image and the template image is high, mixing of errors accompanying the update can be suppressed.
  • the template image is updated only when the template image having a predetermined magnification or higher satisfies the update condition, the update frequency can be reduced, and errors mixed during the update can be accumulated and enlarged. Can be suppressed.
  • FIG. 8 is an explanatory diagram of a situation where a pedestrian enters the target area 31 while the agricultural vehicle 1 is traveling.
  • the image of the target area and the template image of each enlargement ratio stored in the storage unit 24 and the image of the portion corresponding to the target area in the captured image are included.
  • a big difference arises.
  • the matching area detected from the captured image causes a large error from the original position of the target area, or the matching area is difficult to detect.
  • the SAD value is also larger than normal.
  • a plurality of peripheral areas 81 are set around the target area 31 and pattern matching is performed using an image of the peripheral area 81.
  • the error is reduced by using the result of pattern matching using the peripheral area 81.
  • FIG. 10 is a block diagram illustrating a functional configuration example of the travel control apparatus according to the second embodiment.
  • components having the same reference numerals as those shown in FIG. 2 have the same functions, and thus redundant description is omitted here.
  • the image processing apparatus 12 in the second embodiment further includes a peripheral area setting unit 91, a second template image generation unit 92, and a second yaw angle detection unit 93 as its functional configuration.
  • the ECU 13 in the second embodiment includes a steering control unit 26 ′ instead of the steering control unit 26.
  • the peripheral area setting unit 91 uses the position information of the target area 31 set by the target area setting unit 22 and sets the peripheral area 81 around the area.
  • the position information of the peripheral area 81 set by the peripheral area setting unit 91 is stored in the storage unit 24.
  • the peripheral area 81 is a rectangular area of a predetermined size composed of a plurality of pixel values, like the target area 31.
  • the size of the peripheral area 81 may be the same as or different from the target area 31.
  • the setting of the peripheral area 81 may be performed manually by the driver operating the operation section, or may be performed automatically or semi-automatically by the peripheral area setting section 91. .
  • peripheral region setting unit 91 automatically sets the peripheral region 81, for example, a plurality of peripheral regions 81 are set at predetermined relative positions with respect to the target region 31 set by the target region setting unit 22. It is possible to do so. Alternatively, a plurality of peripheral areas 81 may be set at predetermined fixed positions regardless of the position of the target area 31.
  • the second template image generation unit 92 generates an image of the peripheral area set by the peripheral area setting unit 91 as a second template image and stores it in the storage unit 24.
  • the peripheral area unlike the target area, an enlarged template image is not generated.
  • the peripheral area is also set as an area away from the center in the width direction of the captured image, but in such an area, the change in the size of the image and the mutual positional relationship between the subjects tends to increase as the agricultural vehicle 1 moves forward. Become.
  • the second template image is updated in a short cycle of about 1 second without generating an enlarged template image in advance.
  • the second template image generation unit 92 extracts the image of the peripheral region set by the peripheral region setting unit 91 from the captured image acquired by the image acquisition unit 21 at regular time intervals, and extracts the second image.
  • the time interval for updating the second template image is set so as to be shorter in the peripheral area away from the target area in the left-right direction.
  • the second template image is updated at intervals of 1 second for six peripheral regions close to the target region, and at intervals of 0.5 seconds for eight peripheral regions far from the target region.
  • the second yaw angle detection unit 93 compares the captured image with the second template image each time the captured image is acquired by the image acquisition unit 21 every predetermined time (for example, every 0.1 second).
  • the second matching area that matches the second template image is detected from the captured image, and the amount of change between the setting position of the peripheral area and the position of the second matching area, or the previous process is detected. From the amount of change between the position of the second match area and the position of the second match area detected in the current process, the amount of change in the yaw angle of the agricultural vehicle 1 for each process (0.1 second interval) is detected. To do.
  • a plurality of peripheral areas are set as shown in FIG. 9, there are a plurality of second matching areas, and a plurality of position change amounts are calculated.
  • the second yaw angle detection unit 93 statistically processes the amount of change in the horizontal and vertical positions with respect to the 14 peripheral regions 81, and excludes specific values that are significantly different from those of other regions. Above, the average value of the normal amount of change regarding the surrounding area where the obstacle does not enter is calculated. And the 2nd yaw angle detection part 93 calculates the variation
  • the steering control unit 26 ′ controls the steering of the agricultural vehicle 1 based on the yaw angle detected by the yaw angle detection unit 25 or the yaw angle detected by the second yaw angle detection unit 93. Specifically, the steering control unit 26 ′ determines whether or not the difference between the yaw angle detected by the yaw angle detection unit 25 and the yaw angle detected by the second yaw angle detection unit 93 is less than a threshold value. When the difference is less than the threshold value, the steering of the agricultural vehicle 1 is controlled based on the yaw angle detected by the yaw angle detection unit 25. This is because the yaw angle calculated using the target area close to the front in the traveling direction of the agricultural vehicle 1 is higher in accuracy.
  • the steering of the agricultural vehicle 1 is controlled based on the yaw angle detected by the second yaw angle detector 93.
  • the fact that the difference in yaw angle is large is because there is a high possibility that an obstacle has entered the target area.
  • the difference in the amount of change It may be determined whether or not is less than a threshold value.
  • FIG. 11A and FIG. 11B are flowcharts showing an operation example of the travel control apparatus according to the second embodiment configured as described above.
  • the flowchart shown in FIG. 11A starts when the driver turns on the power of the travel control device. It is assumed that the position in the front direction of the agricultural vehicle 1 on the captured image is already set by the front direction setting unit 20 and stored in the storage unit 24 before the start of the processing shown in this flowchart.
  • the image acquisition unit 21 of the image processing device 12 determines whether or not the automatic travel switch is turned on by the driver (step S21), and if it is turned on, acquires a captured image from the camera 11 (step S21). S22).
  • the target area setting unit 22 automatically sets a target area in the captured image acquired by the image acquisition unit 21 (step S23). Subsequently, the target area setting unit 22 confirms whether or not the correction of the position of the set target area has been instructed by the driver's operation (step S24), and when instructed, the target area in accordance with the driver's operation. Is corrected (step S25).
  • the template image generation unit 23 generates an image of the target area as a template image of 1.0 times, and enlarges the image of the target area at different magnifications (1.1 to 1.4 times magnification).
  • a plurality of template images are generated and stored in the storage unit 24 (step S26).
  • the peripheral area setting unit 91 sets a plurality of peripheral areas around the target area set by the target area setting unit 22 (step S27), and stores the position information in the storage unit 24 (step S28).
  • the second template image generation unit 92 generates an image of the peripheral area set by the peripheral area setting unit 91 as a second template image and stores it in the storage unit 24 (step S29).
  • the image acquisition unit 21 acquires a new captured image from the camera 11 (step S30).
  • the yaw angle detection unit 25 compares the captured image with a plurality of template images, so that the SAD value is the highest among a plurality of template images having different magnification rates.
  • a matching area that matches the small template image is detected from the captured image (step S31).
  • the yaw angle detection part 25 detects the yaw angle with respect to the target point of the agricultural vehicle 1 from the difference between the position of the detected matching area
  • the second yaw angle detection unit 93 compares the captured image with the second template image related to the plurality of peripheral regions, thereby matching the second template image for each of the plurality of peripheral regions. Two matching regions are detected from the captured image (step S33). Then, the second yaw angle detection unit 93 changes the amount of change between the setting position of the peripheral area and the position of the second matching area for each of the plurality of peripheral areas, or the second amount detected in the previous process. An average value of the amount of change between the position of the matched region and the position of the second matched region detected in the current process is calculated (step S34), and the average value of the amount of change is used for each process (0.1 second). The change amount of the yaw angle of the agricultural vehicle 1 at the interval is detected, and this is added to the yaw angle detected during the previous processing, thereby detecting the current yaw angle of the agricultural vehicle 1 (step S35).
  • the steering control unit 26 ′ determines whether the difference between the yaw angle detected by the yaw angle detection unit 25 in step S32 and the yaw angle detected by the second yaw angle detection unit 93 in step S35 is less than a threshold value. It is determined whether or not (step S36). If the difference is less than the threshold value, the yaw angle detected from the target area by the yaw angle detection unit 25 is employed (step S37). On the other hand, if the difference is equal to or greater than the threshold, the yaw angle detected from the peripheral region by the second yaw angle detector 93 is employed (step S38).
  • step S39 the steering control unit 26 'controls the steering of the front wheels 3 through the steering drive mechanism 6 based on the yaw angle employed in step S37 or step S38 (step S39). Thereby, the agricultural vehicle 1 is controlled so as to travel straight in the direction of the target area set in step S23 or step S25.
  • the template image generation unit 23 determines whether or not a template image update condition regarding the target area is satisfied (step S40).
  • the template image update condition related to the target area has the smallest SAD value of the 1.3 times template image, that is, the SAD value of the 1.2 times template image and the 1.4 times template image. This is a condition that the SAD value is substantially equal.
  • step S43 the template image generation unit 23 newly sets the matching area image that matches the 1.3 times template image to a new equal size template image (target area image). And updated and stored in the storage unit 24 (step S41).
  • the template image generation unit 23 enlarges the image of the new target area updated and stored in the storage unit 24 at a magnification of 1.1 to 1.4, and regenerates a plurality of template images. Is updated and stored (step S42). Thereafter, the process proceeds to step S45.
  • step S43 the second template image generation unit 92 determines whether or not an update condition for the second template image related to the peripheral region is satisfied.
  • the update condition of the second template image related to the peripheral area is a condition that a predetermined time has elapsed since the previous update, and is determined for each peripheral area. If this update condition is not satisfied, the process proceeds to step S45.
  • the second template image generation unit 92 extracts the image of the peripheral region set by the peripheral region setting unit 91 in step S27 from the captured image. Then, a second template image is generated and updated and stored in the storage unit 24 (step S44). Also, the position information of the peripheral area stored in the storage unit 24 is updated.
  • step S45 the image acquisition unit 21 determines whether or not the automatic travel switch has been turned off by the driver. If the automatic travel switch is not turned off, the process returns to step S ⁇ b> 30 and the image acquisition unit 21 acquires the next captured image from the camera 11. On the other hand, when the automatic travel switch is turned off, the processing of the flowcharts shown in FIGS. 11A and 11B ends.
  • the processing related to the target area is performed in steps S23 to S26, and then the processing related to the peripheral area is performed in steps S27 to S29.
  • the processing procedure is not limited to this. At least the setting of the target area needs to precede the setting of the peripheral area, but thereafter, the process related to the peripheral area may be performed prior to the process related to the target area, or may be performed simultaneously. Similarly, the process related to the target area in steps S31 to S32 and the process related to the peripheral area in steps S33 to S35 may be performed in advance or simultaneously.
  • a peripheral area is set, the yaw angle of the agricultural vehicle 1 is detected by pattern matching in each area, and either the target area or the peripheral area is detected.
  • the steering of the agricultural vehicle 1 is controlled based on the yaw angle detected using. Thereby, even if the obstacle has entered the position of the target area, the straight traveling control of the agricultural vehicle 1 can be continuously performed.
  • the enlargement ratio and the number of sheets are not limited to this.
  • the enlargement ratio and the number of template images may be arbitrarily set according to the size of the farm field, the traveling speed of the agricultural vehicle 1, and the like.
  • the SAD value relating to the 1.2 times template image and the SAD value relating to the 1.4 times template image are monitored, and at the timing when the SAD values of both become substantially equal.
  • the present invention is not limited to this.
  • the SAD value related to the 1.3 times template image may be monitored, and the template image may be updated at a timing immediately after detecting that the SAD value has been minimized.
  • the example in which the present invention is applied to the traveling control of the agricultural vehicle 1 has been described.
  • the application example is not limited to this.
  • the present invention can be applied to travel control of work vehicles not only in the agricultural field but also in the civil engineering / construction field.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Soil Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Environmental Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Guiding Agricultural Machines (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

車両前方の撮像画像内に目標領域を設定する目標領域設定部２２と、目標領域の画像から異なる倍率の複数のテンプレート画像を生成するテンプレート画像生成部２３と、最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の位置と、移動車両の正面方向の位置との差異から車両のヨー角を検出するヨー角検出部２５と、当該検出したヨー角に基づいて車両の操舵を制御する操舵制御部２６とを備え、車両前方に設定した目標領域の画像を利用して走行制御し、このとき車両が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像との間で高いマッチング精度を維持し、車両を精度よく直進走行させることができるようにする。

Description

移動車両の走行制御装置
　本発明は、移動車両の走行制御装置に関し、特に、移動車両を遠方の目標地点に向かって自動直進走行させるための制御を行う走行制御装置に用いて好適なものである。
　農用車両による播種、畝立てなどの作業では、作業行程を直線的かつ平行に行うことが重要である。このようなニーズに対し、本出願人は、遠方に設置した目標物に向かって農用車両が自動的に直進走行するように制御する技術について特許出願をした（例えば、特許文献１，２参照）。
　特許文献１に記載の直進誘導システムは、移動車両が直進走行すべき走路前方の延長線上に設置されるターゲットランプと、移動車両に搭載したカメラと、カメラからの画像を処理し走行情報を出力する画像処理部と、走行情報に基づき移動車両を制御する車両制御部および操向制御機構とを備える。画像処理部は、現フレームと前フレームおよび現フレームと前々フレームにおいて第１および第２の遠方目標部候補画素を抽出し、これらを統合した遠方目標部候補画素に対し遠方目標部の位置検出を行い、その検出結果に基づき走行情報を生成する。
　特許文献２に記載の走行制御装置は、車両走行の目標となる方向に位置するターゲットランプを撮像するカメラと、撮像画像に含まれる目標部画像の位置と車両の初期位置との関係で定まる目標走行ラインを走行するように車両の走行を制御する走行制御部と、撮像画像に基づき目標部に対する車両のヨー角を検出するヨー角検出部と、撮像画像に基づき目標走行ラインからの横偏差を算出する横偏差算出部とを備え、走行制御部は、ヨー角および横偏差に基づいて車両の走行を制御する。
　しかしながら、上記特許文献１，２に記載の技術では、直進走行を行う作業行程毎に圃場の目標地点にターゲットランプを設置することが必要であり、手間がかかるという問題があった。これに対し、遠景用カメラで撮影した前方の風景画像から遠くの山や建物などの特徴点を抽出して追跡し、その特徴点の位置の変化から農用車両のヨー角の変化を算出して、直進走行を制御する技術が知られている（例えば、特許文献３参照）。
　また、農用車両の前方に正面を向けたカメラを搭載し、所定距離（０．８６ｍ）を走行毎に前回の画像（基準画像）と今回の画像（比較画像）とを比較してヨー方向の変化を検出し、農用車両を直進走行させる技術も知られている（例えば、非特許文献１参照）。この非特許文献１に記載の技術では、カメラ画像中で比較処理に供する範囲は、カメラ画像の中央付近の広い範囲（面積比で１８％)であることが特徴である。
特開２００９－１５３４３２号公報 特開２０１０－２００６７４号公報 特開平２－５７１０９号公報
農業機械学会第６２回年次大会予稿集「農業機械の自律直進走行のための画像解析（第２報）－トラクタの自律直進走行実験」　北海道大学大学院農学研究科　山崎哲、端俊一 他（２００３年４月）
　しかしながら、上記特許文献３に記載の技術では、目標方向の近くに都合よく特徴的な山の頂上や家屋が存在し、それらと農用車両との距離が十分に遠いなどの条件を満たす必要がある。そのため、実際に使用可能な状況が限定的になってしまうという問題があった。
　また、上記非特許文献１に記載の技術では、広い範囲の画像を比較しているため、計算処理において輝度変化の大きい部分の一致が優先され、輝度変化の大きい部分に一致点が片寄る傾向を生じる。ここで、農用車両が前方に走行していく場合に、撮像画像の中央付近の領域と比べて、左右外側の領域では単位距離の走行に対して画像の位置の変化量が大きくなる。そのため、画像中の比較範囲の中で外側に近い領域に輝度変化の大きい部分が存在すると、その外側に近い領域の画像変化に引きずられてヨー方向の変化量が誤って算出される傾向となり、当初の目標とする方向に直進走行させることができないという問題があった。また、非特許文献１に記載の技術では、短い周期（０．８６ｍ走行毎）で基準画像を更新するため、更新処理に際して混入する誤差が蓄積し、大きな誤差を生じる危険があるという問題もあった。
　本発明は、このような問題を解決するために成されたものであり、ターゲットランプを設置するといった面倒な作業を行うことなく、移動車両を精度よく直進走行させることができるようにすることを目的とする。
　上記した課題を解決するために、本発明では、移動車両の走行方向前方の撮像画像内に、目標地点に関連付けて目標領域を設定し、当該目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成して記憶する。そして、撮像画像が所定時間毎に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の撮像画像上の位置と、移動車両の正面方向の位置との差異から、目標地点に対する移動車両のヨー角を検出して、当該検出したヨー角に基づいて移動車両の操舵を制御するようにしている。
　上記のように構成した本発明によれば、移動車両の走行方向に向かってまっすぐ前方の位置にターゲットランプや目立った特徴物がなくても、撮像画像上で走行方向前方に設定した目標領域から生成したテンプレート画像と、移動車両の走行に伴い変化する撮像画像との比較により合致領域を検出し、合致領域の位置と、移動車両の正面方向の位置との差異から、移動車両の目標地点に対するヨー角を検出して移動車両の操舵を制御し、直進走行させることができる。
　ここで、本発明では、目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成している。そのため、テンプレート画像を頻繁に更新する必要がなく、また、移動車両が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像と高い合致度で合致するため、高いマッチング精度を維持することができる。これにより、ターゲットランプを走行方向前方に設置するといった面倒な作業を行うことなく、移動車両のヨー角を正確に検出して、移動車両を精度よく直進走行させることができる。
本実施形態による走行制御装置を実施した農用車両の側面図である。 第１の実施形態による走行制御装置の機能構成例を示すブロック図である。 農用車両の正面方向の位置を説明するための図である。 第１の実施形態による目標領域の設定例を示す図である。 テンプレート画像生成部により生成される５枚のテンプレート画像の例を示す図である。 複数のテンプレート画像と撮像画像との合致度の計算結果の例を示す図である。 第１の実施形態による走行制御装置の動作例を示すフローチャートである。 目標領域に歩行者が入り込んだ状況を説明するための図である。 第２の実施形態による目標領域および周辺領域の設定例を示す図である。 第２の実施形態による走行制御装置の機能構成例を示すブロック図である。 第２の実施形態による走行制御装置の動作例を示すフローチャートである。 第２の実施形態による走行制御装置の動作例を示すフローチャートである。
（第１の実施形態）
　以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による走行制御装置を実施した移動車両の一形態である農用車両の側面図である。図１に示すように、農用車両１は、車両客室２、前輪３、後輪４、ステアリングホイール９およびステアリングシャフト１０を含むステアリング機構、操舵駆動機構６およびブレーキ機構７を備え、農用車両１の後方には作業機８が取り付けられる。作業機８は、例えば、圃場１００において播種や畝立て、耕うんなどの作業をするためのものである。
　また、農用車両１は、本実施形態の走行制御装置を搭載している。本実施形態の走行制御装置は、カメラ（撮像部に相当）１１、画像処理装置１２およびＥＣＵ（Electronic control unit）１３を備えて構成される。カメラ１１は、車両客室２の上部に配置され、 農用車両１の走行方向前方を撮像する。カメラ１１は、撮像した画像を画像処理装置１２に出力する。
  画像処理部１２は、カメラ１１から取得した撮像画像を処理することにより、農用車両１のヨー角を検出し、ＥＣＵ１３に供給する。ＥＣＵ１３は、画像処理装置１２から供給されるヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する。これにより、ＥＣＵ１３は、前方に向かってまっすぐ直進走行するように農用車両１の走行を制御する。
  ステアリング機構は、ステアリングホイール９と、ステアリングシャフト１０と、当該ステアリングシャフト１０の動きを前輪３の動きに変換するギヤ装置（不図示）とを有する。ステアリング機構は、ハンドルとしてのステアリングホイール９の回動を前輪３の転舵運動に変換する。ステアリングホイール９は、車両客室２内に設けられ、運転者によって回動操作される。ステアリングシャフト１０は、ステアリングホイール９とともに回転するように一端がステアリングホイール９に連結されており、ステアリングホイール９の回転をギヤ装置に伝達する回転軸として機能する。
　操舵駆動機構６は、舵角センサ（不図示）およびモータ（不図示）を備える。操舵駆動機構６は、モータを駆動し、ステアリング機構に転舵力を与える。舵角センサは、ステアリング機構のステアリングシャフト１０やギヤ装置に設けられ、ステアリングホイール９による操舵角および操舵方向を検出する。操舵駆動機構６はＥＣＵ１３に接続されており、舵角センサの検出値はＥＣＵ１３に出力される。
　ブレーキ機構７は、運転者のブレーキペダル（不図示）の操作量に応じて後輪４に制動力を与える。ブレーキペダルは、左後輪用ブレーキペダルと右後輪用ブレーキペダルとを有する。運転者が各ブレーキペダルを操作することで、左後輪と右後輪に対して個別に制動力を与えることができる。例えば、農用車両１を右方向に旋回するとき、運転者が、右後輪用ブレーキペダルを踏み込んで右後輪に制動力を与えることで、右後輪を軸として農用車両１を旋回させることができる。ブレーキ機構７はＥＣＵ１３に接続され、ＥＣＵ１３により後輪４に与える制動力が制御される。なお、農用車両１の前輪３にブレーキ機構は無くてよい。
　図２は、カメラ１１、画像処理装置１２およびＥＣＵ１３を備えて構成される第１の実施形態による走行制御装置の機能構成例を示すブロック図である。図２に示すように、画像処理装置１２は、その機能構成として、正面方向設定部２０、画像取得部２１、目標領域設定部２２、テンプレート画像生成部２３、記憶部２４およびヨー角検出部２５を備えている。また、ＥＣＵ１３は、その機能構成として、操舵制御部２６を備えている。
　画像処理装置１２が備える各機能ブロック２０～２５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２０～２５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　また、ＥＣＵ１３が備える操舵制御部２６の機能も、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。なお、ここでは画像処理装置１２とＥＣＵ１３とを別構成とする例を示しているが、本発明はこれに限定されない。例えば、ＥＣＵ１３が画像処理装置１２の各機能を備える構成としてもよい。
　画像取得部２１は、カメラ１１により撮像された画像を取得する。本実施形態では、画像取得部２１は、カメラ１１から撮像画像を所定の時間間隔（例えば、０．１秒毎）で取得する。
　正面方向設定部２０は、カメラ１１により取得された撮像画像上における農用車両１の正面方向の位置を設定する。図３は、農用車両１の正面方向の位置を説明するための図である。農用車両１の正面方向の画像上の位置は、カメラ１１が農用車両１の左右中心の位置で、車体に対してロール方向の傾き誤差がなく正確に取り付けられている状態では、図３に示した縦線上に存在する。その左右方向の位置、すなわちI座標ivはあらかじめ計測されて、記憶部２４に記憶しておく。なお、画像上の座標は、図３のように、左下隅を原点として右方向にI座標、上方向にJ座標を設定し、単位は画素とする（例えば、図３の画像のサイズは横７５２画素、縦４８０画素）。
　農用車両１の正面方向の位置を表すＩ座標ivは、例えば次のような手順で計測する。まず、農用車両１を水平で平坦な床面上に置き、前輪３と後輪４のそれぞれの左右中心の垂直下方の床面上に目印を付し、前輪下と後輪下の目印を結んだ直線を、農用車両１の中心線と見なす。この中心線を農用車両１の前方に延長し、カメラ１１の視野に入る床面上に目印を付す。続いて、カメラ１１の画像上で、床面上の目印の位置を計測し、このI座標をivとする。
　目標領域設定部２２は、画像取得部２１によりカメラ１１から取得された撮像画像内に目標領域を設定する。目標領域設定部２２により設定された目標領域の位置情報は、記憶部２４に記憶される。図４は、目標領域設定部２２による目標領域の設定例を示す図である。図４に示すように、目標領域３１は、複数の画素値から構成される所定サイズの矩形領域であり、運転者が撮像画像上の任意の位置に設定する。
　例えば、カメラ１１または画像処理装置１２にモニタを設け、撮像画像上に重ねて目標領域３１の表示枠を表示させ、農用車両１の直進方向前方（正面）の位置に目標領域３１を自動的に設定する。続いて、運転者がカメラ１１または画像処理装置１２に設けた操作部により、この表示枠を任意の位置に移動、または微修正させて確定することにより、目標領域３１の設定を行う。本実施形態では、圃場の目標地点を通る仮想の垂直線が、画像上の目標領域３１の左右中心となるように目標領域３１を設定する。すなわち、目標領域３１の左右中心のＩ座標が、目標地点の画像上のI座標と等しくなるように、目標領域３１を設定する。
　目標地点とは、農用車両１が圃場で直線的な作業を行う場合において、作業行程の圃場の遠方側の終端の位置をいう。この目標地点に関連付けて目標領域３１を設定する具体的な操作手順は、次の通りである。まず、農用車両１を圃場の手前側のスタート地点に進入させ、続いて、目標地点の方向に農用車両１の方向を概ね調整する。例えば、長さ１００ｍの圃場で、農用車両１の方向を目標地点に対して左右５ｃｍ以内の精度で調整しようとすると、許容される誤差は約０．０３度以内となり、農用車両１の方向の調整は手間を要す作業となる。そこで、運転者は農用車両１の方向を、目標地点に対して凡その調整を行った後、目標領域設定部２２の処理を開始する。
　目標領域設定部２２は、まず、農用車両１の正面方向に目標領域３１を自動設定する。続いて、運転者が、カメラ１１または画像処理装置１２に設けた操作部を操作することにより、目標領域３１の左右中心のＩ座標が、目標地点の画像上のＩ座標と等しくなり、また、目標領域３１の上下中心のＪ座標が、地平線のＪ座標と凡そ等しくなるように、目標領域３１の位置を微調整し、目標領域３１を設定する。自動設定の後に運転者が目標領域３１を調整可能とすることで、目標領域３１の設定の際に運転者は農用車両１を目標地点に対して完全に正対させる必要がなくなるので、作業負担が軽減される。
　なお、目標領域３１の設定を画像処理装置１２が自動または半自動的に行うようにしてもよい。例えば、目標領域設定部２２は、撮像画像上の地平線を検出する。具体的には、目標領域設定部２２は、撮像画像の下辺から上方に数えて所定画素付近の領域で横方向に伸びる線分要素を周囲との輝度差に基づいて検出し、これを地平線として検出する。そして、検出した地平線の一部を含み、撮像画像の幅方向については記憶部２４にあらかじめ記憶させた農用車両１の正面方向の画像上の位置に、所定サイズの目標領域３１を自動的に設定する。この後、運転者が、カメラ１１または画像処理装置１２に設けた操作部を操作することにより、目標領域３１の位置を微調整できるようにしてもよい。
　目標領域３１の設定は、農用車両１の走行制御の開始時に行う。本実施形態では、１つの作業行程を開始する際に、運転者がＥＣＵ１３に接続された自動走行スイッチ（不図示）をオンしたとき、走行制御装置による走行制御を開始する。運転者は１つの作業行程を終えた後、自動走行スイッチをオフし、農用車両１を操舵して方向転換し、次の作業行程を走行するための位置に農用車両１を移動させる。そして、再び自動走行スイッチをオンし、走行制御装置による走行制御を開始する。このように運転者が自動走行スイッチをオンして走行制御を開始する都度、目標領域３１の設定を行う。
　テンプレート画像生成部２３は、目標領域設定部２２により設定された目標領域の画像を等倍のテンプレート画像とするとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成し、記憶部２４に記憶させる。本実施形態では、目標領域の画像（１．０倍のテンプレート画像）から１．１倍、１．２倍、１．３倍および１．４倍のテンプレート画像を生成し、合計５枚のテンプレート画像を記憶部２４に記憶させる。図５は、この５枚のテンプレート画像の例を示す図である。
　画像の拡大は、目標領域の画像の中心点を基準として、上下方向と左右方向に所定の倍率で拡大する。この際、拡大したテンプレート画像は、元の目標領域の画像と同じサイズとなるように、外周部分を除去してもよい。こうすることにより、計算負荷の増加を抑制することができる。
　テンプレート画像は、カメラ１１による撮像画像とのパターンマッチングに使われる画像である。すなわち、カメラ１１より新たな撮像画像が取得されるたびに、後述するヨー角検出部２５により、テンプレート画像と類似する画素値分布を持つ領域が撮像画像内から探索される。倍率の異なる５枚のテンプレート画像を生成しているのは、農用車両１が前進すると、正面方向の風景画像が次第に大きく写るようになり、目標領域と実空間上で同じ領域が、新たに撮像される撮像画像上では、拡大された状態となるからである。
　すなわち、最初に設定した目標領域の画像だけをテンプレート画像として用いた場合、カメラ１１により新たに撮像される撮像画像とテンプレート画像との合致度は、農用車両１が前進するに伴い、徐々に低下する。そこで、本実施形態では、図５のように、目標領域のテンプレート画像（１．０倍のテンプレート画像）に加え、１．１倍、１．２倍、１．３倍、１．４倍に拡大したテンプレート画像を生成する。そして、これら５枚のテンプレート画像と撮像画像との一致探索を並行して行うようにしている。
　ヨー角検出部２５は、画像取得部２１によりカメラ１１からの撮像画像が所定時間毎（０．１秒毎）に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出する。そして、合致領域の位置と、移動車両の正面方向の位置との差異から、農用車両１の目標地点に対するヨー角を検出する。このヨー角検出部２５により検出されるヨー角は、目標地点の方向（撮像画像上の合致領域のI座標）に対して、農用車両１の正面（I座標iv）がどちらにどの程度向いているかを示す定量的な値である。
　なお、テンプレート画像と類似する画素値分布を持つ合致領域の探索処理は、前回の処理時に検出された画像上の位置周辺を優先的に行うようにしてよい。前回の探索処理時から大きく位置が動くことは想定されないからである。こうすることにより、処理作業の負荷が低減され、また、処理時間を短縮することができる。
　また、テンプレート画像の生成元となる目標領域のサイズは、カメラ１１による撮像画像のおよそ１％前後の小さい面積に設定するのが好ましい。このように目標領域を小さくすることで、目標領域内で輝度変化の大きい部分に一致点が片寄る現象の影響が低減される。また、探索処理の計算負荷が低減される効果がある。
　図６は、複数のテンプレート画像と撮像画像との合致度の計算結果の例を示す図である。図６において、縦軸は、テンプレート画像と撮像画像との画素値の差の絶対値の和（以下、ＳＡＤ値という）を示し、横軸は走行開始後の経過時間を示している。ＳＡＤ値が小さいほど、テンプレート画像と撮影画像との合致度が高いということである。
　図６に示すように、走行開始直後は、１．０倍のテンプレート画像のＳＡＤ値が最も小さくなる。農用車両１が走行を開始した後は、撮像画像に写る被写体が次第に大きくなり、１．０倍のテンプレート画像と撮像画像との差異によりＳＡＤ値は増加していく。一方、１．１倍のテンプレート画像のＳＡＤ値は減少して最小となる。さらに農用車両１が走行を続けると、１．２倍や１．３倍のテンプレート画像のＳＡＤ値が、１．１倍に入れ替わって順に最小となる。
　ヨー角検出部２５は、自動走行スイッチをオンした後の各時刻において、５枚のテンプレート画像で探索された合致領域のうち、ＳＡＤ値が最も小さいテンプレート画像により探索された合致領域を、その時刻における合致領域として採用する。
　このように、刻々と拡大変化する撮像画像に対し、拡大率の異なる複数のテンプレート画像を用意することにより、良好な一致性（ＳＡＤ値が小さい状態）を維持することができ、一致探索の精度が向上する。例えば、画像領域内に輝度変化が大きい部分と小さい部分とが存在する場合、一致探索の計算処理では輝度変化の大きい部分の一致が優先される。そのため、もし１．０倍のテンプレート画像だけが使われた場合に、農用車両１の前進に伴って撮像画像が拡大し、その差が大きくなってくると、撮像画像内から検出される合致領域の位置は、輝度変化が大きい部分の方向に誤差を生じる傾向となる。これに対し、本実施形態によれば、複数の拡大率のテンプレート画像が用意されているので、撮像画像の拡大率との差は限定的となり、誤差の発生を抑制することができる。
　ヨー角検出部２５は、以上のようにして検出した合致領域の画像上の左右位置と、農用車両１の正面方向の画像上の左右位置との差異から、農用車両１の目標地点の方向に対するヨー角を検出する。ここで、合致領域の中心点の画像上のI座標をigとすると、ヨー角Ｙは、図３に示した農用車両１の正面方向の画像上の位置のI座標ivと、１画素の横方向の視野角のtan値ＰＷＨとを用いて、次の式（１）のように近似的に計算される。
　　Ｙ = (iv -ig)・ＰＷＨ　・・・（１）
　操舵制御部２６は、ヨー角検出部２５により検出されたヨー角に基づいて、農用車両１の操舵を制御する。すなわち、操舵制御部２６は、ヨー角検出部２５により検出されたヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御することにより、農用車両１が前方に向かってまっすぐ直進走行するように制御する。
　ところで、農用車両１が前進を続けていると、最大倍率である１．４倍のテンプレート画像と撮像画像との合致度も低下してくる。図６の例では、農用車両１が走行開始から２０～２５秒前進すると、１．４倍のテンプレート画像と撮像画像との合致度はピークを迎え、それ以降は合致度が低下していく。したがって、１行程の距離が長い場合、すなわち図６の場合では走行時間が２５秒以上となる圃場を直進走行する場合には、１．５倍以上に拡大したテンプレート画像が必要となる。
　しかしながら、テンプレート画像の拡大率を大きくすると、テンプレート画像は次第にぼやけた状態となり、撮像画像上での合致領域の位置の探索精度が低下する傾向となる。そこで、本実施形態では、テンプレート画像の拡大は１．４倍を上限とし、農用車両１が走行を開始してから一定の条件を満たしたときに、テンプレート画像生成部２３がテンプレート画像の更新を行うようにする。
　すなわち、テンプレート画像生成部２３は、複数のテンプレート画像のＳＡＤ値をヨー角検出部２５から取得する。そして、所定倍率で拡大したテンプレート画像と撮像画像内の合致領域の画像との合致度が、所定倍率未満で拡大した他のテンプレート画像と合致領域の画像との合致度より高くなった場合（ＳＡＤ値が小さくなった場合）に、テンプレート画像の更新を行う。テンプレート画像の更新は、合致領域の画像を新たに１．０倍のテンプレート画像（目標領域の画像）とし、当該新たな等倍のテンプレート画像を１．１倍～１．４倍の倍率で拡大して複数のテンプレート画像を再生成することによって行う。テンプレート画像生成部２３は、再生成した５枚のテンプレート画像を記憶部２４に更新記憶させる。
　例えば、図６に示す例において、所定倍率を１．３倍として考えると、１．３倍に拡大したテンプレート画像と撮像画像内の合致領域の画像との差の大きさを示すＳＡＤ値は、農用車両１の走行開始から約１７秒を経過すると、１．２倍のテンプレート画像のＳＡＤ値より小さくなる。つまり、その時点では、複数のテンプレート画像の中で１．３倍のテンプレート画像のＳＡＤが最小となり、合致領域の画像との合致度が最も高くなっている。
　テンプレート画像生成部２３は、複数のテンプレート画像の中で１．３倍のテンプレート画像のＳＡＤ値が最も小さくなっているときに、当該１．３倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像として採用し、当該新たな等倍のテンプレート画像を１．１倍～１．４倍の倍率で拡大して複数のテンプレート画像を再生成する。このように、複数の倍率のテンプレート画像の中で合致度が最大となっているテンプレート画像を用いて更新を行うことにより、更新時における誤差（最初に設定した目標領域からの位置ずれ）の混入を抑制することができる。
　なお、テンプレート画像の更新を行う倍率は任意に設定することが可能であるが、１．１倍や１．２倍では更新が頻発し、更新時に混入する誤差が累積して拡大化する恐れがあるため、好ましくない。したがって、テンプレート画像の更新を行う倍率は、１．３倍または１．４倍とするのが好ましい。このようにすれば、農用車両１の前進に伴って目標領域の撮像画像が１．３倍または１．４倍に拡大するまではテンプレート画像の更新は発生せず、更新の回数を必要最小限に留めることができるので、誤差の蓄積を抑制することができる。
　ここで、テンプレート画像を更新する倍率を１．３倍とする場合、１．３倍のテンプレート画像のＳＡＤ値が他の倍率のテンプレート画像のＳＡＤ値よりも小さくなっている期間中であれば、任意のタイミングでテンプレート画像の更新を行ってよい。ただし、混入する誤差を最小化するためには、１．３倍のテンプレート画像のＳＡＤ値が極小となるタイミングでテンプレート画像の更新を行うのが最も好ましい。しかし、１．３倍のテンプレート画像のＳＡＤ値を監視していても、それがいつ極小化するかは分からない（極小化したタイミングを過ぎた後でなければ分からない）。
　そこで、本実施形態では、次のような処理を行うことによって、ＳＡＤ値が極小化したタイミングであると判断して、テンプレート画像の更新を行う。すなわち、テンプレート画像生成部２３は、所定倍率（例えば、１．３倍）より１段低い倍率（１．２倍）のテンプレート画像に関する合致度（ＳＡＤ値）と、所定倍率より１段高い倍率（１．４倍）のテンプレート画像に関する合致度（ＳＡＤ値）とがほぼ等しくなるタイミングで、テンプレート画像の更新を行う。ほぼ等しくなるタイミングとは、例えばふたつのＳＡＤ値の差異が３％以内となる状態である。
　図６に示される通り、所定倍率が１．１倍～１．３倍の何れであっても、所定倍率より１段低い倍率のテンプレート画像のＳＡＤ値と、所定倍率より１段高い倍率のテンプレート画像のＳＡＤ値とがほぼ等しくなるタイミングにおいて、所定倍率のテンプレート画像のＳＡＤ値が極小化する特性を有することがわかる。したがって、例えば１．３倍のテンプレート画像のＳＡＤ値が極小化するタイミングは、１．２倍のテンプレート画像のＳＡＤ値と１．４倍のテンプレート画像のＳＡＤ値とを監視することによって、判断することが可能である。
　テンプレート画像生成部２３は、この「１．２倍のテンプレート画像に関するＳＡＤ値と、１．４倍のテンプレート画像に関するＳＡＤ値とがほぼ等しくなる」タイミングで、テンプレート画像の更新を行う。「ほぼ等しくなる」タイミングというのは、１．３倍のテンプレート画像のＳＡＤ値が極小化するタイミングであると見なす状態である。
　このようにすれば、テンプレート画像の更新時における誤差の混入を最小化することができる。すなわち、ＳＡＤ値が極小化する状態というのは、テンプレート画像の拡大率と、農用車両１の走行開始時点から走行に伴って徐々に拡大して写る撮像画像の拡大率とが略等しくなる状態と言える。上述のように、テンプレート画像の拡大率と撮像画像の拡大率とに差があると、合致領域の位置が撮像画像内の輝度変化が大きい部分に引き寄せられて、検出される合致領域の位置に誤差を生じる可能性がある。これに対し、本実施形態では、テンプレート画像の拡大率と撮像画像の拡大率とが等しい状態を判別し、そのタイミングでテンプレート画像の更新をすることで、誤差の混入を抑制することができる。
　図７は、上記のように構成した第１の実施形態による走行制御装置の動作例を示すフローチャートである。図７に示すフローチャートは、運転者が走行制御装置の電源をオンしたときに開始する。なお、このフローチャートに示す処理の開始前に、撮像画像上における農用車両１の正面方向の位置が正面方向設定部２０により既に設定され、記憶部２４に記憶されているものとする。
　まず、画像処理装置１２の画像取得部２１は、運転者により自動走行スイッチがオンとされたか否かを判定し（ステップＳ１）、オンとされた場合、カメラ１１から撮像画像を取得する（ステップＳ２）。次に、目標領域設定部２２は、画像取得部２１により取得された撮像画像内に目標領域を自動的に設定する（ステップＳ３）。続いて、目標領域設定部２２は、設定した目標領域の位置の修正が運転者の操作により指示されたか否かを確認し（ステップＳ４）、指示された場合には運転者の操作に従って目標領域の位置を修正する（ステップＳ５）。
　次いで、テンプレート画像生成部２３は、目標領域の画像を１．０倍のテンプレート画像として生成するとともに、当該目標領域の画像を異なる倍率（１．１倍～１．４倍の倍率）で拡大して複数のテンプレート画像を生成し、記憶部２４に記憶させる（ステップＳ６）。その後、画像取得部２１は、カメラ１１から新たな撮像画像を取得する（ステップＳ７）。
　画像取得部２１により撮像画像が取得されると、ヨー角検出部２５は、当該撮像画像と複数のテンプレート画像とを比較することにより、拡大率の異なる複数のテンプレート画像のうち、ＳＡＤ値が最も小さいテンプレート画像と合致する合致領域を撮像画像内から検出する（ステップＳ８）。そして、ヨー角検出部２５は、検出した合致領域の位置と農用車両１の正面方向の位置との差異から、農用車両１の目標地点の方向に対するヨー角を検出する（ステップＳ９）。
　さらに、操舵制御部２６は、ヨー角検出部２５により検出されたヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する（ステップＳ１０）。これにより、農用車両１は、ステップＳ３またはステップＳ５で設定した目標領域の方向に向かって直進走行するように制御される。
　その後、テンプレート画像生成部２３は、テンプレート画像の更新条件を満たすか否かを判定する（ステップＳ１１）。テンプレート画像の更新条件とは、一例として、１．３倍のテンプレート画像のＳＡＤ値が最も小さくなる、すなわち、１．２倍のテンプレート画像のＳＡＤ値と、１．４倍のテンプレート画像のＳＡＤ値とがほぼ等しくなるという条件である。この更新条件を満たさない場合、処理はステップＳ１４に遷移する。
　一方、テンプレート画像の更新条件を満たした場合、テンプレート画像生成部２３は、１．３倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像（目標領域の画像）として採用し、記憶部２４に更新記憶させる（ステップＳ１２）。
　また、テンプレート画像生成部２３は、記憶部２４に更新記憶した新たな目標領域の画像を１．１倍～１．４倍の倍率で拡大して複数のテンプレート画像を再生成し、記憶部２４に更新記憶させる（ステップＳ１３）。その後、画像取得部２１は、運転者により自動走行スイッチがオフとされたか否かを判定し（ステップＳ１４）、オフとされていない場合、処理はステップＳ７に戻り、画像取得部２１が次の撮像画像をカメラ１１から取得する。一方、自動走行スイッチがオフとされた場合、図７に示すフローチャートの処理は終了する。
　以上詳しく説明したように、第１の実施形態では、農用車両１の走行方向前方の撮像画像内に目標領域を設定し、当該目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成して記憶する。そして、カメラ１１から撮像画像が所定時間毎に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の位置と農用車両１の正面方向の位置との差異から農用車両１のヨー角を検出して、当該検出したヨー角に基づいて農用車両１の操舵を制御するようにしている。
　このように構成した第１の実施形態によれば、農用車両１の走行方向に向かってまっすぐ前方の位置にターゲットランプや目立った特徴物がなくても、撮像画像上で走行方向前方に設定した目標領域から生成したテンプレート画像と、農用車両１の走行に伴い変化する撮像画像とのパターンマッチングにより合致領域を追跡し、合致領域の位置と農用車両１の正面方向の位置との差異から農用車両１のヨー角を検出して農用車両１の操舵を制御し、直進走行させることができる。
　ここで、第１の実施形態では、目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成している。そのため、テンプレート画像を頻繁に更新する必要がなく、また、農用車両１が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像と高い合致度で合致するため、高いマッチング精度を維持することができる。これにより、ターゲットランプを走行方向前方に設置するといった面倒な作業を行うことなく、農用車両１のヨー角を正確に検出して、農用車両１を精度よく直進走行させることができる。
　また、第１の実施形態では、拡大するテンプレート画像がぼやけた状態となって撮像画像との合致度が低下しないように、テンプレート画像の拡大率を一定限度までに抑え、テンプレート画像のＳＡＤ値が一定の条件を満たしたときに、テンプレート画像の更新を行うようにしている。これにより、農用車両１が前進することで撮像画像に写る被写体が徐々に大きくなるなどの変化をしても、高いマッチング精度を維持することができる。
　さらに、第１の実施形態では、撮像画像とテンプレート画像との合致度が高いタイミングでテンプレート画像の更新を行うので、更新に伴う誤差の混入を抑制することができる。しかも、所定倍率以上のテンプレート画像が更新条件を満たすときに限定してテンプレート画像の更新を行うので、更新の頻度を少なくすることができ、更新時に混入する誤差が累積して拡大化することも抑制することができる。これにより、目標領域の位置に向かって農用車両１が長い距離を走行する場合でも、一貫してより正確なヨー角を検出して、農用車両１を精度よく直進走行させることができる。
（第２の実施形態）
　次に、本発明の第２の実施形態を図面に基づいて説明する。第２の実施形態は、目標領域設定部２２により設定した目標領域の実空間上の位置と農用車両１との間に歩行者や他車両などの障害物が入り込んだ状態でも、農用車両１の直進走行制御を継続して行うことができるようにするものである。
　図８は、農用車両１の走行中に目標領域３１に歩行者が入り込んだ状況の説明図である。このように、目標領域３１に障害物が入り込むと、記憶部２４に記憶された目標領域の画像および各拡大率のテンプレート画像と、撮像画像内の目標領域に対応する部分の画像との間に大きな差異が生じる。そのため、撮像画像内から検出される合致領域は、本来の目標領域の位置から大きな誤差を生じる、あるいは、合致領域の検出が困難となる。また、ＳＡＤ値も通常時より大きな値となる。
　これに対し、第２の実施形態では、図９に示すように、目標領域３１の周辺に複数の周辺領域８１を設定し、当該周辺領域８１の画像も用いてパターンマッチングを行う。これにより、目標領域３１に障害物が入って、合致領域の検出位置に大きな誤差が生じる場合には、周辺領域８１を用いたパターンマッチングの結果を用いることにより、誤差が小さくなるようにしている。
　図１０は、第２の実施形態による走行制御装置の機能構成例を示すブロック図である。なお、この図１０において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
　図１０に示すように、第２の実施形態における画像処理装置１２は、その機能構成として、周辺領域設定部９１、第２のテンプレート画像生成部９２および第２のヨー角検出部９３を更に備えている。また、第２の実施形態におけるＥＣＵ１３は、操舵制御部２６に代えて操舵制御部２６’を備えている。
　周辺領域設定部９１は、目標領域設定部２２により設定された目標領域３１の位置情報を用い、その周辺に周辺領域８１を設定する。周辺領域設定部９１により設定された周辺領域８１の位置情報は、記憶部２４に記憶される。設定する周辺領域８１は１つでもよいが、複数設定するのが好ましい。図９に示す例では、目標領域３１の左右方向で、水平線の高さの付近に１４個の周辺領域８１を設定している。
　周辺領域８１も目標領域３１と同様、複数の画素値から構成される所定サイズの矩形領域である。周辺領域８１のサイズは、目標領域３１と同じであってもよいし、異なっていてもよい。周辺領域８１の設定は、目標領域３１と同様、運転者が操作部を操作することによって手動で行うようにしてもよいし、周辺領域設定部９１が自動または半自動的に行うようにしてもよい。
　周辺領域８１の設定を周辺領域設定部９１が自動的に行う場合、例えば、目標領域設定部２２により設定された目標領域３１に対して、あらかじめ決められた相対位置に複数の周辺領域８１を設定するようにすることが可能である。あるいは、目標領域３１の位置とは無関係に、あらかじめ決められた固定位置に複数の周辺領域８１を設定するようにしてもよい。
　第２のテンプレート画像生成部９２は、周辺領域設定部９１により設定された周辺領域の画像を第２のテンプレート画像として生成し、記憶部２４に記憶させる。周辺領域に関しては、目標領域と異なり、拡大したテンプレート画像は生成しない。周辺領域は、撮像画像の幅方向の中心から離れた領域にも設定されるが、そういった領域では、農用車両１の前進に伴う画像の大きさや被写体の相互の位置関係の変化が大きくなる傾向となる。そこで、周辺領域に関しては、拡大したテンプレート画像をあらかじめ生成することはせずに、１秒程度の短い周期で第２のテンプレート画像を更新していくものとする。
　すなわち、第２のテンプレート画像生成部９２は、一定の時間間隔毎に、画像取得部２１により取得される撮像画像から、周辺領域設定部９１により設定された周辺領域の画像を抽出して第２のテンプレート画像として生成し、記憶部２４に更新記憶させる。ここで、第２のテンプレート画像を更新する時間間隔は、目標領域から左右方向に離れた周辺領域ほど短くなるように設定するのが好ましい。例えば、目標領域に近い６個の周辺領域は１秒間隔で、目標領域から離れた８個の周辺領域は０．５秒間隔で第２のテンプレート画像を更新するといった具合である。
　第２のヨー角検出部９３は、画像取得部２１により撮像画像が所定時間毎（例えば、０．１秒毎）に取得される都度、当該撮像画像と第２のテンプレート画像とを比較することにより、第２のテンプレート画像と合致する第２の合致領域を撮像画像内から検出し、周辺領域の設定位置と第２の合致領域の位置との変化量、あるいは、前回の処理で検出された第２の合致領域の位置と、今回の処理で検出された第２の合致領域の位置との変化量から、処理毎（０．１秒間隔）の農用車両１のヨー角の変化量を検出する。なお、図９のように複数の周辺領域を設定する場合、第２の合致領域は複数存在し、位置の変化量も複数算出される。
　ここで、図９に示すように、障害物が入り込んだ目標領域３１や幾つかの周辺領域８１では、一致探索される合致領域の位置に大きな誤差を生じ、位置の変化量も大きくなる。これに対し、他の周辺領域８１では正常な合致領域の位置が検出され、それらの位置の周辺領域８１に対する変化量は概ね似た値となる。図９に記した矢印は、目標領域３１および複数の周辺領域８１のそれぞれについて、今回の処理で探索された合致領域および第２の合致領域の、前回の処理時に探索された位置からの左右方向と上下方向の変化量を統合し、強調して表示したものである。障害物が入り込んでいない周辺領域８１では概ね右下向きの方向を示すが、障害物が入り込んだ目標領域３１と周辺領域８１では、他より大きな位置の変化と異なる方向を示す。
　第２のヨー角検出部９３は、１４個の周辺領域８１に関する左右方向と上下方向の位置の変化量を統計的に処理し、これらの変化量が他と大きく異なる特異的な値を除外した上で、障害物が入り込んでいない周辺領域に関する正常な変化量の平均値を算出する。そして、第２のヨー角検出部９３は、この位置の変化量の平均値からヨー角の変化量を算出し、前回の処理時に検出したヨー角に加算することで、現在の農用車両１のヨー角を検出する。
　操舵制御部２６’は、ヨー角検出部２５により検出されたヨー角または第２のヨー角検出部９３により検出されたヨー角に基づいて、農用車両１の操舵を制御する。具体的には、操舵制御部２６’は、ヨー角検出部２５により検出されたヨー角と、第２のヨー角検出部９３により検出されたヨー角との差分が閾値未満か否かを判定し、差分が閾値未満の場合は、ヨー角検出部２５により検出されたヨー角に基づいて農用車両１の操舵を制御する。農用車両１の進行方向正面に近い目標領域を用いて算出されたヨー角の方が、精度が高いためである。一方、差分が閾値以上である場合は、第２のヨー角検出部９３により検出されたヨー角に基づいて農用車両１の操舵を制御する。ヨー角の差分が大きいということは、目標領域に障害物が入り込んでいる可能性が高いからである。
　なお、ここでは、ヨー角検出部２５により検出されたヨー角と、第２のヨー角検出部９３により検出されたヨー角とを比較する例について説明しているが、本発明はこれに限定されない。例えば、ヨー角を検出する前の、目標領域と合致領域との位置の変化量および周辺領域と第２の合致領域との位置の変化量（平均値）とを比較して、変化量の差分が閾値未満か否かを判定するようにしてもよい。
　図１１Ａおよび図１１Ｂは、上記のように構成した第２の実施形態による走行制御装置の動作例を示すフローチャートである。図１１Ａに示すフローチャートは、運転者が走行制御装置の電源をオンしたときに開始する。なお、このフローチャートに示す処理の開始前に、撮像画像上における農用車両１の正面方向の位置が正面方向設定部２０により既に設定され、記憶部２４に記憶されているものとする。
　まず、画像処理装置１２の画像取得部２１は、運転者により自動走行スイッチがオンとされたか否かを判定し（ステップＳ２１）、オンとされた場合、カメラ１１から撮像画像を取得する（ステップＳ２２）。次に、目標領域設定部２２は、画像取得部２１により取得された撮像画像内に目標領域を自動的に設定する（ステップＳ２３）。続いて、目標領域設定部２２は、設定した目標領域の位置の修正が運転者の操作により指示されたか否かを確認し（ステップＳ２４）、指示された場合には運転者の操作に従って目標領域の位置を修正する（ステップＳ２５）。
　次いで、テンプレート画像生成部２３は、目標領域の画像を１．０倍のテンプレート画像として生成するとともに、当該目標領域の画像を異なる倍率（１．１倍～１．４倍の倍率）で拡大して複数のテンプレート画像を生成し、記憶部２４に記憶させる（ステップＳ２６）。
　また、周辺領域設定部９１は、目標領域設定部２２により設定された目標領域の周辺に複数の周辺領域を設定し（ステップＳ２７）、その位置情報を記憶部２４に記憶させる（ステップＳ２８）。次いで、第２のテンプレート画像生成部９２は、周辺領域設定部９１により設定された周辺領域の画像を第２のテンプレート画像として生成し、記憶部２４に記憶させる（ステップＳ２９）。　　　
　その後、画像取得部２１は、カメラ１１から新たな撮像画像を取得する（ステップＳ３０）。画像取得部２１により撮像画像が取得されると、ヨー角検出部２５は、当該撮像画像と複数のテンプレート画像とを比較することにより、拡大率の異なる複数のテンプレート画像のうち、ＳＡＤ値が最も小さいテンプレート画像と合致する合致領域を撮像画像内から検出する（ステップＳ３１）。そして、ヨー角検出部２５は、検出した合致領域の位置と農用車両１の正面方向の位置との差異から、農用車両１の目標地点に対するヨー角を検出する（ステップＳ３２）。
　また、第２のヨー角検出部９３は、撮像画像と複数の周辺領域に関する第２のテンプレート画像とをそれぞれ比較することにより、複数の周辺領域のそれぞれについて、第２のテンプレート画像と合致する第２の合致領域を撮像画像内から検出する（ステップＳ３３）。そして、第２のヨー角検出部９３は、複数の周辺領域のそれぞれについて、周辺領域の設定位置と第２の合致領域の位置との変化量、あるいは、前回の処理で検出された第２の合致領域の位置と、今回の処理で検出された第２の合致領域の位置との変化量の平均値を算出し（ステップＳ３４）、この変化量の平均値から、処理毎（０．１秒間隔）の農用車両１のヨー角の変化量を検出し、これを前回の処理時に検出されたヨー角に加算することで、農用車両１の現在のヨー角を検出する（ステップＳ３５）。
　次に、操舵制御部２６’は、ステップＳ３２でヨー角検出部２５により検出されたヨー角と、ステップＳ３５で第２のヨー角検出部９３により検出されたヨー角との差分が閾値未満か否かを判定する（ステップＳ３６）。ここで、差分が閾値未満の場合は、ヨー角検出部２５により目標領域から検出されたヨー角を採用する（ステップＳ３７）。一方、差分が閾値以上である場合は、第２のヨー角検出部９３により周辺領域から検出されたヨー角を採用する（ステップＳ３８）。
　そして、操舵制御部２６’は、ステップＳ３７またはステップＳ３８で採用したヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する（ステップＳ３９）。これにより、農用車両１は、ステップＳ２３またはステップＳ２５で設定した目標領域の方向に向かって直進走行するように制御される。
　その後、テンプレート画像生成部２３は、目標領域に関するテンプレート画像の更新条件を満たすか否かを判定する（ステップＳ４０）。目標領域に関するテンプレート画像の更新条件とは、一例として、１．３倍のテンプレート画像のＳＡＤ値が最も小さくなる、すなわち、１．２倍のテンプレート画像のＳＡＤ値と、１．４倍のテンプレート画像のＳＡＤ値とがほぼ等しくなるという条件である。
　ここで、目標領域に関するテンプレート画像の更新条件を満たさない場合、処理はステップＳ４３に遷移する。一方、目標領域に関するテンプレート画像の更新条件を満たした場合、テンプレート画像生成部２３は、１．３倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像（目標領域の画像）として採用し、記憶部２４に更新記憶させる（ステップＳ４１）。
　また、テンプレート画像生成部２３は、記憶部２４に更新記憶した新たな目標領域の画像を１．１倍～１．４倍の倍率で拡大して複数のテンプレート画像を再生成し、記憶部２４に更新記憶させる（ステップＳ４２）。その後、処理はステップＳ４５に遷移する。
　ステップＳ４３において、第２のテンプレート画像生成部９２は、周辺領域に関する第２のテンプレート画像の更新条件を満たすか否かを判定する。周辺領域に関する第２のテンプレート画像の更新条件とは、前回の更新時から所定時間が経過したという条件であり、それぞれの周辺領域ごとに判断される。この更新条件を満たさない場合、処理はステップＳ４５に遷移する。
　一方、周辺領域に関する第２のテンプレート画像の更新条件を満たした場合、第２のテンプレート画像生成部９２は、ステップＳ２７で周辺領域設定部９１により設定された周辺領域の画像を撮像画像から改めて抽出して第２のテンプレート画像として生成し、記憶部２４に更新記憶させる（ステップＳ４４）。また、記憶部２４に記憶した周辺領域の位置情報も更新する。
　次に、ステップＳ４５において、画像取得部２１は、運転者により自動走行スイッチがオフとされたか否かを判定する。ここで、自動走行スイッチがオフとされていない場合、処理はステップＳ３０に戻り、画像取得部２１が次の撮像画像をカメラ１１から取得する。一方、自動走行スイッチがオフとされた場合、図１１Ａおよび図１１Ｂに示すフローチャートの処理は終了する。
　なお、図１１Ａおよび図１１Ｂに示したフローチャートでは、ステップＳ２３～Ｓ２６で目標領域に関する処理を行った後にステップＳ２７～Ｓ２９で周辺領域に関する処理を行っているが、処理手順はこれに限定されない。少なくとも目標領域の設定は周辺領域の設定に先行する必要があるが、それ以降は、周辺領域に関する処理を目標領域に関する処理に先行して行ってもよいし、同時に行うようにしてもよい。同様に、ステップＳ３１～Ｓ３２における目標領域に関する処理と、ステップＳ３３～Ｓ３５における周辺領域に関する処理は、どちらを先行して行ってもよし、同時に行ってもよい。
　以上詳しく説明したように、第２の実施形態では、目標領域の他に周辺領域も設定し、それぞれの領域においてパターンマッチングにより農用車両１のヨー角を検出し、目標領域または周辺領域の何れかを利用して検出したヨー角に基づいて農用車両１の操舵を制御するようにしている。これにより、目標領域の位置に障害物が入り込んだ状態でも、農用車両１の直進走行制御を継続して行うことができる。
　なお、上記第１および第２の実施形態では、１．０倍、１．１倍、１．２倍、１．３倍、１．４倍の５枚のテンプレート画像を生成する例について説明したが、拡大率も枚数もこれに限定されるものではない。例えば、圃場の広さや農用車両１の走行速度等に応じて、テンプレート画像の拡大率や枚数を任意に設定できるようにしてもよい。
　また、上記第１および第２の実施形態では、１．２倍のテンプレート画像に関するＳＡＤ値と、１．４倍のテンプレート画像に関するＳＡＤ値とを監視し、両者のＳＡＤ値がほぼ等しくなるタイミングで、テンプレート画像の更新を行う例について説明したが、本発明はこれに限定されない。例えば、１．３倍のテンプレート画像に関するＳＡＤ値を監視し、当該ＳＡＤ値が極小化したことを検出した直後のタイミングで、テンプレート画像の更新を行うようにしてもよい。
　また、上記第１および第２の実施形態では、各作業行程を開始する際に運転者が自動走行スイッチをオンする都度、目標領域を設定して直進走行制御を行う例について説明したが、本発明はこれに限定されない。例えば、１行程目については上記実施形態の直進走行制御を行い、次行程以降は他の手段を用いて、前行程の作業跡などに追従走行を行い、作業を継続して実施するようにしてもよい。
　また、上記第１および第２の実施形態では、本発明を農用車両１の走行制御に適用する例について説明したが、適用例はこれに限定されない。例えば、農業分野だけでなく、土木・建設分野での作業車両の走行制御に適用することも可能である。
　その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１　農用車両（移動車両）
　１１　カメラ（撮像部）
　１２　画像処理装置
　１３　ＥＣＵ
　２０　正面方向設定部
　２１　画像取得部
　２２　目標領域設定部
　２３　テンプレート画像生成部
　２４　記憶部
　２５　ヨー角検出部
　２６，２６’　操舵制御部
　９１　周辺領域設定部
　９２　第２のテンプレート画像生成部
　９３　第２のヨー角検出部

Claims (7)

  1.   移動車両の走行方向前方を撮像する撮像部と、
    　上記撮像部により取得された撮像画像上における上記移動車両の正面方向の位置を設定する正面方向設定部と、
    　上記撮像部により取得された撮像画像内に、目標地点に関連付けて目標領域を設定する目標領域設定部と、
    　上記目標領域設定部により設定された上記目標領域の画像を等倍のテンプレート画像として生成するとともに、上記目標領域の画像を異なる倍率で拡大して複数のテンプレート画像を生成して記憶するテンプレート画像生成部と、
    　上記撮像部により上記撮像画像が所定時間毎に取得される都度、当該撮像画像と上記複数のテンプレート画像とを比較することにより、上記複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を上記撮像画像内から検出し、上記合致領域の撮像画像上の位置と上記移動車両の正面方向の撮像画像上の位置との差異から、上記目標地点に対する上記移動車両のヨー角を検出するヨー角検出部と、
    　上記ヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御する操舵制御部とを備えたことを特徴とする移動車両の走行制御装置。
  2. 　上記テンプレート画像生成部は、上記複数のテンプレート画像のうち所定倍率で拡大したテンプレート画像と上記撮像画像内の上記合致領域の画像との合致度が、上記所定倍率未満で拡大した他のテンプレート画像と上記合致領域の画像との合致度より高くなった場合、上記合致領域の画像を新たに等倍のテンプレート画像とし、当該新たな等倍のテンプレート画像を異なる倍率で拡大して複数のテンプレート画像を再生成して更新記憶することを特徴とする請求項１に記載の移動車両の走行制御装置。
  3. 　上記テンプレート画像生成部は、上記所定倍率より１段低い倍率のテンプレート画像に関する合致度と、上記所定倍率より１段高い倍率のテンプレート画像に関する合致度とがほぼ等しくなるタイミングで、上記所定倍率のテンプレート画像と合致する上記合致領域の画像を上記新たな等倍のテンプレート画像とし、当該新たな等倍のテンプレート画像を異なる倍率で拡大して複数のテンプレート画像を再生成して更新記憶することを特徴とする請求項２に記載の移動車両の走行制御装置。
  4. 　上記目標領域設定部により設定された上記目標領域の周辺に周辺領域を設定する周辺領域設定部と、
    　上記周辺領域設定部により設定された上記周辺領域の画像を第２のテンプレート画像として生成し記憶する第２のテンプレート画像生成部と、
    　上記撮像部により上記撮像画像が所定時間毎に取得される都度、当該撮像画像と上記第２のテンプレート画像とを比較することにより、上記第２のテンプレート画像と合致する第２の合致領域を上記撮像画像内から検出し、上記周辺領域と上記第２の合致領域との位置の変化量、あるいは、前回の処理で検出された上記第２の合致領域の位置と、今回の処理で検出された上記第２の合致領域の位置との変化量から上記移動車両のヨー角の変化量を検出し、これに前回の処理時に検出されたヨー角に加算することで、現在のヨー角を検出する第２のヨー角検出部と、
    　上記操舵制御部は、上記ヨー角検出部により検出されたヨー角または上記第２のヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御することを特徴とする請求項１～３の何れか１項に記載の移動車両の走行制御装置。
  5. 　上記操舵制御部は、上記ヨー角検出部により検出されたヨー角と上記第２のヨー角検出部により検出されたヨー角との差分が閾値未満か否かを判定し、上記差分が閾値未満の場合は上記ヨー角検出部により検出されたヨー角に基づいて、上記差分が閾値以上の場合は上記第２のヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御することを特徴とする請求項４に記載の移動車両の走行制御装置。
  6. 　上記第２のテンプレート画像生成部は、一定の時間間隔毎に、上記撮像部により取得される上記撮像画像から、上記周辺領域設定部により設定された上記周辺領域の画像を上記第２のテンプレート画像として生成し更新記憶することを特徴とする請求項４または５に記載の移動車両の走行制御装置。
  7. 　上記周辺領域設定部は、上記目標領域の周辺に複数の周辺領域を設定し、
    　上記第２のテンプレート画像生成部が上記第２のテンプレート画像を生成して更新記憶する時間間隔は、上記目標領域から離れた周辺領域ほど短くなるように設定されていることを特徴とする請求項６に記載の移動車両の走行制御装置。
PCT/JP2017/018146 2016-05-27 2017-05-15 移動車両の走行制御装置 WO2017204009A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016105835A JP6709559B2 (ja) 2016-05-27 2016-05-27 移動車両の走行制御装置
JP2016-105835 2016-05-27

Publications (1)

Publication Number Publication Date
WO2017204009A1 true WO2017204009A1 (ja) 2017-11-30

Family

ID=60412776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018146 WO2017204009A1 (ja) 2016-05-27 2017-05-15 移動車両の走行制御装置

Country Status (2)

Country Link
JP (1) JP6709559B2 (ja)
WO (1) WO2017204009A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110186472B (zh) * 2019-05-23 2021-03-23 中电工业互联网有限公司 车辆偏航检测方法、计算机设备、存储介质及车辆系统
KR102445673B1 (ko) * 2020-06-19 2022-09-22 대한민국 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법
KR102372563B1 (ko) * 2020-07-29 2022-03-10 네이버랩스 주식회사 로봇 원격 제어 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4769700A (en) * 1981-11-20 1988-09-06 Diffracto Ltd. Robot tractors
JPH0257109A (ja) * 1988-08-19 1990-02-26 Yanmar Agricult Equip Co Ltd 農作業機における自動燥舵制御装置
JP2009153432A (ja) * 2007-12-26 2009-07-16 National Agriculture & Food Research Organization 移動車両の直進誘導システム
JP2010200674A (ja) * 2009-03-03 2010-09-16 National Agriculture & Food Research Organization 走行制御装置
JP2013201958A (ja) * 2012-03-28 2013-10-07 National Agriculture & Food Research Organization 走行制御装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002296010A (ja) * 2001-03-29 2002-10-09 Fujitsu Ltd 画像を用いた自己位置同定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4769700A (en) * 1981-11-20 1988-09-06 Diffracto Ltd. Robot tractors
JPH0257109A (ja) * 1988-08-19 1990-02-26 Yanmar Agricult Equip Co Ltd 農作業機における自動燥舵制御装置
JP2009153432A (ja) * 2007-12-26 2009-07-16 National Agriculture & Food Research Organization 移動車両の直進誘導システム
JP2010200674A (ja) * 2009-03-03 2010-09-16 National Agriculture & Food Research Organization 走行制御装置
JP2013201958A (ja) * 2012-03-28 2013-10-07 National Agriculture & Food Research Organization 走行制御装置

Also Published As

Publication number Publication date
JP2017211893A (ja) 2017-11-30
JP6709559B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
JP6587172B2 (ja) 操舵制御装置および旋回状態推定方法
JP5952611B2 (ja) 走行制御装置
US9378554B2 (en) Real-time range map generation
US10073462B2 (en) Autonomous vehicle with improved visual detection ability
WO2014199929A1 (ja) 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
US10632919B2 (en) Vehicle hitch assist system
JP5328427B2 (ja) 走行制御装置
JP2016146061A (ja) 走行制御装置
WO2017204009A1 (ja) 移動車両の走行制御装置
CN104854640A (zh) 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
JP2014227021A (ja) 駐車支援装置
JP2010191661A (ja) 走行路認識装置、自動車及び走行路認識方法
JP6471522B2 (ja) カメラパラメータ調整装置
KR20150142364A (ko) 자동차의 주차시스템
US10266114B2 (en) Image generating device and image generating method
EP3547677A1 (en) Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program
JP6782895B2 (ja) 車載カメラの取付方向パラメータ算出装置および取付方向パラメータ算出方法
JP2013052754A (ja) 駐車支援装置
US20140218525A1 (en) Method for determining a pitch of a camera installed in a vehicle and method for controling a light emission of at least one headlight of a vehicle.
JP5974718B2 (ja) 車両走行支援装置及び車両走行支援方法
JP2005286577A (ja) 撮像装置、表示方法、および車両
JP5083137B2 (ja) 運転支援装置
KR101598193B1 (ko) 군 운용 차량의 주행 차선 표시 장치 및 그 방법
JP2019061510A (ja) 車載カメラの取付高さパラメータ算出装置および取付高さパラメータ算出方法
CN113771849A (zh) 一种适用于车道保持辅助系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802603

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17802603

Country of ref document: EP

Kind code of ref document: A1