JP6716910B2

JP6716910B2 - 作業車両の自律走行システム

Info

Publication number: JP6716910B2
Application number: JP2015252991A
Authority: JP
Inventors: 小野　弘喜; 弘喜小野
Original assignee: Iseki and Co Ltd
Current assignee: Iseki and Co Ltd
Priority date: 2015-12-25
Filing date: 2015-12-25
Publication date: 2020-07-01
Anticipated expiration: 2035-12-25
Also published as: JP2017117257A

Description

本発明は、作業車両の自律走行システムに関する。

予定経路に沿って自律走行する自律走行作業車両と、その自律走行作業車両と並走して作業を行い、自律走行作業車両の遠隔操作装置を搭載した有人の随伴走行作業車両とにおいて、自律走行作業車両に随伴走行作業車両を撮影するカメラを設け、圃場内での枕地旋回時に自律走行作業車両が旋回終了後に待機すると共にカメラにより随伴走行作業車両の旋回完了を認識すると、自律走行作業車両は待機を終了して走行を再開する技術が公知である（特許文献１）。

特開２０１５−１８６４７３号公報

上記技術では、自律走行作業車両が経路からずれた場合でも、随伴走行作業車両に乗っている作業者が遠隔操作して経路修正することが可能であるが、随伴走行を行わない場合でも経路がずれた場合に修正する手段が必要であった。

本発明では自律走行する作業車両において、測位衛星との通信が良好でない場合でも、予定経路に沿って直進可能な作業車両の自律走行システムを提供することを目的とする。

上述した課題を解決するために、本発明は、測位衛星から送信される測位信号を受信して測位情報を取得し、測位情報に基づいて予め定められた予定走行経路に沿って自律走行しながら作業を行う作業車両において、車両の前方を撮影するカメラを搭載し、所定の数以上の前記測位信号を受信している場合は、前記測位信号により取得した測位情報に基づいて予定走行経路に沿うように自律走行し、受信している前記測位信号の数が前記所定の数に満たない場合は、前記カメラの撮影画像に基づいた操向制御を行うことを第１の特徴とする。

また、本発明は、第１の特徴を有する発明において、受信している前記測位信号の数が前記所定の数に満たない場合は、前記カメラの撮影画像から抽出した目標物を所定の位置で撮影できるように作業車両を操向制御することを第２の特徴とする。

また、本発明は、第１の特徴または第２の特徴を有する発明において、前記カメラを運転部前方上部に設けたことを第３の特徴とする。

また、本発明は、第１から第３のいずれか一つの特徴を有する発明において、前記作業車両は前記測位信号を前記所定の数以上の測位衛星から受信し、前記測位信号により取得した測位情報に基づいて予定走行経路に沿うように自律走行しているときに、作業車両が予定走行経路上を走行し、かつ進行方向が所定の方向を向いた場合は、前記カメラの撮影画像による操向制御時に使用する画像の目標物設定を行うことを第４の特徴とする。

第１および第２の特徴を有する発明によると、測位衛星から送信される測位信号の受信状況に応じてカメラの撮影画像に基づいた操向制御を行うので、例えば、雲や山などの周辺環境の影響により測位信号の受信が良好でない場合にも、前方を撮影するカメラの撮影画像に基づいて、直進走行できる。

また、測位が可能となる数の測位衛星から測位信号を受信している場合は測位信号に基づいて自律走行し、自己位置の測定が困難な数の測位信号しか受信できていない場合は、カメラの撮影画像による直進走行に切り換えることで自律走行作業を継続することができる。また、撮影画像から抽出した目標物を所定の位置で捉えるように車両を走行制御することで、直進走行が可能となる。

第３の特徴を有する発明によると、第１の特徴または第２の特徴を有する発明による効果に加え、カメラを運転部前方上部に設けることにより、遠方を撮影しやすくなる。それにより目標物を設定する対象物を遠方に設定できるため、直進制御の精度を良好にすることができる。

第４の特徴を有する発明によると、所定の数以上の測位衛星から受信しているときに、作業車両が予定走行経路上を走行し、かつ進行方向が所定の方向を向いた場合は、前記カメラの撮影画像による操向制御時に使用する画像の目標物設定を行うため、最新の状況を直進目標として設定することができる。これにより、前方の状況が変化しても、カメラの撮影画像に基づいた直進走行が可能となる。

自律走行システムの構成概略図自律走行システムの制御ブロック図カメラによる撮影画像イメージ概略図予定走行経路走行時の圃場平面図

この発明の実施例を図面に基づき説明する。

図１は、自律走行システムの構成概略図である。本発明の発明における作業車両の一例としてのトラクタ１は、エンジンＥで発生した動力を適宜減速し、後輪３又は前輪２を駆動して走行する。

エンジンＥはボンネット５の内部に設けられ、燃料タンク４内に貯蔵された燃料を内部で燃焼することにより動力を発生させる。トラクタ１は後方にロータリ耕耘装置などの作業機（図示せず）が装着される。エンジンＥで発生した動力は、走行駆動に使用されるほか、動力を外部へ取り出すＰＴＯ軸（図示せず）を通して、作業機を駆動するのにも使用される。

キャビン６は前方フレーム６ｆ、中間フレーム６ｍ、後方フレーム６ｒ、キャビンルーフ８などにより構成され、ステアリングホイール１０、シート９などと共に運転部１６を構成している。後方フレーム６ｒと中間フレーム６ｍの間にはサイドウィンドウ６ｗが設けられ、前方フレーム６ｆと中間フレーム６ｍに間には運転者が乗り降りするドア部６ｄが設けられている。

キャビン６内部空間後部には運転者が手動運転する際に着座するシート９が設けられ、シート９前方には前輪２を操向操作するためのステアリングホイール１０が設けられる。このステアリングホイール１０は自動走行の際はステアリングモータ（図示せず）により電気的に自動で回動操作される。

ステアリングホイール１０の下方には車両の前進と後進を切り換える前後進レバー１１が設けられ、さらにその下方のシート９に運転者が着座した際の左足付近にはクラッチペダル１２、右足付近にはアクセルペダル１３等が設けられている。

キャビンルーフ８の前部上面には測位衛星３０からの測位信号３１を受信するアンテナ１７が設けられており、受信した測位信号３１が演算処理されて測位情報が取得される。

運転部１６前方上部となるキャビンルーフ８の前部には前方を撮影するカメラ１４が設けられており、トラクタ１の前方遠方を撮影する。カメラ１４は遠方を撮影し、焦点を例えば圃場の外にあわせることで、画像認識による直進制御の精度を確保することができる。

また、ボンネット５の前部にはトラクタ１の前方近傍を撮影する障害物検知カメラ１５も設けられており、トラクタ１の前方にある障害物を検知する。この障害物検知カメラ１５は単独のカメラで、画像処理により、障害物検知するものであってもよいし、前方対象物との距離を検知するステレオカメラであってもよい。または、カメラの代わりに赤外線センサやドップラーレーダーなどの障害物検知センサなどを用いてもよい。

トラクタ１に搭載した車両ＥＣＵ５０はタブレット等の携帯端末２０と通信により信号の送受信を行う。カメラ１４などで撮影された画像を通信によって画像表示部２１に表示し、トラクタ１を操作スティック２０Ｌ、２０Ｒ等により遠隔操作するコントローラとしての機能も併せ持つ。

携帯端末２０の中央には画像表示部２１があり、カメラ１４が撮影した映像や、トラクタ１の各種機能を操作する操作ボタン等が表示される。操作スティック２０Ｌ、２０Ｒや画像表示部２１に表示された操作ボタン等により遠隔操作された場合は、自律制御による走行操作は一時中断され、遠隔操作による手動操作が優先される。操作スティック２０Ｌ、２０Ｒによる手動操作信号が受信されなくなると、自律制御による走行操作が自動的に再開される。

図２は自律走行システムの制御ブロック図である。トラクタ１には車両の走行を制御する車両ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）５０とアンテナ１７で得た測位信号３１を基に測位情報を演算処理する測位情報処理ＥＣＵ６０が搭載されている。

測位情報処理ＥＣＵ６０にはカメラ１４からの映像信号が入力され、画像処理されて目標画像との比較が行われる。測位情報処理ＥＣＵ６０には障害物検知カメラ１５からの映像信号も入力され、画僧処理により障害物検知が行われる。

車両ＥＣＵ５０には走行車速を検出する車速センサ５１からの信号と、前輪２の操向角度を検出するステリングセンサ５２からの信号と、変速位置を検出する変速センサ５３からの信号が入力される。車両ＥＣＵからはエンジンＥの出力を制御する信号と、ステアリングホイール１０の操向角度を制御するステアリングモータ５５の操作信号と、変速装置５６の変速操作信号と、車両の走行を停止するブレーキを操作するブレーキシリンダ５７へのブレーキ操作信号とが出力される。

位置情報処理ＥＣＵ６０と車両ＥＣＵ５０とは有線通信により情報を互いに送受信することができ、車両の位置に応じて各種制御を実行する。車両ＥＣＵ５０は携帯端末２０とは無線通信により情報の送受信を行い、車両の状態やカメラ１４、障害物検知カメラ１５の映像を携帯端末２０の画像表示部２１に表示する。

図３はカメラ１４により撮影された画像イメージの概略図である。測位情報処理ＥＣＵ６０は測位信号３１を受信できる測位衛星の数が３基未満の場合、または受信する信号が安定しない場合は、図３に示すようなカメラ１４の撮影画像を用いて直進制御を行う。たとえば、図３では前方に見える木を目標物Ａとして設定し、目標物Ａが撮影画像のシンボルマークＳ１に入るようにステアリングモータ５５を制御して車両を操向する。

旋回後に次回同じ方向を向いて隣接耕耘を行う場合は、演算処理により所定距離だけ移動させた位置にシンボルマークＳ２を設定して、シンボルマークＳ２に目標物Ａが移るようにステアリングモータ５５を制御して車両を操向することで、測位信号３１の受信が良好でない場合の直進走行を補助することが可能となる。

図４は予定走行経路走行時の圃場の平面図である。トラクタ１が予定走行経路Ｒを測位情報に基づいて自律走行しているときに、トラクタ１が予定走行経路上にあり、かつ進行方向が予定経路とほぼ一致していることを測位情報により検出している場合には、トラクタ１はカメラ１４の映像を処理して目標物を設定する。

例えば、前方に見える木を目標物Ａとして設定し、その目標物の輪郭を所定量拡げたエリアをシンボルマークＳ１として設定する。カメラ１４は目標物Ａの候補になる対象物が複数存在する場合は、焦点距離が最も長いものを選択し目標物Ａとして設定する。

トラクタ１の位置が予定走行経路Ｒ上にあり、進行方向が予定走行経路Ｒの方向とほぼ一致しているときのカメラ１４の映像をもとに目標物ＡとシンボルマークＳ１を設定することで、圃場周辺の環境が変化したとしても、最新の状況でカメラ１４による直進走行を行うことが可能となる。

また、目標物Ａを遠くのものに設定することで、直進走行中のブレを少なくすることができる。上記では焦点距離の遠いものを目標物Ａとして設定したが、カメラ１４にステレオカメラを用いるなどして、目標物Ａの距離を認識して、所定以上遠いものを選定するなどしてもよい。

また、本実施例ではトラクタ１について説明したが、コンバインや田植機、その他作業車両にも応用することが可能である。

Ａ目標物
Ｒ予定走行経路
１トラクタ（作業車両）
１４カメラ
３１測位信号

Claims

測位衛星から送信される測位信号を受信して測位情報を取得し、
測位情報に基づいて予め定められた予定走行経路に沿って自律走行しながら作業を行う作業車両において、
車両の前方を撮影するカメラを搭載し、
所定の数以上の前記測位信号を受信している場合は、前記測位信号により取得した測位情報に基づいて予定走行経路に沿うように自律走行し、
受信している前記測位信号の数が前記所定の数に満たない場合は、前記カメラの撮影画像に基づいた操向制御を行うことに特徴を有する、
作業車両の自律走行システム。
受信している前記測位信号の数が前記所定の数に満たない場合は、前記カメラの撮影画像から抽出した目標物を所定の位置で撮影できるように作業車両を操向制御することに特徴を有する、
請求項１に記載の作業車両の自律走行システム。
前記カメラを運転部前方上部に設けたことに特徴を有する、
請求項１または２に記載の作業車両の自律走行システム。
前記所定の数以上の前記測位信号を受信し、前記測位信号により取得した測位情報に基づいて予定走行経路に沿うように自律走行しているときに、作業車両が予定走行経路上を走行し、かつ進行方向が所定の方向を向いた場合は、前記カメラの撮影画像による操向制御時に使用する画像の目標物設定を行うことに特徴を有する、
請求項１から３のいずれか一項に記載の作業車両の自律走行システム。