WO2023127437A1

WO2023127437A1 - 農業機械

Info

Publication number: WO2023127437A1
Application number: PCT/JP2022/045041
Authority: WO
Inventors: 隼輔宮下; 透反甫; 充朗長尾
Original assignee: 株式会社クボタ
Priority date: 2021-12-27
Filing date: 2022-12-07
Publication date: 2023-07-06

Abstract

農業機械は、取得した画像から、圃場の地面上に設けられた作物および畝の少なくとも一方の列領域を検出する画像認識システムと、自己位置を取得する測位システムと、操舵輪を含む走行装置と、測位システムにより前記走行装置を目標経路に沿って走行させる自動経路走行と、前記画像認識システムが検出した列領域に沿って走行装置を走行させる列倣い走行とのいずれかを行う制御装置と、を備える。

Description

農業機械

　本開示は、農業機械に関する。

　圃場で使用されるトラクタなどの作業車両の自動化に向けた研究開発が進められている。例えば、精密な測位が可能なＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）などの測位システムを利用して自動操舵で走行する作業車両が実用化されている。自動操舵に加えて速度制御を自動で行う作業車両も実用化されている。

　また、圃場における作物の列（作物列）または畝をカメラなどの撮像装置を用いて検出し、検出した作物列または畝に沿って作業車両の走行を制御するビジョン・ガイダンスシステムが開発されつつある。

　特許文献１は、列状に形成された畝に作物が植えられた耕作地を畝に沿って走行する作業機を開示している。特許文献１は、車載カメラで耕作地を斜め上方から撮影して取得した原画像を二値化処理した後、平面射影変換画像を生成することを記載している。

特開２０１６－２０８８７１号公報

　特許文献１の作業機では、圃場に作物の列および畝が無い場合、手動操舵で走行する必要がある。

　本開示は、このような課題を解決することが可能な農業機械を提供する。

　本開示による農業機械は、例示的で非限定的な実施形態において、取得した画像から、圃場の地面上に設けられた作物および畝の少なくとも一方の列領域を検出する画像認識システムと、自己位置を取得する測位システムと、操舵輪を含む走行装置と、前記測位システムによって取得された自己位置に基づいて前記走行装置を目標経路に沿って走行させる自動経路走行と、前記画像認識システムが検出した前記列領域に沿って前記走行装置を走行させる列倣い走行とのいずれかを行う制御装置と、を備える。

　本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されていてもよい。

　本開示の実施形態によれば、圃場における作物の列および畝の有無などに応じて、適宜、自動操舵の切り替えを行うことが可能になる。

本開示における農業機械の基本構成例を模式的に示すブロック図である。画像認識システムの構成例を示すブロック図である。スタートスイッチが農業機械のステアリングホイールの周辺に設けられている例を模式的に示す図である。列倣い走行が可能な状態か不能な状態かを判別する手順の一例を示すフローチャートである。表示装置の他の例を示す斜視図である。列倣い走行可能か否かを示す文字、記号などの通知が表示された画面の例を示す図である。自動経路走行モードにおける作業車両の走行の例を示す図である。圃場内を自動経路走行モードで走行する作業車両の目標経路の例を模式的に示す図である。農業機械に取り付けられた撮像装置が地面を撮影する様子を模式的に示す図である。農業機械に対して固定されたボディ座標系Σｂおよびカメラ座標系Σｃと、地面に対して固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。地面に複数の作物列が設けられた圃場の一部を模式的に示す上面図である。図１１に示す農業機械の撮像装置が取得した画像の例を模式的に示す図である。農業機械の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。図１３の状態にある農業機械の撮像装置が取得した画像の例を示す図である。本開示の第１実施形態における処理装置の構成例を模式的に示すブロック図である。トラクタに搭載された車載カメラが取得した時系列カラー画像における１フレームの画像に対応するモノクロ画像である。時系列カラー画像における１フレームの画像のＲＧＢ値を緑過剰指標（ＥｘＧ＝２×ｇ－ｒ－ｂ）に変換した強調画像を示す図である。図１７の画像における緑過剰指標（ＥｘＧ）のヒストグラムである。第１画素（例えば作物画素）と第２画素（背景画素）とに分類された上面視画像（俯瞰画像）の例を示す図である。カメラ座標系Σｃ１およびカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。上面視画像における作物列の方向と走査ラインの方向とが平行な例を示す模式図である。図２１の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。上面視画像における作物列の方向と走査ラインの方向とが交差する例を示す模式図である。図２３の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。本開示の実施形態における処理装置が作物列のエッジラインを決定するアルゴリズムの例を示すフローチャートである。図１９の上面視画像から得られた積算値ヒストグラムを示す図である。本開示の実施形態における処理装置が実行する処理を示すブロック図である。上面視画像を複数のブロックに分割する形態を説明するための図である。図２８の各ブロックにおける、走査ラインの位置と指標値の積算値との関係を模式的に示す図である。図２９の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。図３０の近似線に基づいて決定した作物列のエッジラインの例を示す上面図である。作物列が曲線上に曲がる部分を含む場合において、上面視画像の一部または全部を複数のブロックに分割して、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。図３３の各ブロックにおける、走査ラインの位置と指標値の積算値（ヒストグラム）との関係を模式的に示す図である。図３３の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。図３４の近似曲線に基づいて決定した作物列のエッジラインの例を示す上面図である。地面に設けられた畝の列を模式的に示す斜視図である。撮像装置から時刻ｔに取得した画像を示す図である。撮像装置から時刻ｔに取得した画像と、時刻ｔ＋１に取得した画像との間にある特徴点の対応関係を模式的に示す図である。撮像装置が取得する画像に映る畝および中間領域（作業通路）上の特徴点の移動を模式的に示す斜視図である。画像平面に投影された特徴点の移動量（第１移動量）と、基準平面に投影された特徴点の移動量（第２移動量）との関係を模式的に示す図である。本開示の第２実施形態における処理装置が実行する処理を示すブロック図である。走査ライン上における特徴点の高さの平均値と、走査ラインの位置との関係を示す図である。本開示の第３実施形態における画像認識システムの基本的な構成例を示す図である。撮像装置から処理装置が取得した画像の例を示す図である。図４４の画像の一部を示す図である。作物列が設けられた地面の一部を模式的に示す上面図である。画像内に映っている前輪の一部に含まれる点Ｐ３、Ｐ４と、基準平面Ｒｅ上の対応点Ｐ３’、Ｐ４’との位置関係を模式的に示す図である。本開示の実施形態における農業機械の外観の例を示す斜視図である。作業機が装着された状態の農業機械の例を模式的に示す側面図である。農業機械および作業機の概略的な構成の例を示すブロック図である。自動経路走行と列倣い走行とを手動によって切り換える動作を示すフローチャートである。

　以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に関する重複する説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同じ参照符号を付している。

　下記の実施形態は例示であり、本開示の技術は、以下の実施形態に限定されない。例えば、以下の実施形態について示される数値、形状、材料、ステップ、そのステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。

　本開示における「農業機械」は、「耕す」、「植える」、「収穫する」などの農業の基本的な作業を圃場で行う機械を広く含む。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う機能および構造を備える機械である。これらの農作業を「対地作業」または単に「作業」と称することがある。また、トラクタのような作業車両が単独で「農業機械」として機能する場合に限られず、作業車両に装着または牽引される作業機（インプルメント）と作業車両の全体がひとつの「農業機械」として機能する場合がある。農業機械の例は、トラクタ、乗用管理機、野菜移植機、草刈機、および、圃場用移動ロボットを含む。

＜基本構成の例１＞
　本開示の実施形態を具体的に説明する前に、本開示における農業機械の基本構成と動作の例を説明する。

　図１は、本開示における農業機械の基本構成例を模式的に示すブロック図である。この例における農業機械１００は、画像認識システム１０００と、農業機械１００の位置（自己位置）を取得する測位システム２０００と、操舵輪を含む走行装置１４５と、走行装置１４５を制御する制御装置１８０とを備える。画像認識システム１０００は、例えば、図２に示されるように、農業機械１００に取り付けられるカメラなどの撮像装置１２０と、少なくとも１つのコンピュータによって実現され得る処理装置１２２とを備える。画像認識システム１０００は、撮像装置１２０によって取得した画像から、圃場の地面上に設けられた作物および畝の少なくとも一方の列領域を検出するように構成されている。画像認識システム１０００による列領域の検出方法については、後に詳しく説明する。測位システム２０００は、例えば、ＧＮＳＳレシーバを含む公知の測位システムであり得る。制御装置１８０は、測位システム２０００によって取得された自己位置に基づいて走行装置１４５を目標経路に沿って走行させる「自動経路走行」と、画像認識システム１０００が検出した列領域に沿って走行装置１４５を走行させる「列倣い走行」のいずれかを行うように構成されている。

　このように、本開示における農業機械１００は、通常の手動操舵による走行とは別に、「自動経路走行」と「列倣い走行」の両方を行うことができる。「自動経路走行」とは、測位システム２０００によって取得した自己位置が、設定された目標経路に沿って移動するように、自動操舵によって走行することである。制御装置１８０は、測位システム２０００によって得た自己位置と目標経路との誤差が小さくなるように走行装置１４５を制御する。「列倣い走行」とは、画像認識システム１０００が検出した列領域に沿って自動操舵によって走行することである。列倣い走行モードにおいて、制御装置１８０は、画像認識システム１０００が検出した列領域に沿って走行するように走行装置１４５を制御する。自動経路走行時および列倣い走行時における操舵輪の向きは、人がステアリングホイールを操作しないでも、例えばステアリングモータによって自動的に制御される。

　自動経路走行は、農業機械１００の基準点（例えば重心）が、圃場における仮想的な直線または曲線の目標経路を通って移動するように、制御装置１８０が走行装置１４５を制御して実行される。このため、圃場における目標経路の位置を特定するための位置座標が制御装置１８０に与えられる必要がある。例えば、目標経路が、平行に並んだ複数の線状部分を含む場合、基準となる線状部分（基準線）の始点および終点における位置座標と、基準線に対して平行に配列される複数の線状部分の位置を特定することにより、目標経路が規定され得る。自動経路走行中の農業機械１００は、世界座標系における自己位置の情報（例えば緯度および経度など）を取得する必要がある。目標経路を設定するための具体例については、後述する。

　列倣い走行は、走行装置１４５が有する車輪（操舵輪を含むすべての車輪）が、隣接する２本の列領域の間にある領域（作業通路）を通って移動するように、制御装置１８０が走行装置１４５を制御して実行される。画像認識システム１０００は、列倣い走行中、倣いの対象となる列領域の位置（列領域の例えば「エッジ」の位置）と車輪の位置との関係を数センチメール程度の高い精度でモニタすることができる。

　なお、本開示において、「車輪」は「タイヤ付き車輪」または「無限軌道付き車輪」を意味している。以下、車輪のうちの、例えばタイヤの部分を指すときは「タイヤ」の文言を使用し、例えば金属製の「ホイール」の部分を指すときには「金属製ホイール」の文言を使用する。

　このように画像認識システム１０００は、画像の中から列領域を検出するだけではなく、検出した列領域の農業機械１００に対する相対位置を演算によって高い精度で算出するように構成されている。列領域の農業機械１００に対する相対的な位置は、例えば、農業機械１００に固定された局所座標系における列領域の座標である。列倣い走行を行うとき、列領域の座標は、地上に固定された世界座標系における座標に変換される必要はない。このため、列倣い走行中の農業機械１００は、世界座標系における自己位置（例えば緯度および経度）を正確に計測する必要はない。しかし、農業機械１００が測位システム２０００を備えているため、農業機械１００に固定された局所座標系における列領域の座標を、地上に固定された世界座標系における座標に変換して列領域の地図を生成してもよい。

　図１に示されるように、本開示における農業機械１００は、自動操舵走行の開始を指令するスタートスイッチ１１２を備え得る。より具体的には、スタートスイッチ１１２は、測位システム２０００により走行装置１４５を目標経路に沿って走行させる「自動経路走行」の開始、または、画像認識システム１０００が検出した列領域に沿って走行するように制御装置１８０が走行装置１４５を制御する列倣い走行の開始を指令する。ある実施形態において、農業機械１００は、「自動経路走行」または「列倣い走行」の走行モードを選択するためのモードスイッチ１１４を備える。例えば、農業機械１００の運転者（オペレータ）がモードスイッチ１１４によって自動経路走行モードを選択した後、スタートスイッチ１１２を操作することにより、自動経路走行を開始させることが可能になる。同様に、オペレータがモードスイッチ１１４によって列倣い走行モードを選択した後、スタートスイッチ１１２を操作することにより、列倣い走行を開始させることが可能になる。なお、モードスイッチ１１４は不可欠の要素ではない。農業機械１００の走行状況などに応じて、制御装置１８０が自動的に走行モードの選択を行ってもよい。

　スタートスイッチ１１２は、農業機械１００における運転席の周囲、あるいはステアリングホイールの周辺に設けられ得る。図３は、スタートスイッチ１１２が農業機械１００のステアリングホイール１１８の周辺に設けられている例を模式的に示す図である。この例において、スタートスイッチ１１２は、例えば中立位置から上、下、前、後に切換可能なレバーである。スタートスイッチ１１２は、農業機械１００の運転者に操作される部材の一つである。農業機械１００には、運転者が操作する各種のスイッチが設けられている。ある好ましい形態では、所定の走行モードが選択され、かつ、必要な条件を満足する場合、スタートスイッチ１１２は、操舵輪の自動操舵の開始または終了を指令するスイッチとして機能する。そして、制御装置１８０は、自動経路走行の開始または終了、列倣い走行の開始または終了を、スタートスイッチ１１２の指令に従って行うように構成され得る。

　再び図１を参照する。制御装置１８０は、画像認識システム１０００の検出結果に基づいて列倣い走行が可能な状態か否かを判定するように構成されている。制御装置１８０は、列倣い走行が可能な状態にある場合、スタートスイッチ１１２による列倣い走行の開始の指令に応答して列倣い走行を開始する。しかし、列倣い走行が可能な状態にない場合は、スタートスイッチ１１２による列倣い走行の開始の指令があっても、制御装置１８０は、列倣い走行を開始しない。

　ある態様において、制御装置１８０は、画像認識システム１０００が列領域を検出し、かつ、列領域の両側または一方の側に所定幅以上の作業通路領域を検出した場合、操舵輪の位置に基づいて、操舵輪が作業通路領域を通過できるか否かを決定する。そして、制御装置１８０は、操舵輪が作業通路領域を通過できると決定したとき、列倣い走行が可能な状態であると判定する。例えば、検出した作業通路領域の幅が操舵輪の幅以上であり、操舵輪の位置が作業通路領域内に入っている場合、制御装置１８０は、列倣い走行が可能な状態であると判定する。この時、列領域に対する操舵輪の向きの角度が所定値以下の場合に、列倣い走行が可能な状態であると判定するようにしてもよい。

　以下、図４を参照しながら、上記判定の手順を説明する。図４は、列倣い走行が可能な状態か不能な状態かを判別する手順の一例を示すフローチャートである。

　まず、ステップＳ１において、制御装置１８０は、農業機械１００の操舵輪の位置および向きを取得する。農業機械１００に対する操舵輪の相対的な位置（農業機械１００に固定された座標系における座標値）は、農業機械１００の機種に応じて既知の値を有し得る。この例において、操舵輪は左右の前輪である。左右の後輪は、それぞれ、左右前輪が通過する経路上を移動する。オペレータが制御装置１８０に対して前もって操舵輪を含む車輪の位置を入力してもよい。操舵輪の向きの測定値は、例えば、操舵角センサ（切れ角センサ）から制御装置１８０に与えられ得る。

　ステップＳ２において、画像認識システム１０００による画像認識処理が開始される。具体的には、制御装置１８０が画像認識システム１０００に画像認識処理を開始させる。画像認識処理は、撮像装置１２０（図２）によって取得された画像から列領域を見つけること、隣接する列領域の間の領域（作業通路）を検出すること、および、農業機械１００に対する列領域の相対位置を決定する（「列領域を決定する」）演算を行うこと、などを含み得る。ステップＳ１およびステップＳ２は、同時に実行されてもよいし、その順序は、図４の例に限定されず、任意である。

　ステップＳ３において、画像認識システム１０００は、列領域を検出したか否かを判定する。列領域を検出した場合（Ｙｅｓ）、ステップＳ４に進み、列領域を検出しなかった場合（Ｎｏ）、ステップＳ７に進む。ステップＳ７に進んだ場合、列倣い走行不能の状態にあると決定される。なお、列倣い走行可能か否かの判定は、画像認識システム１０００の検出結果に基づいて制御装置１８０が実行する。

　ステップＳ４において、作業通路領域が検出されたか否かが判定される。作業通路領域が検出された場合（Ｙｅｓ）、ステップＳ５に進み、作業通路領域が検出されなかった場合（Ｎｏ）、ステップＳ７に進む。

　ステップＳ５において、制御装置１８０は、操舵輪の位置および向きに基づいて、操舵輪を含む全ての車輪が作業通路領域を通過することが可能か否かを判定する。具体的には、操舵輪の位置が作業通路領域内に位置し、操舵輪の向きが作業通路の延びる方向に整合しているか否かが判定され得る。通過可能の場合（Ｙｅｓ）、ステップＳ６に進み、通過不能の場合（Ｎｏ）、ステップＳ７に進む。ステップＳ６に進んだ場合は、列倣い走行可能な状態にあると決定される。

　前述したように、列倣い走行が可能な状態にない場合は、スタートスイッチ１１２から列倣い走行開始の指令が出力されても、制御装置１８０は、列倣い走行を開始しない。

　農業機械１００は、列倣い走行が可能な状態か否かをオペレータに通知する通知手段を備えていてもよい。このような通知手段の例は、アイコン、文字または記号を表示する表示装置、ＬＥＤなどの発光装置、および、ブザーまたはスピーカなどの音もしくは振動を発する音響装置を含む。例えば、列倣い走行が可能な状態にある場合には、表示装置の画面内に「列倣い走行可能」を示すアイコン、文字または記号が表示され、列倣い走行が不能な状態にある場合には、表示装置の画面内に「列倣い走行不能」を示すアイコン、文字または記号が表示され得る。更に、列倣い走行が不能な状態にある場合において、オペレータによってスタートスイッチ１１２が操作され、列倣い走行の開始の指令が出されたときは、「現在、列倣い走行はできません」などの音声が音響装置から発せられたり、文字が表示装置に表示されたりし得る。

　図３の例において、ステアリングホイール１１８の周辺に位置する表示装置１１７に「列倣い走行」の可否を示す記号が通知１１６として表示され得る。

　図５は、表示装置１１７の他の例を示す斜視図である。表示装置１１７は、運転席の周辺に配置される操作端末２００が備えていてもよい。この操作端末２００の表示装置１１７には、図６に示されるように、列倣い走行可能か否かを示す文字、記号などの通知１１６が表示され得る。図６では、表示装置１１７に表示される列領域がハッチングされたバー状の領域として模式的に記載されている。

　農業機械１００は、前述したように、自動操舵モード（自動経路走行モードまたは列倣い走行モード）と手動操舵モードを切り替えるモードスイッチ１１４を備えていてもよい（図１、図３）。制御装置１８０は、モードスイッチ１１４によって自動操舵モードが選択された場合に、スタートスイッチ１１２による自動操舵走行の開始を許可することができる。具体的には、モードスイッチ１１４によって自動操舵モードが選択されると、例えば、自動操舵のためステアリングモータに通電が開始され得る。制御装置１８０は、モードスイッチ１１４によって自動経路走行モードが選択された場合、測位システム２０００が閾値を超える信頼度で自己位置を決定できた場合に自動経路走行を開始するように構成されてもよい。また、画像認識システム１０００は、モードスイッチ１１４によって列倣い走行モードが選択された場合、列領域を検出するための画像認識処理を開始するように構成されてもよい。図４における「開始」は、モードスイッチ１１４による列倣い走行モードの選択に応答して実行され得る。モードスイッチ１１４によって列倣い走行モードが選択されたことに応答して画像認識システム１０００が画像認識処理を開始する場合、画像認識システム１０００は、画像処理を複数の段階に分けて実行するように構成されていてもよい。このような処理については、後述する。

　図３の例において、モードスイッチ１１４は、ステアリングホイール１１８の周辺に設けられている。この例において、モードスイッチ１１４は、押しボタンである。モードスイッチ１１４は、例えば、手動操舵モードから自動経路走行モードに切り替えるとき、オフ状態から一度押し状態に切り替えられる。一度押し状態から二度押し状態に切り替えると、自動経路走行モードが列倣い走行モードに切り替えられる。列倣い走行モードから手動操舵モードに切り替えるときは、２度押し状態から更に押すことによってオフ状態に切り替えられる。言い換えると、モードスイッチ１１４は、各操舵モードの開始および終了を規定するスイッチである。ただし、本開示の好ましい実施形態においては、自動操舵モードの開始は、直ちに自動操舵によって列倣い走行を開始することを意味しない。ある実施形態において、制御装置１８０は、画像認識システム１０００の検出結果に基づいて列倣い走行が可能な状態か否かを判断し、モードスイッチ１１４によって列倣い走行が選択され、かつ、画像認識システム１０００の検出結果に基づいて列倣い走行が可能な状態であると判断した場合に、列倣い走行を開始するように構成される。なお、画像認識システム１０００は、モードスイッチ１１４によって列倣い走行が選択された場合に、画像認識システム１０００による作物および畝の検出を開始するように構成されていてもよい。

　制御装置１８０は、モードスイッチ１１４によって自動経路走行が選択され、かつ、自動経路走行が可能な状態であると判断した場合に、自動経路走行を開始するように構成され得る。

　ある実施形態では、列倣い走行モードが有効であり、かつ、列倣い走行が可能な状態において、オペレータがスタートスイッチ１１２を例えば中立位置から下方に切り換えたとき、列倣い走行が開始される。また、列倣い走行中において、オペレータがスタートスイッチ１１２を例えば中立位置から上方に切り換えたとき、スタートスイッチ１１２から出力されていた列倣い走行の開始を指令する信号の出力が停止されるか、あるいは、スタートスイッチ１１２から列倣い走行の停止を指令する信号が出力され得る。このように、スタートスイッチ１１２は、農業機械１００が有する列倣い走行の機能をオンにし得るスイッチであるが、本開示における制御装置１８０は、スタートスイッチ１１２による列倣い走行開始の指令があっても、直ちに列倣い走行を開始しないように構成されている。前述したように、画像認識システム１０００が列倣い走行が可能な状態か否かの判定を行い、列倣い走行が可能な状態と判定された場合のみ、スタートスイッチ１１２による指令を有効にする。この処理および動作は、列倣い走行が可能な状態にない場合に列倣い走行が開始することを防止し、作物列または畝を車輪で踏み壊す事態を回避可能にする。

　なお、列倣い走行または自動経路走行中、農業機械１００の走行速度は、オペレータが操作するアクセルペダルおよびブレーキペダルなどの操作部材の位置に応じて制御され得る。ただし、農業機械１００の走行速度も制御装置１８０によって自動制御されてもよい。

　図７は、自動経路走行モードにおける農業機械１００の走行の例を示す図である。図７の（ａ）は、直線状の目標経路Ｑに沿って農業機械１００が走行する様子を模式的に示している。図７の（ｂ）は、曲線状の目標経路Ｑに沿って農業機械１００が走行する様子を模式的に示している。図７の（ｃ）は、隣り合う２つの直線状の経路と、それらを接続する曲線状の経路とを含む目標経路Ｑに沿って農業機械１００が走行する様子を模式的に示している。目標経路Ｑは、予め設定され、記憶装置に記録される。農業機械１００が自動経路走行モードで走行しているとき、制御装置１８０は、測位システム２０００によって計測された農業機械１００の位置および向きと、目標経路Ｐとの偏差を計算し、偏差を小さくするように操舵装置を制御する動作を繰り返す。これにより、目標経路Ｑに沿って農業機械１００を走行させる。

　図８は、圃場内を自動経路走行モードで走行する農業機械１００の目標経路の例を模式的に示す図である。この例において、圃場は、農業機械１００および作業機３００が作業を行う作業領域７０と、圃場の外周縁付近に位置する枕地８０とを含む。圃場の地図上でどの領域が作業領域７０および枕地８０に該当するかは、オペレータが操作端末２００を用いた操作によって事前に設定され得る。目標経路は、並列する複数の主経路Ｑ１と、複数の主経路Ｑ１を接続する複数の旋回経路Ｑ２とを含む。主経路Ｑ１は、作業領域７０内に位置し、旋回経路Ｑ２は、枕地８０に位置する。図８における破線は、作業機３００の作業幅を表している。作業幅は、予め設定され、記憶装置に記録される。作業幅は、オペレータが操作端末２００を操作することによって設定され、記憶装置に記録され得る。あるいは、作業幅は、作業機３００を農業機械１００に接続したときに自動で認識され、記憶装置に記録されてもよい。複数の主経路Ｑ１の間隔は、作業幅に合わせられる。目標経路は、自動経路走行運転が開始される前に、オペレータの操作に基づいて決定され得る。

　目標経路を設定する方法の一例を説明する。オペレータは、まず、圃場の端部（例えば枕地８０と作業領域７０との境界）に位置する始点Ａおよび終点Ｂを、操作端末２００を操作して登録する。例えば、オペレータは、農業機械１００を手動で運転し、始点Ａから終点Ｂまで農業機械１００を走行させる。オペレータは、始点Ａおよび終点Ｂに農業機械１００が位置するときに操作端末２００に表示される登録ボタンを押す。これにより、始点Ａおよび終点Ｂが登録される。この操作が行われると、制御装置１８０は、始点Ａから終点Ｂを結ぶ基準線（ガイダンスライン）Ｑ０を決定する。図８に示す基準線Ｑ０は直線であるが、曲線を基準線として設定することも可能である。制御装置１８０は、予め記憶装置に記録されている作業機３００の作業幅に基づいて、基準線Ｑ０から等間隔に並ぶ複数の主経路Ｑ１と、それらの主経路Ｑ１を接続する複数の旋回経路Ｑ２を決定する。これにより、目標経路が決定される。目標経路は、例えば圃場内の作業領域７０の全体をカバーするように決定され得る。なお、目標経路は、オペレータが手動運転で農業機械１００を走行させることなく、操作端末２００を操作することによって設定することもできる。例えば、作業領域７０および枕地８０の登録と同時に目標経路を設定することもできる。

　本開示における農業機械１００の走行装置１４５は、ステアリング装置の手動操舵によって操舵輪の向きを変える手動操舵走行が可能である。農業機械１００は、手動操舵走行中に所定の操作を受け付ける操作部材を更に備えていてもよい。例えばスタートスイッチ１１２が、このような操作部材として機能し得る。制御装置１８０は、この操作部材が所定の操作を受け付けたときの走行装置１４５の位置に基づいて、基準経路（基準線Ｑ０）を生成し、自動経路走行の開始が指令された場合には、基準経路を所定の方向にシフトすることで目標経路（複数の主経路Ｑ１）を生成するように構成され得る。具体的には、レバー状のスタートスイッチ１１２を手前に引いたときの農業機械１００の位置座標を基準線Ｑ０の始点Ａの位置座標として登録することができる。また、農業機械１００を所望の方向に走行させた後、スタートスイッチ１１２を手前に引いたときの農業機械１００の位置座標を基準線Ｑ０の終点Ｂの位置座標として登録することができる。

　制御装置１８０は、列倣い走行時に自動経路走行の基準経路を生成してもよい。具体的には、画像認識システム１０００によって検出された列領域に沿って農業機械１００が走行中に、オペレータがスタートスイッチ１１２などの操作部材を操作することにより、基準線Ｑ０の始点Ａおよび終点Ｂの位置座標を登録することができる。なお、列倣い走行中、オペレータによる操作がない場合でも、制御装置１８０が列倣い走行中に測位システム２０００が取得する自己位置の座標に基づいて基準線Ｑ０を予備的に設定してもよい。そのような予備的な基準線Ｑ０は、後述するように、列倣い走行に支障が発生した場合など、圃場の状況または農業機械１００の走行状態に応じて、列倣い走行から自動経路走行に切り替えた後の目標経路の生成に利用され得る。

　上述した例では、オペレータがモードスイッチ１１４を用いて、自動操舵の走行モードを選択している。しかし、他の方法によって走行モードが選択されていてもよい。

　制御装置１８０は、圃場の状況に応じて、自動経路走行または列倣い走行の何れかを選択するように構成され得る。例えば、農業機械１００が列倣い走行を行っているとき、倣いの対象である列領域に欠損が生じている場合、自動経路走行に切り替えられ得る。ここで、「列領域の欠損」の例は、作物列の一部で作物が枯れるなどして作物列が欠損している部分、畝の一部が破壊されている部分、作物列または畝が部分的に何らかの物体に覆われている部分を含む。また、現実に作物列または畝に欠損が生じている場合だけではなく、画像認識システム１０００の誤認識によって列領域として正しく検出できなかった領域も「列領域の欠損」に含まれるものとする。したがって、「列倣い走行モードで動作中、画像認識システムが領域の欠損を検出したとき」とは、「画像認識システムが列領域を見失ったとき」を含むように解釈される。この場合、予め、作物列または畝に沿うように目標経路が設定されていてもよい。このような目標経路の設定は、例えば、手動操舵による走行中または列倣い走行中において、上述の基準線（ガイダンスライン）Ｑ０を設定することによって実現可能である。なお、列倣い走行中に、農業機械１００が走行中に倣いの対象とする列領域を含む複数の列領域が揃って欠損（終端）を有していることを検出する場合、圃場終端と判断することが可能である。圃場終端と判断した場合、自動経路走行に切り替えずに走行を停止、あるいは表示装置やブザーにより走行の停止予告をオペレータに通知するよう構成し得る。

　制御装置１８０は、走行装置１４５の走行状態に応じて、自動経路走行または列倣い走行の何れかを選択するように構成されていてもよい。例えば、前進するとき列倣い走行を実行するが、後進するときは、自動経路走行を実行することが可能である。あるいは、作物列または畝が存在するとされる経路を走行するとき列倣い走行を実行し、隣接する作物列や畝に移動する旋回経路Ｑ２のときは自動経路走行を実行することが可能である。

　制御装置１８０は、測位システム２０００または画像認識システム１０００の状況に応じて、自動経路走行または列倣い走行の何れかを選択するように構成されていてもよい。例えば、自動経路走行中おいて、測位システム２０００によるＧＮＳＳ衛星からの電波受信の品質が劣化して測位信頼度が低下したとき、自動経路走行から列倣い走行に切り替えられ得る。また、列倣い走行中において、撮像装置１２０のレンズが汚れたり、日照条件によって画像の品質が劣化したりした場合、列倣い走行から自動経路走行に切り替えられ得る。

　制御装置１８０は、自動経路走行中に目標経路と画像認識システム１０００が検出した列領域の位置との差が所定値以上となった場合に、目標経路を補正するように構成されていてもよい。例えば、自動経路走行の目標経路は基準線Ｑ０に平行な経路とされるが、測位システムの位置誤差により、作物列や畝の位置と、測位システムが検出した位置に基づく目標経路（車体位置）との差が大きくなる場合がある。また、作物列または畝列が途中で左右にずれている場合がある。このような場合、画像認識システム１０００が検出した列領域の位置と測位システム２０００が検出した位置に基づく目標経路との差が大きくなるが、この差が所定値以上となった場合に、目標経路を補正するように構成し得る。具体的には、例えば列領域に対して目標経路（車体位置）が右に所定値以上（例えば１０ｃｍ以上）ずれている場合、所定の補正量（例えば５ｃｍ）だけ目標経路を左に設定する。

　更に、制御装置１８０は、画像認識システム１０００が検出した列領域を規定する座標を取得し、圃場における列領域の地図を生成するように構成されていてもよい。具体的には、ＧＮＳＳ衛星からの信号に基づいて決定される農業機械１００の位置座標を利用して、例えば世界座標系における列領域の座標を算出し、列領域の地図を作成する。このような地図があれば、画像認識システム１０００は、撮像装置１２０によって取得した画像から求めた列領域と、地図とをマッチングさせることにより、地図上における自己位置推定が可能になる。

　制御装置１８０は、画像認識システム１０００が検出した列領域と前記地図との間でマッチングを行って圃場における農業機械１００の位置を求め、自動経路走行または列倣い走行を行うように構成され得る。

　制御装置１８０は、例えば、他の農業機械またはその他の装置によって作製された圃場における列領域の地図を取得し、画像認識システム１０００が検出した列領域と前記地図との間でマッチングを行って圃場における農業機械１００の位置を求め、自動経路走行または前記列倣い走行を行うように構成されていてもよい。

　制御装置１８０は、自動経路走行時における目標経路を地図に基づいて生成するように構成されていてもよい。

（画像認識システムの実施形態１）
　まず、本開示の例示的な第１の実施形態における画像認識システムを説明する。本実施形態では、「列検出」として作物列の検出が行われる。

　本実施形態における画像認識システム１０００は、農業機械１００に取り付けられて使用される撮像装置１２０を備える（図２）。撮像装置１２０は、地面の少なくとも一部を含む時系列カラー画像を取得するように農業機械１００に固定されている。

　図９は、例えばトラクタまたは乗用管理機などの農業機械１００に取り付けられた撮像装置１２０が地面１０を撮影する様子を模式的に示している。図９の例において、農業機械１００は、走行可能な車両本体１１０を備え、撮像装置１２０は車両本体１１０に固定されている。参考のため、図９には、互いに直交するＸｂ軸、Ｙｂ軸、Ｚｂ軸を有するボディ座標系Σｂが示されている。ボディ座標系Σｂは、農業機械１００に固定された座標系であり、ボディ座標系Σｂの原点は、例えば農業機械１００の重心付近に設定され得る。図では、見やすさのため、ボディ座標系Σｂの原点が農業機械１００の外部に位置しているように記載されている。本開示におけるボディ座標系Σｂでは、Ｘｂ軸は農業機械１００が直進するときの走行方向（矢印Ｆの方向）に一致している。Ｙｂ軸は、座標原点からＸｂ軸における正方向を見たときの真右の方向に一致し、Ｚｂ軸は鉛直下方の方向に一致する。

　撮像装置１２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを有する車載カメラである。本実施形態における撮像装置１２０は、例えば、３フレーム／秒（ｆｐｓ：　ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）以上のフレームレートで動画を撮影することができる単眼カメラである。

　図１０は、上述したボディ座標系Σｂと、撮像装置１２０のカメラ座標系Σｃと、地面１０に固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。カメラ座標系Σｃは、互いに直行するＸｃ軸、Ｙｃ軸、Ｚｃ軸を有しており、ワールド座標系Σｗは、互いに直行するＸｗ軸、Ｙｗ軸、Ｚｗ軸を有している。図１０の例において、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸は、地面１０に沿って拡がる基準平面Ｒｅ上にある。

　撮像装置１２０は、農業機械１００の所定位置に所定方向を向くように取り付けられる。このため、ボディ座標系Σｂに対するカメラ座標系Σｃの位置および向きは、既知の状態に固定される。カメラ座標系ΣｃのＺｃ軸は、カメラ光軸λ１上にある。図示される例において、カメラ光軸λ１は、農業機械１００の走行方向Ｆから地面１０に向かって傾斜しており、俯角Φは、０°よりも大きい。農業機械１００の走行方向Ｆは、農業機械１００が走行している地面１０に対して概略的に平行である。俯角Φは、例えば０°以上６０°以下の範囲に設定され得る。撮像装置１２０が取り付けられる位置が地面１０に近い場合、俯角Φは負の値、言い換えると、正の仰角を有するようにカメラ光軸λ１の向きが設定されていてもよい。

　農業機械１００が地面１０の上を走行しているとき、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して並進する。走行中、農業機械１００がピッチ、ロール、ヨーの方向に回転または揺動すると、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して回転し得る。以下の説明においては、簡単のため、農業機械１００は、ピッチおよびロールの方向には回転せず、地面１０に対して、ほぼ平行に移動するものとする。

　図１１は、地面１０に複数の作物列１２が設けられている圃場の一部を模式的に示す上面図である。作物列１２とは、圃場の地面１０に作物が一方向に連続的に作付けされることによって形成された列である。言い換えれば、作物列１２とは、圃場の畝に植え付けられた作物の集まりのことである。このように、個々の作物列１２は、圃場に植えられた作物の集まりが形成する列であるため、作物列の形状は、厳密には、作物の形状および作物の配置に依存して複雑である。作物列１２の幅は、作物の生育に応じて変化する。

　隣りあう作物列１２の間には、作物が植えられていない中間領域１４が帯状に存在する。各中間領域１４は、隣りあう２本の作物列１２の間で対向する２本のエッジラインＥに挟まれた領域である。なお、１つの畝に対して、畝の幅方向に複数の作物が作付けされる場合、１つの畝上に複数の作物列１２が形成されることになる。即ち、畝の条間に複数の作物列１２が形成されることになる。このような場合は、畝上に形成された複数の作物列１２のうち、畝の幅方向の端に位置する作物列１２のエッジラインＥが、中間領域１４の基準となる。つまり、中間領域１４は、複数の作物列１２のエッジラインＥのうち、畝の幅方向の端に位置する作物列１２のエッジラインＥの間となる。

　中間領域１４は、農業機械１００の車輪が通過する領域（作業通路）として機能するため、「中間領域」を「作業通路」と称する場合がある。

　本開示において、作物列の「エッジライン」とは、農業機械が自動操舵によって列倣い走行をするときの目標経路を規定するための基準の線分（曲線を含み得る）を意味する。このような基準の線分は、農業機械の車輪の通過が許容される帯状の領域（作業通路）の両端として定義され得る。作物列の「エッジライン」を決定する具体的な方法については、後述する。

　図１１には、作物列１２が設けられた圃場に進入しつつある１台の農業機械１００が模式的に記載されている。この農業機械１００は、左右の前輪（操舵輪）１０４Ｆと、左右の後輪１０４Ｒとを走行装置１４５として備えており、作業機（インプルメント）３００を牽引している。前輪１０４Ｆは操舵輪である。

　図１１の例では、中央に位置する１本の作物列１２の両側に位置する作業通路１４に、それぞれ、太い破線の矢印Ｌ、Ｒが記載されている。農業機械１００が実線の矢印Ｃで示される目標経路上を走行するとき、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、作物列１２を踏まないように、作業通路１４の中を矢印Ｌ、Ｒに沿って移動することが求められる。本実施形態では、農業機械１００に取り付けた撮像装置１２０を用いて画像認識システム１０００が作物列１２のエッジラインＥを検出できるため、制御装置１８０および走行装置１４５の働きにより、前輪（操舵輪）１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の操舵・走行を制御することが可能になる。このように作物列のエッジラインＥに基づいて、農業機械１００の操舵・走行を制御することを「列倣い走行制御」と呼んでもよい。

　本実施形態の農業機械１００は、列倣い走行を行うための自動操舵モードと、通常の手動操舵モードとで走行することが可能である。オペレータが自動操舵モードと手動操舵モードとを切り替えるため、農業機械１００は、図１および図３に示されるモードスイッチ１１４を備えている。オペレータは、列倣い走行を行うとき、モードスイッチ１１４を操作して、自動操舵モードを選択する。モードスイッチ１１４により、自動操舵モードが選択されると、画像認識システム１０００は、撮像装置１２０が取得した画像に基づいて、画像認識処理を開始する。

　図１２は、図１１に示す農業機械１００の撮像装置１２０が取得した画像４０の例を模式的に示す図である。地面１０で平行に延びる複数の作物列１２および中間領域（作業通路）１４は、理論的には、地平線１１上にある消失点Ｐ０で交わる。消失点Ｐ０が画像４０の右側の領域に位置している理由は、図１１に示されるように、農業機械１００の走行方向Ｆが、作物列１２が延びる方向（矢印Ｃに平行な方向）に対して傾斜しているからである。

　本実施形態では、後述する方法により、このような画像４０から作物列１２を正確に検出し、作物列１２のエッジラインＥを決定することが可能になる。そして、エッジラインＥに基づいて、列倣い走行中の農業機械１００が進むべき経路（目標経路）を適切に生成することができる。その結果、自動操舵により、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の走行を制御すること（列倣い走行制御）が可能になる。このような列倣い走行制御によれば、ＧＮＳＳなどの測位システムを利用した自動操舵技術では実現困難な、作物の生育状況に応じた精密な自動操舵が可能になる。

　しかしながら、図１１に示されるように、農業機械１００の向きと作業通路１４が延びる方向とが整合していない場合、自動操舵によっては農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動することが不可能な場合がある。前述したように、画像認識システム１０００は、操舵輪（前輪１０４Ｆ）の位置および向きに基づいて、列倣い走行が可能か否かを判定する。画像認識システム１０００が列倣い走行が不能と判定した場合は、そのことがオペレータに通知される。オペレータは、通知に応じて、手動操舵により、農業機械１００の位置および／または向きを調整する。

　図１３は、目標経路（矢印Ｃ）に対する位置誤差を縮小するように農業機械１００を操舵して農業機械１００の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。図１４は、そのような状態にある農業機械１００の撮像装置１２０が取得した画像４０の例を示す図である。図１３の状態にある農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、それぞれ、作業通路１４の中を矢印Ｌおよび矢印Ｒで示されるライン上に位置している。

　画像認識システム１０００が列倣い走行不能と判定した後、オペレータの手動操舵により、農業機械１００の状態が例えば図１３に示される状態に変化すると、画像認識システム１０００は、列倣い走行可能と判定し、そのことをオペレータに通知し得る。本実施形態では、通知後にオペレータが図１のスタートスイッチ１１２により列倣い走行の開始を指令するまで、自動操舵は開始されない。この状態でオペレータがスタートスイッチ１１２を操作して、列倣い走行開始の指令を発すると、制御装置１８０は、自動操舵による列倣い走行の開始を許可する。

　自動操舵による列倣い走行が開始し、図１３の中央の矢印Ｃによって示される目標経路Ｃに沿って農業機械１００が走行するとき、農業機械１００における制御装置１８０および走行装置１４５は、前輪１０４Ｆおよび後輪１０４Ｒが、それぞれ、作業通路１４から逸脱しないように操舵輪の操舵角を制御する。

　以下、本開示の実施形態による画像認識システムの構成および動作を詳細に説明する。

　本実施形態による画像認識システム１０００は、図２に示すように、前述の撮像装置１２０と、撮像装置１２０から取得した時系列カラー画像の画像処理を行う処理装置１２２とを備える。処理装置１２２は、農業機械１００が備える制御装置１８０に接続される。

　図２の処理装置１２２は、画像認識用の電子制御ユニット（ＥＣＵ）によって実現され得る。ＥＣＵは、車載用のコンピュータである。処理装置１２２は、撮像装置１２０が出力する画像データを受け取るように、例えばワイヤハーネスなどのシリアル信号線によって撮像装置１２０に接続される。処理装置１２２が実行する画像認識の処理の一部が撮像装置１２０の内部（カメラモジュール内）で実行されてもよい。

　図１５は、処理装置１２２のハードウェア構成例を示すブロック図である。処理装置１２２は、プロセッサ２０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２４、通信装置２６、記憶装置２８を備える。これらの構成要素は、バス３０を介して相互に接続される。

　プロセッサ２０は、半導体集積回路であり、中央演算処理ユニット（ＣＰＵ）またはマイクロプロセッサとも称される。プロセッサ２０は、画像処理ユニット（ＧＰＵ）を含んでいてもよい。プロセッサ２０は、ＲＯＭ２２に格納された所定の命令群を記述したコンピュータプログラムを逐次実行し、本開示の列検出に必要な処理を実現する。プロセッサ２０の一部または全部は、ＣＰＵを搭載したＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）またはＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｓｔａｎｄａｒｄ　Ｐｒｏｄｕｃｔ）であってもよい。

　通信装置２６は、処理装置１２２と外部のコンピュータとの間でデータ通信を行うためのインタフェースである。通信装置２６は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などによる有線通信、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格および／またはＷｉ－Ｆｉ（登録商標）規格に準拠した無線通信を行うことができる。

　記憶装置２８は、撮像装置１２０から取得した画像、または、処理の途中における画像のデータを記憶することができる。記憶装置２８の例は、ハードディスクドライブまたは不揮発性半導体メモリを含む。

　処理装置１２２のハードウェア構成は、上記の例に限定されない。処理装置１２２の一部または全部が農業機械１００に搭載されている必要はない。通信装置２６を利用することにより、農業機械１００の外部に位置する１または複数のコンピュータを処理装置１２２の一部または全部として機能させることも可能である。例えば、ネットワークに接続されたサーバコンピュータが処理装置１２２の一部または全部として機能し得る。一方、農業機械１００が搭載するコンピュータが処理装置１２２に求められるすべての機能を実行してもよい。

　本実施形態では、このような処理装置１２２が、撮像装置１２０から時系列カラー画像を取得し、下記の動作Ｓ１、Ｓ２、Ｓ３を実行する。
　（Ｓ１）時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成する。
　（Ｓ２）強調画像から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成する。
　（Ｓ３）第１画素の前記指標値に基づいて、作物列のエッジラインの位置を決定する。

　以下、動作Ｓ１、Ｓ２、Ｓ３の具体例を詳細に説明する。

　時系列カラー画像は、撮像装置１２０が撮影によって時系列的に取得した画像の集まりである。それぞれの画像は、フレーム単位の画素群によって構成される。例えば、撮像装置１２０が３０フレーム／秒のフレームレートで画像を出力する場合、処理装置１２２は、約３３ミリ秒の周期で新しい画像を取得することが可能である。トラクタなどの農業機械１００が圃場内を走行する速度は、公道を走行する一般の自動車の速度に比べて相対的に低く、例えば時速１０キロメール程度以下であり得る。時速１０キロメートルの場合、約３３ミリ秒で進む距離は約６センチメートルである。このため、処理装置１２２は、例えば１００～３００ミリ秒程度の周期で画像を取得してもよく、撮像装置１２０が撮像するすべてのフレームの画像を処理する必要はない。処理装置１２２が処理の対象とする画像の取得周期は、農業機械１００の走行速度に応じて、処理装置１２２が自動的に変更してもよい。

　図１６は、農業機械に搭載された撮像装置（この例では単眼カメラ）が取得した時系列カラー画像における１フレームの画像４０に対応する画像である。図１６の画像には、圃場の地面に列状に植えられた作物の列（作物列）が映し出されている。この例において、作物の列は、地面の上で、ほぼ平行かつ等間隔に並び、撮像装置のカメラ光軸は農業機械の進行方向を向いている。前述したように、カメラ光軸は、農業機械の進行方向に対して平行である必要はなく、農業機械の進行方向の前方で地面に入射していてもよい。撮像装置の取り付け位置は、この例に限定されない。農業機械に複数の撮像装置が取り付けられる場合、幾つかの撮像装置は、進行方向に対して反対の方向、あるいは、進行方向と交差する方向にカメラ光軸を向けていてもよい。

　動作Ｓ１では、図２の処理装置１２２が、撮像装置１２０から取得した時系列カラー画像に基づいて、検出対象である作物列の色を強調した画像（強調画像）を生成する。作物は、太陽光（白色光）を受けて光合成を行うため、クロロフィル（葉緑素）を有している。クロロフィルは、赤色および青色に比べて、緑色の光吸収率が低い。このため、作物によって反射される太陽光のスペクトルは、土壌表面によって反射される太陽光のスペクトルに比べ、緑色の波長範囲で相対的に高い値を示す。その結果、作物の色は、一般に緑色の成分を多く含み、「作物列の色」は、典型例には緑色である。しかし、後述するように、「作物列の色」は、緑色に限定されない。

　撮像装置１２０におけるイメージセンサは、行および列状に配列された多数の光検出セルを有している。個々の光検出セルは、画像を構成する画素（ピクセル）に対応し、赤色の光の強度を検出するＲサブ画素、緑色の光の強度を検出するＧサブ画素、および、青色の光の強度を検出するＢサブ画素を含む。各光検出セルにおけるＲサブ画素、Ｇサブ画素、およびＢサブ画素で検出される光の出力を、それぞれ、Ｒ値、Ｇ値、およびＢ値と呼ぶことにする。以下、Ｒ値、Ｇ値、およびＢ値を総称して「画素値」または「ＲＧＢ値」と呼ぶ場合がある。Ｒ値、Ｇ値、およびＢ値を用いる場合、ＲＧＢ色空間内の座標値によって色を規定することができる。

　検出対象である作物列の色が緑色である場合、作物列の色を強調した強調画像とは、撮像装置が取得したカラー画像における各画素のＲＧＢ値を、Ｇ値のウェイトが相対的に大きな画素値に変換した画像である。強調画像を生成するための、このような画素値の変換は、例えば、「（２×Ｇ値－Ｒ値－Ｂ値）／（Ｒ値＋Ｇ値＋Ｂ値）」で定義される。ここで、分母の（Ｒ値＋Ｇ値＋Ｂ値）は規格化のための因子である。以下、規格化されたＲＧＢ値をｒｇｂ値と称し、ｒ＝Ｒ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｇ＝Ｇ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｂ＝Ｂ値／（Ｒ値＋Ｇ値＋Ｂ値）で定義する。「２×ｇ－ｒ－ｂ」は、緑過剰指標（ＥｘＧ：Ｅｘｃｅｓｓ　Ｇｒｅｅｎ　Ｉｎｄｅｘ）と呼ばれる。

　図１７は、図１６の画像におけるＲＧＢ値を、「２×ｇ－ｒ－ｂ」に変換した強調画像４２を示す図である。この変換により、図１７の画像４２において、「ｒ＋ｂ」がｇに比べて相対的に小さな画素は明るく表示され、「ｒ＋ｂ」がｇに比べて相対的に大きな画素は暗く表示される。この変換により、検出対象である作物列の色（この例では「緑色」）を強調した画像（強調画像）４２が得られる。図１７の画像において相対的に明るい画素は、緑色の成分が相対的に大きな画素であり、作物の領域に属している。

　作物の色を強調する「色の指標値」として、緑過剰指標（ＥｘＧ）以外に、例えば、緑赤植生指標（Ｇ値－Ｒ値）／（Ｇ値＋Ｒ値）などの他の指標を用いてもよい。また、撮像装置が赤外カメラとしても機能し得る場合は、「作物列の色の指標値」として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）を用いてもよい。

　なお、作物列のそれぞれの列が「マルチ」と呼ばれるシート（ｍｕｌｃｈｉｎｇ　ｓｈｅｅｔ）によって覆われていることがある。このような場合、「作物列の色」は、「作物を覆って列状に配置される物体の色」である。具体的には、シートの色が無彩色である黒の場合、「作物列の色」は「黒」を意味する。また、シートの色が赤色の場合、「作物列の色」は「赤色」を意味する。このように「作物列の色」は、作物そのものの色だけではなく、作物列を規定する領域の色（土壌表面の色から識別可能な色）を意味する。

　「作物列の色」を強調した強調画像の生成には、ＲＧＢ色空間からＨＳＶ色空間への変換を利用してもよい。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三つの成分によって構成される色空間である。ＲＧＢ色空間からＨＳＶ色空間に変換した色情報を用いることにより、黒または白のような彩度の低い「色」を検出することができる。ＯｐｅｎＣＶのライブラリを利用して「黒」を検出する場合、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を０～３０に設定すればよい。また、「白」を検出する場合は、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を２００～２５５に設定すればよい。このような設定範囲に含まれる色相、彩度、明度を有する画素が、検出するべき色を持つ画素である。なお、例えば緑色の画素を検出する場合、色相の範囲を例えば３０～９０の範囲に設定すればよい。

　検出対象である作物列の色を強調した画像（強調画像）を生成することにより、作物列の領域を、それ以外の背景領域から区分（抽出）すること（セグメンテーション）が容易になる。

　次に、動作Ｓ２を説明する。

　動作Ｓ２では、処理装置１２２が、強調画像４２から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された上面視画像を生成する。上面視画像は、地面の上方から見た画像である。

　本実施形態では、作物列の色の指標値として、前述した緑過剰指標（ＥｘＧ）を採用し、判別分析法（大津の二値化）によって判別の閾値を決定する。図１８は、図１７の強調画像４２における緑過剰指標（ＥｘＧ）のヒストグラムである。ヒストグラムの横軸が緑過剰指標（ＥｘＧ）であり、縦軸が画像内における画素数（生起頻度に対応）である。図１８には、判別分析法のアルゴリズムによって算出された閾値Ｔｈを示す破線が示されている。強調画像４２の画素は、この閾値Ｔｈによって２つのクラスに分類される。閾値Ｔｈを示す破線の右側には、緑過剰指標（ＥｘＧ）が閾値以上の画素の生起頻度が示されており、これらの画素は作物のクラスに属していると推定される。これに対し、閾値Ｔｈを示す破線の左側には、緑過剰指標（ＥｘＧ）が閾値未満の画素の生起頻度が示されており、これらの画素は土壌などの被作物のクラスに属していると推定される。この例において、指標値が閾値以上の画素である第１画素は、「作物画素」に相当する。一方、この指標値が閾値未満の第２画素は「背景画素」に相当する。背景画素は、土壌の表面など、検出対象以外の物体に対応し、前述した中間領域（作業通路）１４は、背景画素によって構成され得る。なお、閾値の決定方法は、上記の例に限定されず、例えば機械学習を利用した他の方法を用いて閾値を決定してもよい。

　強調画像４２を構成する各画素を「第１画素」および「第２画素」の一方に割り当てることにより、強調画像４２から検出対象の領域を抽出することができる。また、「第２画素」の画素値に「ゼロ」を与えたり、画像データから第２画素のデータを取り除いたりすることにより、検出対象以外の領域をマスクすることができる。マスクするべき領域を確定するとき、緑過剰指標（ＥｘＧ）が局所的に高い値を示す画素をノイズとしてマスク領域に含める処理を行ってもよい。

　図１９は、第１画素と第２画素とに分類された、地面の上方からみた上面視画像４４の例を示す図である。図１９の上面視画像４４は、後述する画像変換の技術により、図１７の強調画像４２から作成した画像である。この上面視画像４４において、作物列の色の指標値（この例では緑過剰指標）が閾値Ｔｈ未満の第２画素は、黒い画素（明度がゼロに設定された画素）である。第２画素によって構成される領域は、主として地面における土壌の表面が見える領域である。図１９の上面視画像４４には、下辺に接する左右の角部に黒い三角形の領域が存在する。この三角形の領域は、図１７の強調画像４２には映っていなかった領域に相当する。なお、図１６の画像４０および図１７の強調画像４２には、本来は直線であるはずの線が画像の周辺部で歪む現象が観察される。このような画像の歪みは、カメラのレンズの性能に起因して生じており、カメラの内部パラメータを用いて補正され得る。作物領域の強調、マスク、歪みの補正などの処理は、前処理と呼ぶことができる。前処理は、このような処理以外の処理を含んでいてもよい。

　図１９の上面視画像４４は、地面に平行な基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像である。この俯瞰画像は、図１７の強調画像４２からホモグラフィ変換（平面射影変換）によって生成することができる。ホモグラフィ変換は、幾何学的変換の一種であり、３次元空間内の、ある平面上にある点を、他の任意の平面上にある点に変換することができる。

　図２０は、第１の姿勢（位置および向き：ポーズ）にある撮像装置のカメラ座標系Σｃ１、および第２の姿勢にある撮像装置のカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。図示される例において、カメラ座標系Σｃ１は、そのＺｃ軸が基準平面Ｒｅに斜めに交わるように傾斜している。第１の姿勢にある撮像装置は、農業機械に取り付けられた撮像装置に相当する。これに対して、カメラ座標系Σｃ２は、そのＺｃ軸が基準平面Ｒｅに直交している。言い換えると、カメラ座標系Σｃ２は、基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像を取得できるように配置された状態にある。

　カメラ座標系Σｃ１の原点Ｏ１からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ１が存在する。画像平面Ｉｍ１は、Ｚｃ軸およびカメラ光軸λ１に直交する。画像平面Ｉｍ１上の画素位置は、互いに直交するｕ軸およびｖ軸を有する画像座標系によって定義される。例えば、基準平面Ｒｅ上に位置する点Ｐ１および点Ｐ２の座標が、それぞれ、ワールド座標系Σｗにおいて、（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）であるとする。図２０の例では、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸が基準平面Ｒｅ上にある。このため、Ｚ１＝Ｚ２＝０である。基準平面Ｒｅは、地面に沿って拡がるように設定される。

　基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、ピンホールカメラモデルの透視投影により、第１の姿勢にある撮像装置の画像平面Ｉｍ１上の点ｐ１および点ｐ２に変換される。画像平面Ｉｍ１において、点ｐ１および点ｐ２は、それぞれ、（ｕ１，ｖ１）および（ｕ２，ｖ２）の座標で示される画素位置にある。

　撮像装置が第２の姿勢にある場合、カメラ座標系Σｃ２の原点Ｏ２からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ２が存在する。この例において、画像平面Ｉｍ２は、基準平面Ｒｅに平行である。画像平面Ｉｍ２上の画素位置は、互いに直交するｕ^＊軸およびｖ^＊軸を有する画像座標系によって定義される。基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、透視投影により、画像平面Ｉｍ２上の点ｐ１^＊および点ｐ２^＊に変換される。画像平面Ｉｍ２において、点ｐ１^＊および点ｐ２^＊は、それぞれ、（ｕ１^＊，ｖ１^＊）および（ｕ２^＊，ｖ２^＊）の座標で示される画素位置にある。

　基準平面Ｒｅ（ワールド座標系Σｗ）に対するカメラ座標系Σｃ１、Σｃ２の配置関係が与えられると、ホモグラフィ変換により、画像平面Ｉｍ１上の任意の点（ｕ，ｖ）から、画像平面Ｉｍ２上で対応する点（ｕ^＊，ｖ^＊）を求めることができる。このようなホモグラフィ変換は、点の座標を同次座標系で表現すると、３行×３列の変換行列Ｈによって規定される。

　変換行列Ｈの中身は、以下に示すように、ｈ_１１、ｈ_１２、・・・、ｈ_３２の数値によって規定される。

　８個の数値（ｈ_１１、ｈ_１２、・・・、ｈ_３２）は、農業機械１００に取り付けられる撮像装置１２０によって、基準平面Ｒｅ上に置いた校正用ボードを撮影すれば、公知のアルゴリズムを用いて算出することができる。

　基準平面Ｒｅ上の点の座標が（Ｘ，Ｙ，０）の場合、それぞれのカメラの画像平面Ｉｍ１、Ｉｍ２における対応点の座標は、下記の数３および数４の式に示されるように、個々のホモグラフィ変換行列Ｈ１、Ｈ２によって点（Ｘ，Ｙ，０）と対応づけられる。

　上記の２式から以下の式が導かれる。この式から明らかなように、変換行列Ｈは、Ｈ２Ｈ１^－１に等しい。Ｈ１^－１は、Ｈ１の逆行列である。

　変換行列Ｈ１、Ｈ２の中身は、基準平面Ｒｅに依存するため、基準平面Ｒｅの位置が変わると、変換行列Ｈの中身も変化する。

　このようなホモグラフィ変換を利用することにより、第１の姿勢にある撮像装置（農業機械に取り付けられた撮像装置）で取得した地面の画像から、地面の上面視画像を生成することができる。言い換えると、ホモグラフィ変換によれば、撮像装置１２０の画像平面Ｉｍ１上にある任意の点の座標を、基準平面Ｒｅに対して所定の姿勢にある仮想的な撮像装置の画像平面Ｉｍ２上にある点の座標に変換することができる。

　処理装置１２２は、変換行列Ｈの中身を算出した後、上記のアルゴリズムに基づくソフトウェアプログラムを実行することにより、時系列カラー画像、または時系列カラー画像の前処理画像から、地面１０を上方から見た俯瞰画像を生成する。

　なお、前述の説明では、３次元空間内の点（例えば、Ｐ１、Ｐ２）が、いずれも、基準平面Ｒｅ上に位置していると仮定していた（例えば、Ｚ１＝Ｚ２＝０）。作物の基準平面Ｒｅに対する高さが０ではない場合、ホモグラフィ変換後の上面視画像において、対応点の位置は正しい位置からシフトする。シフト量の増加を抑制するためには、基準平面Ｒｅの高さが検出対象である作物の高さに近いことが望ましい。地面１０には、畝、畦、溝などの凹凸が存在している場合がある。そのような場合、基準平面Ｒｅを、このような凹凸の底部から上方に変位させてもよい。変位の距離は、作物が作付けされる地面１０の凹凸に応じて適切に設定され得る。

　また、農業機械１００が地面１０を走行しているとき、車両本体１１０（図９参照）のロールまたはピッチの運動が生じると、撮像装置１２０の姿勢が変化するため、変換行列Ｈ１の中身が変化し得る。このような場合、ＩＭＵによって車両本体１１０のロールおよびピッチの回転角度を計測すれば、撮像装置の姿勢変化に応じて変換行列Ｈ１および変換行列Ｈを補正することができる。

　本実施形態における処理装置１２２は、上述の方法により、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成した後、動作Ｓ３を実行する。

　次に、動作Ｓ３を説明する。

　動作Ｓ３では、処理装置１２２が、第１画素の指標値に基づいて、作物列のエッジラインの位置を決定する。具体的には、上面視画像における複数の走査ラインに沿って第１画素（色の指標値が閾値以上の画素）の指標値を積算する。

　図２１は、３本の作物列１２が映る上面視画像４４の例である。この例において、作物列１２の方向が画像垂直方向（ｖ軸方向）に平行である。図２１は、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２は、複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得る。

　図２２は、図２１の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係（積算値のヒストグラム）を模式的に示す図である。図２２の横軸は、走査ラインＳの、画像水平方向（ｕ軸方向）における位置を示している。上面視画像４４において、走査ラインＳが横切る画素の多くが作物列１２に属する第１画素である場合、その走査ラインＳの積算値は大きくなる。一方、走査ラインＳが横切る画素の多くが作物列１２の間にある中間領域（作業通路）１４に属する第２画素（背景画素）である場合、その走査ラインＳの積算値は小さくなる。なお、本実施形態において、中間領域（作業通路）１４はマスクされており、第２画素の指標値はゼロである。

　図２２のヒストグラムでは、積算値がゼロまたはゼロに近い凹部領域と、これらの凹部領域によって区分される凸部領域が存在する。凹部領域は、中間領域（作業通路）１４に相当し、凸部領域が作物列１２に相当する。本実施形態では、凸部領域における積算値のピークの両側の所定位置、具体的には、積算値のピークに対して所定の割合（例えば６０％以上９０％以下の範囲から選択された値）にある積算値を有する走査ラインＳの位置を作物列１２のエッジラインの位置として決定する。図２２における矢印Ｗの両端は、各作物列１２のエッジラインの位置を示している。なお、図２２の例において、各作物列１２のエッジラインの位置は、各作物列１２の積算値のピークに対して８０％の値を持つ走査ラインＳの位置である。

　本実施形態では、第２画素をマスクしたうえで、各走査ラインＳ上における作物列の色の指標値を積算している。すなわち、第１画素と第２画素の分類に基づいて２値化された上面視画像について、第１画素の個数（画素数）をカウントしているのではない。第１画素の個数をカウントする場合、例えば、落ち葉や雑草などに起因して閾値Ｔｈをわずかに超えるような画素（第１画素に分類される）が多数存在する場合、第１画素のカウント値は増加してしまう。これに対して、本開示の実施形態のように、第１画素の個数ではなく、第１画素の作物列の色の指標値を積算することは、落ち葉や雑草に起因する誤判定を抑制し、列検出のロバスト性を高める。

　図２３は、作物列１２が斜めに延びている上面視画像４４の例である。図１１および図１２を参照して説明したように、農業機械１００の向きによっては、撮像装置１２０が取得する画像４０において作物列１２が延びる方向が画像内で右または左に傾斜し得る。そのような画像からホモグラフィ変換によって上面視画像４４を生成すると、図２３の例のように、作物列１２の方向が、画像垂直方向（ｖ軸方向）から傾斜する。

　図２３にも、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２が、このような複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得ると、図２４に示すような積算値のヒストグラムが得られる。図２４は、図２３の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係を模式的に示す図である。このヒストグラムからは、作物列１２のエッジラインを決定することができない。

　図２５は、走査ラインＳの方向（角度）を変化させることにより、作物列１２の方向に平行な走査ラインＳの方向（角度）を探索する手順の例を示すフローチャートである。

　ステップＳ１０において、走査ラインＳの方向（角度）を設定する。ここでは、画像座標系におけるｕ軸を基準として時計回りの角度をθとする（図２１、図２３参照）。角度θの探索は、範囲を例えば６０～１２０度に設定し、角度刻みを例えば１度に設定することができる。この場合、ステップＳ１では、走査ラインＳの角度θとして、６０、６１、６２、・・・、１１９、１２０度を与える。

　ステップＳ１２では、それぞれの角度θの方向に延びる走査ラインＳ上の画素について指標値を積算し、積算値のヒストグラムを作成する。ヒストグラムは、角度θに応じて、異なる分布を示すことになる。

　ステップＳ１４では、こうして得た複数のヒストグラムから、図２２に示されるような凹凸の境界が急峻であって、作物列１２が中間領域１４から明確に区分されるようなヒストグラムを選択し、そのヒストグラムを生成する走査ラインＳの角度θを求める。

　ステップＳ１６では、ステップＳ１４で求めた角度θに対応するヒストグラムのピーク値から各作物列１２のエッジラインを決定する。前述したように、ピークの例えば０．８倍の積算値を持つ走査ラインＳの位置をエッジラインとして採用し得る。

　なお、走査ラインＳの方向（角度）を探索するとき、探索範囲内で角度θを１度ずつ変化させるごとに、その角度θの走査ラインＳ上における積算値のヒストグラムを作成してもよい。ヒストグラムの波形から特徴量（例えば、凹部の深さ／凸部の高さ、包絡線の微分値など）を算出し、その特徴量に基づいて、作物列１２の方向と走査ラインＳの方向とが平行か否かを判定してもよい。

　なお、角度θを求める方法は、上記の例に限定されない。作物列の延びる方向が測定によって既知である場合、農業機械１００に搭載した慣性計測装置（ＩＭＵ）によって農業機械の方向を測定し、作物列の延びる方向に対する角度θを求めてもよい。

　図２６は、図１９の上面視画像から作成した、積算値ヒストグラムの例を示す図である。中央に位置するヒストグラムの凸部について、そのピーク値の０．８倍の走査ライン位置をエッジラインＥの位置としている。このヒストグラムでは、走査ライン位置が中央から左右に離れるにしたがって、凸部のピークが低くなり、かつ、凸部のピークが拡がっている。これは、図１９の画像から明らかなように、上面視画像の中央では、画像の歪みが少ないのに対して、中央から左右に離れるにしたがって、画像の歪みが大きくなっていることや、下辺の両側に位置する黒い三角形領域が積算値を低下させることに起因している。

　作物列の検出を農業機械の走行に利用する場合、正確に検出するべき作物列は、画像の中央、または、その周辺である。そのため、上面視画像における左右両端に近い領域における歪みは無視することができる。

　図２７は、本実施形態における処理装置１２２が実行する一連の処理を示すブロック図である。図２７に示されるように、処理装置１２２は、画像取得３２、強調画像生成３３、作物列抽出３４、およびホモグラフィ変換３５を実行することにより、例えば図２３に示すような上面視画像４４を得ることができる。処理装置１２２は、更に、走査ライン方向決定３６、エッジライン位置決定３７を実行することにより、作物列のエッジラインの位置を得ることができる。この後、処理装置１２２、または、処理装置１２２からエッジラインの位置を示す情報を得た経路生成装置は、エッジラインに基づいて、農業機械の目標経路生成３８を実行することができる。目標経路は、農業機械が備える車輪が、エッジラインＥに挟まれる中間領域（作業通路）１４の中に維持されるように生成され得る。例えば、金属製ホイールに装着されたタイヤの幅方向における中央部が、中間領域（作業通路）１４の両端に位置する２本のエッジラインの中央を通るように目標経路が生成され得る。このような目標経路によれば、農業機械が走行中に目標経路から数センチメール程度外れても、タイヤが作物列に進入する可能性を低下させることが可能になる。

　本開示の実施形態によれば、順光、逆光、晴天、曇天、霧などの気象条件や作業時間帯によって変化する日照条件の影響を抑制し、高い精度での作物列の検出が可能になることを確認した。また、作物の種類（キャベツ、ブロッコリ、大根、人参、レタス、白菜などの種別）、生育状態（苗から成長した状態まで）、病害有無、落ち葉・雑草の有無、土壌色が変化してもロバスト性の高い作物列の検出が可能になることを確認した。

　なお、上記の実施形態では、二値化の閾値を求め、閾値以上の画素によって作物領域を抽出するステップを行った後、ホモグラフィ変換を実行している。しかし、作物領域を抽出するステップは、ホモグラフィ変換の後に実行してもよい。具体的には、図２７に示される１連の処理において、ホモグラフィ変換３５は、強調画像生成３３と作物列抽出３４との間に実行されてもよいし、画像取得３２と強調画像生成３３との間に実行されてもよい。

　以下、本開示による画像認識システムが実行する列検出方法の改変例を説明する。

　図２８は、上面視画像の一部または全部を複数のブロックに分割し、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。

　本改変例において、処理装置１２２は、上面視画像４４の一部または全部を複数のブロックに分割する。そして、複数のブロックのそれぞれについて、作物列１２のエッジラインＥの位置を決定する。図示される例において、３つのブロックＢ１、Ｂ２、Ｂ３が、上面視画像内において、画像水平方向に連続する帯形状を有している。処理装置１２２は、農業機械１００の進行方向とは異なる方向の帯形状に基づいて、作物列のエッジラインを決定することができる。

　図２９は、図２８の上面視画像のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける、走査ラインＳの位置と指標値の積算値との関係（積算値ヒストグラム）を模式的に示す図である。積算を行うときの走査ラインＳは、常に画像垂直方向に平行である。指標値の積算は、ブロック単位で行われ、走査ラインＳの方向（角度）を変える必要はない。走査ラインＳの長さを短縮することにより、作物列１２が斜めに延びていても、中間領域（作業通路）１４に起因する第２画素（背景画素）の領域を適切に検出することが可能になる。このため、走査ラインＳの角度を変化させる必要がなくなる。

　図２９における矢印Ｗの両端は、ブロックＢ１、Ｂ２、Ｂ３のそれぞれで決定された、作物列のエッジラインの位置を示している。図２８に示される例において、作物列１２の方向は、走査ラインＳの方向に対して傾斜している。このため、前述したように、積算値ヒストグラムのピーク値を基準に０．８倍の値を示す走査ライン位置を、作物列１２のエッジラインＥの位置として採用する場合、そのようなエッジラインＥの位置とは、ブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列１２の中央付近を通る「幅」の両端に相当する。

　図３０は、図２９のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃを示している。作物列中心Ｗｃは、図２９の積算値ヒストグラムから求めた作物列のエッジラインを規定する矢印Ｗの中心から求められ、各ブロックの画像垂直方向における中央に位置している。図３０には、同一の作物列１２に属する作物列中心Ｗｃに対する近似線１２Ｃの例が示される。近似線１２Ｃは、例えば、各作物列１２の複数の作物列中心Ｗｃから距離（誤差）の二乗平均が最小になるように求められた直線である。このような近似線１２Ｃは、作物列１２の中央を通るラインに相当する。

　図３１は、図３０の近似線１２Ｃから決定した作物列１２のエッジラインＥの例を示す上面図である。この例において、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。

　本改変例によれば、走査ラインの方向（角度）を変化させる必要がなく、より少ない演算量で作物列１２のエッジラインＥを求めることができる。なお、各ブロックの画像垂直方向における長さは、例えば、地面における１～２メートルの距離に相当するように設定され得る。本改変例では、１つの画像を３つのブロックに分割して積算値ヒストグラムを求めたが、ブロックの個数は４個以上であってもよい。また、ブロックの形状も上記の例に限定されない。ブロックは、上面視画像内において、画像水平方向又は画像垂直方向のいずれかの方向に連続する帯形状を有し得る。処理装置１２２は、農業機械１００の進行方向とは異なる方向に延びる帯形状のブロックに分割すること、作物列のエッジラインを決定することができる。

　図３２は、上面視画像４４の作物列１２が曲線上に曲がる部分を含む様子を模式的に示している。図３３は、図３２の上面視画像４４のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける積算値ヒストグラムを模式的に示している。

　図３４は、図３３のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃと、各作物列中心Ｘｃに対する近似線１２Ｃの例を示す図である。この例における近似線１２Ｃは、例えば、各作物列１２の作物列中心Ｗｃからの距離（誤差）の二乗平均が最小になるように求められた曲線（例えば３次曲線などの高次の曲線）である。このような近似線１２Ｃは、曲線部分を有する作物列１２の中央を通る湾曲したラインに相当する。

　図３５は、図３４の近似線から決定した作物列１２のエッジラインＥの例を示す上面図である。エッジラインＥは、図３１を参照して説明した方法と同様の方法で生成される。すなわち、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。

　以上、説明してきたように、上面視画像を複数のブロックに分割して、それぞれのブロックで積算値のヒストグラムを生成すれば、作物列の方向を求めることが容易になり、また、作物列の方向が途中で変化していても、その変化した方向を知ることが可能になる。

　上記の列検出方法は、いずれも、コンピュータに実装され、コンピュータに所望の動作を実行させることによって実施され得る。

　上記の説明からわかるように、作物列１２のエッジラインＥの位置を高い位置精度で決定するには、走査ラインの本数を増やしたり、各ブロックの画像垂直方向における長さを小さくしたりすることが望ましい。しかしながら、撮像装置１２０によって取得される時系列画像のすべてに対して、あるいは、各画像の全範囲に対して、上記の方法で列検出を行うことは、処理装置１２２の演算負荷を大きくし得る。

　前述したように、オペレータがモードスイッチ１１４によって自動操舵モードを選択したことに応答して、画像認識システム１０００が画像処理の動作を開始した後、作物列などの列領域を検出するまでの期間は、低位置精度検出処理を行うようにしてもよい。この低位置精度検出処理は、例えば、撮像装置１２０が取得した時系列画像から選択される一部の画像を対象とする処理であってもよい。そして、列領域が検出された場合、走査ラインの本数を増やしたり、各ブロックの画像垂直方向における長さを小さくしたり、ブロックの個数を増加させることにより、位置精度を高めた検出処理を開始することが望ましい。列領域が検出され、かつ、列倣い走行が可能と判定された状態で、オペレータがスタートスイッチ１１２によって列倣い走行開始の指令を発した後、精度を高めた検出処理を開始するようにしてもよい。

　このように画像認識システム１０００が行う処理を２段階以上に分けて実行することにより、処理装置１２２の演算負荷を実効的に低下させることができる。また、高い位置精度で実行される列領域を決定する演算は、画像認識システム１０００の処理装置１２２に高い演算負荷を与えるため、例えばスタートスイッチ１１２などによる指令をトリガーとして実行を開始することが望ましい。

　上記のブロックは、列検出を決定するために、画像から選択された領域（関心領域）内に設定され得る。列倣い走行を開始する場合、画像認識システム１０００は、画像認識処理の対象とする関心領域を選択し、列倣い走行時における関心領域を、列倣い走行前における関心領域よりも小さくする処理を行ってもよい。具体的には、列倣い走行時には、倣いの対象となる列領域を含む相対的に狭い範囲を関心領域に選択すればよい。

　（画像認識システムの実施形態２）
　本開示の例示的な第２の実施形態における画像認識システムによる列検出を説明する。本実施形態では、「列検出」として畝の検出が行われる。

　図３６は、地面１０に設けられた畝１６の列を模式的に示す斜視図である。「畝」は、筋まきや筋植えをする植物の作付けが行われる場所であり、間隔をおいて土が高く盛り付けられた、ほぼ直線状に延びる凸部である。畝１６が延びる方向に垂直な、畝１６の断面形状は、概略的に、台形、かまぼこ形、半円形であり得る。図３６では、台形の断面を有する畝１６が模式的に記載されている。実際の畝は、図３６に示されるような単純な形状を有しているわけではない。隣接する２つの畝１６の間は中間領域１４であり、畝間（うねま）と呼ばれる。中間領域１４は、作業通路として機能する。畝１６には、作物が作付けされていてもよいし、作付けが行われておらず、全体として土壌だけが露出していてもよい。また、畝１６のそれぞれをマルチが覆っていてもよい。

　畝１６の高さ、幅、間隔は、一様である必要はなく、場所によって変動していてもよい。畝１６の高さは、一般的には、畝間に対する畝の高低差である。本明細書において、畝１６の「高さ」とは、前述した基準平面Ｒｅから、それぞれの畝１６の上面までの距離によって定義される。

　図３６の例において、畝１６のエッジラインは明確である。しかし、現実の畝１６は、中間領域１４から連続した地面１０の一部であり、上述したように畝１６の「断面形状」も多様であるため、畝１６と中間領域１４との境界は、必ずしも明確ではない。本開示の実施形態において、畝１６のエッジライン、すなわち、畝１６と中間領域１４との境界は、各畝１６のピークの両側に位置し、かつ、そのピークに対して所定割合の高さにある位置と定義される。エッジラインの位置は、例えば、各畝１６のピークに対して、０．８倍の高さを有する位置である。

　本実施形態による画像認識システム１０００も、図２に示すように、撮像装置１２０と、撮像装置１２０から取得した時系列カラー画像の画像処理を行う処理装置１２２とを備える。処理装置１２２のハードウェア構成は、第１実施形態における処理装置１２２の構成と同じである。

　本実施形態において、処理装置１２２は、撮像装置１２０から時系列画像を取得し、下記の動作Ｓ２１、Ｓ２２、Ｓ２３を実行する。
　（Ｓ２１）時系列画像の異なる時刻に取得された複数の画像から、特徴点マッチングにより、複数の特徴点のそれぞれの、画像平面内における第１移動量を求める。
　（Ｓ２２）複数の特徴点のそれぞれを、画像平面から、地面に対応する基準平面に透視投影し、第１移動量に基づいて基準平面内における各投影点の第２移動量を求める。
　（Ｓ２３）第２移動量に基づいて、複数の特徴点の基準平面からの高さを推定して地面の畝を検出する。

　以下、動作Ｓ２１、Ｓ２２、Ｓ２３の具体例を詳細に説明する。

　まず、動作Ｓ２１を説明する。動作Ｓ１１では、時系列画像の異なる時刻に取得された複数の画像から、特徴点マッチングにより、複数の特徴点のそれぞれの、画像平面内における第１移動量を求める。時系列画像は、撮像装置１２０が撮影によって時系列的に取得した画像の集まりである。時系列画像は、カラー画像である必要はないが、カラー画像であってもよい。撮像装置１２０が時系列カラー画像を出力する場合、処理装置１２２が時系列カラー画像の処理対象カラー画像をグレイスケール化してもよい。第１実施形態について説明したように、それぞれの画像は、フレーム単位の画素群によって構成される。フレームレートも第１実施形態について説明した通りである。

　図３７は、農業機械１００に搭載された撮像装置（この例では単眼カメラ）１２２が時刻ｔに取得した時系列画像における１フレームの画像４０（ｔ）である。この例において、畝１６に作物は作付けされていない。単眼カメラで撮影された画像４０（ｔ）のデータには、奥行き情報は含まれていない。このため、一枚の画像４０（ｔ）から、畝１６および中間領域１４の間にある高低差を知ることはできない。

　撮像装置１２０は、時刻ｔだけではなく、他の時刻、例えば、時刻ｔ＋１、ｔ＋２、ｔ＋３、・・・において、時系列的に画像４０（ｔ＋１）、画像４０（ｔ＋２）、画像４０（ｔ＋３）、・・・を取得する。農業機械１００が走行中に撮像装置１２０が時系列的に取得する複数の画像には、それぞれ、地面１０の同一領域が部分的に重複して含まれ得る。

　本実施形態では、処理装置１２２が、画像４０（ｔ）、画像４０（ｔ＋１）、・・・から特徴点を抽出する。「特徴点」とは，画素の輝度値または色が周囲の画素から区別でき、その画素の位置を画像内で特定できる点である。画像中の特徴点を抽出することにより、同じシーンを撮影した複数の画像を互いに対応づけることが可能になる。画像中で輝度値および色が一様な領域では、その領域内の画素を周囲の画素から区別することが難しい。このため、特徴点は、画像内で輝度値または色が局所的に変化する領域から選択される。特徴点は「局所特徴量」を有する画素または画素群である。

　本実施形態において特徴点を抽出する目的は、農業機械１００が移動中に取得する時系列画像４０（ｔ）、画像４０（ｔ＋１）、・・・から、特徴点マッチングを行うことにより、特徴点の移動量を測定することにある。このような特徴点マッチングに適した特徴点の抽出は、処理装置１２２が画像処理によって実行することができる。画像処理による特徴点抽出アルゴリズムの例は、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ　ｆｅａｔｕｒｅ　ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐｐｅｄ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅ）、ＫＡＺＥ、Ａ－ＫＡＺＥ（ＡＣＣＥＬＥＲＡＴＥＤ－ＫＡＺＥ）を含む。ＫＡＺＥおよびＡ－ＫＡＺＥは、ＳＩＦＴまたはＳＵＲＦと同様に、拡大縮小・回転・照明変化に強く、ロバスト性の高い特徴点抽出アルゴリズムである。ＫＡＺＥおよびＡ－ＫＡＺＥは、ＳＩＦＴおよびＳＵＲＦとは異なり、ガウスフィルターを用いない。このため、ＫＡＺＥおよびＡ－ＫＡＺＥは、回転、スケール、輝度値の変化に影響されにくく、画像内の輝度値および色の変化が比較的小さな領域からも特徴点を抽出することできる。このため、土壌表面のような画像からも、特徴点マッチングに適した特徴点の抽出が容易になる。また、Ａ－ＫＡＺＥには、ＫＡＺＥに比べて、ロバスト性が高く、処理速度を高められるという利点がある。本実施形態では、Ａ－ＫＡＺＥのアルゴリズムにより、特徴点の抽出を行う。ただし、特徴点マッチングのためのアルゴリズムは、この例に限定されない。

　図３８は、撮像装置から時刻ｔに取得した画像４０（ｔ）と、時刻ｔ＋１に取得した画像４０（ｔ＋１）との間にある特徴点の対応関係を模式的に示している。ここで、時刻ｔと刻ｔ＋１との間にある時間の間隔は、例えば、１００ミリ秒以上５００秒であり得る。

　画像４０（ｔ）から抽出された複数の特徴点と、画像４０（ｔ＋１）において、それら複数の特徴点にそれぞれ対応する複数の特徴点との対応付けは、特徴点マッチングのアルゴリズムによって実行される。図３８では、８組の対応する特徴点ペアが矢印で結ばれている。本実施形態において、処理装置１２２は、画像４０（ｔ）および画像４０（ｔ＋１）のそれぞれから、Ａ－ＫＡＺＥにより、例えば数百から千個数を超える特徴点を抽出することが可能である。抽出する特徴点の個数は、１秒間に処理する画像の枚数に基づいて決定され得る。

　このような特徴点マッチングを行った後、処理装置１２２は、複数の特徴点のそれぞれについて、画像平面内における移動量（第１移動量）を求める。２枚の画像４０（ｔ）および画像４０（ｔ＋１）から求められる第１移動量は、すべての特徴点に共通の値を有するわけではない。第１移動量は、地面１０にある特徴点の物理的な高低差に起因して、異なる値を示す。

　図３９は、撮像装置１２０が取得する画像に映る畝１６および中間領域（作業通路）１４の移動を模式的に示す斜視図であり、画像４０（ｔ）および画像４０（ｔ＋１）も模式的に示されている。図３９には、畝１６上の点Ｆ１、および中間領域（畝間または作業通路）１４上の点Ｆ２が図面の左側に水平に移動する様子が模式的に示されている。この水平移動は、農業機械１００に固定された撮像装置１２０が農業機械１００とともに右側に移動することによって生じる相対運動である。図３９では、簡単のため、撮像装置１２０におけるカメラ座標系Σｃの原点Ｏは静止し、地面１０が左側に向かって移動する様子が記載されている。カメラ座標系Σｃの原点Ｏの高さはＨｃである。図の例において、畝１６は、高さｄＨを有する単純化されたリッジである。

　図３９の画像４０（ｔ）には、畝１６の特徴点ｆ１と、中間領域１４の特徴点ｆ２とが示されている。これらの特徴点ｆ１、ｆ２は、Ａ－ＫＡＺＥなどの特徴点抽出アルゴリズムによって抽出された多数の特徴点の例である。画像４０（ｔ＋１）には、移動後における特徴点ｆ１、ｆ２が示されている。また、画像４０（ｔ＋１）には、参考のため、時刻ｔからｔ＋１までの時間における特徴点ｆ１の移動を示す矢印Ａ１と、特徴点ｆ２の移動を示す矢印Ａ２が記載されている。矢印Ａ１の長さ（第１移動量の相当）は、矢印Ａ２の長さ（第１移動量の相当）よりも大きい。このように、画像内における特徴点の移動量（第１移動量）とは、カメラ座標系Σｃの原点Ｏから被写体の対応点までの距離によって異なる。これは、透視投影の幾何学的な性質に起因する。

　画像４０（ｔ）内の特徴点ｆ１、ｆ２は、それぞれ、被写体である地面１０の表面における点Ｆ１、Ｆ２を、撮像装置１２０の画像平面Ｉｍ１に透視投影した点である。同様に、画像４０（ｔ＋１）内の特徴点ｆ１、ｆ２は、それぞれ、被写体である地面１０の表面における点Ｆ１＊、Ｆ２＊を、撮像装置１２０の画像平面Ｉｍ１に透視投影した点である。透視投影の中心点は、撮像装置１２０のカメラ座標系Σｃの原点Ｏである。透視投影は、双方向の関係にあるため、点Ｆ１、Ｆ２は、画像４０（ｔ）内の特徴点ｆ１、ｆ２を地面１０に透視投影した点であるともいえる。同様に、点Ｆ１＊、Ｆ２＊は、画像４０（ｔ）内の特徴点ｆ１、ｆ２を地面１０に透視投影した点であるともいえる。

　図３９に示されるように、時刻ｔから時刻ｔ＋１までの間に、畝１６上の点Ｆ１は点Ｆ１＊の位置まで移動し、中間領域１４上の点Ｆ２は、点Ｆ２＊の位置まで移動する。これらの移動の距離は、いずれも、時刻ｔから時刻ｔ＋１までの間に農業機械１００の走行した距離（水平移動距離）に等しい。これに対して、撮像装置１２０の画像平面Ｉｍ１上における特徴点ｆ１、ｆ２の移動量は、相互に異なる。

　図４０は、撮像装置１２０の画像平面Ｉｍ１における特徴点ｆ１に対応する畝１６上の点Ｆ１の移動量（Ｌ）と、基準平面Ｒｅに投影された点（投影点）Ｆ１ｐの移動量（第２移動量Ｌ＋ｄＬ）との関係を模式的に示す図である。この例では、基準平面Ｒｅの高さを中間領域（畝間）１４の高さに一致させており、畝１６の高さをｄＨとしている。

　図４０からわかるように、畝１６上の点Ｆ１は、農業機械１００の走行距離に等しい距離（移動量）Ｌだけ左側に移動しているが、基準平面Ｒｅに透視投影された点（投影点）Ｆ１ｐの移動量（第２移動量）は、Ｌ＋ｄＬで表され、Ｌよりも長い。これは、畝１６上の点Ｆ１が、基準平面Ｒｅよりも高い位置にあり、透視投影の中心（カメラ座標系原点Ｏ）に近いからである。この余分の長さｄＬに対応して、画像平面Ｉｍ１上での移動量（第１移動量）も増加している。

　図４０に示される相似な２つの三角形における辺の長さの比率（相似比）から、以下の式が導かれる。

　上式を変形すると、下記の式が得られる。

　本実施形態における処理装置１２２は、上記の式に基づいて、地面１０における凹凸段差の大きさを推定するため、動作Ｓ２２を実行する。すなわち、複数の特徴点のそれぞれを、画像平面から、地面１０に対応する基準平面Ｒｅに透視投影し、第１移動量に基づいて基準平面Ｒｅ内における各投影点の第２移動量（Ｌ＋ｄＬ）を求める。上記の式における距離Ｌは、農業機械１００の走行距離を計測することによって取得することができる。また、カメラ座標系原点Ｏの基準平面Ｒｅからの高さＨｃは既知である。このため、第２移動量（Ｌ＋ｄＬ）が分かれば、数７の式から、畝１６の高さｄＨを算出することができる。そして、第２移動量（Ｌ＋ｄＬ）は、第１移動量から求めることができる。

　処理装置１２２は、動作Ｓ２２を実行した後、動作Ｓ２３を実行する。

　動作Ｓ２３において、処理装置１２２は、各特徴点の第２移動量（Ｌ＋ｄＬ）に基づいて、各特徴点の基準平面Ｒｅからの高さｄＨを推定し、地面１０の畝１６を検出する。

　このように本実施形態では、透視投影の中心点Ｏの基準平面Ｒｅからの高さをＨｃ、複数の特徴点の基準平面Ｒｅからの高さをｄＨ、基準平面Ｒｅ上の（ｄＨがゼロである）特徴点の第２移動量をＬ、ｄＨがゼロよりも大きな特徴点の前記第２移動量をＬ＋ｄＬとするとき、Ｈｃ・（１．０－Ｌ／（Ｌ＋ｄＬ））を各特徴点の高さとして決定することができる。

　第１移動量から第２移動量を決定するとき、ホモグラフィ変換を利用することができる。具体的には、前述した変換行列Ｈ１の逆行列Ｈ１^－１を用いて、画像平面Ｉｍ１における各特徴点の座標を、基準平面Ｒｅ上における対応点の座標に変換すればよい。したがって、処理装置１２２は、まず、画像平面Ｉｍ１における各特徴点の移動前後における座標から第１移動量を求める。次に、各特徴点の座標をホモグラフィ変換によって基準平面Ｒｅ上における対応点の座標に変化した後、基準平面Ｒｅ上における移動前後における座標から第２移動量を求めることができる。

　図４１は、第２実施形態における処理装置１２２が実行する一連の処理を示すブロック図である。図４１に示されるように、処理装置１２２は、画像取得５２、特徴点マッチング５３、移動量計算５４、および特徴点高さ推定５５を実行する。その結果、画像の中の多数の特徴点のそれぞれについて、基準平面Ｒｅからの高さの推定値を得ることができる。このような高さの推定値の二次元マップは、地面１０の表面にある凹凸の高低差分布を示している。

　第１実施形態について説明したように、本実施形態でも、複数の走査ラインを設定する。ただし、本実施形態では、各走査ラインに沿って特徴点の高さの平均値を計算する。また、走査ラインの方向（角度）を変化させることにより、特徴点の高さ平均値の分布から、畝の延びる方向を見つけることができる。畝１６の延びる方向を決定できれば、作物列１２のエッジラインを決定した方法と同様の方法により、畝１６のエッジラインを決定することができる。なお、図２８などを参照して説明したように、画像を複数のブロックに分割する方法を採用すれば、走査ライン方向決定５６は省略され得る。

　こうして、本実施形態における処理装置１２２は、図４１に示すように、走査ライン方向決定５６、エッジライン位置決定５７、および目標経路生成５８を実行する。

　図４２は、畝が延びる方向に平行な走査ライン上における特徴点の高さの平均値と、走査ラインの位置との関係を示す図である。図４２のグラフでは、横軸が走査ラインの位置を示し、縦軸が各走査ライン上の特徴点の高さ平均値である。グラフに示されるように、高さ平均値は、走査ラインの位置が左から右に移動するにともなって、増減を繰り返している。高さ平均値がピークを示す位置が畝の中心に相当している。なお、高さ平均値を示す曲線は、２つの隣り合うピークの中間で谷底を形成している。この谷底が中間領域（畝間または作業通路）１４の中央付近に相当している。

　本実施形態において、処理装置１２２は、高さ平均値が示すピークの位置の両側にあってピークの所定割合（例えば０．８倍）の高さを持つ位置を、畝のエッジラインとして決定する。図４２のグラフの上方には、画像内の２つの畝について、それぞれのエッジラインの位置を示す白の矢印が記載されている。

　なお、本実施形態でも、図２８から図３５を参照して説明したように、画像を複数のブロックに分割し、ブロックごとに走査ライン上における特徴点の高さの平均値を求めてもよい。

　本実施形態によれば、列検出が「作物列の色」に依存しないため、作物の種類や日照条件によって影響されにくい利点がある。野菜作で設けられることの多い「高畝」のように高い畝の検出だけではなく、高さが５～１０センチメートルの範囲にある比較的低い畝であっても検出できることを確認した。

　第１実施形態における作物列の検出と、第２実施形態における畝の検出とを、処理装置１２２が同時または選択的に実行してもよい。畝に作物が作付けられている場合、作物列のエッジラインと畝のエッジラインが決定される。農業機械の目標経路は、両方または一方のエッジラインに基づいて決定することができる。

　処理装置１２２は、作物列検出および畝検出のそれぞれについて、検出の信頼度を算出してもよい。作物列検出の信頼度は、例えば、図２９に示される指標値の積算値の分布、あるいはピーク値の大きさなどに基づいて決定してもよい。畝検出の信頼度は、例えば、図４２に示される高さの分布における極大値と極小値との差の大きさなどに基づいて決定してもよい。例えば、検出された作物列のエッジラインに基づいて目標経路が生成され、農業機械がその目標経路に沿って走行しているとき、作物列検出が不能になったり、信頼度が所定レベル未満に低下したりした箇所では、畝のエッジラインに基づいて目標経路が生成されるように、バックグラウンドで畝検出が実行されていてもよい。

　なお、処理装置１２２が作物列検出および畝検出の両方を実行し得る場合において、オペレータの選択に応じて、作物列検出および畝検出の一方、または両方を実行するようにしてもよい。

　（画像認識システムの実施形態３）
　以下、本開示の例示的な第３の実施形態における列検出を説明する。ここでは、関心領域の選択について詳細に説明する。

　図４３は、本実施形態における画像認識システム１０００の基本的な構成例を示している。画像認識システム１０００は、他の実施形態と同様のハードウェア構成を有する処理装置１２２を備えている。この処理装置１２２は、時系列画像から、作物列および畝の少なくとも一方を検出するための関心領域を選択する。この関心領域は、車輪の少なくとも一部を含む大きさおよび形状を有している。

　図４４は、処理装置１２２が撮像装置１２０から取得した画像４０の例を示している。画像４０は、時系列画像の一枚である。この画像４０には、作物列１２、中間領域１４、農業機械１００の車両本体１１０の一部、および前輪１０４Ｆの一部が映っている。図４４には、参考のため、エッジラインが白線によって示されている。

　図４５は、図４４の画像の一部を示す図である。図４５では、画像４０に映る農業機械１００の車両本体１１０の一部と、前輪１０４Ｆの一部が白い線で囲まれている。図４５の画像４０には、前輪１０４Ｆの一部を含む台形の破線によって関心領域６０の一例が示されている。この関心領域６０は、画像４０内にある作物列および畝の少なくとも一方のうち、前輪１０４Ｆに対して左側に位置する作物列または畝から、右側に位置する作物列または畝までを含む形状を有している。

　図１９に例示される画像からわかるように、上面視画像の中でも中心部に比べて周辺部では歪みが大きい。その結果、例えば図２６に示されるように、走査ラインの位置が中央部から離れるにしたがってピークの値は低下し、ピークの間隔は広がっている。

　一方、目標経路の選択に必要な、検出すべき作物列または畝は、走行する農業機械の前方付近にある。より具体的には、農業機械の走行装置が有する車輪の周辺に位置する作物列または畝を正確に検出できればよい。本実施形態では、撮像装置１２０によって取得される画像の全体ではなく、一部の領域に限定して列検出を行うことにより、処理装置１２２が行う演算の量、演算に必要な時間を削減することが可能になる。また、画像の周辺における歪みに起因する外れ値を除外できるため、列検出の正確度も高まる。

　関心領域６０の選択（領域設定）は、撮像装置１２０を農業機械１００に取り付ける位置および向き、さらには、農業機械１００の構造または形状に依存する。例えば、撮像装置１２０を農業機械１００に取り付けた後、撮像装置１２０から得られる画像をモニタ画面で確認しながら、関心領域６０の範囲（形状、大きさ、位置）を手動で決定してもよい。また、撮像装置１２０の光学的性能、取り付け位置、農業機械の機種などから、関心領域６０の範囲を確定し、処理装置１２２に入力しておいてもよい。

　本実施形態における処理装置１２２は、図４５に示されるような画像４０から、例えば画像認識技術を利用して、車輪１０Ｆの少なくとも一部を検出するように構成されていてもよい。その場合、検出された前輪１０４Ｆの少なくとも一部を含む領域を、関心領域６０として選択するように、関心領域６０の範囲を適応的に変更することも可能になる。

　処理装置１２２は、関心領域６０に含まれる前輪１０４Ｆの一部の画像に基づいて、検出された作物列１２および畝１６の少なくとも一方と前輪１０４Ｆとの位置関係を推定してもよい。処理装置１２２は、このような位置関係に基づいて、検出された作物列１２および畝１６の少なくとも一方と農業機械１００との位置関係を推定するように構成され得る。

　なお、処理装置１２２が農業機械１００に対する前輪１０４Ｆの正確な位置を示す情報を有していない場合がある。このような位置を示す情報とは、例えば、農業機械１００に固定されたボディ座標系Σｂに対における前輪１０４Ｆの座標である。このような座標は、あらかじめ処理装置１２２の記憶装置２８に格納されていたとしても、例えば、オペレータが前輪１０４Ｆのタイヤサイズを変更したり、左右における前輪１０４Ｆの間隔を変更したりすると、正確性が失われる。そのような場合、処理装置１２２は、関心領域６０に含まれる前輪１０４Ｆの一部を検出し、検出した前輪１０４Ｆの一部の画像に基づいて、農業機械１００に対する前輪１０４Ｆの位置を推定してもよい。

　図４６は、作物列１２が設けられた地面１０の一部を模式的に示す上面図である。図４６には、一対の前輪１０４Ｆが記載されている。このような上面図の矩形エリア６２は、図４５の画像の関心領域６０に対して前述のホモグラフィ変換を行うことによって生成された上面視画像である。図４６において、図４５の関心領域６０に映っていた車両本体１１０の記載は省略されている。また、関心領域６０に映っていた前輪１０４Ｆの一部の画像については、ホモグラフィ変換によって大きく変形するため、図４６では、前輪１０４Ｆを、基準平面Ｒｅに「平行投影」した図形の形状を記載している。更に、参考のため、図４６には、前輪１０４Ｆが地面１０に接触するタイヤトレッド（接地面）ＣＡが模式的に記載されている。左右にあるタイヤトレッドＣＡの中心間距離Ｔは、「トレッド幅（ｔｒａｃｋ）」である。

　一般に、農業機械１００の車両本体１１０に対して、タイヤトレッドＣＡの位置は既知である。このため、関心領域６０の上面視画像（矩形エリア）６２に対するタイヤトレッドＣＡの位置関係も既知である。しかし、本実施形態のように、関心領域６０が１または複数の車輪の少なくとも一部を含むように設定されることにより、以下の効果を得ることができる。

　・車両本体１１０の構造は機種により異なり、トレッド幅（タイヤトレッドＣＡの中心間距離）Ｔも、機種によって異なり得る。また、同一の機種であっても、前述したようにオペレータがトレッド幅Ｔを変更することがある。このため、関心領域６０の形状およびサイズを、画像に映る車輪１０４を含むように選択することは、多様な機種に対応可能な画像処理を実現し、オペレータによってトレッド幅Ｔが変更される場合に対応可能にする。

　・タイヤトレッドＣＡの位置をボディ座標系Σｂの座標として前もって入力することが必ずしも必須では無くなる。撮像装置１２０が取得した画像に基づいて、ボディ座標系Σｂにおける前輪１０４Ｆ、あるいはタイヤトレッドＣＡの座標を自動的に取得することが可能になる。

　・画像認識システムが決定した列のエッジライン、あるいは、エッジラインに基づいて生成された目標経路と車輪との位置誤差を画像に基づいてモニタすることが可能になる。

　なお、前述したように、ホモグラフィ変換によって地面の上面視画像を生成した場合、車輪は変形する。列のエッジラインまたは目標経路に対する車輪（特にタイヤトレッドＣＡ）の位置関係を正確には推定するためには、ホモグラフィ変換の補正を行うことが望ましい。以下、この点を説明する。

　図４７は、画像４０内に映っている前輪１０４Ｆの一部に含まれる点Ｐ３、Ｐ４と、これらの点Ｐ３、Ｐ４を基準平面Ｒｅ上に透視投影した対応点Ｐ３’、Ｐ４’との位置関係を模式的に示す図である。ワールド座標系における点Ｐ３、Ｐ４の座標を、それぞれ、（Ｘ３，Ｙ３，Ｚ３）、（Ｘ４，Ｙ４，Ｚ４）とする。また、ワールド座標系における対応点Ｐ３’、Ｐ４’の座標を、それぞれ、（Ｘ３’，Ｙ３’，０）、（Ｘ４’，Ｙ４’，０）とする。図４７からわかるように、点Ｐ３、Ｐ４は、基準平面Ｒｅよりも高い位置にある。従った、ホモグラフィ変換によって基準平面Ｒｅの真上から見た上面視画像を生成すると、基準平面Ｒｅにおける対応点Ｐ３’、Ｐ４’のＸ座標およびＹ座標は、それぞれ、点Ｐ３、Ｐ４のＸ座標およびＹ座標からシフトしてしまう。したがって、前輪１０４Ｆの一部が映っている画像４０に対して、ホモグラフィ変換を行って上面視画像を生成すると、前輪１０４Ｆの像は歪んだ形状で上面視画像内に形成され、正確な位置関係を推定することが困難になる。

　このような上面視画像に基づいて、前輪１０４Ｆと作物列１２または畝１６のエッジラインとの位置関係を知るには、対応点Ｐ３’、Ｐ４’の座標（Ｘ３’，Ｙ３’，０）、（Ｘ４’，Ｙ４’，０）に基づいて、タイヤトレッドＣＡの中心を推定することが好ましい。

　図４７の例において、前輪１０４Ｆの高さＨｔが既知であれば、画像に映る前輪１０４Ｆ上の点Ｐ３、Ｐ４の前輪１０４Ｆにおける位置は、例えばパターンマッチングなどの手法により、画像内の形状から推定することが可能である。点Ｐ３、Ｐ４の前輪１０４Ｆにおける位置が推定されれば、例えば、対応点Ｐ３’、Ｐ４’の座標（Ｘ３’，Ｙ３’，０）、（Ｘ４’，Ｙ４’，０）を補正してタイヤトレッドＣＡの中心位置を推定することができる。

　こうして、本実施形態では、関心領域内に車輪の少なくとも一部を含めることにより、関心領域内から検出した列に対する車輪の配置関係を時系列画像によってモニタすることが可能になる。

　（農業機械の実施形態）
　次に、測位システムおよび実施形態１から３の画像認識システムを備える農業機械の実施形態を説明する。測位システムは、任意のＧＮＳＳシステムであり得る。なお、画像認識システムによる列検出の手順またはアルゴリズムは、上記の実施形態１から３について説明した手順またはアルゴリズムに限定されない。

　本実施形態における農業機械は、前述した画像認識システムを備える。また、この農業機械は、画像認識システムによって取得した列領域の位置情報、および／または、測位システムによって取得した自己位置情報を利用して自動操舵運転を実現するための制御を行う制御システムを備える。制御システムは、記憶装置と、制御装置とを備えるコンピュータシステムであり、農業機械の操舵、走行、その他の動作を制御するように構成されている。

　測位システムは、例えばＧＮＳＳ受信機を有する。このような測位システムは、ＧＮＳＳ衛星からの信号に基づき、作業車両の位置を特定することができる。しかし、列が圃場にある場合、仮に測位システムが農業機械の位置を高精度に測定できたとしても、列の間は狭く、作物の植えられ方や生育状況によっては、農業機械の車輪などの走行装置が列にはみ出す可能性も高くなる。しかし、本実施形態では、前述した画像認識システムを用いることにより、現実に存在する列を検出して、適切な自動操舵を実行することができる。すなわち、本開示の実施形態における農業機械が備える自動操舵装置（制御装置）は、予め設定された経路に自己位置を合わせるように操舵輪の操舵角を制御するだけではなく、画像認識システムが決定した列のエッジラインの位置に基づいて、操舵輪の操舵角を制御することも可能なように構成される。

　また、本実施形態における農業機械では、画像認識システムの処理装置が、時系列カラー画像に基づいて、列のエッジラインと操舵輪との位置関係をモニタすることが可能である。この位置関係から位置誤差信号を生成すれば、農業機械の自動操舵装置が位置誤差信号を小さくするように操舵角を適切に調整することが可能になる。

　図４８は、本実施形態における農業機械１００の外観の例を示す斜視図である。図４９は、作業機３００が装着された状態の農業機械１００の例を模式的に示す側面図である。本実施形態における農業機械１００は、作業機３００が装着された状態の農業用トラクタ（作業車両）である。農業機械１００は、トラクタに限定されず、また作業機３００が装着されている必要もない。本開示における列検出の技術は、例えば、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得る小型管理機、および野菜移植機に用いて優れた効果を発揮することができる。

＜自動経路走行、列倣い走行との動作＞
　図５１は、手動によって、自動経路走行と列倣い走行とを切り換える動作フローを示す図である。図５１に示すように、モードスイッチ（モードＳＷ）１１４が操作される（Ｓ５００、Ｙｅｓ）と、制御装置１８０は、自動経路走行が選択されたか否かを判断する（Ｓ５０１）。自動経路走行が選択された場合（Ｓ５０１、Ｙｅｓ）、制御装置１８０は記憶装置に記憶された目標経路（主経路Ｑ１、旋回経路Ｑ２）を参照する（Ｓ５０２）。スタートスイッチ１１２によって、自動経路走行の開始が指令されると（Ｓ５０３、Ｙｅｓ）、制御装置１８０は、自動経路走行を開始する（Ｓ５０４）。自動経路走行中において、スタートスイッチ１１２によって、自動経路走行の終了が指令されると（Ｓ５０５、Ｙｅｓ）、制御装置１８０は、自動経路走行を終了する（Ｓ５０６）。

　一方で、列倣い走行が選択された場合（Ｓ５０１、Ｎｏ）、制御装置１８０は、画像認識システム１０００の検出結果に基づいて列倣い走行が可能な状態か否かを判断する（Ｓ５１０）。制御装置１８０は、列倣い走行が可能な状態であると判断し（Ｓ５１０、Ｙｅｓ）、且つ、スタートスイッチ１１２によって列倣い走行の開始が指令されると（Ｓ５１１、Ｙｅｓ）、列倣い走行を開始する（Ｓ５１２）。制御装置１８０は、列倣い走行が可能でないと判断したり（Ｓ５１０、Ｎｏ）、スタートスイッチ１１２によって列倣い走行の開始が指令されない場合（Ｓ５１１、Ｎｏ）は、列倣い走行を開始しない。

　列倣い走行中において、スタートスイッチ１１２によって、列倣い走行の終了が指令されると（Ｓ５１３、Ｙｅｓ）、制御装置１８０は、列倣い走行を終了する（Ｓ５１４）。

　本実施形態における農業機械１００は、撮像装置１２０と、測位装置１３０と、障害物センサ１３６とを備える。本実施形態において、測位装置１３０が前述した測位システム２０００として機能する。図４８には１つの障害物センサ１３６が例示されているが、障害物センサ１３６は農業機械１００の複数の箇所に設けられていてもよい。

　図４９に示すように、農業機械１００は、車両本体１１０と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車両本体１１０には、車輪１０４と、キャビン１０５とが設けられている。車輪１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。スイッチ群は、図１および図７に示されるスタートスイッチ１１２、モードスイッチ１１４を含み得る。前輪１０４Ｆおよび後輪１０４Ｒの一方または両方は、タイヤ付き車輪ではなく無限軌道（ｔｒａｃｋｓ）を装着した車輪（クローラ）に置き換えられてもよい。農業機械１００は、４つの車輪１０４を駆動輪として備える四輪駆動車であってもよいし、一対の前輪１０４Ｆまたは一対の後輪１０４Ｒを駆動輪として備える二輪駆動車であってもよい。

　本実施形態における測位装置１３０は、ＧＮＳＳ受信機を備える。ＧＮＳＳ受信機は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて農業機械１００の位置を決定する処理回路とを備える。測位装置１３０は、ＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信し、ＧＮＳＳ信号に基づいて測位を行う。ＧＮＳＳは、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、ＱＺＳＳ（Ｑｕａｓｉ－Ｚｅｎｉｔｈ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ、例えばみちびき）、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、およびＢｅｉＤｏｕなどの衛星測位システムの総称である。本実施形態における測位装置１３０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。

　測位装置１３０は、さらに、慣性計測装置（ＩＭＵ）からの信号を利用して位置データを補完することができる。ＩＭＵは、農業機械１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、ＧＮＳＳ信号に基づく位置データを補完することにより、測位の性能を向上させることができる。

　図４８および図４９に示す例では、車両本体１１０の後部に障害物センサ１３６が設けられている。障害物センサ１３６は、車両本体１１０の後部以外の部位にも配置され得る。例えば、車両本体１１０の側部、前部、およびキャビン１０５のいずれかの箇所に、１つまたは複数の障害物センサ１３６が設けられ得る。障害物センサ１３６は、農業機械１００の周囲に存在する物体を検出する。障害物センサ１３６は、例えばレーザスキャナおよび／または超音波ソナーを備え得る。障害物センサ１３６は、障害物センサ１３６から所定の検知エリア（サーチエリア）内に障害物が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３６が農業機械１００の車体の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、車体の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３６を備えることにより、農業機械１００の周囲の障害物の監視における死角を減らすことができる。

　原動機１０２は、例えばディーゼルエンジンである。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって農業機械１００の推進力および移動速度を変化させることができる。変速装置１０３は、農業機械１００の前進と後進とを切り換えることもできる。

　操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変化させることにより、農業機械１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、手動操舵が行われるとき、オペレータがステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、農業機械１００内に配置された制御装置からの制御により、油圧装置または電動モータ（ステアリングモータ）の力によって操舵角が自動で調整される。

　車両本体１１０の後部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Ｐｏｗｅｒ　Ｔａｋｅ　Ｏｆｆ）軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置１０８によって作業機３００を農業機械１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、作業機３００の位置または姿勢を制御することができる。また、ユニバーサルジョイントを介して農業機械１００から作業機３００に動力を送ることができる。農業機械１００は、作業機３００を引きながら、作業機３００に所定の作業を実行させることができる。連結装置は、車両本体１１０の前方に設けられていてもよい。その場合、農業機械１００の前方に作業機を接続することができる。

　図４９に示す作業機３００は、例えば、ロータリカルチである。列に倣って走行するときにトラクタなどの作業車両に牽引または装着される作業機３００は、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得るものであれば、任意である。

　図５０は、農業機械１００および作業機３００の概略的な構成の例を示すブロック図である。農業機械１００と作業機３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。

　図５０の例における農業機械１００は、撮像装置１２０、測位装置１３０、障害物センサ１３６、操作端末２００に加え、駆動装置１４０、ステアリングホイールセンサ１５０、切れ角センサ１５２、制御システム１６０、通信インタフェース（ＩＦ）１９０、操作スイッチ群２１０、およびブザー２２０を備える。測位装置１３０は、ＧＮＳＳ受信機１３１と、慣性計測装置（ＩＭＵ）１２５とを備える。制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８６を備える。作業機３００は、駆動装置３４０と、制御装置３８０と、通信インタフェース（ＩＦ）３９０とを備える。なお、図５０には、農業機械１００による自動操舵または自動走行の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。

　測位装置１３０は、ＧＮＳＳを利用して農業機械１００の測位を行う。測位装置１３０がＲＴＫ受信機を備える場合、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号に加えて、基準局から送信される補正信号が利用される。基準局は、農業機械１００が走行する圃場の周囲（例えば、農業機械１００から１０ｋｍ以内の位置）に設置され得る。基準局は、複数のＧＮＳＳ衛星から受信したＧＮＳＳ信号に基づいて補正信号を生成し、測位装置１３０に送信する。測位装置１３０におけるＧＮＳＳ受信機１３１は、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信する。測位装置１３０は、ＧＮＳＳ信号および補正信号に基づき、農業機械１００の位置を計算することにより、測位を行う。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Ｖｉｒｔｕａｌ　Ｒｅｆｅｒｅｎｃｅ　Ｓｔａｔｉｏｎ）またはＤＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を利用した測位を行ってもよい。測位装置１３０は、衛星信号を利用した測位方式に限らず自己位置を認識する他の測位方法を利用する装置であってもよい。他の測位方法としては、例えば、圃場の周囲に設けた複数の電波発信装置（ビーコン、Ｗｉ－Ｆｉ（登録商標）通信装置等）、または、圃場に埋め込んだ電磁誘導線やＲＦ－ＩＤからの電波を受信して自己位置を測定する方法であってもよい。あるいは、圃場内および／または圃場周囲のランドマークやタグ等をカメラで認識して自己位置を推定する方法などであってもよい。

　ＩＭＵ１３５は、３軸加速度センサおよび３軸ジャイロスコープを備える。ＩＭＵ１３５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１３５は、モーションセンサとして機能し、農業機械１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。測位装置１３０は、ＧＮＳＳ信号および補正信号に加えて、ＩＭＵ１３５から出力された信号に基づいて、農業機械１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１３５から出力された信号は、ＧＮＳＳ信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１３５は、ＧＮＳＳ信号よりも高い頻度で信号を出力する。その高頻度の信号を利用して、農業機械１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１３５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１３５は、測位装置１３０とは別の装置として設けられていてもよい。

　測位装置１３０は、ＧＮＳＳ受信機１３１およびＩＭＵ１３５に加えて、他の種類のセンサを備えていてもよい。農業機械１００が走行する環境によっては、これらのセンサからのデータに基づいて農業機械１００の位置および向きを高い精度で推定することができる。

　このような測位装置１３０を利用することにより、前述した画像認識システム１０００によって検出した作物列および畝の地図を作製することも可能である。

　駆動装置１４０は、例えば前述の原動機１０２、変速装置１０３、デフロック機構を含む差動装置、操舵装置１０６、および連結装置１０８などの、農業機械１００の走行および作業機３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備える。駆動装置１４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。

　ステアリングホイールセンサ１５０は、農業機械１００のステアリングホイールの回転角を計測する。切れ角センサ１５２は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５０および切れ角センサ１５２による計測値は、制御装置１８０による操舵制御に利用される。

　記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの１つ以上の記憶媒体を含む。記憶装置１７０は、各センサ、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、農業機械１００が走行する環境内の地図データ、および自動操舵の目標経路のデータが含まれ得る。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して農業機械１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。

　制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、画像認識用のＥＣＵ１８１、速度制御用のＥＣＵ１８２、ステアリング制御用のＥＣＵ１８３、自動操舵制御用のＥＣＵ１８４、作業機制御用のＥＣＵ１８５、表示制御用のＥＣＵ１８６、およびブザー制御用のＥＣＵ１８７を含む。画像認識用のＥＣＵ１８１は、画像認識システムの処理装置として機能する。ＥＣＵ１８２は、駆動装置１４０に含まれる原動機１０２、変速装置１０３、およびブレーキを制御することによって農業機械１００の速度を制御する。ＥＣＵ１８３は、ステアリングホイールセンサ１５０の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することにより、農業機械１００のステアリングを制御する。ＥＣＵ１８４は、測位装置１３０、ステアリングホイールセンサ１５０、および切れ角センサ１５２から出力される信号に基づいて、自動操舵運転を実現するための演算および制御を行う。自動操舵運転中、ＥＣＵ１８４は、ＥＣＵ１８３に操舵角の変更の指令を送る。ＥＣＵ１８３は、当該指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。ＥＣＵ１８５は、作業機３００に所望の動作を実行させるために、連結装置１０８の動作を制御する。ＥＣＵ１８５はまた、作業機３００の動作を制御する信号を生成し、その信号を通信ＩＦ１９０から作業機３００に送信する。ＥＣＵ１８６は、操作端末２００の表示を制御する。ＥＣＵ１８６は、例えば、操作端末２００における表示装置に、圃場のマップ、検出された作物列また畝、マップ中の農業機械１００の位置および目標経路、ポップアップ通知、設定画面などの様々な表示を実現させる。ＥＣＵ１８７は、ブザー２２０による警告音の出力を制御する。

　これらのＥＣＵの働きにより、制御装置１８０は、手動操舵または自動操舵による運転を実現する。通常の自動操舵運転時において、制御装置１８０は、測位装置１３０によって計測または推定された農業機械１００の位置と、記憶装置１７０に記憶された目標経路とに基づいて、駆動装置１４０を制御する。これにより、制御装置１８０は、自動経路走行モードにおいて、農業機械１００を目標経路に沿って走行させる。一方、列に沿って走行する列倣い走行制御モードでは、画像認識用のＥＣＵ１８１が、検出した作物列または畝から作物列や畝のエッジラインを決定し、このエッジラインに基づく目標経路を生成する。制御装置１８０は、この目標経路に従った動作を実行する。

　制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などのビークルバス規格に従って、相互に通信することができる。図５０において、ＥＣＵ１８１から１８７のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。また、ＥＣＵ１８１から１８７の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８７以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、１つ以上のプロセッサを含む制御回路を備える。

　通信ＩＦ１９０は、作業機３００の通信ＩＦ３９０と通信を行う回路である。通信ＩＦ１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、作業機３００の通信ＩＦ３９０との間で実行する。これにより、作業機３００に所望の動作を実行させたり、作業機３００から情報を取得したりすることができる。通信ＩＦ１９０は、有線または無線のネットワークを介して外部のコンピュータと通信してもよい。外部のコンピュータは、例えば、圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援する営農支援システムにおけるサーバコンピュータであってもよい。

　操作端末２００は、農業機械１００の走行および作業機３００の動作に関する操作をオペレータが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または１つ以上のボタンを備え得る。オペレータは、操作端末２００を操作することにより、例えば自動操舵モードのオン／オフの切り替え、クルーズコントロールのオン／オフの切り替え、農業機械１００の初期位置の設定、目標経路の設定、地図の記録または編集、２ＷＤ／４ＷＤの切り替え、デフロックのオン／オフの切り替え、および作業機３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１０を操作することによっても実現できる。操作端末２００への表示は、ＥＣＵ１８６によって制御される。

　ブザー２２０は、オペレータに異常を報知するための警告音を発する音声出力装置である。ブザー２２０は、例えば、自動操舵運転時に、農業機械１００が目標経路から所定距離以上逸脱した場合に警告音を発する。ブザー２２０は、列倣い走行が可能な状態にない場合において、オペレータがスタートスイッチ１１２を操作して列倣い走行開始の指令を発したとき、警告音を鳴らしてもよい。ブザー２２０の代わりに、操作端末２００のスピーカによって同様の機能が実現されてもよい。ブザー２２０は、ＥＣＵ１８６によって制御される。

　作業機３００における駆動装置３４０は、作業機３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、作業機３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信ＩＦ３９０を介して農業機械１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、作業機３００の状態に応じた信号を通信ＩＦ３９０から農業機械１００に送信することもできる。

　以上の実施形態において、農業機械１００は、無人で自動運転を行う作業車両であってもよい。その場合には、キャビン、運転席、ステアリングホイール、操作端末などの、有人運転にのみ必要な構成要素は、農業機械１００に設けられていなくてもよい。無人の作業車両は、自律走行、またはオペレータによる遠隔操作によって、前述の各実施形態における動作と同様の動作を実行してもよい。

　実施形態における各種の機能を提供するシステムを、それらの機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線（例えばインターネット）を介したダウンロードによっても提供され得る。

　本開示の技術は、例えば、乗用管理機、野菜移植機、トラクタなどの農業機械に適用することができる。

　１０・・・地面、１２・・・作物列、１４・・・中間領域（作業通路）、１６・・・畝、４０・・・画像、４２・・・強調画像、４４・・・上面視画像、１００・・・農業機械、１１０・・・車両本体、１２０・・・撮像装置、１２２・・・処理装置、１０００・・・画像認識システム、２０００・・・測位システム

Claims

　取得した画像から、圃場の地面上に設けられた作物および畝の少なくとも一方の列領域を検出する画像認識システムと、
　自己位置を取得する測位システムと、
　操舵輪を含む走行装置と、
　前記測位システムよって取得された自己位置に基づいて前記走行装置を目標経路に沿って走行させる自動経路走行と、前記画像認識システムが検出した前記列領域に沿って前記走行装置を走行させる列倣い走行とのいずれかを行う制御装置と、
　を備えた農業機械。
　前記自動経路走行または列倣い走行のいずれかを選択するモードスイッチを備えている請求項１に記載の農業機械。
　前記制御装置は、前記画像認識システムの検出結果に基づいて前記列倣い走行が可能な状態か否かを判断し、
　前記モードスイッチによって前記列倣い走行が選択され、且つ、前記画像認識システムの検出結果に基づいて前記列倣い走行が可能な状態であると判断した場合に、前記列倣い走行を開始する請求項２に記載の農業機械。
　前記画像認識システムは、前記モードスイッチによって前記列倣い走行が選択された場合、前記画像認識システムによる作物および畝の検出を開始する請求項２または３に記載の農業機械。
　前記制御装置は、前記モードスイッチによって前記自動経路走行が選択され、且つ、前記自動経路走行が可能な状態であると判断した場合に、前記自動経路走行を開始する請求項２から４のいずれか１項に記載の農業機械。
　前記走行装置は、ステアリング装置の手動操舵によって前記操舵輪の向きを変える手動操舵走行が可能であり、
　前記手動操舵走行中に所定の操作を受け付ける操作部材を更に備え、
　前記制御装置は、前記操作部材が前記所定の操作を受け付けたときの前記走行装置の位置に基づいて基準経路を生成し、且つ、前記自動経路走行の開始が指令された場合には前記基準経路を所定の方向にシフトすることで前記目標経路を生成する請求項５に記載の農業機械。
　前記制御装置は、前記列倣い走行時に前記自動経路走行の基準経路を生成する請求項１から５のいずれか１項に記載の農業機械。
　前記操舵輪の自動操舵の開始または終了を指令するスタートスイッチを備え、
　前記制御装置は、前記列倣い走行の開始または終了、前記自動経路走行の開始または終了を、前記スタートスイッチの指令に従って行う請求項３から７のいずれか１項に記載の農業機械。
　前記制御装置は、前記圃場の状況に応じて前記自動経路走行または前記列倣い走行の何れかを選択する請求項１から８のいずれか１項に記載の農業機械。
　前記制御装置は、前記走行装置の走行状態に応じて前記自動経路走行または前記列倣い走行の何れかを選択する請求項１から９のいずれか１項に記載の農業機械。
　前記制御装置は、前記測位システムまたは前記画像認識システムの状況に応じて前記自動経路走行または前記列倣い走行の何れかを選択する請求項１から８のいずれか１項に記載の農業機械。
　前記制御装置は、前記自動経路走行中に目標経路と画像認識システムが検出した列領域の位置との差が所定値以上となる場合に目標経路を補正する請求項１から８のいずれか１項に記載の農業機械。
　前記制御装置は、前記画像認識システムが検出した前記列領域を規定する座標を取得し、前記圃場における前記列領域の地図を生成する、請求項１から１２のいずれか１項に記載の農業機械。
　前記制御装置は、前記画像認識システムが検出した前記列領域と前記地図との間でマッチングを行って前記圃場における前記農業機械の位置を求め、前記自動経路走行または前記列倣い走行を行う、請求項１３に記載の農業機械。
　前記制御装置は、前記圃場における前記列領域の地図を取得し、前記画像認識システムが検出した前記列領域と前記地図との間でマッチングを行って前記圃場における前記農業機械の位置を求め、前記自動経路走行または前記列倣い走行を行う、請求項１から１２のいずれか１項に記載の農業機械。
　前記制御装置は、前記自動経路走行時における前記目標経路を、前記地図に基づいて生成する、請求項１３から１５のいずれか１項に記載の農業機械。