JPWO2020110248A1 - 作業機、作業機の制御方法及びプログラム - Google Patents

Abstract

カメラの画像に基づいて動作する作業機であって、複数のカメラと、前記複数のカメラの何れかの故障又は不具合を検出する検出手段と、前記検出手段により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御手段とを備える。

Description

本発明は、自律走行が可能な作業機、作業機の制御方法及びプログラムに関するものである。

従来、外界の物体との距離を測定し、測定結果に基づいて自律走行する自律作業機（例えば芝刈機）が知られている。特許文献１は、カメラにより撮影された画像に基づいて自律走行を行う自律走行システムを開示している。特許文献２は、超音波等を用いて周囲の障害物を検知する障害物認識センサ等の各種センサを備え、センサ情報に従って自律走行を行う移動作業機械を開示している。

ここで、カメラにより撮影された画像に基づいて自律走行を行う場合、カメラの故障時に、超音波センサ、赤外線センサなどの様々な距離計測用センサを代替手段として用いることで自律走行を維持することが考えられる。

特開２０１７−１７３９６９号公報 特開平９−１２８０４４号公報

しかしながら、カメラの故障時に距離計測用センサを使用する場合、消費電力が増大すると共に製品コストも増大するという課題がある。

本発明の目的は、カメラの故障時に距離計測用センサを使用することなく自律走行が可能な作業機を提供することにある。

上記課題を解決し、目的を達成するために、本発明に係る作業機は、
カメラの画像に基づいて動作する作業機であって、
複数のカメラと、
前記複数のカメラの何れかの故障又は不具合を検出する検出手段と、
前記検出手段により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御手段と、
を備える。

本発明によれば、カメラの故障時に距離計測用センサを使用することなく自律走行が可能な作業機を提供することができる。さらに、いずれかのカメラが故障しても他のカメラだけで作業機の制御を行うので、補助のための他のセンサが不要となるため製品コストを低減することができると共に消費電力の増大も防止することができる。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の一実施形態に係る自律走行可能な作業機の外観図である。 本発明の一実施形態に係る作業機を側方から観察した図である。 本発明の一実施形態に係る作業機を制御する電子制御ユニット（ＥＣＵ）の入出力関係を示すブロック図である。 本発明の一実施形態に係る作業機が実施する処理手順を示すフローチャート。 本発明の一実施形態に係るカメラ正常時の自律走行制御処理の詳細な手順を示すフローチャートである。 本発明の一実施形態に係るカメラ故障時の自律走行制御処理の詳細な手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明の実施形態を説明する。なお、各図面を通じて同一の構成要素に対しては同一の参照符号を付している。

図１は、本発明の一実施形態に係る自律走行可能な作業機の外観図である。以下では側面視における作業機の進行方向（車長方向）と、進行方向に直交する横方向（車幅方向）と、進行方向と横方向に直交する鉛直方向とを、それぞれ前後方向、左右方向、上下方向と定義し、それに従って各部の構成を説明する。

図１において、符号１０は作業機（以下「作業車」という）を示す。作業車１０は、具体的には自律走行する芝刈機として機能する。但し、芝刈機は一例であり、他の種類の作業機械にも本発明を適用することができる。作業車１０は、複数のカメラ（第１のカメラ１１ａ、第２のカメラ１１ｂ）を含むカメラユニット１１を備えており、視差のある第１のカメラ１１ａ、第２のカメラ１１ｂにより撮影された画像を用いて、前方に存在する物体と、作業車１０との距離情報を算出して取得することができる。なお、図示の例ではカメラユニット１１は２台のカメラを備えているが、３台以上のカメラを備えていてもよい。

図２は、該作業車１０を横方向（車幅方向）から観察した図である。図２に示されるように、作業車１０は、カメラユニット１１、車体１２、ステー１３、前輪１４、後輪１６、ブレード２０、作業モータ２２、モータ保持部材２３、ブレード高さ調節モータ１００、及び並進機構１０１を備えている。また、作業車１０は、走行モータ２６、各種のセンサ群Ｓ、電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）４４、充電ユニット３０、電池（バッテリ）３２、充電端子３４、報知部３５を備えている。

作業車１０の車体１２は、シャーシ１２ａと、該シャーシ１２ａに取り付けられるフレーム１２ｂとを有する。前輪１４は、前後方向においてシャーシ１２ａの前側にステー１３を介して固定される小径の左右２個の車輪である。後輪１６は、シャーシ１２ａの後側に取り付けられる大径の左右２個の車輪である。

ブレード２０は、シャーシ１２ａの中央位置付近に取り付けられる芝刈り作業用のロータリブレードである。作業モータ２２は、ブレード２０の上方に配置された電動モータである。ブレード２０は、作業モータ２２と接続されており、作業モータ２２によって回転駆動される。モータ保持部材２３は、作業モータ２２を保持する。モータ保持部材２３は、シャーシ１２ａに対して回転が規制されると共に、例えば、ガイドレールと、ガイドレールに案内されて上下に移動可能なスライダとの組み合せにより、上下方向の移動が許容されている。

ブレード高さ調節モータ１００は、接地面ＧＲに対するブレード２０の上下方向の高さを調節するためのモータである。並進機構１０１は、ブレード高さ調節モータ１００と接続されており、ブレード高さ調節モータ１００の回転を上下方向の並進移動に変換するための機構である。当該並進機構１０１は、作業モータ２２を保持するモータ保持部材２３とも接続されている。

ブレード高さ調節モータ１００の回転が並進機構１０１により並進移動（上下方向の移動）に変換され、並進移動はモータ保持部材２３に伝達される。モータ保持部材２３の並進移動（上下方向の移動）により、モータ保持部材２３に保持されている作業モータ２２も並進移動（上下方向の移動）する。作業モータ２２の上下方向の移動により、接地面ＧＲに対するブレード２０の高さを調節することができる。

走行モータ２６は、作業車１０のシャーシ１２ａに取り付けられている２個の電動モータ（原動機）である。２個の電動モータは、左右の後輪１６とそれぞれ接続されている。前輪１４を従動輪、後輪１６を駆動輪として左右の車輪を独立に正転（前進方向への回転）あるいは逆転（後進方向への回転）させることで、作業車１０を種々の方向に移動させることができる。

充電端子３４は、フレーム１２ｂの前後方向の前端位置に設けられた充電端子であり、充電ステーション（不図示）の対応する端子と接続することで、充電ステーションからの給電を受けることができる。充電端子３４は、配線を介して充電ユニット３０と接続されており、当該充電ユニット３０は電池（バッテリ）３２と接続されている。また、作業モータ２２、走行モータ２６、ブレード高さ調節モータ１００も電池３２と接続されており、電池３２から給電されるように構成されている。

ＥＣＵ４４は、回路基板上に構成されたマイクロコンピュータを含む電子制御ユニットであり、作業車１０の動作を制御する。ＥＣＵ４４の詳細は後述する。報知部３５は、作業車１０に異常が発生したような場合に異常の発生を報知する。例えば、音声や表示により報知する。或いは、作業車１０と有線又は無線で接続された外部機器に対して、異常の発生を出力する。ユーザは、外部機器を通じて異常の発生を知ることができる。

図３は、該作業車１０を制御する電子制御ユニット（ＥＣＵ）の入出力関係を示すブロック図である。図３に示されるように、ＥＣＵ４４は、ＣＰＵ４４ａと、Ｉ／Ｏ４４ｂと、メモリ４４ｃとを備えている。メモリ４４ｃは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。メモリ４４ｃには、作業車１０の作業日程、作業領域に関する情報や、作業車１０の動作を制御するための各種プログラムが記憶されている。ＥＣＵ４４は、メモリ４４ｃに格納されているプログラムを読み出して実行することにより、本発明を実現するための各処理部として動作することができる。

ＥＣＵ４４は各種のセンサ群Ｓと接続されている。センサ群Ｓは、方位センサ４６、ＧＰＳセンサ４８、車輪速センサ５０、角速度センサ５２、加速度センサ５４、電流センサ６２、及びブレード高さセンサ６４を含んで構成されている。

方位センサ４６及びＧＰＳセンサ４８は、作業車１０の位置や向きの情報を取得するためのセンサである。方位センサ４６は、地磁気に応じた方位を検出する。ＧＰＳセンサ４８は、ＧＰＳ衛星からの電波を受信して作業車１０の現在位置（緯度、経度）を示す情報を検出する。

車輪速センサ５０、角速度センサ５２、及び加速度センサ５４は、作業車１０の移動状態に関する情報を取得するためのセンサである。車輪速センサ５０は、左右の後輪１６の車輪速を検出する。角速度センサ５２は、作業車１０の重心位置の上下方向の軸（鉛直方向のｚ軸）回りの角速度を検出する。加速度センサ５４は、作業車１０に作用するｘ，ｙ，ｚ軸の直交３軸方向の加速度を検出する。

電流センサ６２は、電池３２の消費電流（消費電力量）を検出する。消費電流（消費電力量）の検出結果はＥＣＵ４４のメモリ４４ｃに保存される。予め定められた電力量が消費され、電池３２に蓄積されている電力量が閾値以下になった場合、ＥＣＵ４４は、充電のために作業車１０を充電ステーション（不図示）へ帰着させるように制御する。

ブレード高さセンサ６４は、接地面ＧＲに対するブレード２０の高さを検出する。ブレード高さセンサ６４の検出結果はＥＣＵ４４へ出力される。ＥＣＵ４４の制御に基づいて、ブレード高さ調節モータ１００が駆動され、ブレード２０が上下方向に上下して接地面ＧＲからの高さが調節される。

各種センサ群Ｓの出力は、Ｉ／Ｏ４４ｂを介してＥＣＵ４４へ入力される。ＥＣＵ４４は、各種センサ群Ｓの出力に基づいて、走行モータ２６、作業モータ２２、高さ調節モータ１００に対して電池３２から電力を供給する。ＥＣＵ４４は、Ｉ／Ｏ４４ｂを介して制御値を出力して走行モータ２６を制御することで、作業車１０の走行を制御する。また、Ｉ／Ｏ４４ｂを介して制御値を出力して高さ調節モータ１００を制御することで、ブレード２０の高さを調節する。さらに、Ｉ／Ｏ４４ｂを介して制御値を出力して作業モータ２２を制御することで、ブレード２０の回転を制御する。ここで、Ｉ／Ｏ４４ｂは、通信インタフェースとして機能することができ、ネットワーク３０２を介して有線又は無線で外部機器（例えば、スマートフォンやパーソナルコンピュータ等の通信機器）３５０と接続することが可能である。

＜処理＞
続いて、図４のフローチャートを参照しながら、本実施形態に係る作業車１０が実施する処理の手順を説明する。本実施形態では、第１のカメラ１１ａと第２のカメラ１１ｂとが何れも故障しておらず正常である場合と、何れか一方が故障した場合とで異なる処理を実施する。

ステップＳ４０１において、ＥＣＵ４４は、カメラ正常時の自律走行制御処理を実施する。本ステップの詳細は図５を参照して後述する。ステップ４０２において、ＥＣＵ４４は、複数のカメラ（第１のカメラ１１ａ及び第２のカメラ１１ｂ）の何れかの故障を検出したか否かを判定する。例えば、カメラユニット１１からの入力信号に基づき、一方のカメラから入力信号が検出されなくなった場合に故障の発生を検出してもよい。或いは、入力信号は検出されているが、カメラの視界の一部がブラックアウトしていたり、カメラに水滴が付着して視界がぼやけていたりする場合に不具合の発生を検出してもよい。或いは、カメラ画像の輝度値に基づいて不具合の発生を検出してもよい。例えば、カメラに葉っぱや泥などが覆いかぶさったような場合には、カメラ画像は真っ暗な画像となる。そのような場合にはカメラ画像が実質的に取得できなくなることから、不具合の発生を検出することができる。このように、カメラの機械的な故障の発生を判定するだけではなく、カメラに何らかの不具合が発生したか否かの判定を行ってもよい。何れかのカメラの故障が検出された場合、ステップＳ４０３へ進む。一方、何れのカメラにも故障が検出されていない場合、すなわち、第１のカメラ１１ａ及び第２のカメラ１１ｂの両方が正常である場合、ステップＳ４０１に戻ってカメラ正常時の自律走行制御処理を継続する。

ステップＳ４０３において、ＥＣＵ４４は、作業車１０の走行を一時的に停止する。故障が検出された状態で走行を継続した場合、物体との衝突や作業を行うフィールドからの逸脱などが発生する可能性があるため、走行を停止する。

ステップＳ４０４において、ＥＣＵ４４は、報知部３５を制御して故障の発生を報知する。報知部３５は、作業車１０に搭載されたスピーカ又はディスプレイを介して音声又は表示によりユーザに対して故障の発生を直接報知してもよい。或いは、ネットワーク３０２を介して外部機器３０５と無線で通信し、外部機器３０５を通じてユーザに故障の発生を報知してもよい。

ステップＳ４０５において、ＥＣＵ４４は、作業車１０のバッテリ（電池３２）負荷を低減させる負荷低減処理を実行する。故障検出時には作業車１０を充電ステーション等のステーションへ安全に帰着させたい。そこで、バッテリを節約するためにバッテリ負荷を低減させる処理を実施する。例えば、負荷低減処理は、作業車１０が自律走行する際の走行速度を低下させる処理を含んでもよい。ＥＣＵ４４は、走行モータ２６を制御して走行速度を、例えば所定の速度まで低下させてもよい。また、作業モータ２０を制御して、作業車１０が備えるブレード２０の回転速度を低下させる処理を含んでもよい。速度を低下させるのではなくブレード２０の回転を停止する処理であってもよい。さらに、作業車１０が作業を行う作業領域を低減させる処理を含んでもよい。負荷低減処理はとして、これらの処理の何れか１つ又は任意の組み合わせを実施してもよい。

ステップＳ４０６において、ＥＣＵ４４は、カメラ故障時の自律走行制御処理を実施する。本ステップの詳細は図６を参照して後述する。

ステップＳ４０７において、ＥＣＵ４４は、カメラの故障が継続しているか否かを判定する。本ステップではステップＳ４０２の故障検出の方法と同じ方法でカメラが故障しているか否かを判定する。その結果、カメラの故障が継続している場合、ステップＳ４０８へ進む。一方、カメラの故障が継続していない場合、すなわち複数のカメラがすべて正常な状態に復帰した場合、ステップＳ４０１に戻ってカメラ正常時の自律走行制御処理を実施する。正常な状態に復帰するようなケースとして、例えば一方のカメラを覆っていた葉っぱが走行時の振動や風などにより落下し、再び適切なカメラ画像が取得できるようになった場合などが想定される。

ステップＳ４０８において、ＥＣＵ４４は、処理を継続するか否かを判定する。例えば、作業車１０が充電ステーション（不図示）へ帰着したり、故障の発生を報知されたユーザにより作業車１０の電源がオフにされたりした場合に、処理を終了する。そうでない場合、処理を継続すると判定する。本ステップで処理を継続すると判定された場合、カメラの故障が継続していることから、ステップＳ４０６に戻って、カメラ故障時の自律走行制御処理を行う。一方、処理を終了すると判定された場合、図４の一連の処理を終了する。

なお、図４の処理では、第１のカメラ１１ａと第２のカメラ１１ｂとが何れも故障しておらず正常である場合と、何れか一方が故障した場合とを例に説明を行ったが、２つのカメラが両方とも故障することも起こりうる。ＥＣＵ４４は、両方のカメラの故障が検出された場合には、自律走行不能と判定して、作業車１０を停止させるように構成してもよい。また、ステップＳ４０３〜ステップＳ４０５の処理は必須の処理ではなく、これらの少なくとも一部が省略されてもよい。

次に、図５は、図４のＳ４０１におけるカメラ正常時の自律走行制御処理の詳細な手順を示すフローチャートである。

ステップＳ４０１１において、ＥＣＵ４４は、カメラユニット１１から、第１のカメラ１１ａにより撮影された画像及び第２のカメラ１１ｂにより撮影された画像を取得する。これらの画像は視差のある画像である。

ステップＳ４０１２において、ＥＣＵ４４は、第１のカメラ１１ａ及び第２のカメラ１１ｂにより撮影されたそれぞれの画像の視差情報に基づいて作業車１０と物体との距離情報を取得する。本処理では、視差のある複数の画像から距離情報を取得することができる。本ステップにおける距離情報の算出方法は公知の技術であるため、詳細な説明は省略する。

ステップＳ４０１３において、ＥＣＵ４４は、第１のカメラ１１ａ又は第２のカメラ１１ｂにより撮影された１つの画像と、カメラ正常時の解析モデルとに基づいて、物体を認識する。ここで、カメラ正常時の解析モデルとは、カメラが故障していない正常時に使用されるモデルであって画像から物体を認識するための物体認識モデルである。カメラ正常時の解析モデルは、距離情報を取得不能なモデルである。カメラ故障時に使用される後述の他の解析モデルと比べて、保持されている情報量が少なく計算負荷が小さいため、短時間での物体認識処理が可能である。

ステップＳ４０１４において、ＥＣＵ４４は、ステップＳ４０１２で取得された距離情報と、ステップＳ４０１３で取得された物体認識結果とに基づいて、作業車１０の動作を制御する。ここでは、故障が検出されていないことから、事前に入力された作業計画に従って作業を継続させる。すなわち、本実施形態では、芝刈り作業を継続させる。以上で図５の一連の処理が終了する。

続いて、図６は、図４のＳ４０６におけるカメラ故障時の自律走行制御処理の詳細な手順を示すフローチャートである。

ステップＳ４０６１において、ＥＣＵ４４は、第１のカメラ１１ａ及び第２のカメラ１１ｂのうち故障していない一方のカメラにより撮影された画像を取得する。

ステップＳ４０６２において、ＥＣＵ４４は、故障していない一方のカメラにより撮影された画像と、カメラ故障時の解析モデルとに基づいて、物体を認識すると共に、作業車１０と物体との距離情報を取得する。ここで、カメラ故障時の解析モデルとは、距離情報を取得可能な物体認識モデルであり、物体から作業車１０までの距離と、当該距離で観察される物体のサイズとを対応付けて格納しているモデルである。例えば、作業車１０が作業を行うフィールド上に設置されている物体（例えばマーカ）は、作業車１０からの距離が近ければ大きなサイズで観察され、距離が遠ければ小さなサイズで観察される。マーカが撮影された画像があれば、このカメラ故障時の解析モデルと照らし合わせることで、画像中のマーカのサイズに応じた、マーカまでの距離情報を取得することができる。カメラ故障時の解析モデルは、カメラ正常時の解析モデルと比べて保持する情報量が多く、計算負荷が増大するものの、物体を認識しつつ距離情報も取得することができる。

ステップＳ４０６３において、ＥＣＵ４４は、ステップＳ４０６２で取得された物体認識結果及び距離情報に基づいて、作業車１０の動作を制御する。例えば、ＥＣＵ４４は、作業車１０を充電ステーションに帰着させる制御を行ってもよい。この時、図４のステップＳ４０５で説明したように、作業車１０の負荷低減処理の内容に従って帰着させる制御を行う。例えば、作業車１０の走行速度を低減した状態で帰着させる制御を行ってもよいし、作業車１０の作業速度（例えばブレード２０の回転速度）を低下させるか、或いは作業（回転）を停止させた状態で帰着させる制御を行ってもよい。或いは、充電ステーションに帰着させる制御を行わずに、作業を継続してもよい。その際、作業車１０の走行速度を低減した状態で作業を継続させたり、作業速度（例えばブレード２０の回転速度）を低下させるか、或いは作業（回転）を停止させた状態で走行を継続したりしてもよい。或いは、作業車１０が作業を行う作業領域を低減して作業を継続してもよい。その場合、充電ステーションへの帰着を容易にするために、充電ステーションから遠い作業領域を削減し、近い作業領域を残すように作業領域の低減を行ってもよい。以上で図６の一連の処理が終了する。

以上説明したように、本実施形態では、距離計測不能な物体認識モデルをカメラ正常時に使用する解析モデルとして、距離計測も可能な物体認識モデルをカメラ故障時に使用する解析モデルとして、それぞれ用意する。そして、カメラ正常時とカメラ故障時とで処理に用いる解析モデルを切り替える。これにより、カメラの故障時にも、距離計測用センサ（超音波センサ、赤外線センサ）等の他の代替手段を備えることなく自律走行が可能な作業機を提供することができる。従って、製品コストを低減することができると共に、距離計測用センサを駆動することによる消費電力の増大も防止することができる。

さらに、カメラが故障状態から正常状態へ復帰した場合には、それまで使用していたカメラ故障時の解析モデルから、カメラ正常時の解析モデルへの切替を行うことにより、状況に応じた適応的な作業機の制御を実現することができる。

なお、上記実施形態では作業車１０が２台のカメラを備える例を説明したが、作業車１０が３台以上のカメラを備えている場合にも本実施形態を適用することができる。例えば３台のカメラのうち２台に故障又は不具合が発生した場合に視差による距離検出ができなくなるので、そのような場合に解析モデルを切り替えるように構成してもよい。このように、複数台のカメラのうち故障又は不具合が発生していないカメラが残り１台となったかどうかに応じて解析モデルを切り替えることで、状況に応じた適応的な作業機の制御を実現することができる。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

＜実施形態のまとめ＞
１．上記実施形態の作業機（例えば１０）は、
カメラの画像に基づいて動作する作業機（例えば１０）であって、
複数のカメラ（例えば１１ａ，１１ｂ）と、
前記複数のカメラの何れかの故障又は不具合を検出する検出手段（例えば４４）と、
前記検出手段により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御手段（例えば４４）と、
を備える。

この実施形態によれば、カメラの故障時又は不具合発生時に距離計測用センサを使用することなく自律走行が可能な作業機を提供することができる。さらに、いずれかのカメラに故障又は不具合が発生しても他のカメラだけで作業機の制御を行うので、補助のための他のセンサが不要となるため製品コストを低減することができると共に消費電力の増大も防止することができる。

２．上記実施形態の作業機（例えば１０）は、
前記複数のカメラにより撮影された視差のある画像に基づいて前記作業機と物体との距離情報を取得する距離取得手段（例えば４４）と、
前記複数のカメラの１つにより撮影された画像と、第１の解析モデルとに基づいて、前記物体を認識する物体認識手段（例えば４４）と、をさらに備え、
前記制御手段（例えば４４）は、前記故障又は不具合が検出されていない場合には、前記距離取得手段により取得された前記距離情報と、前記物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御する。

この実施形態によれば、カメラに故障又は不具合が発生していない時には、視差のある画像から距離検出を行うことができるため、処理の負荷を低減することができる。

３．上記実施形態の作業機（例えば１０）では、
前記第１の解析モデルは、前記距離情報を取得不能なモデルである。

この実施形態によれば、カメラに故障又は不具合が発生していない時には、距離情報を取得不能なモデルで物体認識を行うため、処理の負荷を低減することができる。

４．上記実施形態の作業機（例えば１０）は、
前記故障又は不具合が検出されていないカメラにより撮影された画像と、第２の解析モデルとに基づいて、前記物体を認識すると共に前記作業機と物体との距離情報を取得する第２の物体認識手段（例えば４４）をさらに備え、
前記制御手段（例えば４４）は、前記故障又は不具合が検出された場合には、前記第２の物体認識手段により取得された前記距離情報と、前記第２の物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御する。

この実施形態によれば、カメラ故障時又は不具合発生時には、視差のある画像に基づく距離情報は取得できなくなるものの、物体認識モデルに基づいて距離情報の取得を継続することが可能となる。

５．上記実施形態の作業機（例えば１０）では、
前記第２の解析モデルは、前記距離情報を取得可能なモデルである。

この実施形態によれば、距離情報を取得可能なモデルを用いることで、カメラ故障時でも距離情報の取得を継続することが可能となる。

６．上記実施形態の作業機（例えば１０）では、
前記制御手段（４４）は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機のバッテリ負荷を低減させる負荷低減処理を実行する。

この実施形態によれば、カメラ故障時又は不具合発生時にバッテリ負荷を低減することで、作業機を継続的に動作させることが可能となる。例えば、作業機がステーションへの帰着等の所望の動作を達成できる可能性を向上させることができる。

７．上記実施形態の作業機（例えば１０）では、
前記負荷低減処理は、前記作業機の走行速度を低下させる処理を含む。

この実施形態によれば、作業機の走行速度を低下させることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。

８．上記実施形態の作業機（例えば１０）では、
前記負荷低減処理は、前記作業機が備える作業部（例えばブレード）の作業速度（例えば回転速度）を低下させる処理を含む。

この実施形態によれば、作業機が備える作業部の作業速度を低下させることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。例えば、ブレードの回転速度を低下さることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。

９．上記実施形態の作業機（例えば１０）では、
前記負荷低減処理は、前記作業機が作業を行う作業領域を低減させる処理を含む。

この実施形態によれば、作業機が作業を行う作業領域を低減させることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。

１０．上記実施形態の作業機（例えば１０）は、
前記検出手段により前記故障又は不具合が検出された場合に前記故障又は不具合の発生を報知する報知手段（例えば３０５）をさらに備える。

この実施形態によれば、カメラの故障時又は不具合発生時に、故障又は不具合の発生を報知することで、ユーザが早期に状況を把握することが可能となる。

１１．上記実施形態の作業機（例えば１０）では、
前記制御手段（例えば４４）は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機をステーションに帰着させる制御を行う。

この実施形態によれば、カメラ故障時又は不具合発生時に、作業機を早期にステーションに帰着させることで、バッテリ切れで動作が停止してしまうことを防止することができる。

１２．上記実施形態の作業機（例えば１０）では、
前記検出手段により前記故障又は不具合が検出された後、前記検出手段により前記故障又は不具合が検出されなくなった場合、
前記制御手段（例えば４４）は、前記第２の解析モデルから前記第１の解析モデルへと切り替えて、該第１の解析モデルを使用して前記作業機を制御する。

この実施形態によれば、カメラが正常な状態に復帰した場合に、正常時の処理へと移行させることで、処理負荷を低減した作業機の制御を実施することが可能となる。また、故障や不具合の有無に応じて使用する解析モデルを変更するので、状況に応じた適切な解析モデルを用いた制御を実現することができる。

１３．上記実施形態の作業機（例えば１０）では、
前記制御手段（例えば４４）は、前記検出手段により前記複数のカメラの全てについて故障又は不具合が検出された場合、前記作業機の動作を停止させる。

この実施形態によれば、全てのカメラに故障又は不具合が発生した際に作業機の動作を停止することで、距離情報の取得や物体認識を行うことができない状態での不用意な移動を防止することができる。

１４．上記実施形態の作業機（例えば１０）は、
前記作業機と物体との距離情報を取得する距離取得手段（例えば４４）をさらに備え、
前記距離取得手段は、
前記故障又は不具合が検出されていない場合、前記複数のカメラにより撮影された視差のある画像に基づいて、前記距離情報を取得し、
前記故障又は不具合が検出された場合、故障又は不具合が検出されていない前記他のカメラにより撮影された画像と、解析モデルとに基づいて、前記距離情報を取得し、
前記制御手段（４４）は、前記距離取得手段により取得された前記距離情報に基づいて前記作業機を制御する。

この実施形態によれば、カメラ故障時又は不具合発生時においても、継続的に距離情報を取得することが可能となる。

１５．上記実施形態の作業機（例えば１０）の制御方法は、
カメラの画像に基づいて動作する作業機（例えば１０）の制御方法であって、
前記作業機が備える複数のカメラ（例えば１１ａ，１１ｂ）の何れかの故障又は不具合を検出する検出工程と、
前記検出工程により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御工程と、
を有する。

この実施形態によれば、いずれかのカメラに故障又は不具合が発生しても他のカメラだけで作業機の制御を行うため、補助のための他のセンサが不要となるため製品コストを低減することができると共に消費電力の増大も防止することができる。

１６．上記実施形態のプログラムは、
コンピュータを、請求項１乃至１４の何れか１項に記載の作業機として機能させるためのプログラムである。

この実施形態によれば、いずれかのカメラに故障又は不具合が発生しても他のカメラだけで作業機の制御を行う制御をコンピュータプログラムにより実現することが可能となる。

【０００２】
カメラの画像に基づいて動作する作業機であって、
複数のカメラと、
前記複数のカメラの何れかの故障又は不具合を検出する検出手段と、
前記故障又は不具合が検出されていない場合、前記複数のカメラにより撮影された視差のある画像に基づいて、前記作業機と物体との距離情報を取得し、前記故障が検出された場合、前記故障又は不具合が検出されていない前記他のカメラにより撮影された画像に基づいて、前記距離情報を取得する距離取得手段と、
前記距離取得手段により取得された前記距離情報に基づいて前記作業機を制御する制御手段と、
を備える。
発明の効果
［０００８］
本発明によれば、カメラの故障時に距離計測用センサを使用することなく自律走行が可能な作業機を提供することができる。さらに、いずれかのカメラが故障しても他のカメラだけで作業機の制御を行うので、補助のための他のセンサが不要となるため製品コストを低減することができると共に消費電力の増大も防止することができる。
［０００９］
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
図面の簡単な説明
［００１０］
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
［図１］本発明の一実施形態に係る自律走行可能な作業機の外観図である。
［図２］本発明の一実施形態に係る作業機を側方から観察した図である。
［図３］本発明の一実施形態に係る作業機を制御する電子制御ユニット（ＥＣＵ）の入出力関係を示すブロック図である。
［図４］本発明の一実施形態に係る作業機が実施する処理手順を示すフローチャート。
［図５］本発明の一実施形態に係るカメラ正常時の自律走行制御処理の詳細な手順を示すフローチャートである。
［図６］本発明の一実施形態に係るカメラ故障時の自律走行制御処理の詳細な手

Claims (16)

1. カメラの画像に基づいて動作する作業機であって、
   複数のカメラと、
   前記複数のカメラの何れかの故障又は不具合を検出する検出手段と、
   前記検出手段により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御手段と、
   を備えることを特徴とする作業機。
2. 前記複数のカメラにより撮影された視差のある画像に基づいて前記作業機と物体との距離情報を取得する距離取得手段と、
   前記複数のカメラの１つにより撮影された画像と、第１の解析モデルとに基づいて、前記物体を認識する物体認識手段と、をさらに備え、
   前記制御手段は、前記故障又は不具合が検出されていない場合には、前記距離取得手段により取得された前記距離情報と、前記物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御することを特徴とする請求項１に記載の作業機。
3. 前記第１の解析モデルは、前記距離情報を取得不能なモデルであることを特徴とする請求項２に記載の作業機。
4. 前記故障又は不具合が検出されていないカメラにより撮影された画像と、第２の解析モデルとに基づいて、前記物体を認識すると共に前記作業機と物体との距離情報を取得する第２の物体認識手段をさらに備え、
   前記制御手段は、前記故障又は不具合が検出された場合には、前記第２の物体認識手段により取得された前記距離情報と、前記第２の物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御することを特徴とする請求項２又は３に記載の作業機。
5. 前記第２の解析モデルは、前記距離情報を取得可能なモデルであることを特徴とする請求項４に記載の作業機。
6. 前記制御手段は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機のバッテリ負荷を低減させる負荷低減処理を実行することを特徴とする請求項１乃至５の何れか１項に記載の作業機。
7. 前記負荷低減処理は、前記作業機の走行速度を低下させる処理を含むことを特徴とする請求項６に記載の作業機。
8. 前記負荷低減処理は、前記作業機が備える作業部の作業速度を低下させる処理を含むことを特徴とする請求項６又は７に記載の作業機。
9. 前記負荷低減処理は、前記作業機が作業を行う作業領域を低減させる処理を含むことを特徴とする請求項６乃至８の何れか１項に記載の作業機。
10. 前記検出手段により前記故障又は不具合が検出された場合に前記故障又は不具合の発生を報知する報知手段をさらに備えることを特徴とする請求項１乃至９の何れか１項に記載の作業機。
11. 前記制御手段は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機をステーションに帰着させる制御を行うことを特徴とする請求項１乃至１０の何れか１項に記載の作業機。
12. 前記検出手段により前記故障又は不具合が検出された後、前記検出手段により前記故障又は不具合が検出されなくなった場合、
    前記制御手段は、前記第２の解析モデルから前記第１の解析モデルへと切り替えて、該第１の解析モデルを使用して前記作業機を制御することを特徴とする請求項４又は５に記載の作業機。
13. 前記制御手段は、前記検出手段により前記複数のカメラの全てについて故障又は不具合が検出された場合、前記作業機の動作を停止させることを特徴とする請求項１乃至１２の何れか１項に記載の作業機。
14. 前記作業機と物体との距離情報を取得する距離取得手段をさらに備え、
    前記距離取得手段は、
    前記故障又は不具合が検出されていない場合、前記複数のカメラにより撮影された視差のある画像に基づいて、前記距離情報を取得し、
    前記故障又は不具合が検出された場合、故障及び不具合が検出されていない前記他のカメラにより撮影された画像と、解析モデルとに基づいて、前記距離情報を取得し、
    前記制御手段は、前記距離取得手段により取得された前記距離情報に基づいて前記作業機を制御することを特徴とする請求項１に記載の作業機。
15. カメラの画像に基づいて動作する作業機の制御方法であって、
    前記作業機が備える複数のカメラの何れかの故障又は不具合を検出する検出工程と、
    前記検出工程により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御工程と、
    を有することを特徴とする作業機の制御方法。
16. コンピュータを、請求項１乃至１４の何れか１項に記載の作業機として機能させるためのプログラム。

Images