JPWO2020105123A1 - 自律作業機、自律作業機の制御方法及びプログラム - Google Patents

自律作業機、自律作業機の制御方法及びプログラム Download PDF

Info

Publication number
JPWO2020105123A1
JPWO2020105123A1 JP2020557070A JP2020557070A JPWO2020105123A1 JP WO2020105123 A1 JPWO2020105123 A1 JP WO2020105123A1 JP 2020557070 A JP2020557070 A JP 2020557070A JP 2020557070 A JP2020557070 A JP 2020557070A JP WO2020105123 A1 JPWO2020105123 A1 JP WO2020105123A1
Authority
JP
Japan
Prior art keywords
autonomous
work machine
backlight
information
autonomous work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020557070A
Other languages
English (en)
Other versions
JP7152507B2 (ja
Inventor
貴正 宇田川
寛人 ▲高▼橋
誠 山村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2020105123A1 publication Critical patent/JPWO2020105123A1/ja
Application granted granted Critical
Publication of JP7152507B2 publication Critical patent/JP7152507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001Steering by means of optical assistance, e.g. television cameras
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/006Control or measuring arrangements
    • A01D34/008Control or measuring arrangements for automated or remotely controlled operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Soil Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

外界を撮影するカメラを有する自律作業機は、カメラにより撮影された画像に基づいて逆光か否かを判断する判断部と、判断部により逆光と判断された場合に、逆光を回避するように自律作業機を制御する制御部と、を備える。

Description

本発明は、自律作業機、自律作業機の制御方法及びプログラムに関する。
特許文献1には、車両に搭載されたカメラによりレーンマーカの位置を認識し、太陽の位置がカメラに対して逆光にあることを検出した場合、画像処理によりレーンマーカの位置を補正する車線逸脱防止装置が開示されている。
特開2009-37541号公報
しかしながら、カメラで撮影された画像により外界を観察して、作業エリア内を種々の軌道により自律的に走行しながら作業を行う自律作業機において、特許文献1のような画像処理を適用して外界の情報を認識しようとすると、種々の撮影条件に応じて、より複雑な画像処理が必要となり得る。
本発明は、上記の課題を解決するものであり、カメラの画像を補正するのではなく、逆光を回避するように自律作業機を制御する技術の提供を目的とする。
本発明の一態様に係る自律作業機は、外界を撮影するカメラを有する自律作業機であって、前記カメラにより撮影された画像に基づいて逆光か否かを判断する判断部と、
前記判断部により前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御する制御部と、を備えることを特徴とする。
本発明によれば、逆光を回避するように自律作業機を制御することが可能になる。
実施形態に係る自律作業機を上方から見た模式図。 実施形態に係る自律作業機を側方から見た模式図。 実施形態に係る自律作業機を制御する電子制御ユニット(ECU)の入出力関係を示すブロック図。 自律作業機10の使用例を示す模式図。 自律作業機が実施する処理手順の流れを説明する図。 その場旋回モードを模式的に説明する図。 旋回しながら進む旋回モードを模式的に説明する図。 その場旋回、又は旋回しながら進むモードへの移行を説明する図。 通常制御における旋回後の軌道を、逆光回避制御により補正する制御を模式的に説明する図。 自律作業機が実施する処理手順の流れを説明する図。 作業エリアの走行時に逆光となる場合を模式的に説明する図。 逆光を回避する軌道の設定を模式的に説明する図。
<第一実施形態>
以下、図面を参照しながら本発明の実施形態について説明する。この実施形態に記載されている構成要素はあくまで例示であり、以下の実施形態によって限定されるわけではない。
(自律作業機の概要)
図1Aは第一実施形態に係る自律作業機を上方から見た模式図であり、図1Bは第一実施形態に係る自律作業機を側方から見た模式図である。以下では側面視における自律作業機の進行方向(車長方向:x方向)と、進行方向に直交する横方向(車幅方向:y方向)と、進行方向と横方向に直交する鉛直方向(z方向)とをそれぞれ前後方向、左右方向(水平方向)、上下方向と定義し、それに従って各部の構成を説明する。
図1A、図1Bにおいて、符号10は、作業エリア内を自律走行しながら作業する自律作業機を示す。自律作業機10は、例えば、作業エリア内を自律走行しながら作業する芝刈機、除雪機、又は耕運機等として機能することが可能である。但し、自律作業機の例は一例であり、他の種類の作業機械にも本発明を適用することができる。以下の説明では芝地を作業エリアとする芝刈機の構成を例に本発明の実施形態を説明する。
図1A、図1Bに示されるように、自律作業機10は、カメラ11、車体12、ステー13、前輪14、後輪16、ブレード20、作業モータ22、モータ保持部材23、ブレード高さ調節モータ100、及び並進機構101を備えている。また、自律作業機10は、走行モータ26、各種のセンサ群S、電子制御ユニット(ECU:Electronic Control Unit)44、充電ユニット30、電池(バッテリ)32、充電端子34、報知部35を備えている。
自律作業機10の外界を撮影するカメラ11は、自律作業機10の前方の状況を撮影することが可能な複数のカメラ(左側のカメラ11L、右側のカメラ11R)により構成されており、複数のカメラ間において視差を有するカメラ11(左側のカメラ11L、右側のカメラ11R)により撮影された画像を用いて、前方に存在する物体と、自律作業機10との距離情報を算出して取得することができる。図1A、図1Bにおいて、カメラ11(左側のカメラ11L、右側のカメラ11R)の前方に延びる二点鎖線はカメラ11の所定の視野角を示している。ECU44は、カメラ11から自律作業機10の外界の情報を取得することができる。
カメラ11(左側のカメラ11L、右側のカメラ11R)は、水平方向の角度を調整するパン角調整機構11bと、上下方向の角度を調整するチルト角調整機構11cとにより保持されており、ECU44(制御部C2)は、パン角調整機構11bおよびチルト角調整機構11cのうち、少なくともいずれか一方を制御してカメラ11の角度を制御することが可能である。
自律作業機10の車体12は、シャーシ12aと、該シャーシ12aに取り付けられるフレーム12bとを有する。前輪14(左側の前輪14L、右側の前輪14R)は、前後方向においてシャーシ12aの前側にステー13を介して固定される小径の左右2個の車輪である。後輪16(左側の後輪16L、右側の後輪16R)は、シャーシ12aの後側に取り付けられる大径の左右2個の車輪である。
ブレード20は、シャーシ12aの中央位置付近に取り付けられる芝刈り作業用のロータリブレードである。作業モータ22は、ブレード20の上方に配置された電動モータである。ブレード20は、作業モータ22と接続されており、作業モータ22によって回転駆動される。モータ保持部材23は、作業モータ22を保持する。モータ保持部材23は、シャーシ12aに対して回転が規制されると共に、例えば、ガイドレールと、ガイドレールに案内されて上下に移動可能なスライダとの組み合せにより、上下方向の移動が許容されている。
ブレード高さ調節モータ100は、接地面GRに対するブレード20の上下方向の高さを調節するためのモータである。並進機構101は、ブレード高さ調節モータ100と接続されており、ブレード高さ調節モータ100の回転を上下方向の並進移動に変換するための機構である。並進機構101は、作業モータ22を保持するモータ保持部材23とも接続されている。
ブレード高さ調節モータ100の回転が並進機構101により並進移動(上下方向の移動)に変換され、並進移動はモータ保持部材23に伝達される。モータ保持部材23の並進移動(上下方向の移動)により、モータ保持部材23に保持されている作業モータ22も並進移動(上下方向の移動)する。作業モータ22の上下方向の移動により、接地面GRに対するブレード20の高さを調節することができる。
走行モータ26(左側の走行モータ26L、右側の走行モータ26R)は、自律作業機10のシャーシ12aに取り付けられている2個の電動モータ(原動機)である。2個の電動モータは、左右の後輪16とそれぞれ接続されている。前輪14を従動輪、後輪16を駆動輪として左右の車輪を独立に正転(前進方向への回転)あるいは逆転(後進方向への回転)させることで、自律作業機10を種々の方向に移動させることができる。
充電端子34は、フレーム12bの前後方向の前端位置に設けられた充電端子であり、充電ステーションの対応する充電端子と接続することで、充電ステーションからの給電を受けることができる。充電端子34は、配線を介して充電ユニット30と接続されており、充電ユニット30は電池(バッテリ)32と接続されている。また、作業モータ22、走行モータ26、ブレード高さ調節モータ100も電池32と接続されており、電池32から給電されるように構成されている。
ECU44は、回路基板上に構成されたマイクロコンピュータを含む電子制御ユニットであり、自律作業機10の動作を制御する。ECU44の詳細は後述する。報知部35は、自律作業機10に異常が発生したような場合に異常の発生を報知する。例えば、音声や表示により報知することが可能である。或いは、自律作業機10と無線で接続された外部機器に対して、異常の発生を出力することが可能である。ユーザは、外部機器を通じて異常の発生を知ることができる。
(制御ブロック図)
図2は自律作業機10を制御する電子制御ユニット(ECU)の入出力関係を示すブロック図である。図2に示されるように、ECU44は、CPU44aと、I/O44bと、メモリ44cとを備えている。メモリ44cは、記憶部として機能し、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access Memory)等により構成される。
メモリ44cには、自律作業機10の作業日程、作業領域(作業エリア)に関する情報や、自律作業機10の動作を制御するための各種プログラム、作業領域(作業エリア)の形状を示すエリアマップが記憶されている。自律作業機10は、作業エリアのエリアマップに基づいて、作業エリア内で自律走行しながら所定の作業を行うことが可能である。ECU44は、メモリ44cに格納されているプログラムを読み出して実行することにより、本発明を実現するための各処理部として動作することができる。
ECU44は各種のセンサ群Sと接続されている。センサ群Sは、方位センサ46、GPSセンサ48、車輪速センサ50、角速度センサ52、加速度センサ54、電流センサ62、及びブレード高さセンサ64、磁気センサ66を含んで構成されている。
GPSセンサ48及び方位センサ46は、自律作業機10の位置や向きの情報を取得するためのセンサである。方位センサ46は、地磁気に応じた方位を検出する。GPSセンサ48は、GPS衛星からの電波を受信して自律作業機10の現在位置(緯度、経度)を示す情報を検出する。
車輪速センサ50、角速度センサ52、及び加速度センサ54は、自律作業機10の移動状態に関する情報を取得するためのセンサである。車輪速センサ50は、左右の後輪16の車輪速を検出する。角速度センサ52は、自律作業機10の重心位置の上下方向の軸(鉛直方向のz軸)回りの角速度を検出する。加速度センサ54は、自律作業機10に作用するx,y,z軸の直交3軸方向の加速度を検出する。
電流センサ62は、電池32の消費電流(消費電力量)を検出する。消費電流(消費電力量)の検出結果はECU44のメモリ44cに保存される。予め定められた電力量が消費され、電池32に蓄積されている電力量が閾値以下になった場合、ECU44は、充電のために自律作業機10を充電ステーションST(図4)へ帰着させるように制御する。
ブレード高さセンサ64は、接地面GRに対するブレード20の高さを検出する。ブレード高さセンサ64の検出結果はECU44へ出力される。ECU44の制御に基づいて、ブレード高さ調節モータ100が駆動され、ブレード20が上下方向に上下して接地面GRからの高さが調節される。
自律作業機10の左右方向において対称となる位置に、磁気センサ66(右側の磁気センサ66R、左側の磁気センサ66L)が配置され、それぞれ磁界の大きさ(磁界強度)を示す信号をECU44へ出力する。
各種センサ群Sの出力は、I/O44bを介してECU44へ入力される。ECU44は、各種センサ群Sの出力に基づいて、走行モータ26、作業モータ22、高さ調節モータ100に対して電池32から電力を供給する。ECU44は、I/O44bを介して制御値を出力して走行モータ26を制御することで、自律作業機10の走行を制御する。また、I/O44bを介して制御値を出力して高さ調節モータ100を制御することで、ブレード20の高さを調節する。さらに、I/O44bを介して制御値を出力して作業モータ22を制御することで、ブレード20の回転を制御する。ここで、I/O44bは、通信インタフェース(通信部)として機能することができ、ネットワーク320を介して無線でサーバ350と通信することが可能である。
サーバ350には、日照時間を示す日時情報を記憶する日時情報データベースSD1と、日時情報に対応する太陽の方位情報を記憶する方位情報データベースSD2と、が格納されている。日時情報データベースSD1及び方位情報データベースSD2は、予めサーバ350に格納されているデータベースであり、自律作業機10のI/O44b(通信部)は、サーバ350から取得したデータベース(SD1、SD2)を、メモリ44cに格納(ダウンロード)することが可能である。CPU44aはメモリ44cに格納されたデータベース(SD1、SD2)を参照して、各種処理を実行することが可能である。
尚、自律作業機10のI/O44b(通信部)は、サーバ350からデータベース(SD1、SD2)をダウンロードせずに、サーバ350との間の無線通信により、サーバ350上のデータベース(SD1、SD2)を参照して、所定のデータを取得することも可能である。
また、サーバ350には、自律作業機10が実際に作業を行う作業エリアに関する逆光情報を格納する作業エリアデータベースSD3が格納されている。ここで、逆光とは、カメラ11による外界の撮影において、カメラが光源(例えば、太陽)の方向に向けられた状態、または、それに近い方向に向けられた状態をいい、カメラ11の向き(光軸)と太陽の方位とが一致した状態、または、カメラ11の所定の視野角の範囲内に太陽が位置する状態は逆光となり得る。
また、逆光情報とは、作業エリア内において生じた逆光の発生条件(撮影日時、自律作業機10の作業エリア内での位置、向き(方位)、太陽の方位)を示す情報である。作業エリアデータベースSD3は、自律作業機10の作業中において収集された情報に基づいて生成されるデータベースであり、メモリ44cに格納されるとともに、I/O44b(通信部)は、生成された作業エリアデータベースSD3を、サーバ350の記憶部に記憶させる。作業エリアデータベースSD3をネットワーク320上のサーバ350に記憶することで、同じ作業エリア内で作業する複数の自律作業機10、15の間で作業エリアデータベースSD3の情報を共有することが可能になる。
図2において、他の自律作業機15は、自律作業機10が実際に作業を行う作業エリアを同じ作業エリアで作業を行う自律作業機であり、自律作業機10と同様の構成を有している。他の自律作業機15はネットワーク320を介してサーバ350と無線通信が可能であり、他の自律作業機15は、作業エリアデータベースSD3を参照することにより、作業エリア内でどのような条件で逆光になったかを示す逆光情報を取得することができる。
ECU44は、メモリ44cに格納されている各種プログラムを読み出して実行することにより、本発明を実現するためのCPU44aの機能構成として、判断部C1、制御部C2、生成部C3、取得部C4を有する。自律作業機10の各機能構成(C1〜C4)については、後に詳細に説明する。
判断部C1は、カメラ11により撮影された画像に基づいて逆光か否かを判断する。また、判断部C1は、日照時間を示す日時情報を記憶する日時情報データベースから取得した日時情報と、自律作業機での撮影日時情報との比較に基づいて、逆光か否かを更に判断することが可能である。更に、判断部C1は、日時情報に対応する太陽の方位情報を記憶する方位情報データベースから取得した方位情報と、自律作業機10での撮影日時情報および位置情報および向きの情報と、の比較に基づいて逆光か否かを更に判断することが可能である。
制御部C2は、判断部C1により逆光と判断された場合に、逆光を回避するように自律作業機10を制御する(逆光回避制御の実行)。逆光回避制御の具体例については、後述する。
また、制御部C2は、判断部C1により逆光でないと判断された場合に、通常制御を実行する。この場合、制御部C2は、設定した所定の軌道に基づいて、作業エリアAR内で自律走行させながら所定の作業を実行するように自律作業機10を制御する。あるいは、電池(バッテリ)32の充電量が閾値以下になった場合、充電ステーションSTに帰還するように自律作業機10を制御する。
生成部C3は、判断部C1により逆光と判断された場合に、自律作業機10における撮影日時情報および位置情報および向きの情報と、太陽の方位情報と、を対応づけた作業エリアデータベースSD3を生成する。生成部C3は、生成した作業エリアデータベースSD3をメモリ44cに記憶すると、I/O44b(通信部)は、生成された作業エリアデータベースSD3を、サーバ350の記憶部に記憶させる。作業エリアデータベースSD3をネットワーク320上のサーバ350に記憶することで、同じ作業エリア内で作業する複数の自律作業機の間で作業エリアデータベースSD3の情報を共有することが可能になる。
取得部C4は、日時情報及び太陽の方位情報と、自律作業機10における撮影日時情報とに基づいて、作業エリアの走行時において逆光となる太陽の位置又は方位を示す太陽情報を取得する。
(自律作業機10の使用例)
図3は自律作業機10の使用例を示す模式図である。図3に示すように、作業エリアARは、その周縁(境界)に配置されるエリアワイヤ(電線)82によって区画される。自律作業機10のECU44は、作業エリアAR内での作業を行う前に、エリアワイヤ82の磁界に基づいて作業エリアARの外周をトレース走行させることで、作業エリアARの境界を認識(把握)する。トレース走行により作業エリアの外形を示すエリアマップが生成される。自律作業機10は、生成したエリアマップに従って、作業エリアAR内を自律走行して所定の作業を行う。尚、自律作業機10は、カメラ11の情報に基づいて、作業エリアARの境界を検知することも可能である。
作業エリアARの内側には自律作業機10に搭載されている電池32を充電するための充電ステーションSTが配置されており、充電ステーションSTから移動を開始した自律作業機10は、所定の軌道に基づいて作業エリアAR内を走行する。図3において、符号Sは太陽を示しており、TR1、TR2は、作業エリアARの境界付近に生育している樹木を示している。
自律作業機10が充電ステーションSTから移動を開始するとともに、カメラ11(11L、11R)は、外界の撮影を開始する。ここで、判断部C1は、カメラ11により撮影された画像に基づいて、逆光であるか否かを判断する。図3に示す軌道301、304は、太陽Sに背を向けて移動する方向の軌道であり、軌道301、304に沿った走行では、カメラ11(11L、11R)の視野角に太陽Sの光は入らないため、逆光とならない。
また、軌道302での走行では、自律作業機10の移動方向に対して太陽Sの位置は自律作業機10の左側方となり、カメラ11(11L、11R)の視野角に太陽Sの光は入らないため、逆光とならない。
軌道303に沿った走行は、太陽Sの方向に向かう移動となるが、作業エリアARの境界付近の樹木TR1、TR2により、太陽Sの光が遮られる場合は、カメラ11(11L、11R)の視野角に太陽Sの光は入らないため、逆光とならない。
但し、同じ軌道303を走行する場合であっても、日時(月日時間)によっては、太陽Sの緯度や経度は異なるため、樹木TR1、TR2の影響を受けず、カメラ11(11L、11R)の視野角に太陽Sの光が入り、逆光となる場合が生じ得る。判断部C1により逆光と判断された場合に、生成部C3は、自律作業機10における撮影日時情報および位置情報および向きの情報と、太陽の方位情報と、を対応づけた情報を作業エリアデータベースSD3に格納する。これにより、作業エリアARにおいて生じた逆光の発生条件(撮影日時、自律作業機10の作業エリア内での位置、向き(方位)、太陽の方位)を作業エリアARに固有の情報として蓄積することができ、作業エリアデータベースSD3を参照することにより、実際の作業に即して逆光か否かを、より正確に判断することが可能になり、逆光抑制制御に反映することができる。そして、制御部C2は、判断部C1により逆光と判断された場合に、逆光を回避するように自律作業機10を制御する(逆光回避制御の実行)。
軌道305に沿った走行は、太陽Sの方向に向かう移動となる。軌道305においては、樹木TR1、TR2により、太陽Sの光は遮られないため、カメラ11(11L、11R)の視野角に太陽Sの光が入り、逆光となり得る。
判断部C1により逆光と判断された場合に、生成部C3は、自律作業機10における撮影日時情報および位置情報および向きの情報と、太陽の方位情報と、を対応づけた情報をメモリ44cの作業エリアデータベースSD3に格納する。そして、制御部C2は、判断部C1により逆光と判断された場合に、逆光を回避するように自律作業機10を制御する(逆光回避制御の実行)。
(自律作業機10の処理手順)
図4は、自律作業機10が実施する処理手順の流れを説明する図である。図4の処理手順は、図2に示す自律作業機10のECU44の全体的な制御の下、機能構成(判断部C1、制御部C2、生成部C3)によりに実行される。
まず、ステップS401において、自律作業機10が充電ステーションSTから移動を開始するとともに、カメラ11(11L、11R)は、外界の撮影を開始する。カメラ11は、所定のフレームレートで動画像を撮影することが可能であり、カメラ11(11L、11R)により撮影された画像は、I/O44bを介して、ECU44及び判断部C1に入力される。
ステップS402において、判断部C1は、カメラ11により撮影された画像に基づいて逆光か否かを判断する。判断条件としては、例えば、(1)画像内において、所定の閾値を超えて極端に明るくなっている部位が存在する場合、(2)左側のカメラ11Lと右側のカメラ11Rとの間で視差が無く、画像内の物体を認識できない場合(自律作業機10と物体との間の距離情報が取得できない場合)、(3)撮影された画像が、予めメモリ44cに登録されている逆光状態のシーンを示すグレア画像と所定の類似度の範囲内で一致する場合、または類似する場合、(4)画像内において、明るい部位の周辺が暗く、明暗の差が所定の閾値以上となる場合、(5)ホワイトバランスが、所定の閾値を超えた場合、などが挙げられる。判断部C1は、これら(1)〜(5)の判断条件に基づいて、逆光か否かを判断することができる。
判断部C1が逆光でないと判断した場合(S402−No)、制御部C2は、処理をステップS408に進め、ステップS408において、制御部C2は、通常制御を実行する。すなわち、制御部C2は、設定した所定の軌道(例えば、図3の軌道301〜304)に基づいて、作業エリアAR内で自律走行させながら所定の作業を実行するように自律作業機10を制御する。あるいは、電池(バッテリ)32の充電量が閾値以下になった場合、充電ステーションSTに帰還するように自律作業機10を制御する。
一方、ステップS402の判断処理で、判断部C1が逆光と判断した場合、処理をステップS403に進める。
ステップS403において、判断部C1は日時情報を取得する。判断部C1は、日時情報を、例えば、サーバ350の日時情報データベースSD1の参照により取得してもよいし、メモリ44c内にダウンロードされている日時情報を取得してもよい。
ステップS404において、判断部C1は、カメラ11による撮影が日照時間内の撮影であるか否かを判断する。判断部C1は、メモリ44cに記憶されている自律作業機10の作業日程やCPU44aが有する内部時計の情報に基づいて、実際に撮影を行うときの撮影日時の情報(撮影日時情報)を取得することができる。
判断部C1は、日照時間を示す日時情報を記憶する日時情報データベースSD1から取得した日時情報と、自律作業機10での撮影日時情報との比較に基づいて、日照時間内の撮影であるか判断する。例えば、日照情報として、撮影日がX月Y日の場合に、日照時間がT1(6:00)〜T2(18:00)と規定されている場合、自律作業機10の撮影日時情報(X月Y日の撮影時刻T3(例えば、14:00))が日照時間内であれば、逆光は生じ得る。この場合、判断部C1は逆光と判断し(S404−Yes)、処理をステップS405に進める。
一方、自律作業機10での撮影時刻T3(例えば、5:30、または18:30)が日照時間外であれば、逆光は生じ得ないため誤検知と判断できる。この場合、判断部C1は逆光でないと判断し(S404−No)、制御部C2は、処理をステップS408に進め、通常制御を実行する。
尚、逆光の発生は、外界状況の変化でも生じ得る。例えば、日光を遮る木々が伸びた場合には、日照時間内であっても逆光が生じない場合が生じ得る。また、従前の状況では逆光が生じていなくても、逆に作業エリア周辺の木々が刈られた場合、逆光となる場合が生じ得る。あるいは、作業エリアの近隣に新たに家が建った場合や、あるいは家がなくなった場合など、種々の外界状況の変化により、逆光となる場合や、逆光にならない場合が生じ得る。判断部C1は、所定回数、誤検知と判断した場合、外界状況に変化が生じたものとして、作業エリアデータベースSD3の情報を更新する。これにより、自律作業機10が作業する個別の作業エリアの外界状況の変化を逆光の判断結果に反映することが可能になる。
ステップS405において、判断部C1は太陽の方位情報を取得する。判断部C1は、太陽の方位情報を、例えば、サーバ350の方位情報データベースSD2の参照により取得してもよいし、メモリ44c内にダウンロードされている方位情報を取得してもよい。
ステップS406において、判断部C1は、日時情報に対応する太陽の方位情報を記憶する方位情報データベースSD2から取得した方位情報と、自律作業機10での撮影日時情報および位置情報および向きの情報と、の比較を行う。比較の結果、太陽Sの方位がカメラ11の向きと一致、または、太陽Sの方位がカメラ11(11L、11R)の所定の視野角の範囲内にある場合、逆光は生じ得る。この場合、判断部C1は逆光と判断し(S406−Yes)、処理をステップS407に進める。
一方、比較の結果、太陽Sの方位がカメラ11の向きと一致しない、または、太陽Sの方位がカメラ11(11L、11R)の所定の視野角の範囲外にある場合、逆光は生じ得ないため誤検知と判断できる。この場合、判断部C1は逆光でないと判断し(S406−No)、制御部C2は、処理をステップS408に進め、通常制御を実行する。
ステップS407において、制御部C2は、判断部C1により逆光と判断された場合に、逆光を回避するように自律作業機10を制御する(逆光回避制御の実行)。
(逆光回避制御の具体例)
(その場旋回、旋回しながら走行)
逆光回避制御の具体例を図5〜図8を参照して説明する。判断部C1により逆光と判断された場合に、制御部C2は、カメラ11の視野角の範囲内に太陽が入らないように自律作業機10を旋回させる。ここで、旋回には、その場旋回と、旋回しながら進む、2つの旋回モードがある。
図5はその場旋回モードを模式的に説明する図である。図5において、ST1は、自律作業機10が軌道501に沿って走行中に、判断部C1が逆光と判断した状態を示す。このとき、制御部C2は、カメラ11(11L、11R)の視野角の範囲内に太陽が入らないように自律作業機10を、軌道501上でその場旋回させる。ST2は、自律作業機10が軌道501上でその場旋回した状態を示す。その場旋回した自律作業機10は、軌道501の方向を逆向きに反転した軌道502に沿って走行(太陽Sに背を向けて移動)する。太陽Sの方位がカメラ11(11L、11R)の視野角の範囲外となるため、逆光は回避される。
図6は、旋回しながら進む旋回モードを模式的に説明する図である。図6において、ST3は、自律作業機10が軌道601に沿って走行中に、判断部C1が逆光と判断した状態を示す。このとき、制御部C2は、カメラ11(11L、11R)の視野角の範囲内に太陽が入らないように自律作業機10を、旋回軌道を取りながら進むように制御する。ST4は、自律作業機10が旋回した後、軌道602に沿って走行している状態を示す。旋回しながら進む自律作業機10は、太陽Sに背を向けて移動する方向の軌道602に沿って走行する。太陽Sの方位がカメラ11(11L、11R)の視野角の範囲外となるため、逆光は回避される。
その場旋回、または、旋回しながら進むように自律作業機10を制御することにより、作業エリアARにおいて作業を継続しながら逆光を回避することができ、これにより、外界情報の誤検知を防止することが可能になる。
図7は、その場旋回、又は旋回しながら進むモードに移行する前に、自律作業機10を停止させて、いずれの旋回モードに移行するかを判断する制御を模式的に説明する図である。
図7において、ST5は、自律作業機10が軌道501に沿って走行中に、判断部C1が逆光と判断した状態を示す。ST6は、判断部C1が逆光と判断したとき、制御部C2が自律作業機10を停止させた状態を示す。このとき、制御部C2は、自律作業機10の位置、向き(方位)、太陽Sの方位情報、日時の情報に基づいて、その場旋回、又は旋回しながら進む、いずれかの旋回モードを選択する。例えば、太陽Sが、自律作業機10の正面の方位に位置する場合は、太陽Sに背を向けて移動するため、その場旋回を選択する。また、太陽Sが、自律作業機10の側方の方位に位置する場合は、太陽Sに背を向けて移動するように、旋回しながら進むモードを選択する。
その場旋回モードを選択する場合、ST7、ST8に移行する。ST7は、ST6(停止)の状態から旋回を開始した状態を示す。このとき、制御部C2は、カメラ11(11L、11R)の視野角の範囲内に太陽が入らないように自律作業機10を、軌道701上でその場旋回させる。ST8は、自律作業機10が軌道701上でその場旋回した状態を示す。その場旋回した自律作業機10は、軌道701の方向を逆向きに反転した軌道702に沿って走行(太陽Sに背を向けて移動)する。太陽Sの方位がカメラ11(11L、11R)の視野角の範囲外となるため、逆光は回避される。
旋回しながら進むモードを選択する場合、ST9、ST10に移行する。ST9は、ST6(停止)の状態から軌道701に沿って移動を開始して、カメラ11(11L、11R)の視野角の範囲内に太陽Sが入らないように旋回軌道を取りながら進む自律作業機10の制御状態を示す。ST10は、自律作業機10が旋回した後、軌道703に沿って走行している状態を示す。旋回しながら進む自律作業機10は、太陽Sに背を向けて移動する方向の軌道703に沿って走行する。太陽Sの方位がカメラ11(11L、11R)の視野角の範囲外となるため、逆光は回避される。一旦停止してから逆光を回避するように自律作業機の制御を開始するので、動きながら逆光を回避する制御を行う場合に比べて、より精度の高い外界情報の取得が可能になり、取得した外界情報に基づいて自律作業機を制御することが可能になる。ただし、一旦停止は省略してもよい。
(旋回後の軌道の補正)
図8は、通常制御における旋回後の軌道を、逆光回避制御により補正する制御を模式的に説明する図である。ST11は、自律作業機10が軌道801に沿って走行し、作業エリアARの境界(エリアワイヤ82)に接近したとき、所定の旋回角度で旋回させた軌道802を設定した状態を示す。軌道802に沿って自律作業機10が走行した場合、カメラ11(11L、11R)の視野角の範囲内に太陽Sが入り、軌道802に沿った走行では逆光になる。
ST12は、判断部C1が軌道802において逆光になったと判断した場合、制御部C2は、逆光を回避する向きまで旋回角度を戻した軌道803に、予め設定した軌道802を補正した状態を示す。補正後の軌道803に沿って自律作業機10が走行した場合、カメラ11(11L、11R)の視野角の範囲内に太陽Sは入らず、逆光を回避することができる。
太陽Sに向かって走行しない軌道に基づいて走行し続けた場合、作業エリア内において作業完了領域が偏ってしまう場合が生じ得るが、逆光から太陽Sの位置がぎりぎり外れるように旋回角度を戻した軌道803に、予め設定した軌道802を補正することにより、作業完了領域の偏り防止することが可能になる。
(変形例)
第一実施形態では、逆光回避制御の例として、自律作業機10を旋回させる、又は旋回後の軌道を補正する例を説明したが、カメラ11(11L、11R)の向きを補正してもよい。判断部C1により逆光と判断された場合に、制御部C2は、カメラ11(11L、11R)の視野角の範囲内に太陽が入らないようにカメラ11(11L、11R)の角度を制御することが可能である。カメラ11(11L、11R)は、水平方向の角度を調整するパン角調整機構11bと、上下方向の角度を調整するチルト角調整機構11cとにより保持されており、制御部C2は、パン角調整機構11bおよびチルト角調整機構11cのうち、少なくともいずれか一方を制御してカメラ11(11L、11R)の角度を制御することにより、逆光を回避することができる。例えば、パン角調整機構11bに、水平方向にカメラ11の角度を変えたり、チルト角調整機構11cにより、カメラ11の角度を下向きに変えることができる。作業を継続しながらカメラの角度を制御することにより逆光を回避して、外界情報の誤検知を防止することが可能になる。
<第二実施形態>
第一実施形態では、判断部C1が逆光か否かを判断し、逆光と判断された場合、逆光を回避するように自律作業機10を制御する構成を説明したが、本実施形態では、制御部C2が逆光を回避するように自律作業機10の軌道を設定する構成について説明する。自律作業機10の構成は第一実施形態と同様である。本実施形態では、自律作業機10の機能構成として、取得部C4は、走行開始前において、日時情報及び太陽の方位情報と、自律作業機10における撮影日時情報とに基づいて、作業エリアの走行時において逆光となる太陽の位置又は方位を示す太陽情報を取得する。制御部C2は、取得部C4によって取得された太陽情報に基づいて、逆光を回避するような自律作業機10の軌道を設定する。
(自律作業機10の処理手順)
図9は、自律作業機10が実施する処理手順の流れを説明する図である。図9の処理手順は、図2に示す自律作業機10のECU44の全体的な制御の下、機能構成(制御部C2、生成部C3、取得部C4)によりに実行される。
ステップS901において、取得部C4は日時情報を取得する。取得部C4は、日時情報を、例えば、サーバ350の日時情報データベースSD1の参照により取得してもよいし、メモリ44c内にダウンロードされている日時情報を取得してもよい。
ステップS902において、取得部C4は日時情報に対応する太陽の方位情報を取得する。取得部C4は、太陽の方位情報を、例えば、サーバ350の方位情報データベースSD2の参照により取得してもよいし、メモリ44c内にダウンロードされている方位情報を取得してもよい。
ステップS903において、取得部C4は、自律作業機10における撮影日時情報を取得する。取得部C4は、メモリ44cに記憶されている自律作業機10の作業日程やCPU44aが有する内部時計の情報に基づいて、実際に撮影を行うときの撮影日時の情報(撮影日時情報)を取得する。
ステップS904において、取得部C4は、走行開始前において、ステップS901、S902で取得した日時情報及び太陽の方位情報と、ステップS903で取得した自律作業機10における撮影日時情報とに基づいて、作業エリアARの走行時において逆光となる太陽の位置又は方位を示す太陽情報を取得する。
また、走行開始後、生成部C3は、作業エリアARの走行中において、設定された軌道のうち逆光となる軌道がある場合に、自律作業機10における撮影日時情報および軌道上の位置情報および向きの情報と、太陽の方位情報と、を対応づけた情報を太陽情報として生成する。生成部C3は、生成した太陽情報をメモリ44cの作業エリアデータベースに記憶すると、I/O44b(通信部)は、生成された太陽情報を、サーバ350の記憶部(作業エリアデータベースSD3)に記憶させる。
作業エリアARの走行で収集・生成された太陽情報は、作業エリアデータベースSD3に蓄積されていき、取得部C4は、サーバ350の作業エリアデータベースSD3の参照により太陽情報を取得することが可能である。
尚、走行開始前の状態で太陽情報がサーバ350の作業エリアデータベースSD3に格納されている場合、ステップS901〜S903によらず、サーバ350の作業エリアデータベースSD3の参照により太陽情報を取得することが可能である。
図10は、作業エリアARの走行時に逆光となる場合を模式的に説明する図である。図10において、実線で示す軌道1010、1012は、太陽Sに向う軌道であり、軌道1020、1021、1022は旋回軌道であり、破線で示す軌道1011、1013は太陽Sに背を向ける軌道である。
図10において、軌道1011、1013に沿って走行する場合、カメラ11(11L、11R)の視野角の範囲内に太陽Sは入らず、逆光にならないが、軌道1010、1012で走行する場合、カメラ11(11L、11R)の視野角の範囲内に太陽Sが入り、軌道1010、1012に沿った走行では逆光になる。また、軌道1020、1022の旋回軌道上においても、カメラ11(11L、11R)の視野角の範囲内に太陽Sは入り、軌道1020に沿った走行では逆光になる。図10の軌道では、太陽Sがカメラ11(11L、11R)の視野角に入る回数は4回(軌道1010、1020、1012、1022)であり、旋回軌道に比べて走行距離が長い直線の軌道1010、1012において逆光となる継続時間は、旋回軌道に比べて長くなる。
ステップS905において、制御部C2は、取得部C4によって取得された太陽情報に基づいて、逆光を回避するような自律作業機10の軌道を設定する。制御部C2は、太陽Sがカメラ11(11L、11R)の視野角に入る回数または逆光となる継続時間を低減するように軌道を設定する。
図11は、逆光を回避する軌道の設定を模式的に説明する図である。太陽Sに向うような軌道とならないように制御部C2は軌道を設定する。図11において、軌道1110、1112は、自律作業機10の左側方に太陽Sが位置する軌道であり、軌道1110、1112に沿った走行では、カメラ11(11L、11R)の視野角の範囲内に太陽Sは入らず、逆光にならない。また、破線で示す軌道1111、1113は、自律作業機10の右側方に太陽Sが位置する軌道であり、軌道1111、1113に沿った走行でも、カメラ11(11L、11R)の視野角の範囲内に太陽Sは入らず、逆光にならない。
図11に示す軌道のうち、実線で示す軌道1110から破線で示す軌道1111に移行する旋回軌道である。また、軌道1121は、破線で示す軌道1111から実線で示す軌道1112に移行する旋回軌道であり、軌道1122は、実線で示す軌道1112から破線で示す軌道1113に移行する旋回軌道であり、これらの旋回軌道上においては、カメラ11(11L、11R)の視野角の範囲内に太陽Sは入り、軌道1120、1121、1122に沿った走行では逆光になる。
図11の軌道では、太陽Sがカメラ11(11L、11R)の視野角に入る回数は3回(軌道1120、1121、1122)であり、図10のような直線の軌道1010、1012で逆光にならないため、逆光となる継続時間は、図10の軌道(軌道1010、1020、1012、1022)に比べて短くなる。制御部C2の軌道設定によれば、簡素な方法により逆光を回避することが可能になる。
(軌道設定に連動したカメラの角度制御)
図11において、逆光となる軌道1120、1121、1122で、制御部C2は、カメラ11(11L、11R)の視野角の範囲内に太陽Sが入らないようにカメラ11(11L、11R)の角度を制御することが可能である。カメラ11(11L、11R)は、水平方向の角度を調整するパン角調整機構11bと、上下方向の角度を調整するチルト角調整機構11cとにより保持されており、制御部C2は、パン角調整機構11bおよびチルト角調整機構11cのうち、少なくともいずれか一方を制御してカメラ11(11L、11R)の角度を制御することにより、逆光を回避することができる。
ここで、制御部C2は、設定された軌道(1110、1111、1112、1113)に応じて、カメラ11(11L、11R)の角度を制御する。例えば、設定された軌道に応じて、パン角調整機構11bに、水平方向にカメラ11の角度を変えたり、チルト角調整機構11cにより、カメラ11の角度を下向きに変えることができる。制御部C2の軌道設定に連動したカメラの角度制御によれば、カメラの視野角の範囲内に太陽が入らないようにカメラの角度を、軌道の設定と共に予め制御することにより、太陽情報に基づいて設定された軌道中において、逆光を回避した走行が可能になる。
<その他の実施形態>
また、各実施形態で説明された1以上の自律作業機の各機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける1以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。
<実施形態のまとめ>
構成1.上記実施形態の自律作業機は、外界を撮影するカメラ(例えば、図2の11)を有する自律作業機(例えば、図1A及び図1Bの10)であって、前記カメラ(11)により撮影された画像に基づいて逆光か否かを判断する判断部(例えば、図2のC1)と、
前記判断部(C1)により前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機(10)を制御する制御部(例えば、図2のC2)と、を備える。
構成1の自律作業機によれば、逆光と判断された場合に逆光を回避するように自律作業機の動作を制御することが可能になる。逆光では外界の情報を正確に取得することが困難となるため、逆光を回避するように自律作業機を制御することにより、外界の情報を取得できない状態で作業を継続することに伴う誤った制御を防止することが可能になる。
構成2.上記実施形態の自律作業機では、前記制御部(C2)は、前記カメラ(11)の視野角の範囲内に太陽が入らないように前記自律作業機(10)を旋回させる。
構成2の自律作業機によれば、作業を継続しながら自律作業機を旋回させることにより逆光を回避して、外界情報の誤検知を防止することが可能になる。
構成3.上記実施形態の自律作業機では、前記制御部(C2)は、走行中に前記逆光と判断された場合、前記自律作業機(10)の走行を停止させた後、前記逆光を回避するように前記自律作業機(10)を制御する。
構成3の自律作業機によれば、一旦停止してから逆光を回避するように自律作業機の制御を開始するので、動きながら逆光を回避する制御を行う場合に比べて、より精度の高い外界情報の取得が可能になり、取得した外界情報に基づいて自律作業機を制御することが可能になる。
構成4.上記実施形態の自律作業機では、前記判断部(C1)は、日照時間を示す日時情報を記憶する日時情報データベース(例えば、図2のSD1)から取得した前記日時情報と、前記自律作業機での撮影日時情報との比較に基づいて、前記逆光か否かを更に判断し、
前記制御部は、前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御する。
構成4の自律作業機によれば、逆光の誤検知を防止することができる。例えば、撮影日がX月Y日の場合には、日照時間はT1〜T2と規定されており、自律作業機の撮影日時情報(X月Y日の撮影時刻T3)が日照時間内であれば、逆光は生じ得るが、撮影時刻T3が日照時間外であれば、逆光は生じ得ないため誤検知と判断できる。この場合、逆光回避制御を実行する必要はない。
構成4の自律作業機によれば、より高精度に逆光を検知することが可能になり、この検知結果に基づいて、制御部は逆光回避制御を実行するが否かを判断し、不要な逆光回避制御の実行を抑制することができる。
構成5.上記実施形態の自律作業機では、前記判断部(C1)は、日時情報に対応する太陽の方位情報を記憶する方位情報データベース(例えば、図2のSD2)から取得した前記方位情報と、前記自律作業機(10)での前記撮影日時情報および位置情報および向きの情報と、の比較に基づいて前記逆光か否かを更に判断し、
前記制御部(C2)は、前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御する。
構成5の自律作業機によれば、逆光の誤検知を防止することができる。日時情報に対応する方位情報には、撮影した国において太陽が位置する方位(緯度、経度)の情報が含まれており、撮影日時における太陽の方位の情報と、カメラで撮影された画像内の高輝度の部位の情報(撮影日時における自律作業機の位置情報及び方位の情報)とが一致すれば逆光と判断でき、両者が一致しなければ、逆光は生じ得ないため誤検知と判断できる。カメラで撮影された画像内の高輝度の部位、例えば、照明光などが太陽からの逆光と検知されることを防止することができる。照明光などの場合には、カメラは外界情報を取得可能であるため、逆光回避制御を実行する必要はない。
構成5の自律作業機によれば、より高精度に逆光を検知することが可能になり、この検知結果に基づいて、制御部は逆光回避制御を実行するが否かを判断し、不要な逆光回避制御の実行を抑制することができる。
構成6.上記実施形態の自律作業機では、前記逆光と判断された場合に、前記自律作業機(10)における前記撮影日時情報および位置情報および向きの情報と、前記太陽の方位情報と、を対応づけた作業エリアデータベース(例えば、図2のSD3)を生成する生成部(例えば、図2のC3)を備え、
前記判断部(C1)は、前記自律作業機が作業エリアで作業を行う際の前記撮影日時情報および位置情報および向きの情報に基づいて、前記作業エリアデータベース(SD3)を参照して、前記逆光か否かを判断する。
日時情報データベースや方位情報データベースは、例えば、国ごとなど広範囲の領域について、日照時間の情報や太陽の方位情報を記憶するものであり、広い国であれば日照時間や太陽の位置は国内の領域ごとに大きく異なり得る。そのため、実際に自律作業機が作業する作業エリアの緯度や経度に対応して、逆光が発生する条件を、日時情報データベースや方位情報データベースから求めることが困難な場合も生じ得る。
構成6の自律作業機によれば、実際の作業に即して逆光が発生するときの情報(自律作業機における撮影日時情報および位置情報および向きの情報と、太陽の方位情報)を作業エリアに固有の情報として蓄積することができ、作業エリアデータベースを参照することにより、実際の作業に即して逆光か否かを、より正確に判断することが可能になる。
構成7.上記実施形態の自律作業機では、ネットワーク(例えば、図2の302)を介してサーバ(例えば、図2の350)と無線通信が可能な通信部(例えば、図2の44b)と、を更に備え、
前記通信部(44b)は、前記生成部(C3)により生成された前記作業エリアデータベース(SD3)を、前記サーバ(350)の記憶部に記憶させ、
前記作業エリアで作業する他の自律作業機(例えば、図2の15)の判断部は、当該他の自律作業機の撮影日時情報および位置情報および向きの情報に基づいて、前記作業エリアデータベース(SD3)を参照して、前記逆光か否かを判断する。
構成7の自律作業機によれば、作業エリアデータベースをネットワーク上のサーバに記憶することで、作業エリア内で作業する複数の自律作業機の間で作業エリアデータベースの情報を共有することが可能になる。
他の自律作業機は、他の自律作業機の撮影日時情報および位置情報および向きの情報に基づいて、作業エリアデータベースを参照することにより、実際の作業に即して逆光か否かを、より正確に判断することが可能になる。
構成8.上記実施形態の自律作業機では、前記制御部(C2)は、作業エリアにおける自律走行の軌道を設定し、
前記自律作業機(10)が前記軌道に基づいた自律走行により前記作業エリアの境界(例えば、図8の82)に接近したとき、
前記制御部(C2)は、前記自律作業機(10)を所定の旋回角度で旋回させた軌道(例えば、図8の802)を設定し、
前記判断部(C1)が前記軌道(802)において前記逆光になったと判断した場合、前記制御部(C2)は、前記逆光を回避する向きまで前記旋回角度を戻した軌道(例えば、803)に、前記軌道(802)を補正する。
太陽に向かって走行しない軌道に基づいて走行し続けた場合、作業エリア内において作業完了領域が偏ってしまう場合が生じ得る。構成8の自律作業機によれば、逆光から太陽の位置がぎりぎり外れるように旋回角度を戻した軌道803に、予め設定した軌道802を補正することにより、作業完了領域の偏り防止することが可能になる。
構成9.上記実施形態の自律作業機では、前記判断部(C1)により逆光と判断された場合に、前記制御部(C2)は、前記カメラの視野角の範囲内に太陽が入らないように前記カメラ(11)の角度を制御する。
構成10.上記実施形態の自律作業機では、前記カメラ(11)は、
水平方向の角度を調整するパン角調整機構(例えば、図1Bの11b)と、上下方向の角度を調整するチルト角調整機構(例えば、図1Bの11c)とにより保持されており、
前記制御部(C2)は、前記パン角調整機構(11b)および前記チルト角調整機構(11c)のうち、少なくともいずれか一方を制御して前記カメラ(11)の角度を制御する。
構成9および構成10の自律作業機によれば、作業を継続しながらカメラの角度を制御することにより逆光を回避して、外界情報の誤検知を防止することが可能になる。
構成11.上記実施形態の自律作業機では、前記判断部(C1)は、所定回数、誤検知と判断した場合、外界状況に変化が生じたものとして、作業エリアデータベース(SD3)の情報を更新する。
構成11の自律作業機によれば、自律作業機が作業する個別の作業エリアの外界状況の変化を逆光の判断結果に反映することが可能になる。
構成12.上記実施形態の自律作業機の制御方法は、外界を撮影するカメラ(例えば、図2の11)を有する自律作業機(例えば、図2の10)の制御方法であって、
前記カメラ(11)により撮影された画像に基づいて逆光か否かを判断する判断工程(例えば、図4のS402、S404、S406)と、
前記判断工程で前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御する制御工程(例えば、ず4のS407)と、を有する。
構成12の自律作業機の制御方法によれば、逆光と判断された場合に逆光を回避するように自律作業機の動作を制御することが可能になる。逆光では外界の情報を正確に取得することが困難となるため、逆光を回避するように自律作業機を制御することにより、外界の情報を取得できない状態で作業を継続することに伴う誤った制御を防止することが可能になる。
構成13.上記実施形態のプログラムは、コンピュータ(例えば、図2の44a)に、構成12に記載の自律作業機の制御方法の各工程を実行させる。
構成13のプログラムによれば、自律作業機の制御方法の各工程を実行することが可能なプログラムを提供することができる。
S:太陽、AR:作業エリア、10:自律作業機、11:カメラ(11L:左側のカメラ、11R:右側のカメラ)、11b:パン角調整機構、11c:チルト角調整機構、C1:判断部、C2:制御部、C3:生成部、C4:取得部、SD1:日時情報データベース、SD2:方位情報データベース、SD3:作業エリアデータベース

Claims (13)

  1. 外界を撮影するカメラを有する自律作業機であって、
    前記カメラにより撮影された画像に基づいて逆光か否かを判断する判断部と、
    前記判断部により前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御する制御部と、
    を備えることを特徴とする自律作業機。
  2. 前記制御部は、前記カメラの視野角の範囲内に太陽が入らないように前記自律作業機を旋回させることを特徴とする請求項1に記載の自律作業機。
  3. 前記制御部は、走行中に前記逆光と判断された場合、前記自律作業機の走行を停止させた後、前記逆光を回避するように前記自律作業機を制御することを特徴とする請求項1に記載の自律作業機。
  4. 前記判断部は、日照時間を示す日時情報を記憶する日時情報データベースから取得した前記日時情報と、前記自律作業機での撮影日時情報との比較に基づいて、前記逆光か否かを更に判断し、
    前記制御部は、前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御することを特徴とする請求項1乃至3のいずれか1項に記載の自律作業機。
  5. 前記判断部は、日時情報に対応する太陽の方位情報を記憶する方位情報データベースから取得した前記方位情報と、前記自律作業機での前記撮影日時情報および位置情報および向きの情報と、の比較に基づいて前記逆光か否かを更に判断し、
    前記制御部は、前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御することを特徴とする請求項4に記載の自律作業機。
  6. 前記逆光と判断された場合に、前記自律作業機における前記撮影日時情報および位置情報および向きの情報と、前記太陽の方位情報と、を対応づけた作業エリアデータベースを生成する生成部を備え、
    前記判断部は、前記自律作業機が作業エリアで作業を行う際の前記撮影日時情報および位置情報および向きの情報に基づいて、前記作業エリアデータベースを参照して、前記逆光か否かを判断することを特徴とする請求項5に記載の自律作業機。
  7. ネットワークを介してサーバと無線通信が可能な通信部と、を更に備え、
    前記通信部は、前記生成部により生成された前記作業エリアデータベースを、前記サーバの記憶部に記憶させ、
    前記作業エリアで作業する他の自律作業機の判断部は、当該他の自律作業機の撮影日時情報および位置情報および向きの情報に基づいて、前記作業エリアデータベースを参照して、前記逆光か否かを判断することを特徴とする請求項6に記載の自律作業機。
  8. 前記制御部は、作業エリアにおける自律走行の軌道を設定し、
    前記自律作業機が前記軌道に基づいた自律走行により前記作業エリアの境界に接近したとき、
    前記制御部は、前記自律作業機を所定の旋回角度で旋回させた軌道を設定し、
    前記判断部が前記軌道において前記逆光になったと判断した場合、前記制御部は、前記逆光を回避する向きまで前記旋回角度を戻した軌道に、前記軌道を補正することを特徴とする請求項1乃至7のいずれか1項に記載の自律作業機。
  9. 前記判断部により逆光と判断された場合に、前記制御部は、前記カメラの視野角の範囲内に太陽が入らないように前記カメラの角度を制御することを特徴とする請求項1乃至8のいずれか1項に記載の自律作業機。
  10. 前記カメラは、
    水平方向の角度を調整するパン角調整機構と、上下方向の角度を調整するチルト角調整機構とにより保持されており、
    前記制御部は、前記パン角調整機構および前記チルト角調整機構のうち、少なくともいずれか一方を制御して前記カメラの角度を制御する
    ことを特徴とする請求項9に記載の自律作業機。
  11. 前記判断部は、所定回数、誤検知と判断した場合、外界状況に変化が生じたものとして、作業エリアデータベースの情報を更新することを特徴とする請求項7に記載の自律作業機。
  12. 外界を撮影するカメラを有する自律作業機の制御方法であって、
    前記カメラにより撮影された画像に基づいて逆光か否かを判断する判断工程と、
    前記判断工程で前記逆光と判断された場合に、前記逆光を回避するように前記自律作業機を制御する制御工程と、
    を有することを特徴とする自律作業機の制御方法。
  13. コンピュータに、請求項12に記載の自律作業機の制御方法の各工程を実行させるためのプログラム。
JP2020557070A 2018-11-20 2018-11-20 自律作業機、自律作業機の制御方法及びプログラム Active JP7152507B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/042851 WO2020105123A1 (ja) 2018-11-20 2018-11-20 自律作業機、自律作業機の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020105123A1 true JPWO2020105123A1 (ja) 2021-10-28
JP7152507B2 JP7152507B2 (ja) 2022-10-12

Family

ID=70774653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557070A Active JP7152507B2 (ja) 2018-11-20 2018-11-20 自律作業機、自律作業機の制御方法及びプログラム

Country Status (4)

Country Link
US (1) US11782447B2 (ja)
EP (1) EP3874924B1 (ja)
JP (1) JP7152507B2 (ja)
WO (1) WO2020105123A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3874924B1 (en) 2018-11-20 2023-08-09 Honda Motor Co., Ltd. Autonomous work machine, autonomous work machine control method, and program
US11914367B2 (en) * 2018-12-11 2024-02-27 GM Global Technology Operations LLC Sun-aware routing and controls of an autonomous vehicle
JP7233627B1 (ja) * 2022-05-31 2023-03-06 三菱電機株式会社 物体検知装置、物体検知方法、及び物体検知プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01160402A (ja) * 1987-12-18 1989-06-23 Yanmar Agricult Equip Co Ltd 田植機における植付苗列検出装置
US5911669A (en) * 1996-04-19 1999-06-15 Carnegie Mellon University Vision-based crop line tracking for harvesters
JP2007156689A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 光源位置検出装置、これを用いた顔認識装置及び自走式ロボット
JP2010226652A (ja) * 2009-03-25 2010-10-07 Zenrin Co Ltd 画像処理装置、画像処理方法、および、コンピュータプログラム
JP2011128212A (ja) * 2009-12-15 2011-06-30 Canon Inc 画像処理装置、方法及びプログラム
JP2013153413A (ja) * 2012-01-25 2013-08-08 Honda Research Inst Europe Gmbh 自律刈取り機の知覚の教師無し適合を行うシステム、方法、および、装置
JP2016006932A (ja) * 2014-06-20 2016-01-14 キヤノン株式会社 逆光判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016095661A (ja) * 2014-11-13 2016-05-26 ヤンマー株式会社 無人作業システム
WO2017159176A1 (ja) * 2016-03-17 2017-09-21 株式会社日立製作所 自動運転支援システム、および、自動運転支援方法
JP2017173875A (ja) * 2016-03-18 2017-09-28 本田技研工業株式会社 無人走行作業車
JP2017221222A (ja) * 2017-09-13 2017-12-21 ヤンマー株式会社 自律走行作業システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037541A (ja) 2007-08-03 2009-02-19 Nissan Motor Co Ltd レーンマーカ認識装置及びその方法、並びに車線逸脱防止装置
US20110153172A1 (en) * 2009-12-23 2011-06-23 Noel Wayne Anderson Area management
JP2011158281A (ja) * 2010-01-29 2011-08-18 Pioneer Electronic Corp 経路探索装置、経路探索方法、経路探索プログラムおよび記録媒体
JP6819076B2 (ja) * 2016-05-17 2021-01-27 株式会社デンソー 走行計画作成装置及びセンタ
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
JP2018092237A (ja) * 2016-11-30 2018-06-14 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム
JP2018092527A (ja) * 2016-12-07 2018-06-14 シャープ株式会社 自律走行装置、判定装置、自律走行装置における制御方法及び判定方法
EP3874924B1 (en) 2018-11-20 2023-08-09 Honda Motor Co., Ltd. Autonomous work machine, autonomous work machine control method, and program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01160402A (ja) * 1987-12-18 1989-06-23 Yanmar Agricult Equip Co Ltd 田植機における植付苗列検出装置
US5911669A (en) * 1996-04-19 1999-06-15 Carnegie Mellon University Vision-based crop line tracking for harvesters
JP2007156689A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 光源位置検出装置、これを用いた顔認識装置及び自走式ロボット
JP2010226652A (ja) * 2009-03-25 2010-10-07 Zenrin Co Ltd 画像処理装置、画像処理方法、および、コンピュータプログラム
JP2011128212A (ja) * 2009-12-15 2011-06-30 Canon Inc 画像処理装置、方法及びプログラム
JP2013153413A (ja) * 2012-01-25 2013-08-08 Honda Research Inst Europe Gmbh 自律刈取り機の知覚の教師無し適合を行うシステム、方法、および、装置
JP2016006932A (ja) * 2014-06-20 2016-01-14 キヤノン株式会社 逆光判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016095661A (ja) * 2014-11-13 2016-05-26 ヤンマー株式会社 無人作業システム
WO2017159176A1 (ja) * 2016-03-17 2017-09-21 株式会社日立製作所 自動運転支援システム、および、自動運転支援方法
JP2017173875A (ja) * 2016-03-18 2017-09-28 本田技研工業株式会社 無人走行作業車
JP2017221222A (ja) * 2017-09-13 2017-12-21 ヤンマー株式会社 自律走行作業システム

Also Published As

Publication number Publication date
US20210263522A1 (en) 2021-08-26
JP7152507B2 (ja) 2022-10-12
EP3874924B1 (en) 2023-08-09
EP3874924A1 (en) 2021-09-08
US11782447B2 (en) 2023-10-10
WO2020105123A1 (ja) 2020-05-28
EP3874924A4 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
JP7152507B2 (ja) 自律作業機、自律作業機の制御方法及びプログラム
CA3029420C (en) Image display system for work machine
CN101842660B (zh) 检查车辆姿态的装置和方法
US8868304B2 (en) Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
JP2018014554A (ja) 作業車
JP2012235712A (ja) 芝刈り状況監視機能を有する自動芝刈り機
CN104220351A (zh) 用于便于从车辆上卸载农业物料的方法和立体视觉系统
CN102365187A (zh) 信息显示装置
JPWO2020110247A1 (ja) 制御システム、制御装置、自律作業機、制御装置の動作方法、自律作業機の制御方法及びプログラム
CN109747355A (zh) 在自动挂接操作时补偿挂车耦接器高度
CN107249922A (zh) 车辆用显示装置
JPWO2020105124A1 (ja) 自律作業機、自律作業機の制御方法及びプログラム
US11853078B2 (en) Autonomous work system
US11859980B2 (en) Method of movement tracking, processing module and lawn mower
EP3896627A1 (en) Automated work system
WO2020100264A1 (ja) 自律作業機、自律作業機の制御方法及びプログラム
CN112996377B (zh) 自主作业机、自主作业机的控制方法以及存储介质
JP2021165526A (ja) 作業機械の画像表示システム
US20220137632A1 (en) Autonomous work machine, autonomous work machine control method, and storage medium
CN108189759A (zh) 一种后视镜控制系统及控制方法
JP2022145942A (ja) 作業機械の画像表示システム
JP2021011814A (ja) 作業機械の画像表示システム
TW202039285A (zh) 自動行駛系統
JP2020095420A (ja) 車両伴走システムおよび車両伴走方法
JP4788518B2 (ja) 画像変換装置および画像変換方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150