JP6681326B2 - 作業システムおよび作業方法 - Google Patents

作業システムおよび作業方法 Download PDF

Info

Publication number
JP6681326B2
JP6681326B2 JP2016253720A JP2016253720A JP6681326B2 JP 6681326 B2 JP6681326 B2 JP 6681326B2 JP 2016253720 A JP2016253720 A JP 2016253720A JP 2016253720 A JP2016253720 A JP 2016253720A JP 6681326 B2 JP6681326 B2 JP 6681326B2
Authority
JP
Japan
Prior art keywords
work
user
actuator
machine
rework
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016253720A
Other languages
English (en)
Other versions
JP2018106527A (ja
Inventor
里志 羽根田
里志 羽根田
誠 山村
誠 山村
貴正 宇田川
貴正 宇田川
将人 藤原
将人 藤原
聖 小野寺
聖 小野寺
木全 隆一
隆一 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016253720A priority Critical patent/JP6681326B2/ja
Priority to EP17886472.4A priority patent/EP3549422B1/en
Priority to US16/473,301 priority patent/US11209814B2/en
Priority to CN201780079117.5A priority patent/CN110087450A/zh
Priority to PCT/JP2017/044775 priority patent/WO2018123599A1/ja
Publication of JP2018106527A publication Critical patent/JP2018106527A/ja
Application granted granted Critical
Publication of JP6681326B2 publication Critical patent/JP6681326B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/006Control or measuring arrangements
    • A01D34/008Control or measuring arrangements for automated or remotely controlled operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D2101/00Lawn-mowers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Harvester Elements (AREA)
  • Guiding Agricultural Machines (AREA)

Description

本発明は、自動で作業を行うことが可能な作業機を有する作業システムおよび作業方法に関する。
この種の作業機として、従来、エリアワイヤによって画定された作業領域を自律走行して芝刈り作業を行う作業機が知られている(例えば特許文献1参照)。この特許文献1記載の作業機は、エリアワイヤを流れる電流によって生じる磁界強度を検出する磁気センサを有しており、磁気センサの検出値に基づき自己の位置を特定することで、芝の刈り残しがないように作業領域を満遍なく自律走行しながら作業を行う。
特開2016−148937号公報
ところで、作業機が作業を行った後の状態を、ユーザが満足しない場合がある。この場合、作業機に再作業を行わせる必要があるが、再作業を指令する手法については、上記特許文献1に何ら記載されていない。
本発明の一態様は、作業領域内を自律走行しながら自動で芝刈り作業を行う作業機を有する作業システムであり、作業機に設けられた作業用アクチュエータおよび走行用アクチュエータ、ユーザの生体情報を検出するユーザ検出部と、作業機により所定の作業が行われた後に、ユーザ検出部により検出されたユーザの生体情報に基づき、ユーザが作業結果に満足しているか否かを判定する満足度判定部と、満足度判定部によりユーザが作業結果に満足していると判定されると、芝刈り作業を完了する一方、作業結果に満足していないと判定されると、前記作業領域内における芝刈り作業を再度行うように作業用アクチュエータおよび走行用アクチュエータを制御するアクチュエータ制御部と、を備える。
本発明の他の態様は、作業領域内を自律走行しながら自動で芝刈り作業を行う作業機を用いて作業を行う作業方法であり、ユーザの生体情報を検出し、検出されたユーザの生体情報に基づき、作業機により所定の作業が行われた後に、ユーザが作業結果に満足しているか否かを判定し、ユーザが作業結果に満足していると判定されると、芝刈り作業を完了する一方、作業結果に満足していないと判定されると、前記作業領域内における芝刈り作業を再度行うように作業機に設けられた作業用アクチュエータおよび走行用アクチュエータを制御することを含む。
本発明によれば、作業機が作業を行った後の再作業を必要に応じて容易に作業機に指令することができる。
本発明の実施形態に係る作業システムの概略構成を示す図。 図1の作業システムの概略構成を示すブロック図。 図1の作業システムを構成する作業機により作業を行う作業領域の一例を示す平面図。 図2のECUで実行される処理の一例を示すフローチャート。 本発明の実施形態に係る作業システムの動作の一例を示す図。 図1の変形例を示す図。
以下、図1〜図6を参照して本発明の実施形態に係る作業システムについて説明する。本発明の作業システムは種々の作業機に適用することができるが、以下では、特に自律走行しながら芝刈り作業を行うことが可能な芝刈り機に適用する例を説明する。
図1は、本発明の実施形態に係る作業システム100の概略構成を示す図であり、特に作業システム100を構成する作業機(芝刈り機)1の概略構成を示す側面図である。図1に示すように、作業機1は、車体2と、左右一対の前輪3および後輪4とを備え、ユーザ自身が手で持って搬送可能な重量および寸法を有する。一例を挙げると、作業機1の全長は500mm程度、全幅は300mm程度、高さは300mm程度である。
車体2の底面からは、地面(芝地)GRに向けて回転軸5aに支持された芝刈り用の円盤形状のブレード5が突設され、作業機1は、ブレード5の回転により、地面GRを走行しながら芝刈り作業を行うことができる。車体2の前端部には、車体2に搭載されたバッテリ(図2)を充填するための充電端子6が設けられる。
図2は、作業機1(作業システム100)の概略構成を示すブロック図である。図2に示すように、作業機1は、ECU(電子制御ユニット)10と、ECU10にそれぞれ接続されたカメラ21、マイク22、サーモグラフィ23、センサ群24、スピーカ25、作業用アクチュエータ26、走行用アクチュエータ27、通信ユニット28、バッテリ29、および充電ユニット30とを有し、これらは全て車体2に設けられる。ECU10は、CPU,ROM,RAM、その他の周辺回路などを有する演算処理装置を含んで構成される。
カメラ21、マイク22およびサーモグラフィ23は、それぞれユーザの生体情報を検出する生体情報検出部20を構成する。すなわち、カメラ21は、ユーザの顔を含む上半身を撮像し、ユーザの顔の表情や行動を検出する。マイク22は、ユーザの発話した音声を取得する。マイク22で取得した音声は、ECU10の音声認識部(不図示)で音声認識される。サーモグラフィ23は、ユーザの顔の表面温度を検出する。生体情報検出部20(21〜23)は、ユーザの挙動(言動)や表情等のユーザの態様を検出するために用いられる。
センサ群24は、車幅方向に離間して配置された一対の磁気センサ24aを含み、磁気センサ24aにより磁界強度が検出される。なお、図示は省略するが、センサ群24は、作業機1の高さ方向の軸線回りに生じる角速度を検出するYawセンサ、作業機1に作用する加速度を検出するGセンサ、作業機1の方位を検出する方位センサ、作業機1と障害物との接触の有無を検出する接触センサ、左右の後輪4の車輪速を検出する車輪速センサ、作業機1の位置を検出するGPSセンサ、およびバッテリ29の残電圧を検出する電圧センサ等も含む。スピーカ25は、ユーザに対し音声を出力し、マイク22とスピーカ25とを設けることで作業機1はユーザと対話することができる。
作業用アクチュエータ26は、回転軸5aに連結された電動モータにより構成され、作業用アクチュエータ26の駆動によりブレード5が回転駆動される。走行用アクチュエータ27は、左右の後輪4の左右内側に配置されて、左右の後輪4を独立に駆動する一対の電動モータにより構成される。左右の後輪4の回転に速度差を生じさせることで、作業機1は任意の方向に旋回することができる。
通信ユニット28は、送受信アンテナと、送受信アンテナを介して送受信した信号を処理する信号処理回路とを含み、通信ユニット28を介して作業機1が外部機器(例えば同一の敷地内に配置された中継装置やサーバ、ユーザが携帯する携帯端末等)と無線で通信することができる。バッテリ29は、作業機1の各電気部品に電力を供給するための電力源として用いられる。充電ユニット30は、充電端子6とバッテリ29とに接続され、充電端子6を介して充電ステーション(図3)で供給された電力をバッテリ29に蓄電する。
以上のように構成された作業機1は、予め定められた作業領域内を自律走行して作業を行う。図3は、作業領域ARの一例を示す平面図である。作業領域ARは、予め庭に敷設(例えば地面から所定深さに埋設)されたエリアワイヤ7によって画定され、エリアワイヤ7により作業機1の走行範囲が規定される。エリアワイヤ7に電流が流されることで、作業領域ARに磁界が発生する。作業領域ARの磁界強度は、磁気センサ24aにより検出される。
磁界強度は、エリアワイヤ7からの距離に応じて変化する。ECU10は、磁気センサ24aからの信号に基づき、作業機1がエリアワイヤ7に到達したか否かを判定する。そして、エリアワイヤ7に到達したと判定すると、走行用アクチュエータ27に制御信号を出力し、図3の矢印に示すように、作業機1を作業領域ARの内側に向けて旋回させる。このようにECU10は、磁気センサ24aからの信号に応じて走行用アクチュエータ27に制御信号を出力し、これにより作業機1が作業領域AR内を自律走行する。このときECU10は、作業用アクチュエータ26にも制御信号を出力し、これにより作業機1は、作業領域AR内を走行しながら自動的に芝刈り作業を行う。
エリアワイヤ7上には、バッテリ29を充電するための充電ステーション8が配置される。作業時に、電圧センサ(センサ群24)によってバッテリ29の電圧不足が検出されると、ECU10は、走行用アクチュエータ27に制御信号を出力し、例えばエリアワイヤ7に沿って作業機1を充電ステーション8まで帰還させ、バッテリ29を充電する。バッテリ29の充電が完了すると、ECU10は、走行用アクチュエータ27に制御信号を出力して作業機1を充電ステーション8から離脱させ、その後、作業用アクチュエータ26を駆動して作業を再開する。
なお、以上では、エリアワイヤ7を敷設して作業領域ARを設定するとともに、磁気センサ24aからの信号により作業機1(ECU10)が作業領域ARを認識しながら作業を行うようにしたが、作業領域の設定および認識の手法は上述したものに限らない。例えば、通信ユニット28を介してECU10がビーコン信号等を受信し、この受信信号を用いて作業領域を認識することにより、作業領域で作業を行うようにしてもよい。予めECU10のメモリに作業領域のマップを記憶し、GPSセンサ等により自位置を検出しながら、作業領域で作業を行うようにしてもよい。すなわち、エリアワイヤ7以外の作業領域設定部を用いて作業領域を設定するとともに、磁気センサ以外の位置検出器を用いて作業領域を認識し、作業を行うようにしても良い。
ところで、作業領域ARでの作業機1の作業が完了した場合に、芝の刈り残しがあったり芝の高さが不揃いであったりすると、ユーザは作業結果に満足しないおそれがある。この場合には、作業機1に再作業を行わせる必要があるが、ユーザの負担を軽減するためには、煩雑な設定操作による再作業を指令する手間を省いて、ユーザの作業満足度に応じて作業機1に自動的に再作業を実行させるように構成することが好ましい。この点を考慮して、本実施形態では以下のように作業機1を構成する。
図2に示すように、ECU10は、機能的構成として再作業判定部11と、作業内容決定部14と、アクチュエータ制御部15とを有する。再作業判定部11は、パターン記憶部12と、満足度推定部13とを有する。
パターン記憶部12は、予めユーザの作業満足度と相関関係を有する表情、行動、音声および顔面温度の各パターンに対応するデータ、すなわち表情パターン、行動パターン、音声パターンおよび顔面温度パターンに対応するデータを記憶する。
表情パターンには、作業満足度が高いときに生じると予想される表情パターン(例えば喜びの表情)と、作業満足度が低いときに生じると予想される表情パターン(例えば怒りの表情)とが含まれる。パターン記憶部12には、これら表情パターンに対応する画像データが記憶される。なお、喜びや怒りの表情は口角や目つきにより特徴付けられる。
行動パターンには、作業満足度が高いときに生じると予想される行動パターン(例えば首を縦に振る、あるいは親指を立てるなどの行動)と、作業満足度が低いときに生じると予想される行動パターン(例えば首や手を横に振る、あるいはユーザが芝を手で触るなどの行動)とが含まれる。パターン記憶部12には、これら行動パターンに対応する画像データが記憶される。
音声パターンには、作業満足度が高いときに生じると予想される音声パターン(例えば「オッケー」などの音声)と、作業満足度が低いときに生じると予想される音声パターン(例えば「やり直し」などの音声)とが含まれる。パターン記憶部12には、これら音声パターンに対応する音声データが記憶される。
顔面温度パターンには、作業満足度が高いときに生じると予想される顔面温度パターン(例えば平均または最大の顔面温度が所定温度以下である顔面温度分布)と、作業満足度が低いとに生じると予想される顔面温度パターン(例えば平均または最大の顔面温度が所定温度以上である顔面温度分布)が含まれる。パターン記憶部12には、これら顔面温度パターンに対応する温度データが記憶される。
以上の各パターンには、予め作業満足度に対応するポイントが付与される。すなわち、作業満足度が高いパターンには+1のポイント、低いパターンには−1のポイントが付与される。なお、作業満足度が大きいほどプラスのポイントを大きくし、作業満足度が低いほどマイナスのポイントを小さく(絶対値は大きく)してもよい。このようにパターン記憶部12は、作業満足度に応じたユーザの態様を表す複数のパターン(作業満足度対応パターンと呼ぶ)をポイントとともに記憶する。
パターン記憶部12は、さらに再作業の内容に対応した複数のパターン(作業内容対応パターンと呼ぶ)も記憶する。具体的には、再作業すべき領域を示す行動パターン、例えば東西南北や前後左右等の特定の方向を指先で示す行動や、作業領域全体を示す行動に対応する画像データが記憶される。さらに、再作業すべき領域を示す音声パターン、例えば東西南北や前後左右等の特定の方向を表す音声や、「全てやり直し」などの作業領域全体を表す音声に対応する音声データが記憶される。ユーザへの自動追従走行指令を示す行動パターン(例えば手招きする行動)に対応する画像データや、自動追従走行指令を示す音声パターン(例えば「私の後についてきなさい」などの音声)に対応する音声データも記憶される。
満足度推定部13は、生体情報検出部20からの信号に基づき、芝刈り作業が一旦完了した後の作業結果についてのユーザの作業満足度を推定する。より具体的には、生体情報検出部20により検出されたユーザの表情、行動、音声、顔面温度と、パターン記憶部12に記憶されたユーザの表情、行動、音声、顔面温度のパターン(作業満足度対応パターン)とを比較し、ユーザの態様がどの作業満足度対応パターンに当てはまるかを特定する。そして、特定された作業満足度対応パターンが有するポイントにより、作業満足度を数値化する。ユーザの態様が複数の作業満足度対応パターンに当てはまるときは、各作業満足度対応パターンが有するポイントを加算して、作業満足度を算出する。
作業満足度はユーザの感情を表す。したがって、満足度推定部13は、ユーザの感情を推定することで作業満足度を推定してもよい。例えば、Plutchikの感情の輪を用いて、乗員感情を8つの基本感情(期待、喜び、受容、不安、驚き、悲しみ、嫌悪、怒り)と、隣り合う2つの感情の組み合わせによる応用感情とに分類し、カメラ21やマイク22からの信号に基づいて、ユーザの感情が感情の輪のいずれのパターンに当てはまるかを判定し、これにより作業満足度を推定するようにしてもよい。
再作業判定部11は、満足度推定部13で推定された作業満足度に応じて再作業の要否を判定する。例えば、推定された作業満足度が所定値(例えば−1)以下のとき、再作業が必要と判定する。
作業内容決定部14は、生体情報検出部20から入力された信号に基づき、再作業の内容を決定する。より具体的には、生体情報検出部20により検出されたユーザの行動や音声と、パターン記憶部12に記憶されたユーザの行動や音声のパターン(作業内容対応パターン)とを比較し、ユーザの態様がどの作業内容対応パターンに当てはまるかを特定する。そして、特定された作業内容対応パターンを、作業機1の作業内容として決定する。
アクチュエータ制御部15は、作業用アクチュエータ26と走行用アクチュエータ27とに制御信号を出力し、作業領域AR内を自律走行しながら芝刈り作業を行うように作業機1の動作を制御する。さらに、一旦作業が完了した後には、生体情報検出部20によりユーザの態様を検出可能な位置に作業機1が移動するように作業機1の走行動作を制御する。そして、再作業判定部11により再作業が必要と判定されると、作業機1が作業内容決定部14で決定された作業を行うように、作業用アクチュエータ26と走行用アクチュエータ27とに制御信号を出力する。なお、再作業判定部11により再作業が不要と判定されると、例えば充電ステーション8に帰還して充電を開始するなどの所定の作業完了動作を実行するように作業機1の動作を制御する。
図4は、予め記憶されたプログラムに従いECU10で実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば作業機1が自律走行して所定の作業を完了した後に開始される。
まず、ステップS1で、生体情報検出部20によりユーザの態様、すなわちユーザの表情、行動、音声、顔面温度を検出し、その検出信号を読み込む。次いで、ステップS2で、満足度推定部13での処理により、ステップS1の検出信号に基づきユーザの作業満足度を推定する。次いで、ステップS3で、再作業判定部11での処理により、再作業が必要か否か、すなわち推定された作業満足度が所定値以下か否かを判定する。
ステップS3で肯定されるとステップS4に進み、作業内容決定部14での処理により、ステップS1の検出信号に基づき再作業の内容を決定する。次いでステップS5で、アクチュエータ制御部15での処理により、決定された作業内容に応じた再作業を行うように作業用アクチュエータ26と走行用アクチュエータ27とに制御信号を出力する。再作業が完了するとステップS1に戻り、同様の処理を繰り返す。
ステップS3で再作業が不要と判定されると、ステップS6に進む。ステップS6では、アクチュエータ制御部15での処理により、作業機1を充電ステーション8に帰還させるなどの所定の作業完了動作を実行し、一連の処理を終了する。
本実施形態に係る作業システム100の動作をより具体的に説明する。図5は、作業システム100の動作の一例を示す平面図である。作業機1は、作業領域AR内の芝刈り作業が完了すると、図5のA部に示すようにユーザ200に接近してカメラ21やマイク22等の生体情報検出部20によりユーザ200の態様を検出する(ステップS1)。なお、ユーザ200から作業機1に接近するようにしてもよい。
芝の刈り残しがある、あるいは芝の高さが不揃いである等により、ユーザ200の作業満足度が所定値以下になると、作業機1は再作業が必要と判定し、ユーザ200の言動(行動、音声)に基づき作業内容を決定する(ステップS3→ステップS4)。そして、作業機1は作業内容に応じて再作業を実行する(ステップS5)。例えばユーザ200が所定の作業領域AR1を指で示す、あるいは所定の作業領域AR1を音声で指令した場合、作業機1は、自律走行しながらその作業領域AR1に移動し(図5のB部)、作業領域AR1で再作業を行う。
一方、ユーザ200が作業機1に自動追従走行するように指令した場合、作業機1は、図5の点線矢印で示すユーザ200の動きに追従し、所定の作業領域AR2まで移動する(図5のC部)。その後、ユーザ200がその作業領域AR2での作業を指令すると、作業機1は、作業領域AR2で再作業を行う。なお、ユーザ200が行動または音声で作業領域AR全体を再作業するように指令した場合、作業機1は作業領域AR全体を再作業する。
作業機1は、再作業完了後に再びユーザの態様を検出し、作業満足度を推定する(ステップS5→ステップS1→ステップS2)。作業満足度が所定値以下であれば、再び再作業を実行する。作業満足度が所定値を上回ると、作業完了動作を行い、作業を完了する(ステップS3→ステップS6)。
本実施形態によれば以下のような作用効果を奏することができる。
(1)自動で作業を行う作業機1を有する作業システム100は、作業機1に設けられた作業用アクチュエータ26と、作業満足度に応じて変化するユーザの態様を検出する生体情報検出部20(カメラ21、マイク22およびサーモグラフィ23)と、作業機1により所定の作業(自律走行しながらの芝刈り作業)が行われた後に、生体情報検出部20により検出されたユーザの態様に基づき再作業の要否を判定する再作業判定部11と、再作業判定部11により再作業が必要と判定されると、再作業を行うように作業用アクチュエータ26を制御するアクチュエータ制御部15と、を備える(図2)。
このように本実施形態に係る作業システム100では、芝刈り作業が一旦行われた後の生体情報検出部20により検出されたユーザの態様に基づき、作業機1自体が再作業の要否を判定し、その判定結果に応じて再作業を自動的に行う。これにより、ユーザが作業機1に再作業を指令するための煩雑な操作を別途行う必要がなく、必要に応じて作業機1に再作業を容易に実行させることができる。
(2)再作業判定部11は、生体情報検出部20により検出されたユーザの態様に基づきユーザの作業満足度を推定する満足度推定部13を有し(図2)、満足度推定部13により推定された作業満足度が所定値以下のとき、再作業が必要と判定する。このようにユーザの作業満足度に応じて再作業を行うように構成したので、ユーザが作業結果に満足しない場合に、作業機1に自動的に再作業を行わせることができ、その結果、ユーザの作業満足度を高めることができる。
(3)作業システム100は、生体情報検出部20により検出されたユーザの態様に基づき作業内容を決定する作業内容決定部14をさらに備える(図2)。アクチュエータ制御部15は、再作業判定部11により再作業が必要と判定されると、作業内容決定部14により決定された作業内容に応じた再作業を行うように作業用アクチュエータ26を制御する。この構成により、例えば作業領域ARのうちの特定の作業領域AR1,AR2のみ再作業を行わせることが可能となり、再作業を効率よく行わせることができる。
(4)生体情報検出部20として、作業機1にカメラ21、マイク22およびサーモグラフィ23を設けるようにした(図2)。これによりユーザの表情、行動、音声、および顔面温度を認識することができる。したがって、ユーザの作業満足度を良好に推定することができ、再作業の要否を適確に判定することができる。
(5)作業システム100は、作業機1に設けられた走行用アクチュエータ27をさらに備える(図2)。アクチュエータ制御部15は、再作業判定部11により再作業が必要と判定されると、作業機1が走行しながら再作業を行うように作業用アクチュエータ26と走行用アクチュエータ27とを制御する。このように作業機1を移動可能に構成することで、作業領域全般にわたって作業機1に自動的に作業を行わせることができる。
(6)作業システム100を構成する作業機1を、作業領域ARを自律走行しながら芝刈り作業を行う芝刈り機として構成する(図1)。このような作業機1にあっては、芝の刈り残し等が生じるおそれがあり、再作業が必要となる蓋然性が高まる。このため、本実施形態に係る作業システム100を適用することの有用性が高い。
(7)自動で作業を行う作業機1を用いて作業を行う作業方法として、作業満足度に応じて変化するユーザの態様を検出し(ステップS1)、検出されたユーザの態様に基づき、作業機1により所定の作業が行われた後の再作業の要否を判定し(ステップS3)、再作業が必要と判定されると、再作業を行うように作業機1に設けられた作業用アクチュエータ26を制御するようにした(ステップS5)。これにより、必要に応じて作業機1に再作業を容易に実行させることができる。
上記実施形態は、種々の形態に変形することができる。以下、変形例について説明する。図6は、図1の変形例としての作業システム100Aを示す図である。図6では、作業機1とサーバ101とが通信ユニットを介して互いに無線通信可能に構成される。このような構成によれば、作業機1のECU10が必要に応じてサーバ101からデータを取得することができる。したがって、ECU10の一部(例えばパターン記憶部12)をサーバ101に設けることができる。
なお、上記実施形態では、撮像装置としてのカメラ21、集音装置としてのマイク22および撮温装置としてのサーモグラフィ23により作業満足度に応じて変化するユーザの態様を検出するようにしたが、ユーザ検出部の構成はこれに限らない。例えば、撮像装置、集音装置および撮温装置の全てではなく、これらの少なくとも1つでユーザの態様、すなわちユーザの表情や言動等を検出するようにしてもよい。ユーザ検出部を作業機以外(例えば建造物の壁等)に設けてもよい。
上記実施形態では、生体情報検出部20により検出されたユーザの態様に基づき満足度推定部13がユーザの作業満足度を数値化して推定するようにしたが、単に作業満足度が得られたか否かを推定するようにしてもよく、満足度推定部の構成は上述したものに限らない。上記実施形態では、生体情報検出部20により検出されたユーザの態様に基づき作業内容決定部14が作業内容を決定するようにしたが、例えば満足度推定部で推定された作業満足度に応じて作業内容を決定するようにしてもよく、作業内容決定部の構成は上述したものに限らない。
上記実施形態では、作業機1により芝刈り作業が行われた後に、カメラ21やマイク22等により検出されたユーザの態様に基づき再作業判定部11が再作業の要否を判定するようにしたが、再作業判定部の構成はこれに限らない。例えば、スピーカ25からの音声出力によりユーザに「再作業は必要ですか?」などの質問を投げかけ、これに対するユーザの応答を音声認識して再作業の要否を判定するようにしてもよい。ユーザが誰かと会話している場合、その会話内容から再作業の要否を判定するようにしてもよい。作業機に日射センサ、温度湿度センサ、レインセンサ等のセンサを設け、これらセンサからの情報を勘案して再作業の要否を判定してもよい。
作業装置としてのブレード5が損傷している場合等、再作業判定部11が再作業の要否を判定して作業機1が再作業を行ったにもかかわらず、ユーザの作業満足度が改善されない場合がある。この場合には、作業機1自体に何らかの不具合があると判断し、作業機1が通信ユニット28を介してディーラーへ連絡して、メンテナンスを依頼するようにしてもよい。すなわち、再作業判定部は、再作業の要否だけでなく、メンテナンス依頼の要否等を判定するようにしてもよい。作業満足度に拘らず、ユーザの所定の態様が検出されたか否かにより再作業の要否を判定するようにしてよく、したがって、満足度推定部を省略することもできる。再作業を行うときは常に作業領域ARの全体を行う等、再作業の内容を固定してもよく、したがって、作業内容決定部を省略することもできる。
上記実施形態では、再作業判定部11により再作業が必要と判定されると、アクチュエータ制御部15が作業用アクチュエータ26と走行用アクチュエータ27とを制御して再作業を行わせるようにしたが、少なくとも作業用アクチュエータを制御して再作業を行わせるように構成すればよく、アクチュエータ制御部の構成は上述したものに限らない。
上記実施形態では、移動式の芝刈り機を作業機1として用いたが、芝刈り機以外の移動式の作業機(例えば屋内で用いられる作業機)あるいは固定式の作業機(例えば散水機)を作業機として用いることができる。したがって、作業機に設けられる走行用アクチュエータおよび作業用アクチュエータの構成は上述したものに限らない。
すなわち、以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の1つまたは複数を任意に組み合わせることも可能である。
1 作業機、11 再作業判定部、13 満足度推定部、14 作業内容決定部、15 アクチュエータ制御部、20 生体情報検出部、21 カメラ、22 マイク、23 サーモグラフィ、26 作業用アクチュエータ、27 走行用アクチュエータ、100、100A 作業システム

Claims (4)

  1. 作業領域内を自律走行しながら自動で芝刈り作業を行う作業機を有する作業システムであって、
    前記作業機に設けられた作業用アクチュエータおよび走行用アクチュエータと、
    ーザの生体情報を検出するユーザ検出部と、
    前記作業機により所定の作業が行われた後に、前記ユーザ検出部により検出されたユーザの生体情報に基づき、ユーザが作業結果に満足しているか否かを判定する満足度判定部と、
    前記満足度判定部によりユーザが作業結果に満足していると判定されると、芝刈り作業を完了する一方、作業結果に満足していないと判定されると、前記作業領域内における芝刈り作業を再度行うように前記作業用アクチュエータおよび前記走行用アクチュエータを制御するアクチュエータ制御部と、を備えることを特徴とする作業システム。
  2. 請求項1に記載の作業システムにおいて、
    前記ユーザ検出部により検出されたユーザの生体情報に基づき作業内容を決定する作業内容決定部をさらに備え、
    前記アクチュエータ制御部は、前記満足度判定部によりユーザが作業結果に満足していないと判定されると、前記作業内容決定部により決定された作業内容に応じた作業を行うように前記作業用アクチュエータおよび前記走行用アクチュエータを制御することを特徴とする作業システム。
  3. 請求項1または2に記載の作業システムにおいて、
    前記ユーザ検出部は、前記作業機に設けられた撮像装置、集音装置および撮温装置の少なくとも1つを有することを特徴とする作業システム。
  4. 作業領域内を自律走行しながら自動で芝刈り作業を行う作業機を用いて作業を行う作業方法であって、
    ユーザの生体情報を検出し、
    検出されたユーザの生体情報に基づき、前記作業機により所定の作業が行われた後に、ユーザが作業結果に満足しているか否かを判定し、
    ユーザが作業結果に満足していると判定されると、芝刈り作業を完了する一方、作業結果に満足していないと判定されると、前記作業領域内における芝刈り作業を再度行うように前記作業機に設けられた作業用アクチュエータおよび走行用アクチュエータを制御することを含むことを特徴とする作業方法。
JP2016253720A 2016-12-27 2016-12-27 作業システムおよび作業方法 Expired - Fee Related JP6681326B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016253720A JP6681326B2 (ja) 2016-12-27 2016-12-27 作業システムおよび作業方法
EP17886472.4A EP3549422B1 (en) 2016-12-27 2017-12-13 Work system and work method
US16/473,301 US11209814B2 (en) 2016-12-27 2017-12-13 Working system and working method
CN201780079117.5A CN110087450A (zh) 2016-12-27 2017-12-13 工作系统以及工作方法
PCT/JP2017/044775 WO2018123599A1 (ja) 2016-12-27 2017-12-13 作業システムおよび作業方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016253720A JP6681326B2 (ja) 2016-12-27 2016-12-27 作業システムおよび作業方法

Publications (2)

Publication Number Publication Date
JP2018106527A JP2018106527A (ja) 2018-07-05
JP6681326B2 true JP6681326B2 (ja) 2020-04-15

Family

ID=62707279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016253720A Expired - Fee Related JP6681326B2 (ja) 2016-12-27 2016-12-27 作業システムおよび作業方法

Country Status (5)

Country Link
US (1) US11209814B2 (ja)
EP (1) EP3549422B1 (ja)
JP (1) JP6681326B2 (ja)
CN (1) CN110087450A (ja)
WO (1) WO2018123599A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020437974A1 (en) * 2020-03-27 2022-10-20 Honda Motor Co., Ltd. Operation management device, operation management program and operation management method
JP7288417B2 (ja) * 2020-03-31 2023-06-07 本田技研工業株式会社 自律作業システム、自律作業設定方法、およびプログラム
JP2022155099A (ja) 2021-03-30 2022-10-13 本田技研工業株式会社 作業機システム
EP4165973A1 (en) * 2021-10-12 2023-04-19 Iseki & Co., Ltd. Work management system for work vehicle
WO2023181188A1 (ja) * 2022-03-23 2023-09-28 本田技研工業株式会社 自律芝刈り機

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61282897A (ja) * 1985-06-07 1986-12-13 井関農機株式会社 音声制御装置における音声命令の確認装置
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2001277163A (ja) 2000-04-03 2001-10-09 Sony Corp ロボットの制御装置及び制御方法
US7429843B2 (en) * 2001-06-12 2008-09-30 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
JP2003310026A (ja) * 2002-04-22 2003-11-05 Fuji Heavy Ind Ltd 草刈り作業車
JP4264395B2 (ja) * 2004-08-06 2009-05-13 シャープ株式会社 自走式移動車
US8706297B2 (en) * 2009-06-18 2014-04-22 Michael Todd Letsky Method for establishing a desired area of confinement for an autonomous robot and autonomous robot implementing a control system for executing the same
CN102811604B (zh) * 2010-03-17 2016-03-30 胡斯华纳有限公司 用于将机器人园林工具引导至预定位置的方法和系统
IT1401368B1 (it) * 2010-07-28 2013-07-18 Active Srl Metodo e sistema per il controllo di un dispositivo robotizzato semovente
US9405294B2 (en) * 2010-10-01 2016-08-02 Husqvarna Ab Method and system for guiding a robotic garden tool
US9471063B2 (en) * 2011-08-11 2016-10-18 Chien Ouyang Robotic lawn mower with network sensors
DE102011082416A1 (de) * 2011-09-09 2013-03-14 Robert Bosch Gmbh Autonomes Arbeitsgerät
US8869115B2 (en) * 2011-11-23 2014-10-21 General Electric Company Systems and methods for emotive software usability
DE102012109004A1 (de) 2012-09-24 2014-03-27 RobArt GmbH Roboter und Verfahren zur autonomen Inspektion oder Bearbeitung von Bodenflächen
JP6240384B2 (ja) * 2012-11-29 2017-11-29 ヤンマー株式会社 自律走行作業システム
CN103891464B (zh) * 2012-12-28 2016-08-17 苏州宝时得电动工具有限公司 自动割草系统
US9241440B2 (en) * 2013-03-01 2016-01-26 Cnh Industrial Canada Ltd. Control system for a disc cutterbar using stubble cut quality feedback
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
US9516806B2 (en) * 2014-10-10 2016-12-13 Irobot Corporation Robotic lawn mowing boundary determination
US9510505B2 (en) * 2014-10-10 2016-12-06 Irobot Corporation Autonomous robot localization
JP2016095661A (ja) * 2014-11-13 2016-05-26 ヤンマー株式会社 無人作業システム
US9538702B2 (en) * 2014-12-22 2017-01-10 Irobot Corporation Robotic mowing of separated lawn areas
JP6193898B2 (ja) * 2015-02-10 2017-09-06 本田技研工業株式会社 自律走行作業車の制御装置
US10034421B2 (en) * 2015-07-24 2018-07-31 Irobot Corporation Controlling robotic lawnmowers
JP6067157B2 (ja) * 2016-02-09 2017-01-25 小橋工業株式会社 リモコンホルダ
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备

Also Published As

Publication number Publication date
EP3549422B1 (en) 2021-07-21
US20200150647A1 (en) 2020-05-14
CN110087450A (zh) 2019-08-02
JP2018106527A (ja) 2018-07-05
EP3549422A1 (en) 2019-10-09
WO2018123599A1 (ja) 2018-07-05
US11209814B2 (en) 2021-12-28
EP3549422A4 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
JP6681326B2 (ja) 作業システムおよび作業方法
US11334082B2 (en) Autonomous machine navigation and training using vision system
EP3549430B1 (en) Emotion improvement device and emotion improvement method
CN107224249B (zh) 清洁设备的清洁操作执行方法、装置及可读存储介质
US20170374277A1 (en) Image pickup apparatus, image pickup method, and recording medium for imaging plural subjects or a single subject
US10627822B2 (en) Moving robot and control method thereof
JP7203120B2 (ja) 制御システム、制御装置、自律作業機、制御装置の動作方法、自律作業機の制御方法及びプログラム
JP4940698B2 (ja) 自律移動型ロボット
JP2008142841A (ja) 移動ロボット
US20180275666A1 (en) Autonomous mobile apparatus returning to charger to be charged, autonomous moving method, and non-transitory computer-readable storage medium
JP6796458B2 (ja) 電気掃除機
CN108027609A (zh) 管家机器人及控制方法
US11582903B1 (en) Vision based guidance system and method for lawn mowing devices
US20210263529A1 (en) Autonomous work machine, control method of autonomous work machine, and storage medium
JP2008134904A (ja) 自律移動体
WO2021162840A1 (en) Autonomous machine navigation with object detection and 3d point cloud
JP4311355B2 (ja) 自走式機器およびそのプログラム
JP7001551B2 (ja) 作業車両
WO2020105101A1 (ja) 自律走行作業機の制御装置
CN114207542A (zh) 一种自动工作系统
KR20160103423A (ko) 주행 장치 및 주행 장치의 주행 제어 시스템
US20240134394A1 (en) Automatic work system and turning method therefor, and self-moving device
KR101204859B1 (ko) 휴대 단말 보조 장치 및 그 제어 방법
JPWO2020110248A1 (ja) 作業機、作業機の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200323

R150 Certificate of patent or registration of utility model

Ref document number: 6681326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees