JP7207645B2 - 移動装置 - Google Patents

移動装置 Download PDF

Info

Publication number
JP7207645B2
JP7207645B2 JP2018099549A JP2018099549A JP7207645B2 JP 7207645 B2 JP7207645 B2 JP 7207645B2 JP 2018099549 A JP2018099549 A JP 2018099549A JP 2018099549 A JP2018099549 A JP 2018099549A JP 7207645 B2 JP7207645 B2 JP 7207645B2
Authority
JP
Japan
Prior art keywords
passage
classified
area
information
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018099549A
Other languages
English (en)
Other versions
JP2019204324A (ja
Inventor
光男 爪
健介 鈴木
純 三浦
広朗 増沢
成道 松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyohashi University of Technology NUC
Sinfonia Technology Co Ltd
Original Assignee
Toyohashi University of Technology NUC
Sinfonia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyohashi University of Technology NUC, Sinfonia Technology Co Ltd filed Critical Toyohashi University of Technology NUC
Priority to JP2018099549A priority Critical patent/JP7207645B2/ja
Publication of JP2019204324A publication Critical patent/JP2019204324A/ja
Application granted granted Critical
Publication of JP7207645B2 publication Critical patent/JP7207645B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Guiding Agricultural Machines (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、移動エリア内の状況に応じて移動の仕方を変える移動装置に関する。
従来から、上記の移動装置として種々のものが提案されており、例えば、特許文献1に開示されているように、芝刈りに用いられる移動装置(作業車両)であって、走行方向前方のエリア内の障害物の有無を検出するセンサを備え、該センサが走行方向前方のエリア内に障害物の存在を検出すると該エリアを回避するように走行方向を変更するように構成された移動装置が知られている。
かかる移動装置によれば、障害物が存在するエリアを通らないように走行することで、走行中における障害物との衝突を防止できるとされている。
特開2017-221222号公報
ところで、上記従来の移動装置は、センサが移動先のエリア内に存在する障害物を検出すると、必ずそのエリアを回避しながら走行するように構成されているため、障害物が移動を阻害するものでない場合においても、障害物が存在しているエリアを全て回避することになる。
例えば、薔薇等の植物を育成している農場(施設)内では、通路上が該植物の枝葉に覆われていることがあるが、上記従来の移動装置は、植物の枝葉をおしのけて通過できる場合であっても、植物の枝葉の存在を検出した時点で通過できないエリアであると判定し、該エリアを回避することになる。
このように、人間であれば通過できることを判別できるエリアであっても、上記従来の移動装置では人間のような柔軟な判断ができないため、移動範囲が必要以上に狭くなるという問題が起きている。また、かかる問題は、農場以外の場所で用いられる移動装置においても同様に起こり得る問題である。
そこで、通過可能なエリアをより詳細に見分けて動くことができる移動装置を提供することを課題とする。
本発明の移動装置は、
移動エリア内を撮像した撮像画像を取得する画像取得手段と、
該撮像画像内の領域を、被写体の種類ごとに分類する分類手段と、
該分類手段により被写体の種類が分類された領域に対して、該分類手段で分類した被写体の種類に応じて該領域に写っている場所を通過できる可能性を示す通過判定情報を設定する通過情報設定手段と、
前記通過判定情報に基づいて前記領域に写る場所の通過の可不可を判定する通過判定手段と、
該通過判定手段による通過の可不可の判定結果に応じて移動の仕方を制御する移動制御手段と、を備える。
上記構成の移動装置によれば、撮像画像内の領域には、被写体の種類に加えて、被写体が写る場所を通過できる可能性を示す通過判定情報が設定されるため、移動先に移動の妨げとなる可能性のあるものが存在していたとしても、一律して通行不可であるとは判断せずに、通過判定情報に基づいて移動先の通過の可不可を判定できる。
本発明の移動装置において、
前記分類手段は、前記領域を少なくとも、前記移動装置が通過可能な通路と、該通路上に位置し且つ移動を阻害する可能性が高い第一の障害物と、該通路上に位置し且つ移動を阻害する可能性が低い第二の障害物との何れかに分類可能であり、
前記通過情報設定手段は、前記通路に分類された前記領域には通過が可能である旨を示すように前記通過判定情報を設定し、前記第二の障害物に分類された領域には前記第一の障害物に分類された領域よりも通過できる可能性が高いことを示すように前記通過判定情報を設定する、ように構成されていてもよい。
上記構成の移動装置によれば、通路上に存在する障害物を、移動を阻害する可能性が高いものであるか低いものであるかを見分けたうえで、移動の仕方を制御できるようになる。
また、本発明の移動装置において、
前記通過情報設定手段は、前記領域に写る場所の通過の実績に応じて、該領域に設定した前記通過判定情報を更新する、ようにしてもよい。
上記構成の移動装置によれば、移動を制御する基準となる通過判定情報を、移動先のエリア内を移動した実績に基づいて更新できるため、該通過判定情報を移動エリア内の現状に合わせることで、移動先のエリアが通過可能であるか否かの判定を誤りにくくすることができる。
本発明の移動装置は、
前記移動装置から撮像画像内に写る被写体までの距離を示す深度情報を取得する深度取得手段と、
前記被写体の種類が分類され且つ前記通過判定情報が設定された前記領域と、前記深度情報とを取得し、該通過判定情報と該深度情報とを反映させた3次元の立体地図を作成する立体地図作成手段と、を備えていてもよい。
上記構成の移動装置によれば、撮像画像内の領域に写る被写体を水平方向での広がりと、鉛直方向での高さとを使って立体的に再現したうえで通過判定情報を付与できるため、移動先のエリアが通過可能であるか否かを見分け易くすることができる。
本発明の移動装置は、農園内を移動するものであり、
前記移動制御手段は、前記農園内の作業者に追従して移動するための追従機能を有していてもよい。
このようにすれば、農園内を移動する作業者の近くに移動装置を配置しておくことができるため、作業者が農園内を移動しながら移動装置を利用し易くなる。
本発明の移動装置は、農園内を移動するものであり、
前記移動制御手段は、前記農園内を前記通過判定手段の判定結果に基づいて自律的に移動するための自律移動機能を有する、ように構成されていてもよい。
上記構成の移動装置によれば、農園内の作業者がついていなくても、通行可能なエリアを見分けて自律的に移動できるようになる。
以上のように、本発明の移動装置は、通過可能なエリアをより詳細に見分けて動くことができる、という優れた効果を奏し得る。
図1は、本発明の一実施形態に係る移動装置の外観図である。 図2は、同実施形態に係る移動装置の機能ブロック図である。 図3において、(a)は分類前の撮像画像の説明図であり、(b)は分類後の撮像画像の説明図である。 図4は、同実施形態に係る移動装置のフローチャートである。 図5は、同実施形態に係る移動装置の撮像画像の解析処理のフローチャートである。 図6は、同実施形態に係る移動装置の移動に対する制御処理のフローチャートである。 図7は、本発明の他の実施形態に係る移動装置による進路の抽出の仕方の説明図であって、(a)は畝と畝に立設された構造物とが写る撮像画像の説明図であり、(b)は構造物を除外した撮像画像の説明図であり、(c)は畝に仮想傾斜面を設定した状態の説明図である。
以下、本発明の一実施形態に係る移動装置について添付図面を参照しつつ説明を行う。
本実施形態に係る移動装置は、周囲の状況を確認しながら移動できるように構成されている。また、本実施形態では、農場、より具体的にはビニールハウス等の農業施設内で移動する農場用の移動装置であることを前提に以下の説明を行うこととする。
移動装置は、図1に示すように、該移動装置1が移動するための駆動系10と、周囲を撮像した撮像画像を作成する撮像装置11と、移動装置1を構成する装置の制御や、情報処理を行うための制御処理装置12と、情報を記憶するための記憶装置13と、駆動系10、撮像装置11、制御処理装置12、記憶装置13を搭載するフレーム14と、を備えている。
本実施形態に係る移動装置1は、路面上を走行するように構成されている。そのため、駆動系10は、車輪や、車輪に駆動力を伝達する駆動装置等を有する。なお、路面とは、舗装されている路面であってもよいし、舗装されていない路面であってもよい。
撮像装置11は、フレーム14の上部に設置されており、移動先のエリアを見下ろすようにして移動装置の移動エリア内(本実施形態では農業施設内)を撮像できるようになっている。また、撮像装置11は、撮像範囲内の色情報と、撮像地点から撮像範囲内の各位置までの距離を示す深度情報とを取得し、該色情報と該深度情報とに基づいて撮像画像を作成するように構成されている。
そのため、撮像装置11で作成した撮像画像の各画素には、色情報と深度情報(撮像地点から画素に写る場所までの距離を示す情報)とが設定される。
フレーム14には、例えば、荷台140を設けることができる。この場合、移動装置1は、例えば、施設園芸で採取した植物の運搬等に利用することができるようになる。
移動装置1には、図2に示すように、制御処理装置12を、撮像画像を取得する画像取得手段20、画像取得手段20で取得した撮像画像に基づいて移動の仕方を制御するための情報を作成する制御情報作成手段21と、該制御情報作成手段21に基づいて移動の仕方を制御する移動制御手段22として機能させるプログラムが導入されている。
なお、制御処理装置12を画像取得手段20、制御情報作成手段21、移動制御手段22として機能させるためのプログラムは、例えば、記憶装置13(図1参照)に記憶されていればよい。
画像取得手段20は、撮像画像を取得するように構成されている。本実施形態では、撮像装置11に撮像画像を作成するよう命令を送信し、該撮像装置11が作成した撮像画像を取得するように構成されている。
上述のように、撮像画像には色情報と深度情報とが含まれているため、画像取得手段20は、撮像装置11から撮像画像とともに色情報と深度情報とを取得する。
なお、画像取得手段20は、所定の時間間隔毎に撮像装置11に撮像画像を作成させて該撮像画像を取得するように構成されていてもよいし、任意のタイミングで撮像装置11に撮像画像を作成させて該撮像画像を取得するように構成されていてもよい。
制御情報作成手段21は、該撮像画像内の領域を、被写体の種類ごとに分類する分類手段210と、分類手段210により分類された領域(以下、分類済領域と称する)に対して、分類手段210で分類した被写体の種類に応じた物性を示す属性情報を付与する属性情報付与手段211と、分類済領域に対して、前記分類手段210で分類した前記被写体の種類に基づいて、該分類済領域に写る場所を通過できる可能性を示す通過判定情報を設定する通過情報設定手段212と、深度情報、被写体の種類、属性情報、通過判定情報とに基づいて移動エリア内(本実施形態では農業施設内)の立体地図を作成する立体地図作成手段213と、を有する。本実施形態に係る移動装置1では、通過判定情報が、移動先のエリアを通過できる可能性を示す尤度として扱われる。
分類手段210は、撮像画像内の領域を少なくとも、移動装置1が通過可能な通路と、移動装置1が通過不能な遮蔽物と、通路上に存在する障害物と、に分類するように構成されている。また、分類手段210は、撮像画像内の領域を障害物として、移動を阻害する可能性が高い第一の障害物、若しくは移動を阻害する可能性が低い第二の障害物の何れかに分類するように構成されている。
第一の障害物とは、例えば、太い木の枝やエリア内に設置されている設備のような、押しのけたり、乗り越えたりして通過することができない障害物のことであり、第二の障害物とは、例えば、通路上に向かって伸びる植物の枝葉(おしのけることができる枝葉)や、通路上に落ちている石等のような、移動装置の移動の妨げとならない障害物のことである。
なお、分類手段210は、例えば、判断基準となる教師用画像で学習させた分類器で構成されていればよい。また、分類手段210に第一の障害物や第二の障害物を分類させるには、例えば、通路が写っている領域の一部に障害物が入り込んでいる画像を教師用画像として分類器を学習させればよい。なお、分類器には、機械学習や深層学習等の人工知能を搭載したものを採用できる。
属性情報付与手段211は、前記分類済領域に写る被写体の物性やサイズを示す情報を属性情報として前記分類済領域に設定するように構成されている。
物性とは、被写体の剛性(硬さや、柔らかさ)や、重量等のことであり、例えば、第二の障害物が植物に分類されている場合は、物性が柔らかく軽量であることを示すようにして属性情報を設定すればよい。
また、サイズとは、2次元で表すことができるサイズ(被写体を縦幅、横幅で表したサイズ)や、3次元で表すことができるサイズ(被写体を縦幅、横幅、奥行きで表したサイズ)のことである。
なお、2次元での被写体のサイズを求める場合は、例えば、撮像画像内における縦幅と横幅を利用すればよい。また、3次元での被写体のサイズを求める場合は、例えば、撮像画像内の縦幅と横幅と深度情報とを利用すればよい。
通過情報設定手段212は、通路に分類されている前記分類済領域には通過可能であることを示す通過可能情報を通過判定情報として設定し、遮蔽物に分類されている前記分類済領域には通過不能であることを示す通過不能情報を通過判定情報として設定し、障害物(第一の障害物又は第二の障害物)に分類されている前記分類済領域には通過が許容される可能性があることを示す通過許容情報を通過判定情報として設定するように構成されている。
以下、通路に分類されている分類済領域を通路領域、遮蔽物に分類されている分類済領域を遮蔽物領域、障害物に分類されている分類済領域を障害物領域と称し、さらに、障害物領域のうち、第一の障害物に分類されている分類済領域を第一の障害物領域、第二の障害物に分類されている分類済領域を第二の障害物領域と称して以下の説明を行う場合がある。
第一の障害物領域の通過判定情報には、通過不能であるか通過できる可能性が低いことを示す難通過情報が設定され、第二の障害物領域の通過判定情報には、第一の障害物領域よりも通過できる可能性が高いことを示す易通過情報が設定される。
なお、通過情報設定手段212は、分類手段210で分類した被写体の種類だけでなく、属性情報付与手段211で付与した属性情報も加味して各分類済領域に通過判定情報を設定するように構成されていてもよい。
以下の説明においては、被写体の種類、属性情報、通過判定情報が設定されている撮像画像を解析済画像と称して以下の説明を行う場合がある。
立体地図作成手段213は、解析済画像に含まれている解析済画像の深度情報、被写体の種類、通過判定情報に基づいて被写体を立体的に再現することによって立体地図を作成するように構成されている。
立体地図内に再現された被写体(以下、立体モデルと称する)には、水平方向でのサイズの情報と、鉛直方向でのサイズ(高さ)の情報とが含まれている。また、立体地図作成手段213は、立体モデル(より具体的には立体モデルを表す単位となるボクセル)に対して、被写体の種類、通過判定情報を付与するように構成されている。なお、立体モデルには、属性情報を付与してもよい。すなわち、立体地図には、属性情報の内容を反映させることも可能である。
移動制御手段22は、立体地図に基づいて移動先のエリアが通過可能であるか否か判定する通過判定手段220と、該通過判定手段220の判定結果に応じて移動の仕方を切り替える移動設定手段221と、を有する。
通過判定手段220は、移動装置1の現在地を基準として進行方向前方のエリアの情報(該エリアに対応する位置に作成された立体モデルに設定されている被写体の種類、属性情報、通過判定情報)を立体地図から取得し、かかる情報に基づいて進行方向前方のエリアを通過可能であるか判定するように構成されている。
移動装置1の現在地は、例えば、GPSを利用して導出すればよい。また、立体地図を作成している場合においては、立体地図と、現在地を導出する際に撮像装置11で取得した深度情報から作成した3次元情報(撮像画像に写る被写体の立体モデル)とを比較することで現在位置を導出してもよい。この場合、立体地図中に3次元情報を再現し、3次元情報の立体地図中での位置や姿勢を変化させながら該3次元情報と立体地図中の各立体モデルとを比較し、誤差(3次元情報と立体モデルとの間の誤差)が少なくなった状態での3次元情報の位置や姿勢に基づいて移動装置1の現在地を推測すればよい。
なお、通過判定手段220は、移動装置1が右折する場合は該移動装置1を基準として右側前方のエリアの情報を取得すればよいし、移動装置1が左折する場合は該移動装置1を基準として左側前方のエリアの情報を取得すればよい。
通過判定手段220は、移動先のエリア(進路)に対応する範囲内の立体モデルから取得した通過判定情報が通過可能情報のみである場合は、移動先のエリアを通過可能であると判定する。
また、通過判定手段220は、移動先のエリアに対応する範囲内の立体モデルから取得した通過判定情報に通過不能情報が含まれている場合は、移動先のエリアを通過不可であると判定する。
さらに、通過判定手段220は、移動先のエリア(進路)に対応する範囲内の立体モデルから取得した通過判定情報に通過許容情報が含まれており、且つ該通過許容情報が示す移動装置1の通過可能性が判定基準値よりも高い場合は、移動先のエリアを通過可能であると判定する。一方、通過許容情報が示す移動装置1の通過可能性が判定基準値よりも低い場合は、移動先のエリアを通過不可であると判定する。
移動設定手段221は、通過判定手段220が移動先のエリアを通過可能と判定した場合は移動を続行し、通過判定手段220が移動先のエリアを通過不可と判定した場合は移動を停止するか、進行方向を変えるようにして移動の仕方を設定(決定)する。
本実施形態に係る移動装置1の構成は以上の通りである。続いて、移動装置1の動作について、添付図面を参照しつつ説明を行う。
まず、移動装置1の移動を制御するための情報(被写体の種類、属性情報、通過判定情報が含まれる立体地図)を作成する処理について説明する。
移動装置1は、図4に示すように、撮像画像を取得し(S1)、該撮像画像に基づいて解析済画像を作成し(S2)、該解析済画像に基づいて立体地図を作成する(S3)。
解析済画像を作成する処理では、分類手段210によって、撮像画像内の領域を被写体の種類ごとに分類する。図3(a)に示すように、撮像画像P1内には、被写体ごとに複数の領域Rが存在しており、解析済画像P2内では、各領域R1が被写体の種類ごとに区分けされることにより分類済領域(より具体的には、通路領域C1、遮蔽物域C2、遮蔽物領域C3、第一の障害物域C30、第二の障害物域C31)となっている(図3(b)参照)。
続いて、図5に示すように、分類済領域に写る被写体が通路である場合(S4でYes)は、該分類済領域に通過判定情報として通過可能情報を設定する(S5)。
そして、分類済領域に写る被写体が遮蔽物である場合(S6でYes)は、通過判定情報として通過不能情報を設定する(S7)。
さらに、分類済領域に写る被写体が障害物である場合(S8でYes)は、該分類済領域に通過判定情報として通過許容情報を設定する(S9)。本実施形態では、障害物が第一の障害物と第二の障害物とに分類されるため、領域に写る被写体が第一の障害物である場合は、領域に対して通過不能であるか通過できる可能性が低いことを示すように通過許容情報を設定し、領域に写る被写体が第二の障害物である場合は、領域に対して第一の障害物よりも通過できる可能性が高いことを示すように通過許容情報を設定する。
立体地図を作成する処理では、立体地図作成手段213が、解析済画像(解析済画像の深度情報、被写体の種類、属性情報、通過判定情報)に基づいて、被写体を立体的に再現することによって立体地図を作成する。このとき、立体地図内に被写体を立体的に再現した立体モデルには、水平方向でのサイズの情報と、鉛直方向でのサイズ(高さ)の情報とが含まれ、さらに、被写体の種類、属性情報、通過判定情報が付与される。
次に、移動装置1の移動の仕方を制御する処理について説明する。
移動装置1(詳しくは制御処理装置12)は、図6に示すように、移動中若しくは移動を開始しようとする際に、移動先のエリアの状況を確認する(S10)。本実施形態では、立体地図から、移動先のエリアに対応する範囲内に存在する立体モデルの種類、属性情報、通過判定情報を取得する。
立体地図中の、移動先のエリアに対応する領域に存在する立体モデルの種類が通路である場合、すなわち、移動先が通路であると判定した場合(S11でYes)は、通過判定手段220が通過可能情報に基づいて移動先のエリアを通過可能であると判定し、移動設定手段221が移動を開始するか移動を続行する旨の命令を駆動系10に送信し、移動先のエリアを通過する(S12)。
一方、立体地図中の、移動先のエリアに対応する領域に存在する立体モデルの種類が遮蔽物である場合、すなわち、移動先が遮蔽物であると判定した場合(S13でYes)は、通過判定情報に通過不能情報が設定されているため、通過判定手段220が移動先のエリアを通過不能であると判定し、移動設定手段221が移動の停止、若しくは進行方向を変更する旨の命令を駆動系10に送信し、移動を停止するか移動先を変更する(S14)。
一方、立体地図中の、移動先のエリアに対応する領域に存在する立体モデルの種類が障害物(本実施形態では、第一の障害物又は第二の障害物)である場合、すなわち、移動先に障害物があると判定した場合(S15でYes)は、判定基準値と通過許容値とを比較する。
通過許容値が示している通過できる可能性が判定基準値よりも高い場合、すなわち、過判定手段が移動先のエリアを通過可能であると判定した場合(S16でYes)は、移動設定手段221が移動を続行する旨の命令を駆動系10に送信し、移動先のエリアを通過する(S17)。
一方、通過許容値が示している通過できる可能性が判定基準値よりも低い場合、すなわち、通過判定手段220が移動先のエリアを通過不能であると判定した場合(S16でNo)は、移動設定手段221が移動の停止、若しくは進行方向を変更する旨の命令を駆動系10に送信し、移動を停止するか移動先を変更する(S18)。
以上のように、本実施形態に係る移動装置1によれば、移動エリア内を撮像した撮像画像内の領域が分類手段210により被写体の種類ごとに分類され(区分けされ)、さらに、各領域には、被写体の種類に応じて該領域に写っている場所(すなわち、移動先のエリア)を通過できる可能性を示す通過判定情報が通過情報設定手段212によって設定される。
また、移動装置1は、被写体の種類ではなく、移動先のエリアを移動できる可能性を示す通過判定情報に基づいて移動先エリアの通過の可不可を判定するため、例えば、移動エリア内に障害物が存在する場合であっても、通過判定情報に基づいて通過の可不可(すなわち、移動先のエリアに存在する障害物が移動を阻害するものであるか否か)を判定したうえで、移動の仕方、具体的には、移動装置1が置かれた移動エリア内(本実施形態では農業施設内)の状況に応じた最適な移動の仕方を決めることができる。
従って、移動装置1は、人間による判断のように、通過可能なエリアをより詳細に見分けて動くことができる、という優れた効果を奏し得る。特に、農業施設内においては、好ましく用いることができる。
また、移動装置1では、撮像領域内の領域を少なくとも、通路、第一の障害物、第二の障害物の何れかに分類したうえで、通路領域には通過が可能である旨を示すように通過判定情報を設定し、第二の障害物領域には第一の障害物領域よりも通過できる可能性が高いことを示すように通過判定情報を設定するため、確実に通過できる通路に加えて、障害物が移動を阻害するものであるか否かを見分けることができるため、通行可能なエリアをより詳しく見分けることができる。
さらに、本実施形態の移動装置1では、立体地図作成手段213によって、移動エリア内の情報が3次元の立体地図で表されるため、被写体の水平方向での広がりと、鉛直方向での高さを把握できるようになり、移動先のエリアに存在する被写体が移動を阻害するものであるか否かを見分け易くすることができる。
なお、本発明の移動装置は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得ることは勿論である。
上記実施形態において、移動装置1は、路面上を走行するように構成されていたが、この構成に限定されない。例えば、移動装置1は、飛行したり水上を移動したりするように構成されていてもよい。
上記実施形態では、移動装置1が農場内を移動することを前提としていたが、この構成に限定されない。例えば、移動装置1は、工場等の農場以外の場所で利用することも可能である。
上記実施形態では、移動装置1の用途として施設園芸で採取した植物の運搬等に利用できることを説明したが、この構成に限定されない。例えば、移動装置1は、移動エリア内(本実施形態では施設園芸内)の状況を監視するために利用することも可能である。
上記実施形態では、制御処理装置12を画像取得手段20、制御情報作成手段21、移動制御手段22として機能させるためのプログラムが記憶装置13に記憶されていたが、この構成に限定されない。例えば、かかるプログラムは、移動装置1と有線通信又は無線通信可能な外部の装置に記憶されていてもよい。
上記実施形態では、撮像装置11が、フレーム14の上部に設置されており、移動先のエリアを見下ろすようにして移動装置の移動エリア内(本実施形態では農業施設内)を撮像できるようになっていたが、この構成に限定されない。例えば、撮像装置11は、フレーム14の下部に設置されており、移動先のエリアを見上げるようにして移動装置の移動エリア内(本実施形態では農業施設内)を撮像できるようになっていてもよい。また、撮像装置11は、上下方向におけるフレーム14の中央部に設置されていてもよい。
上記実施形態において、画像取得手段20は、撮像装置11で作成した撮像画像を直接取得するように構成されていたが、この構成に限定されない。例えば、画像取得手段20は、撮像画像で作成した後に記憶装置13に記憶された撮像画像を取得するように構成したり、撮像画像で作成した後に、移動装置1と有線通信又は無線通信可能な外部の装置に記憶された撮像画像を取得するように構成されていてもよい。
上記実施形態において、特に言及しなかったが、移動制御手段が情報の古い立体モデル、より具体的には、作成後、所定の期間以上更新されていない立体モデルや、更新後、所定の期間以上再更新されていない立体モデルから情報を取得した場合に、制御情報作成手段が該立体モデルの情報を更新するように構成されていてもよい。
上記実施形態おいて、通過判定手段220は、移動先のエリアの通過の可否を判定する際に、通過可能情報や通過不能情報と、判定基準値とを比較していなかったが、この構成に限定されない。例えば、通過判定手段220は、通過可能情報や通過不能情報と、判定基準値とを比較することで、移動先のエリアの通過の可否を判定するように構成されていてもよい。この場合、通過可能情報は、判定基準値よりも移動先のエリアを通過できる可能性が高い情報となり、通過不能情報は、判定基準値よりも移動先のエリアを通過できる可能性が低い情報となる。
上記実施形態において、特に言及しなかったが、通過情報設定手段212は、分類済領域に写る場所の通過の実績に応じて、該分類済領域に設定した前記通過判定情報を更新する更新処理を実行するように構成されていてもよい。
このようにすれば、移動した実績に基づいて移動を制御する基準となる通過判定情報を更新できるため、該通過判定情報を移動エリア内の現状に合わせる(通過判定情報における誤った情報を修正する)ことで、移動先のエリアが通過可能であるか否かの判定を誤りにくくすることができる。なお、更新処理は、例えば、ベイズの定理を利用し、立体モデルを構成するボクセルに付与されている通過判定情報や、撮像画像内の画素(分類済領域)に付与されている通過判定情報を更新するように構成してもよい。
上記実施形態において特に言及しなかったが、移動制御手段22は、通過判定手段220の判定結果に基づいて自律的に移動するための自律移動機能を有することが好ましい。このようにすれば、農園内の作業者がついていなくても、通行可能なエリアを見分けて自律的に移動できるようになる。
また、移動装置1の移動制御手段22は、前記農園内の作業者に追従して移動するための追従機能を有するように構成されていてもよい。このようにすれば、農園内を移動する作業者の近くに移動装置を配置しておくことができるため、作業者が農園内を移動しながら移動装置を利用し易くなる。また、通過判定情報を得ていないエリアを移動する場合や、通過できるはずのエリアの目前で停止してしまった場合であっても、作業者に追従して移動を続けることができる。
上記実施形態において特に言及しなかったが、移動装置1は、移動先の進路の中から安全に移動できる進路を抽出するための進路抽出手段を備えていてもよい。移動装置1が進路抽出手段を備えている場合、移動制御手段22は、進路抽出手段で抽出した進路に沿って移動するように駆動系10を制御すればよい。
通路の両脇には、通過することができない領域が存在する場合があり、進路抽出手段は、このような場合において、移動装置1が通路の両脇の領域(通過することができない領域)に侵入せずに通路を移動できる進路を抽出するように構成されている。すなわち、進路抽出手段は、移動装置1が通路の両脇の各領域との距離をとりながら通路を移動することができる進路を抽出するように構成されている。
より具体的に説明すると、進路抽出手段は、通路と、該通路の両脇のエリアとを識別する識別手段と、該識別手段で識別した通路と該通路の両脇のエリアの位置関係に基づいて進路を導出する導出手段とを有する。
識別手段は、例えば、立体モデルや撮像画像に基づいて通路と、通路の両脇のエリアとを識別するように構成されていればよい。
導出手段は、図7(a)に示すように、両脇に隆起した領域(以下、隆起領域と称する)Uがある通路Aから進路を導出するように構成されていればよい。なお、図7(a)では、隆起領域の一例として畝を図示している。
この場合、導出手段は、各隆起領域Uに対して、隆起領域Uの表面に接し且つ通路Aを通る仮想面Pを設定する仮想面設定手段と、各隆起領域Uに設定した仮想面Pが通路A上で交差する領域を移動装置1の進路として抽出する交差領域抽出手段とを有する。
仮想面設定手段が設定する仮想面Pは、平面であってもよいし曲面であってもよい。
なお、仮想面設定手段は、一方の仮想面Pにおける隆起領域Uとの接点から通路Aとの交点(他方の仮想面Pとの交点)までの距離と、他方の仮想面Pにおける隆起領域Uとの接点から通路Aとの交点(一方の仮想面Pとの交点)までの距離とが同一又は略同一となるようにして、各隆起領域Uに対して仮想面Pを設定するように構成されていればよい。
なお、図7(a)に示すように、隆起領域Uが畝である場合においては、ポール等の構造物Sが立設されている場合があるため、移動先のエリアの撮像画像の中から隆起領域Uに立設されている構造物Sを除外するフィルター手段を備えていてもよい。この場合、前記構造物Sを除外して隆起領域Uと通路Aだけを抽出した状態で(図7(b)参照)、通路Aの両脇の隆起領域Uに仮想傾斜面Pを設定できるため(図7(c)参照)、隆起領域Uの形状をより正確に認識することで、進路Lを抽出する精度を向上させることができるようになる。
また、仮想面設定手段は、畝に植えられている植物等に対して仮想面Pを設定するように構成されていてもよい。この場合、交差領域抽出手段は、かかる仮想面設定手段で植物等に対して設定した仮想面Pが通路A上で交差する領域を移動装置1の進路として抽出するように構成されていればよい。
このようにすれば、畝(隆起領域U)の表面を撮像装置11によって直接測定(撮像)できない場合であっても、植物等の位置を目安にして移動装置1が通路の両脇の各領域との距離をとりながら通路を移動することができる進路を抽出できる。
1…移動装置、10…駆動系、11…撮像装置、12…制御処理装置、13…記憶装置、14…フレーム、20…画像取得手段、21…制御情報作成手段、22…移動制御手段、140…荷台、210…分類手段、211…属性情報付与手段、212…通過情報設定手段、213…立体地図作成手段、220…通過判定手段、221…移動設定手段、A…通路、C1…通路領域、C2…遮蔽物域、C3…遮蔽物領域、C30…第一の障害物域、C31…第二の障害物域、L…進路、P…仮想傾斜面、P1…撮像画像、P2…解析済画像、R…領域、R1…領域、S…構造物、U…隆起領域

Claims (6)

  1. 移動エリア内を撮像した撮像画像を取得する画像取得手段と、
    該撮像画像内の領域を、被写体の種類ごとに分類する分類手段と、
    前記分類手段により分類された分類済領域に対して、前記分類手段で分類した被写体の種類に応じた物性を示す属性情報として、移動の阻害に関係する前記被写体の物性を示す情報を付与する属性情報付与手段と、
    前記分類済領域に対して、前記分類手段で分類した被写体の種類に応じて該分類済領域に写っている場所を通過できる可能性を示す通過判定情報を設定する通過情報設定手段と、
    前記属性情報及び前記通過判定情報に基づいて前記撮像画像内の領域に写る場所の通過の可不可を判定する通過判定手段と、
    該通過判定手段による通過の可不可の判定結果に応じて移動の仕方を制御する移動設定手段と、を備え、
    前記分類手段は、前記撮像画像内の領域における前記被写体が写る領域を少なくとも、前記移動装置が通過可能な通路と、該通路上に位置し且つ移動を阻害する可能性が高い第一の障害物と、該通路上に位置し且つ移動を阻害する可能性が低い第二の障害物との何れかに分類して前記分類済領域とするように構成され、
    前記通過情報設定手段は、前記通路に分類された前記分類済領域には通過が可能である旨を示すように前記通過判定情報を設定し、前記第二の障害物に分類された前記分類済領域には前記第一の障害物に分類された前記分類済領域よりも通過できる可能性が高いことを示すように前記通過判定情報を設定する、ように構成される、
    移動装置。
  2. 前記属性情報付与手段は、前記物性を示す情報と前記被写体のサイズを示す情報とを前記属性情報として前記分類済領域に対して付与するように構成され、
    前記物性には、前記被写体の剛性と重量とが含まれる、
    請求項1に記載の移動装置。
  3. 前記分類手段は、前記撮像画像内の領域における前記被写体が写る領域を前記移動装置が通過不能な遮蔽物に分類可能であり、
    前記通過情報設定手段は、通路に分類されている前記分類済領域には通過可能であることを示す通過可能情報を通過判定情報として設定し、遮蔽物に分類されている前記分類済領域には通過不能であることを示す通過不能情報を通過判定情報として設定し、第一の障害物又は第二の障害物に分類されている前記分類済領域には通過が許容される可能性があることを示す通過許容情報を通過判定情報として設定するように構成されるとともに、前記分類済領域に写る場所の通過の実績に応じて、該分類済領域に設定した前記通過判定情報を更新するように構成される、
    請求項に記載の移動装置。
  4. 前記移動装置から前記分類済領域内に写る被写体までの距離を示す深度情報を取得する深度取得手段と、
    前記被写体の種類が分類され且つ前記通過判定情報が設定された前記分類済領域と、前記深度情報とを取得し、該通過判定情報と該深度情報とを反映させた3次元の立体地図を作成する立体地図作成手段と、を備える、
    請求項1乃至請求項の何れか1項に記載の移動装置。
  5. 前記移動装置は、農園内を移動するものであり、
    前記移動制御手段は、前記農園内の作業者に追従して移動するための追従機能を有する、
    請求項1乃至請求項の何れか1項に記載の移動装置。
  6. 前記移動装置は、農園内を移動するものであり、
    前記移動制御手段は、前記農園内を前記通過判定手段の判定結果に基づいて自律的に移動するための自律移動機能を有する、
    請求項1乃至請求項の何れか1項に記載の移動装置。
JP2018099549A 2018-05-24 2018-05-24 移動装置 Active JP7207645B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018099549A JP7207645B2 (ja) 2018-05-24 2018-05-24 移動装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018099549A JP7207645B2 (ja) 2018-05-24 2018-05-24 移動装置

Publications (2)

Publication Number Publication Date
JP2019204324A JP2019204324A (ja) 2019-11-28
JP7207645B2 true JP7207645B2 (ja) 2023-01-18

Family

ID=68727103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018099549A Active JP7207645B2 (ja) 2018-05-24 2018-05-24 移動装置

Country Status (1)

Country Link
JP (1) JP7207645B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7530601B2 (ja) 2020-12-08 2024-08-08 エア・ウォーター株式会社 システム、収穫機、情報処理装置の制御方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005066809A (ja) 2003-08-27 2005-03-17 Mayekawa Mfg Co Ltd 農作業補助ロボット及び農作業支援システム
US20080027591A1 (en) 2006-07-14 2008-01-31 Scott Lenser Method and system for controlling a remote vehicle
JP2010097360A (ja) 2008-10-15 2010-04-30 Ihi Corp 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法
JP2010225126A (ja) 2009-03-25 2010-10-07 Ihi Corp 移動経路計画装置、移動体制御装置及び移動体
KR101149800B1 (ko) 2011-12-01 2012-06-08 국방과학연구소 초광대역 레이더 와 스테레오 카메라를 이용한 은폐장애물 감지장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04317105A (ja) * 1991-04-17 1992-11-09 Toshiba Corp 移動装置の制御装置
JP3036301B2 (ja) * 1993-06-14 2000-04-24 スズキ株式会社 無人車両用障害物検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005066809A (ja) 2003-08-27 2005-03-17 Mayekawa Mfg Co Ltd 農作業補助ロボット及び農作業支援システム
US20080027591A1 (en) 2006-07-14 2008-01-31 Scott Lenser Method and system for controlling a remote vehicle
JP2010097360A (ja) 2008-10-15 2010-04-30 Ihi Corp 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法
JP2010225126A (ja) 2009-03-25 2010-10-07 Ihi Corp 移動経路計画装置、移動体制御装置及び移動体
KR101149800B1 (ko) 2011-12-01 2012-06-08 국방과학연구소 초광대역 레이더 와 스테레오 카메라를 이용한 은폐장애물 감지장치 및 방법

Also Published As

Publication number Publication date
JP2019204324A (ja) 2019-11-28

Similar Documents

Publication Publication Date Title
US10962376B2 (en) Adaptive mapping with spatial summaries of sensor data
Kümmerle et al. A navigation system for robots operating in crowded urban environments
EP3234718B1 (en) Robotic vehicle learning site boundary
US9704043B2 (en) Systems and methods for capturing images and annotating the captured images with information
KR101769284B1 (ko) 연계된 형태 쌍들을 사용하는 미확인 차량 회수
KR102295824B1 (ko) 잔디깎기 로봇의 지도 생성방법
Konolige et al. Mapping, navigation, and learning for off‐road traversal
Chebrolu et al. Robot localization based on aerial images for precision agriculture tasks in crop fields
RU2763327C1 (ru) Система управления маршрутом и способ управления им
CN107223261A (zh) 人机混合决策方法和装置
CN105835878A (zh) 在乘员视野和传感器检测受阻环境中的自主车辆操作
US20220318552A1 (en) Agricultural analysis robotic systems and methods thereof
Hines et al. Virtual surfaces and attitude aware planning and behaviours for negative obstacle navigation
Revilloud et al. A new multi-agent approach for lane detection and tracking
CN110209157A (zh) 自动收割机的障碍物避让系统及其方法
CN107003136A (zh) 信息处理装置
JP7207645B2 (ja) 移動装置
WO2019137912A1 (en) Computer vision pre-fusion and spatio-temporal tracking
CN110346799A (zh) 一种障碍物检测方法及设备
Velasquez et al. Multi-sensor fusion based robust row following for compact agricultural robots
JP5996421B2 (ja) 障害物検出装置及びそれを用いた車両
Bhattarai et al. Design, integration, and field evaluation of a robotic blossom thinning system for tree fruit crops
Xu et al. Path planning method for Camellia oleifera forest trenching operation based on human-robot collaboration
US20210222385A1 (en) A Railway Weed Control Vehicle
CN111975775B (zh) 基于多角度视觉感知的自主机器人导航方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221222

R150 Certificate of patent or registration of utility model

Ref document number: 7207645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150