JP7325042B2 - 堆積物認識システムおよび堆積物認識方法 - Google Patents

Description

本発明は、無造作に積まれた堆積物の状態を判断するための状態認識を行うシステムおよび方法であり、特に、廃棄物や砂利等の流動物による堆積状態を判断するためのシステムおよび方法に関するものである。

シュレッダーダストのように裁断された廃棄物や砕石もしくは砂利、石灰やコークスその他の鉱物、金属スクラップその他のスクラップされた物体、または粉体等のように、形状が一定しないような流動性を有する物（以下、総称して「廃棄物等」と称する場合がある）の収集に際しては、例えばダンプトラックによる荷台の傾斜に伴う流下によって集積されることから、無造作に堆積された状態となり得る。このように集積された廃棄物等は、一時的に集積スペースに堆積されるが、その後の処理のために移載されることとなるが、例えば、油圧ショベルまたはクレーンを使用し、これらに装着されるグラップルまたはバケットによって掴み上げまたはすくい上げられ、所定の場所へ移動させる（以下、このような移動のことを「移載」と称することがある）ことが必要となる。また、砂利等の建設用材料については、一時的に保管される場所から所定の場所へ移載することが一般的に行われているところである。

ところが、上述のように、無造作に堆積される流動物をグラップルで掴み上げ、またはバケットですくい上げるような場合には、熟練した油圧ショベルまたはクレーン等の操作者による経験に頼るものであった。これは、堆積物を効率よく掴み上げまたはすくい上げることが要求されるうえ、掴み上げまたはすくい上げるべき場所が不適当な場合には堆積物が崩壊することが懸念されるためであった。

しかしながら、現在では、熟練した油圧ショベルまたはクレーン等の操作者は減少しており、また、手動によって油圧ショベルまたはクレーン等を操作することは、操作者に過度な疲労を与え、時間経過とともに作業効率が低下することとなっていた。

そこで、画像解析手法による堆積物を認識させる技術が開発されている。この技術は、堆積物体の深さ図を取得し、この深さ図に基づいて堆積物体の頂上部における物体層を複数に分割し、分割位置について深さ図を作成したうえで、頂上部の候補物体を認識するものである（特許文献１参照）。

特開２０１７－１１１８１４号公報

前掲の堆積物認識技術（特許文献１）は、不規則な凝着性物体を分割して認識し、堆積物体の頂上部に位置する複数の物体から単一物体を判定できるものである。しかしながら、この技術は凝着性物体による堆積物から頂上部の単一物体を認識して、当該単一物体を確実にロボットアーム等で掴むことを目的とするものであって、単一物体以外の堆積物、例えば廃棄物等について妥当するものではなかった。

本発明は、上記諸点に鑑みてなされたものであって、その目的とするところは、廃棄物等のように単一物体ではない流動性ある堆積物の堆積状態を認識し、掴み上げまたはすくい上げるために最適な場所を決定させることができる堆積物の認識システムおよび認識方法を提供することである。

そこで、堆積物判定システムにかかる本発明は、無造作に積まれた流動性を有する堆積物の状態を判断するための堆積物認識システムであって、撮影手段と、堆積物存在領域判定手段と、高低情報判定手段とを備え、前記堆積物存在領域判定手段は、撮影手段から画像を取得する画像取得手段と、画像取得手段によって取得された取得画像についてキャニー法によるエッジ検出を行うエッジ検出手段と、エッジ検出手段により検出されたエッジについて形態的変換を行うことにより堆積物の存在領域を特定する形態変換手段とを備え、前記高低情報判定手段は、前記画像取得手段によって取得され、または取得画像から変換された平面視における画像のうち前記形態変換手段により特定される堆積物存在領域についてマトリクス状に分割するとともに、分割された個別の領域内の中から最も高位となる点を抽出する高位点抽出手段と、隣接する個別領域において、相互の高位点の距離を計測するとともに、計測された距離が所定の閾値よりも小さい場合に隣接する個別領域を統合させる統合手段と、前記統合手段により統合された個別領域における中心点または高位点を母点として検出する母点検出手段と、前記高位点に基づいて画像をボロノイ分割するボロノイ処理手段と、前記ボロノイ分割によって分割されたボロノイ領域の状態および母点の位置的条件に基づき、所望領域を判定する領域判定手段とを備えることを特徴とする。

上記構成によれば、撮影手段によって撮影された画像に基づき、堆積物存在領域判定手段により、無造作に積まれた状態の堆積物を特定し、その堆積物について高低情報判定手段による高低情報によって、堆積物の堆積状態を判定することができる。具体的には、第１に、堆積物存在領域判定手段により、取得画像の中から判定対象となるべき堆積物のみを区分することができる。第２に、高低情報判定手段により、堆積物の高低差を判定したうえで、全体的なばらつきなどを考慮して所望領域を判定することができる。ここで、所望領域とは、堆積物を効率的に掴み上げまたはすくい上げることができる領域であり、適度な高さを有しており、周辺の起伏が著しくない領域であり、また、堆積物が頻繁に供給されるような領域を意味する。すなわち、頻繁に堆積物が供給される領域は、高い頻度で移載されるべきであり、比較的高い位置に堆積する物を掴み上げまたはすくい上げることが作業能率がよいためである。

上記構成の発明において、前記領域判定手段は、前記ボロノイ領域の大きさ、母点の高さ、前記ボロノイ領域内各点の高さのばらつき、堆積物供給位置から母点までの距離、ならびに、前記堆積物の存在領域の境界からの母点まで距離に基づく評価関数により所望領域を判定するものであることが好ましい。

この場合、評価関数には、ボロノイ領域の状態や母点の位置条件などを個別に設定することができ、これらの個別の条件について重み付けを付加することにより、堆積物が堆積される場所や作業の手順などを考慮し、所望領域を適宜調整することができる。

ここで、上記各構成における発明の前記高位点抽出手段は、特定の高さ以上においてのみ高位となる点を抽出するものであることが好ましい。これは、マトリクス状に分割した個別領域内の全てについて高位となる点を抽出する場合、堆積物が設置されている保管場所の表面から僅かな高さに堆積している堆積物についても掴み上げる対象領域として判断されることから、このような領域を排除させるためである。

上記各構成の発明において、前記画像取得手段は、画像および距離情報を同時に取得するものであり、前記高位点抽出手段は、前記画像取得手段により取得される距離情報に基づいて高位点を抽出するものであるものとすることができる。そのために、前記撮影手段は複数であり、該画像取得手段によって取得される画像は、少なくとも正面視および平面視における画像を含むものとすることができる。

このような構成の場合には、距離情報を含む取得画像を使用することにより、堆積物を三次元的に解析できることとなり、また、画像が正面視および平面視の二種類を取得できれば、高位点の抽出が容易となり、精度も向上させることができる。そして、高位点の抽出の精度を向上させることができる。

なお、前記取得画像、前記形態的変換により特定された領域、前記高位点抽出手段により領域内に抽出された高位の点、前記統合手段により統合された領域、前記母点検出手段により検出された母点、および、ボロノイ処理手段により分割されたボロノイ領域の中から選択される１以上の情報を表示する表示部を備える構成とすることができる。

このような表示部を備えることにより、堆積物判定システムによる判定過程または判定結果を目視によって確認することができる。特に、上述のように判定された結果に基づき、油圧ショベルまたはクレーン等の操作を自動化させる場合、これらに設置するグラップルやバケット等によって掴み上げまたはすくい上げる場所を確認することも可能となる。

上記構成の場合には、前記形態的変換により特定された領域、前記高位点抽出手段により領域内に抽出された高位の点、前記統合手段により統合された領域、前記母点検出手段により検出された母点、および、ボロノイ処理手段により分割されたボロノイ領域の中から選択される１以上の情報は、前記取得画像に重畳させて前記表示部に表示させるものとすることができる。取得画像が一般的な画像であれば、堆積物の状態を画像として確認しつつ、堆積物判定システムによる判定過程または判定結果を目視によって確認することができる。

他方、堆積物判定方法に係る本発明は、取得される画像に基づいて、無造作に積まれた流動性を有する堆積物の状態を判断するための堆積物認識方法であって、画像取得ステップと、画像取得ステップによって取得された取得画像についてキャニー法によるエッジ検出を行うエッジ検出ステップと、エッジ検出ステップにより検出されたエッジについて形態的変換を行うことにより堆積物の存在領域を特定する形態変換ステップと、前記画像取得ステップにより取得され、または取得画像から変換される平面視における取得画像のうち前記形態変換手段により特定される堆積物存在領域についてマトリクス状に分割するとともに、分割された個別の領域内の中から最も高位となる点を抽出する高位点抽出ステップと、隣接する個別領域において、相互の高位点の距離を計測するとともに、計測された距離が所定の閾値よりも小さい場合に隣接する個別領域を統合させる統合ステップと、前記統合ステップにより統合された個別領域における中心点または高位点を母点として検出する母点検出ステップと、前記高位点に基づいて画像をボロノイ分割するボロノイ処理ステップと、前記ボロノイ分割によって分割されたボロノイ領域の状態および母点の位置的条件に基づき、所望領域を判定する領域判定ステップとを含むことを特徴とする。

上記構成によれば、取得画像に基づいて、順次ステップに沿って処理することにより、堆積物の中から所望の領域を判定することができる。この判定結果を利用して、油圧ショベルやクレーン等の移載に使用する機器を制御させることが可能となる。

本発明によれば、廃棄物等のように、単一物体ではない堆積物すなわち流動性ある比較的微細な堆積物について、その堆積状態を認識し、掴み上げまたはすくい上げるために最適な場所を判定させることができる。この判定結果を利用することにより、掴み上げまたはすくい上げるための機器を制御することができ、移載の自動化を可能にするものとなる。

堆積物認識システムに係る実施形態の構成を示す説明図である。 堆積物認識システムにおける測定値の変換状態を示す説明図である。 堆積物認識システムによる処理手順を示す説明図である。 実験に供した堆積物および周辺の状態を概略示した説明図である。 （ａ）は取得画像、（ｂ）はエッジ処理後の画像、（ｃ）は形態変換後の画像である。 （ａ）は高位点抽出処理後の画像、（ｂ）は統合後の画像、（ｃ）はボロノイ分割後の画像である。

以下、本発明の実施の形態を図面に基づいて説明する。まず、堆積物認識システムに係る本発明の実施形態について説明する。図１は、堆積物認識システムの構成を示す構成図である。この図に示されているように、本実施形態の堆積物認識システムＡは、撮影装置（撮影手段）１０と処理装置２０とで構成されている。処理装置２０は、さらに、堆積物存在領域判定処理部（堆積物存在領域判定手段）３０と、高低情報判定処理部（高低情報判定手段）４０とを備える構成としている。これらの処理情報は、適宜記憶部５０に記憶されるものとし、処理後の情報は、出力モジュール６０を介して外部の出力装置７０に出力可能に構成されている。

撮影装置１０としては、３Ｄステレオカメラを使用しており、一般的に３Ｄステレオカメラは、２つのＣＭＯＳセンサを搭載しており、撮影画像とともに３次元データを取得できるものを使用することができる。また、撮影装置１０は、複数設置するようにしてもよい。単一の３Ｄステレオカメラによって３次元データを取得し得ることから、１台の撮影装置１０によって堆積物のデータを取得することも可能であるが、詳細なデータを取得するため、特に、正面視のほかに平面視における情報を取得する場合は、複数の撮影装置１０を使用することが好ましい。なお、撮影装置１０によって取得されるデータは、画像取得モジュール（画像取得手段）１１を介して入力されるものとしている。

処理装置２０はパーソナルコンピュータを使用することができ、各処理をソフトウエアによって行うことができる。堆積物存在領域判定処理部３０は、搬入された廃棄物その他の流動性ある物を無造作に堆積させた状態の堆積物について、その堆積領域を他から区別し、堆積物が存在している領域を判定するための処理部である。具体的には、取得画像に基づいてエッジ処理を施し、取得できたエッジ情報について形態的変換を行うものである。エッジ処理とは、個々の物体の境界線を検出するものであり、堆積物が細かい物体、例えばシュレッダーダストのように塊状のプラスチックを裁断した物体や、砕石または砂利などのような粒状物体についてエッジ処理を施すと、微細かつ無数のエッジを検出することができる。このような無数のエッジの集合体をもって堆積物と認識することができるものである。このエッジ処理は、エッジ検出モジュール（エッジ検出手段）３１によって処理されるものであり、取得画像に基づき、キャニー法によって処理されるものである。

ここで、本実施形態では、微細かつ多数のエッジに対し形態的変換を行うものとしている。形態的変換は、エッジの膨張変換の後にガウシアンぼかし処理を行うことによる。エッジの膨張変換は、エッジ処理で検出される個々のエッジを画像的に膨張させるものであり、隣接するエッジが膨張することにより、隣接するエッジが相互に交錯させることができる。そして、ガウシアンぼかし処理により、交錯する相互のエッジを連続させることができる。このように連続したエッジによって形成される範囲が、全体的に一塊の領域を形成することとなり、この塊状の領域をもって堆積物が存在する集合体（堆積物存在領域）として認識することができるのである。この形態変換処理は、形態転換モジュール（形態変換手段）３２によって処理されるものであり、前述のエッジ処理後の画像に基づいて処理されることとなる。

上述のように、堆積物存在領域判定処理部３０により、堆積物の存在領域が検出されると、高低情報判定処理部４０によって３次元解析が行われる。具体的には、堆積物存在領域の範囲において、平面視における画像をマトリクス状に分割し、分割された個々の領域から高低点を抽出し、その高低点の分布状態によって堆積物の山部および谷部などを判定するのである。

そのために、まずマトリクス状の個々の領域について高位点を抽出する。分割するマトリクスの大きさは適宜調整されるが、画像全体を３６～１４４に分割する。分割された個々のマトリクスの中から最も高位となる点を抽出するのである。この処理は、高位点抽出モジュール（高位点抽出手段）４１によって行われる。なお、マトリクスごとの個別領域について高度（高さ）を抽出する際には、撮影装置１０による距離情報を用いることとなる。また、画像は平面視におけるものを利用するが、鉛直上方から撮影した画像を使用することもできるが、水平方向からの画像であっても距離情報を同時に取得することにより平面視における画像に変換できることから、撮影方向を特定するものではない。なお、画像を分割する数および大きさは、上記に限定されるわけではなく、画像全体に占めるピクセル数などに応じて適宜変更可能である。

高位点抽出に際しては、所定の高位（高さ）以上について処理されるものとすることが好ましい。堆積物が比較的平坦な状態で堆積される場合、例えば油圧ショベルやクレーン等を使用して掴み上げまたはすくい上げるような作業が難しくなるためである。このようなクレーン等を使用する前提として堆積物の状態を確認する場合には、少なくとも０．５ｍ以上の高位点のみを抽出させ、その他の領域は堆積物でないものとして処理させればよい。

マトリクスごとに抽出された高位点は、隣接するマトリクスの高位点との間で統合される。この高位点の統合は、高位点間の距離が計測され、その距離が所定の値（閾値）以下の場合は、相互に高位点が近いものとして統合される。この所定の値（閾値）としては、例えば、分割に使用するマトリクスの対角線の１／２とすることもできるほか、マトリクスの一辺の２／３とすることなどがあり得る。高位点間の距離は、撮影装置１０によって撮影される際の距離データを参照するものである、なお、統合とは、マトリクス状に分割した個々の領域のうち隣接する領域を１つにまとめることであり、統合された領域は、マトリクスが複数個に相当する領域に纏められる。この処理には、統合モジュール（統合手段）４２によって処理される。

高位点が統合された後、専ら統合された領域について、再度高位点を抽出するか、または中心点を検出し、その点をもって母点とする。統合された領域内における距離情報から高位点または中心点を検出するのである。この処理は、母点検出モジュール（母点検出手段）４３によって処理される。

この処理に続けて、修正された高位点に基づき、ボロノイ分割処理を行う。ボロノイ分割により、個別に分散される高位点を中心とするボロノイ領域が形成されることとなる。ボロノイ分割は、前述のように抽出した複数の高位点が隣接する高位点のどれと最も近いかを示すように、ボロノイ境界によって分割するものであり、隣接した高位点を中心に広狭異なる面積に分割されるものである。この処理は、ボロノイ処理モジュール（ボロノイ処理手段）４４によって処理される。

上記のように、ボロノイ分割されたボロノイ領域については、その領域の大きさや、母点のばらつきまたは位置などの情報を得ることができる。すなわち、マトリクス状に分割した領域について高位点を抽出し、さらに近接する高位点に基づいてマトリクスを統合し、高位点を再度抽出し、または中心点を検出することにより統合されたマトリクスについて母点を設定したうえで、ボロノイ分割することによりボロノイ領域を検出していることから、ボロノイ領域の高さや大きさなどの情報に加えて、前記ボロノイ領域内各点の高さのばらつきや、それの位置に基づき、油圧ショベルやクレーン等のグラップルまたはバケットによる掴み上げまたはすくい上げるべき所望領域を特定することができるこのような判断は、領域判定モジュール（領域判定手段）４５によって処理されるものである。

上記のような所望領域は、評価関数を用いて判定することができる。評価関数には、重み付けを用いることにより、個別の要件の優先順位を定めることができる。以下に詳述する。

事前の定義として、図２に示すように、１地点から撮影された画像情報を他の地点の画像情報に変換することが可能となる。すなわちＡ地点（図中左手前）において撮影された画像について、画像表面は＋^ａｘ，＋^ａｙの２次元画面であるが、これに距離（深度）である＋^ａｚを含む３次元情報を取得する。これをＢ地点（図中右手前）における画像に変換する場合は、次の数１に示すようにそれぞれＢ地点からの画像情報に変換することができる。

上記を前提としつつ、所望領域を判定するために、個々の条件に係る値Ｖを検出し、これらを総合して判定することとなる、複数の条件については重み付けＷによって優先度を設定し、その合計の値を所望領域とすることができる。各項目の値については、高さに関するセグメント（領域）について、高さに関する値Ｖ_height,seg、移載装置（油圧ショベル等）からの距離（前端からの距離）に関する値Ｖ_front,seg、領域のばらつき（前記セグメント内各点の高さのばらつき）に関する値Ｖ_var,seg、領域の大きさ（ボロノイ領域の大きさ）に関する値Ｖ_size,seg、安全性（壁面近傍または所定以下の低位領域）に関する値Ｖ_safe,segなどを用いることができる。そして、上記のそれぞれ重み付けＷ_１、Ｗ_２、Ｗ_３、Ｗ_４、Ｗ_５を設定して総合的に評価する。ここで、重み付けＷ_１～Ｗ_５の合計を１．０とする。この場合の評価関数の例を次の数２に示す。なお、評価関数に含む各条件は、これらに限られるものではなく、一部を削除し、他の条件を追加・変更することができる。

ここで、個々の条件について説明する。高さに関する値Ｖ_height,segを次の数３に示す。

また、移載装置（油圧ショベル等）からの距離（前端からの距離）に関する値Ｖ_front,segを次の数４に示す。

領域のばらつき（前記セグメント内各点の高さのばらつき）に関する値Ｖ_var,segを次の数５に示す。

なお、Ｓ_maxは、セグメント（領域）の数を示します。

そして、領域の大きさ（ボロノイ領域の大きさ）に関する値Ｖ_size,segは、水平方向の画像における領域面積Ａ_bound,segとして定義され、数６に示すことができる。

安全性（壁面近傍または所定以下の低位領域）に関する値Ｖ_safe,segは、測定ノイズなどによる不十分な情報領域を排除する意味において、堆積物の画像内におけるピクセルの少ない領域を除外するための安全性を考慮する。これを次の数７に示す。

上記のように、各項目に関する値について、それぞれの重み付けＷ_１～Ｗ_５は、例えば、Ｗ_１＝０．４、Ｗ_２＝０．２、Ｗ_３＝０．２、Ｗ_４＝０．１、Ｗ_５＝０．１とすることができる。これは、高さに関する値に優先度を設けたものであり、堆積物を掴み上げまたはすくい上げる場合には、最も高い領域が優先されるべきであることから、上記のような重み付けとして例示することができる。

このように判断された状態は、例えば、色分け（濃淡）により各種の画像（取得画像または処理画像）に重畳させて出力することができ、出力画像により最良の領域を目視で識別することも可能となる。そして、堆積物を移載装置（油圧ショベルまたはクレーン等）で掴み上げまたはすくい上げる場合において、移載装置のグラップルやブーム等の操作により、グラップル等を当該領域へ移動させるように調整することで、好適に掴み上げ等の作業を実現させることができる。当該移載装置の操作が制御されるものであれば、当該判定結果のデータを制御装置に出力すれば、当該移載装置の操作を好適に制御させることも可能となる。

なお、出力データは、出力モジュール６０を介して出力装置７０に応じて好適なデータとして出力されるものである。出力装置７０としては、モニタ等の画像を表示させる装置である場合のほか、クレーン等が制御装置によって制御されるものである場合には、当該制御装置となる。

上記のようなシステムを使用することにより、次のような処理方法により堆積物の認識が可能となる。図３に堆積物認識方法を示す。なお、図中の各枠内は個々のステップを示すものである。この図に示されるように、画像取得後、エッジ検出を行い、検出されたエッジについて形態変換を行う。さらに、マトリクス状に分割された領域について高位点抽出を行い、その高位点に応じてマトリクスの統合を行ったうえで、母点を検出し、これをボロノイ処理して領域判定するのである。領域判定された情報は出力され、適宜出力装置において利用されることとなる。

本発明の実施形態は上記のとおりであるが、上記実施形態は本発明の一例を示すものであって、これらに限定されるものではない。従って、実施形態に示した要素を変更し、また他の要素を追加することができるものである。

例えば、堆積物認識システムには、記憶部５０が備えられていることから、当初において撮影装置１０から取得される取得画像の情報を記憶させておけば、その後に各種の処理がなされた画像等を当初画像に重畳させることも可能となる。このとき、ボロノイ分割されて得られるボロノイ領域について色分け（濃淡等による区別）により表示させれば、堆積物の高低情報を画像によって目視することができる。また、撮影装置１０は単一であってもよいが、複数の撮影装置１０によって複数の画像を統合させ、３次元情報として処理させてもよい。さらには、取得画像は静止画像でもよいが動画として取得してもよい。なお、図１における画像取得手段としての画像取得モジュール１１は、堆積物存在領域判定処理部３０に含まれた状態に示されていないが、これは、別モジュールとしてもあり得ることを示しており、発明の構成上は、堆積物存在領域判定手段に含むものと観念することができるものである。

次に、実施形態に示した画像処理により堆積物認識が可能か否かを実験した。図４は、実験を行った堆積物および周辺の状態を平面視において示している。実験は、この図に示すように、Ｌ字状に立設させた壁面Ｗによってコーナ状の堆積領域を設け、このコーナ状の堆積領域には無造作に（ダンプトラック等の荷台から排出させた）廃棄物を堆積させた。前記壁面Ｗの一方の端部近傍に１台の３ＤステレオカメラＣを設置した。他方の端部近傍にはクレーン等の移載装置Ｅが設置されることを想定している。上記の状況において、カメラにより堆積物を中心として撮影して静止画像を取得した。その取得画像を図５（ａ）に示す。

上記の取得画像について、キャニー法によるエッジ検出を行った。その処理後の画像を図５（ｂ）に示す。さらに、検出したエッジ画像に基づいて、エッジを膨張させ、ガウシアンぼかしを行い、形態変換させた画像を図５（ｃ）に示す。この図から明らかなとおり、堆積物が存在している領域を一塊の集合体（広い面積の白色部分）として認識することができた。

次に、当該集合体が存在する領域を中心として、平面視においてマトリクス状に分割した領域における高位点検出を行った。このとき、所定の高度（床面から０．５ｍ）以下の領域を排除するため、黒色により領域画像から削除した。このときの状態を図６（ａ）に示す。さらに高位点に基づく統合を行った。そのときの画像を図６（ｂ）に示す。なお、この画像においては、高低の状態が理解できるように、高位を明るく、低位を暗くして示している。最後に、ボロノイ分割によりボロノイ領域を形成（ボロノイ図を作成）した。そのボロノイ領域の画像を図６（ｃ）に示す。なお、ボロノイ領域については、高位を明るく、低位を暗くして表示している。

上記の結果、マトリクス状に分割し、統合したうえで再度高位を検出させた状態、すなわちマトリクス状を基準とした場合における高位および低位の状態と、ボロノイ分割した場合の高低状態とは相違しており、ボロノイ分割した場合がより高低の起伏が緩やかに判別されている。これは、自然に堆積された状態（当初画像を示す図５（ａ））を参照すれば、現実の高低情報に近似したものとなっている。従って、高位かつ緩勾配となっている山状に堆積部分を検出することが可能となっていることが示されている。

なお、移載装置Ｅは、カメラＣの近傍に配置可能であり、この移載装置Ｅに処理装置を搭載することにより、無線による撮影データ（画像および距離等のデータ）を送信させることができ、また、処理装置によって処理された（判別された）結果に応じて移載装置Ｅを作動させることも可能となる。このときの移載装置Ｅの制御についても、前述の画像等の処理に使用した処理装置を兼用させることができる。

１０ 撮影装置（撮影手段）
１１ 画像取得モジュール（画像取得手段）
２０ 処理装置
３０ 堆積物存在領域判定処理部（堆積物存在領域判定手段）
３１ エッジ検出モジュール（エッジ検出手段）
３２ 形態変換モジュール（形態変換手段）
４０ 高低情報判定処理部（高低情報判定手段）
４１ 高位点抽出モジュール（高位点抽出手段）
４２ 統合モジュール（統合手段）
４３ 母点検出モジュール（母点検出手段）
４４ ボロノイ処理モジュール（ボロノイ処理手段）
４５ 領域判定モジュール（領域判定手段）
５０ 記憶部
６０ 出力モジュール
７０ 出力装置
Ａ 堆積物認識システム
Ｃ ３Ｄステレオカメラ
Ｅ 移載装置
Ｈ 堆積物
Ｗ 壁面

Claims (8)

1. 無造作に積まれた流動性を有する堆積物の状態を判断するための堆積物認識システムであって、
   撮影手段と、堆積物存在領域判定手段と、高低情報判定手段とを備え、
   前記堆積物存在領域判定手段は、
   撮影手段から画像を取得する画像取得手段と、
   画像取得手段によって取得された取得画像についてキャニー法によるエッジ検出を行うエッジ検出手段と、
   エッジ検出手段により検出されたエッジについて形態的変換を行うことにより堆積物の存在領域を特定する形態変換手段とを備え、
   前記高低情報判定手段は、
   前記画像取得手段によって取得され、または取得画像から変換された平面視における画像のうち前記形態変換手段により特定される堆積物存在領域についてマトリクス状に分割するとともに、分割された個別の領域内の中から最も高位となる点を抽出する高位点抽出手段と、
   隣接する個別領域において、相互の高位点の距離を計測するとともに、計測された距離が所定の閾値よりも小さい場合に隣接する個別領域を統合させる統合手段と、
   前記統合手段により統合された個別領域における中心点または高位点を母点として検出する母点検出手段と、
   前記高位点に基づいて画像をボロノイ分割するボロノイ処理手段と、
   前記ボロノイ分割によって分割されたボロノイ領域の状態および母点の位置的条件に基づき、所望領域を判定する領域判定手段とを備える
   ことを特徴とする堆積物認識システム。
2. 前記領域判定手段は、前記ボロノイ領域の大きさ、母点の高さ、前記ボロノイ領域内各点の高さのばらつき、堆積物移載装置から母点までの距離、ならびに、前記堆積物の存在領域の境界からの母点まで距離に基づく評価関数により所望領域を判定するものである請求項１に記載の堆積物認識システム。
3. 前記高位点抽出手段は、特定の高さ以上においてのみ高位となる点を抽出するものである請求項１に記載の堆積物認識システム。
4. 前記画像取得手段は、画像および距離情報を同時に取得するものであり、前記高位点抽出手段は、前記画像取得手段により取得される距離情報に基づいて高位点を抽出するものである請求項１～３のいずれかに記載の堆積物認識システム。
5. 前記撮影手段は複数であり、該画像取得手段によって取得される画像は、少なくとも正面視および平面視における画像を含むものである請求項１～４のいずれかに記載の堆積物認識システム。
6. 前記取得画像、前記形態的変換により特定された領域、前記高位点抽出手段により領域内に抽出された高位の点、前記統合手段により統合された領域、前記母点検出手段により検出された母点、および、ボロノイ処理手段により分割されたボロノイ領域の中から選択される１以上の情報を表示する表示部を備えている請求項１～５のいずれかに記載の堆積物判定システム。
7. 前記形態的変換により特定された領域、前記高位点抽出手段により領域内に抽出された高位の点、前記統合手段により統合された領域、前記母点検出手段により検出された母点、および、ボロノイ処理手段により分割されたボロノイ領域の中から選択される１以上の情報は、前記取得画像に重畳させて前記表示部に表示させるものである請求項６に記載の堆積物判定システム。
8. 取得される画像に基づいて、無造作に積まれた流動性を有する堆積物の状態を判断するための堆積物認識方法であって、
   画像取得ステップと、
   画像取得ステップによって取得された取得画像についてキャニー法によるエッジ検出を行うエッジ検出ステップと、
   エッジ検出ステップにより検出されたエッジについて形態的変換を行うことにより堆積物の存在領域を特定する形態変換ステップと、
   前記画像取得ステップにより取得され、または取得画像から変換される平面視における取得画像をマトリクス状に分割するとともに、分割された個別の領域内の中から最も高位となる点を抽出する高位点抽出ステップと、
   隣接する個別領域において、相互の高位点の距離を計測するとともに、計測された距離が所定の閾値よりも小さい場合に隣接する個別領域を統合させる統合ステップと、
   前記統合ステップにより統合された個別領域における中心点または高位点を母点として検出する母点検出ステップと、
   前記高位点に基づく画像をボロノイ分割するボロノイ処理ステップと、
   前記ボロノイ分割によって分割されたボロノイ領域の状態および母点の位置的条件に基づき、所望領域として判定する領域判定ステップと
   を含むことを特徴とする堆積物認識方法。
   

Images