JP7117273B2

JP7117273B2 - 破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置

Info

Publication number: JP7117273B2
Application number: JP2019123223A
Authority: JP
Inventors: 仁志吉坂; 英一成井; 慎平野口; 智二三箇; 陽喜多村; 誠一原; 有年三尾
Original assignee: JX Nippon Mining and Metals Corp; JX Nippon Exploration and Development Co Ltd; NTT Data CCS Corp
Current assignee: JX Nippon Mining and Metals Corp; JX Nippon Exploration and Development Co Ltd; NTT Data CCS Corp
Priority date: 2019-07-01
Filing date: 2019-07-01
Publication date: 2022-08-12
Anticipated expiration: 2039-07-01
Also published as: JP2021008754A

Description

この明細書は、破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置に関する技術を開示するものである。

たとえば、鉱山で岩盤を発破により起砕して得られる岩塊を含む岩石または、構造物の解体作業等で発生するコンクリート片その他の破砕片は、たとえばブレーカによる小割作業を行って所定の大きさとする処理等が施されて、後工程に送られることがある。

ここで、破砕片に対してブレーカで小割を行う場合は一般に、油圧ショベルを操作する作業者が目視にて、多数個の破砕片を含む破砕片群から、ある程度大きなサイズの破砕片を探し出すとともに、独自の判断でブレーカを操作して小割を行う。破砕片は、鉱山から得られた岩石である場合、ブレーカでの小割後に、粉砕プラントに運ばれてクラッシャーに投入され、そこでさらに小さく破砕される場合がある。

これに関する技術として、特許文献１には、「岩石の破砕工程の上部篩いにおいて大塊岩石の詰まりによる閉塞状態を取り除くために大塊岩石の小割りまたは移動の作業を行う大塊岩石破砕作業システムであって、岩石が通過する篩いを撮像するカメラと、岩石の流動音を検出するマイクロフォンと、前記篩いに詰まった岩石を破砕または移動する小割り機と、前記カメラにより撮像された画像およびマイクロフォンにより検出された音信号により岩石の流動状態を判別する判別手段と、前記判別手段より岩石の流動状態が判別できない場合に、前記カメラにより撮像された画像の画像処理を行い、篩いを閉塞している岩石の同定とモデル化を行い、同定された岩石を破砕する作業計画を作成し、作成した作業計画に基づいて、前記小割り機を制御し、岩石の小割りまたは移動の作業を行い、篩いの閉塞状態を解除する制御手段とを備えることを特徴とする大塊岩石破砕作業システム」が記載されている。

また特許文献２には、「ＣＣＤカメラにより岩石の画像を取得し、取得した画像を画像処理装置で処理して輝度情報から岩石の輪郭を抽出し、抽出した輪郭のうち画面中の最も中心に近い輪郭に対して図心を算出し、算出した図心と現在の画面中心との差分を算出し、算出した差分にフィードバックゲインを乗じて重機アームの制御量を算出し、算出した制御量によりアームアクチューエータを作動してブレーカ先端を対象とする岩石に位置決めすることを特徴とするブレーカ破砕作業支援方法」が開示されている。

なお特許文献３には、「鉱物や、岩石や、砂礫や、天然の又は製造された又はリサイクルされた骨材などから選択された複数の試料物体のサイズおよび形を自動解析するための装置であって、ａ）前記物体を流れ内で互いに離隔して搬送ベルトへ供給するためのフィーダ・ユニットと、ｂ）前記搬送ベルトを横切って、コリメートされた光のビームを投じる照明源と、ｃ）前記物体を照明する前記平面ビームの反射の画像を取り込むための少なくとも１つの画像検出器を備える画像取込み手段とを備え、機器の機械的部分およびハードウェア部分を制御するための、コンピュータ・プログラムが格納されている処理手段と、取り込まれた画像を格納するためのメモリとを備える制御システムを更に備え、前記制御システムが、前記物体のサイズおよび形を自動的に決定するために前記物体の一連の画像を処理するように、および前記物体の前記サイズおよび前記形を表すパラメータを返すように適合されるものであり、前記形パラメータは、形状およびアンギュラリティを含めたパラメータを含む、装置」が記載されている。

特開２００９－２３５７８１号公報特開平８－１６５８８０号公報特表２００８－５１２６７２号公報

上述したような岩石の小割作業等の破砕片群に対する処理は、作業者自身が破砕片の認識を行うことから、作業効率の観点で改善の余地があるとともに、作業者の判断ないし技量、経験に依存するところが大きい。特に小割作業の場合は、小割後の破砕片のサイズのばらつきの発生が、粉砕プラント等での後工程の円滑な進行を阻害することもある。

特許文献１では、主に、一定時間ごとに撮影した画像により、篩いでの大塊岩石の詰まりによる閉塞状態を判別することとし、篩いを閉塞させている特定の岩石単体の三次元形状を取得して、岩石を同定することとする。また特許文献２も、ブレーカにより破砕しようとする単一の岩石に対する画像処理に着目したものである。特許文献３でも、コンベヤ・ベルト上で送られる個々の物体を対象としている。
特許文献１～３のこのような手法は、破砕片群に含まれる複数個の破砕片の検出をリアルタイムで行うことに適しているとは言い難い。

この明細書では、岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片をリアルタイムで有効に検出することのできる破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置を開示する。

この明細書で開示する破砕片検出方法は、岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片を検出する方法であって、前記破砕片群を複数の異なる位置及び／又は方向から撮影して得られる複数の画像情報を取得すること、ならびに、前記画像情報を、機械学習がなされた物体検出システムにより処理し、前記破砕片群の複数個の破砕片をリアルタイムで検出することを含み、前記画像情報の画像上にて、前記物体検出システムによる処理で検出された複数個の破砕片のそれぞれを包含する矩形領域を得ることをさらに含むものである。

この明細書で開示する破砕片小割方法は、上記の破砕片検出方法を用いて、前記破砕片群の破砕片の小割を行うというものである。

この明細書で開示する破砕片検出装置は、岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片を検出する装置であって、前記破砕片群を複数の異なる位置及び／又は方向から撮影して得られる複数の画像情報を取得する画像取得部と、前記画像情報を、機械学習がなされた物体検出システムにより処理し、前記破砕片群の破砕片のリアルタイムの検出を実行する処理部とを備え、前記処理部が、前記画像情報の画像上にて、前記物体検出システムによる処理で検出された複数個の破砕片のそれぞれを包含する矩形領域を出力するというものである。

この明細書で開示する破砕片小割装置は、上記の破砕片検出装置を備え、前記破砕片群の破砕片の小割を行うものである。

上述した破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置によれば、岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片をリアルタイムで有効に検出することができる。

一の実施形態の破砕片小割装置のブロック図である。一の実施形態の破砕片検出方法又は破砕片小割装置に用いることのできる画像情報の画像の一例を示す図である。ステレオカメラを破砕片群よりも高所に固定して設置する態様の一例を示す模式図である。ステレオカメラとそのカメラ用ケースを示す断面図である。航空カメラにより複数の画像情報を撮影する態様の一例を示す模式図である。表示部に表示され得る図２の画像と、該画像上の複数個の破砕片のそれぞれを包含する矩形領域とを示す図である。破砕片を包含する最小の矩形領域を算出する手法で用いることのできる回転画像の例を示す図である。

以下に、上述した破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置の実施の形態について詳細に説明する。
一の実施形態の破砕片検出方法は、岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片を検出する方法であって、前記破砕片群を複数の異なる位置及び／又は方向から撮影して得られる複数の画像情報を取得すること、ならびに、前記画像情報を、機械学習がなされた物体検出システムにより処理し、前記破砕片群の複数個の破砕片をリアルタイムで検出することを含むものである。また、一の実施形態の破砕片検出装置は、岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片を検出する装置であって、前記破砕片群を複数の異なる位置及び／又は方向から撮影して得られる複数の画像情報を取得する画像取得部と、前記画像情報を、機械学習がなされた物体検出システムにより処理し、前記破砕片群の破砕片のリアルタイムの検出を実行する処理部とを備えるものである。破砕片検出装置は典型的には、図１に示すように、画像取得部及び処理部の他、表示部及び記憶部等を備える。

なお、破砕片検出装置の処理部は、プロセッサ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、及びＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などから構成される。また、記憶部は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やフラッシュメモリーなどからなり、各種のデータやプログラムを記憶している。処理部は、画像取得部、表示部、及び記憶部などの構成要素と、互いにバスを通じてデータ又は信号の送受信が可能とされており、上記のＲＯＭ又は記憶部に記録された制御プログラムを上記プロセッサで実行することにより、後述する画像処理や物体検出処理などの各種処理を実現する。

（破砕片）
検出の対象とする破砕片は、岩盤又は構造物から得られる複数個の破砕片を含む破砕片群中の複数個の破砕片である。より具体的には、たとえば、鉱山の岩盤を発破等により破砕して形成される岩塊を含む岩石や、構造物の解体作業その他の状況で発生し得るコンクリート片等を、ここでいう破砕片とすることができる。破砕片群に含まれる各破砕片は、サイズ（長径ないし短径等）が、たとえば１０ｃｍ～３００ｃｍである場合があるが、これに限らない。

このような破砕片を含む破砕片群は、鉱山又は構造物の立地で得られた後、所定の場所でブレーカによる小割作業等の所定の処理が施され、その後、後工程に送られることがある。たとえば、鉱山で得られた破砕片としての岩石に対しては、当該所定の処理として、ブレーカを用いて所定の大きさに砕く小割作業が行われる場合がある。小割作業によりある程度小さな寸法となった岩石は、上記の後工程として、粉砕プラントに運ばれてクラッシャーでさらに小さく破砕され得る。

一例としての小割作業では、作業者が、ブレーカを備える建設機械を操作しながら、目視で破砕片群の岩石群を確認し、そのなかで寸法が大きいと思う岩石について自己の判断に基いて、ブレーカで小割を行うことが一般的である。しかるに、この場合は、作業者の判断によるところが大きいので、必要以上に岩石の小割が行われることがあり、また、小割をすべき大きな岩石が残っている割残しが発生することがある。また、小割作業に多くの時間を要することもある。したがって、作業効率を含め作業性の改善が望まれる。

このような状況の下、この実施形態では、後述するように、破砕片検出装置を用いて、複数個の破砕片の検出を同時にリアルタイムで処理し、さらには破砕片のサイズの推定や、それらの検出結果を作業者に伝えるべく表示する場合もある。それにより、破砕片に対する処理を補助し、そのような処理での作業性の飛躍的な改善を図る。また、これによれば、粉砕プラント等の後工程での微細化の適正化を実現できることもある。さらに、検出対象の破砕片に関するデータを収集すること等により、岩盤等を破砕する発破の規格の適正化も達成し得る。具体的には次に述べるとおりである。

（画像取得）
はじめに、画像取得部で、上述した破砕片群を複数の異なる位置及び／又は方向から撮影して得られる複数の画像情報を取得する。そのうちの一つの画像情報の画像１を図２に例示する。ここでは、岩石群としての破砕片群をなす多数個の破砕片２が、左右方向及び奥行き方向に密集するとともに、互いに部分的に重なり合って写っている。当該画像情報は、既に撮影して得られているものを、有線もしくは無線の通信又は記憶媒体等を介して取得してもよいが、破砕片群が存在する現地で実際に撮影して取得してもよい。

画像取得部では、複数の画像情報を取得することとし、それらの画像情報は、複数個の破砕片２を含む破砕片群を、互いに異なる位置及び／又は方向から撮影して得られたものとする。一つの画像情報のみ、又は、同じ位置かつ方向から撮影して得られた画像情報のみでは、一般に多数個の破砕片２が重なり合って含まれ得る破砕片群から複数個の破砕片２を高精度で検出することが困難である。特に、後述するように、破砕片検出装置に、破砕片２の実空間でのサイズを算出させる場合、異なる位置及び／又は方向から撮影された複数の画像情報が有効に用いられ得る。

このような複数の画像情報の取得は、たとえば、二つ以上のレンズ機構及びシャッター機構が搭載されたステレオカメラを用いて、破砕片群を異なる位置及び／又は方向から撮影することにより行うことができる。この場合、ステレオカメラにより撮影された複数の画像情報のうちの一つの画像情報を、後述するように物体検出システムにより処理することができる。当該複数の画像情報のうちの他の画像情報は、上記の一の画像情報との間の画像のずれ及び、レンズ機構間の距離である基線長から、三角測量の原理に基いて、対象とする破砕片２までの距離情報の算出に用いることができる。それにより、後述するように、対象とする破砕片２の実空間でのサイズも算出可能である。

ステレオカメラを用いる場合、該ステレオカメラは、ブレーカを備えるとともに作業者が操作する油圧ショベル等の建設機械に取り付けることができる。より詳細には、ステレオカメラは、建設機械に、建設機械の前方の破砕片群を撮影できる向き及び位置で取り付けることが可能である。ステレオカメラを建設機械に取り付けた場合は、建設機械の動きに追従しながら、それを操作する作業者とほぼ同様の視線で、当該ステレオカメラによる撮影を行うことができる点で有利である。

あるいは、図３に示すように、破砕片群が存在する付近にポール１１を立てて、そのポール１１の上端にステレオカメラ１２を取り付けること等により、ステレオカメラ１２を破砕片群よりも高所に固定して設置することもできる。ステレオカメラ１２による撮影範囲Ｒｓが、撮影すべき破砕片群が存在する領域より狭い場合等には、ステレオカメラ１２の位置をさらに高くしたり、複数台のステレオカメラ１２を設置したりすることもできる。

ステレオカメラ１２は、屋外で用いられ得るので防塵・防水対策等として、図４に示すように、ステレオカメラ１２の前面を除き、上下面、背面及び側面を含む周囲を取り囲むカメラ用ケース１３内に配置することが好ましい。より高い精度の結果を得るため、ステレオカメラ１２の前面には、カメラ用ケース１３の部分が存在しないことが望ましいが、図示の例のように、カメラ用ケース１３の上方側のケース部分をステレオカメラ１２の前面側に延ばして設けた雨除け用等の延長部分１３ａで、該前面を保護してもよい。

ステレオカメラに加えて又は代えて、航空カメラにより撮影された複数の画像情報を用いることもできる。航空カメラを用いる場合における複数の画像情報の撮影は、図５に示すように、航空機、たとえば、いわゆるドローン等の無人航空機１４等に航空カメラを搭載させ、その無人航空機１４が破砕片群の上空を飛行する際に、航空カメラにより破砕片群を含む撮影範囲Ｒｓで撮影することにより行うことが可能である。

航空カメラでも、破砕片群を複数の異なる位置及び／又は方向から撮影して得た複数の画像情報とするが、この場合、該画像情報に、三角測量の原理を利用するオルソ補正を施す。航空カメラによる空中写真は、航空カメラのレンズの中心から各対象物までの距離の違いによる像の位置ずれが生じるからである。オルソ補正は多くの場合、複数の画像情報と、航空機に搭載された位置情報についてのグローバル・ポジショニング・システム（ＧＰＳ）及び角度情報についての慣性計測装置（ＩＭＵ）とを用いて、画像情報に対してオルソ変換を行う。これにより、航空カメラによる画像情報の画像が、真上から見たような歪みのないものになり、画像上の画素サイズは一定となる。オルソ補正後の画像情報を用いることにより、破砕片の実空間でのサイズの算出が可能になる。なお、航空カメラによる空中画像に代えて、衛星画像を用いることも考えられる。衛星画像でもオルソ補正を行う。

なお、無人航空機１４等の航空機にステレオカメラを搭載させ、そのステレオカメラにより画像情報を取得することもできる。この場合、ステレオカメラで複数の異なる位置及び／又は方向からの複数の画像情報が得られる。

ステレオカメラ１２又は航空カメラのいずれを用いる場合も、図３、５に示すように、複数の画像情報を取得する際の各撮影範囲Ｒｓを、その少なくとも一部で重複させることにより、上述した距離情報の算出やオルソ補正を有効に行うことができる。

（画像処理）
上述したようにして複数の画像情報を取得した後は、処理部で、該画像情報を、機械学習がなされた物体検出システムにより処理し、破砕片群の複数個の破砕片をリアルタイムで検出する。それにより、所定の設定時間内に検出された破砕片についての情報を、たとえば作業者その他のユーザの参照などの用に供することができる。その結果、たとえば、破砕片としての岩石の小割作業を効率的に行い得るようになる他、岩盤の破砕に用いる発破の適正化、後工程の破砕プラントのクラッシャーでの微細化の適正化を実現することができる。

ここで、破砕片群は一般に、多数個の類似形状の破砕片が重複して含まれ得ることから、その画像情報に対して単純に物体検出システムを適用しても、それらの各破砕片を検出することが困難である。これに対し、この実施形態では、上述したように、破砕片群を複数の異なる位置及び／又は方向から撮影して得た複数の画像情報より得られる各破砕片までの距離情報及び／又は、オルソ補正後の画像情報を用いながら、物体検出システムを適用することにより、破砕片を有効に検出することができる。より詳細には、物体検出システムで破砕片を認識させ、認識された画像情報の画像を中心とする破砕片とその周辺の破砕片とを区別する画像分類を行うことが好適である。これにより、各破砕片を高い精度で検出することができる。また、この実施形態では、たとえばモバイル式の電子計算機を用いること等により、任意の場所で破砕片を検出できるようにすることも可能であり、特定の大がかりな装置を要しないという利点もある。

このようにして検出された各破砕片を、作業者等のユーザに把握させること等を目的として、図６に示すように、画像情報の画像１上にて、物体検出システムによる処理で検出された複数個の破砕片２のそれぞれを包含する枠状の矩形領域３を得ることが好ましい。処理部は、それらの矩形領域３を、ユーザが視認できるように、ディスプレイ等の表示部に、当該画像１とともに表示させることができる。

矩形領域３は、たとえば、各辺が画像の縦方向又は横方向に平行な長方形又は正方形の枠状のものとすることができる。矩形領域３の大きさは、画像１上での破砕片２の大きさに応じて異なるが、画像１上で、該矩形領域３が対象とする破砕片２を包含する最も小さい大きさとすることができる。矩形領域３の大きさをもとに、各破砕片２までの距離情報及び／又は、オルソ補正後の画像情報から、各破砕片２の実空間でのサイズを算出することができる。なお、破砕片２までの距離情報は、画像１の撮影位置から、破砕片２についての矩形領域３の図心にほぼ対応する破砕片２の重心までの距離とすることができる。

破砕片２の実空間でのサイズをより高い精度で算出するため、図７に例示するように、画像を、たとえば、１０°もしくは１５°等の所定の回転角にて回転させた回転画像１ａ～１ｇのそれぞれで、破砕片２についての矩形領域３ａ～３ｇを得る。いずれの回転画像１ａ～１ｇでも矩形領域３ａ～３ｇは、０°の回転画像１ａでの矩形領域３ａと同じ向きとし、各回転画像１ａ～１ｇに存在する破砕片２を包含する最も小さいものとする。そして、それらの各回転画像１ａ～１ｇにおける複数の矩形領域３ａ～３ｇのなかでもさらに、最も面積が小さくなる最小の矩形領域３を採用することが好ましい。ここでは、０°～９０°までの１５°おきの回転画像１ａ～１ｇを示しているが、所定の回転角を適宜設定することができる。

上述した最小の矩形領域を得る手法の一例についてより詳細に説明すると、各回転画像１ａ～１ｇで破砕片２についての矩形領域３ａ～３ｇを得た後、それらの各矩形領域３の縦方向及び横方向の長さ並びに図心座標を求める。次いで、各回転画像１ａ～１ｇにおける各矩形領域３ａ～３ｇの図心座標を、回転前の０°の回転画像１ａの座標に戻したときに、図心座標間の距離が近くなる矩形領域３ａ～３ｇを、各回転画像１ａ～１ｇにおける同じ破砕片２についてのものとしてグルーピングする。そして、それらの矩形領域３ａ～３ｇのうちの面積が最も小さいものを、上記の最小の矩形領域３とする。

たとえば、最小の矩形領域３の長辺の向き及び長さをそれぞれ破砕片２の長軸方向及び画像上の長軸径とし、短辺の向き及び長さをそれぞれ破砕片２の短軸方向及び画像上の短軸径とすることができる。その上で、先述した破砕片２までの距離情報又は、オルソ補正後の画像情報を用いて、破砕片２の実空間での長軸径及び短軸径に変換することができる。それにより、破砕片２の実空間での実際のサイズに十分近似する破砕片２のサイズが算出可能である。

ところで、表示部には、図６に示すように、画像１と、矩形領域３のうち、実空間での所定のサイズ以上の破砕片２についての矩形領域３のみを表示することができる。この場合、所定のサイズ以上の大きな破砕片２が矩形領域３で囲まれて表示されるので、たとえば、ユーザである作業者が当該破砕片２について小割をする必要があることを認識することができる。
あるいは、表示部には、画像１と、前記矩形領域のうち、実空間でのサイズの所定の下限値以上かつ所定の上限値以下の範囲内に入る破砕片２についての矩形領域３のみを表示することもできる。作業者が目視にて明らかに小割対象と判別できるほど大きな破砕片２については、矩形領域３の表示を要しない場合があるからである。

また、表示部に表示させる複数の矩形領域３は、その形態を、破砕片２のサイズに応じて変更させることができる。具体的には、たとえば、所定の範囲に入るサイズの破砕片２についての矩形領域３と、他の範囲に入るサイズの破砕片２についての矩形領域３との線ないし枠の色彩、太さ及び／又は種類（破線等）その他の形態を異なるものとすることができる。

上述した処理部で用いられる物体検出システムとしては、画像情報から、その画像情報の画像に含まれる物体を検出することのできるシステムであって、機械学習がなされた種々のものを用いることができる。
なかでも、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ、ＣＮＮ）を用いたディープラーニング（深層学習）による物体検出システムは、似たような色彩や形状等の形態の破砕片が互いに重複して多数個含まれることがある破砕片群に対し、ディープラーニングによりそれらの個々の破砕片を認識できるように学習させることが可能である点で有効である。

特に好ましい実施形態の物体検出システムでは、畳み込みニューラルネットワークが複数の畳み込み層及び全結合層を含むものとし、画像情報の画像１を所定のＳ×Ｓのグリッド領域に分割し、それらのグリッド領域を当該畳み込みニューラルネットワークの入力とする。そして、複数の畳み込み層で画像情報の特徴量を抽出し、その後の複数の全結合層で分類等を行うことにより、特定の破砕片２と該破砕片２の周囲の破砕片２とを区別する画像分類を行うことが好適である。この場合、各破砕片２を精度よく検出することができる。

このような物体検出システムの例としては、たとえば、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）（Redmon Joseph, et al. "You only look once: Unified, real-time object etection." arXiv preprint arXiv: 1506.02640 (2015)）、ＦａｓｔｅｒＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ－ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）（Ren Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems（2015））、ＳＳＤ（ＳｉｎｇｌｅＳｈｏｔｍｕｌｔｉｂｏｘＤｅｔｅｃｔｏｒ）（Liu, Wei, et al. "SSD: Single Shot MultiBox Detector." arXiv preprint arXiv:1512.02325 (2015)）等を挙げることができる。これらのなかでも特に、ＹＯＬＯｖ３が好適に用いられ得る。

物体検出システムは、機械学習がなされたものとする。ここで使用することができる教師データは、適宜選択することができるが、破砕片２の形態をある程度絞り込んだものとすることが、検出精度向上の観点から好ましい。具体的には、たとえば小割に供する岩石の場合は小割の対象とする比較的大きな岩石のみ、及び／又は、面積の所定の割合以上が露出している岩石のみを対象とすることができる。また、画像１内の全ての破砕片２だけでなく、個々の破砕片２を目視で判別しやすいものだけを対象としてもよい。また、破砕片２と背景を区別できるように、背景が含まれる画像データを対象とすることもできる。

検出精度の指標には、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ оｖｅｒＵｎｉｏｎ）や、Ｒｅｃａｌｌ（再現率）等を用いることができる。ＩｏＵは、検証用として作成した教師データの枠と認識結果の枠とがどの程度重複しているかによって、検出精度を数値化する方法である。また、Ｒｅｃａｌｌは、たとえば、ＩｏＵ値が０．５以上で認識された教師データの割合として定義することができる。たとえば、ＩｏＵ値が０．６５以上、Ｒｅｃａｌｌ値が０．８以上になるように、学習パラメータを調整することができる。

上記の実施形態では、処理部が、三角測量の原理に基いて、ステレオカメラ１２等により撮像された複数の画像情報から、対象とする岩塊等の破砕片までの距離を算出する場合について説明したが、必ずしもこの場合に限定されない。ステレオカメラ１２に代えて、図示しない単眼カメラ及び距離センサを用いて、当該距離センサから出力される出力信号に基づいて処理部が破砕片までの距離を算出してもよい。距離センサとしては、たとえば、赤外線センサ、超音波センサ、ミリ波レーダ、ＬＩＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）などを用いることができる。このようなレーダ等の距離センサを用いる場合も、破砕片２の検出結果を作業者に知らせるため、単眼カメラ等で画像情報も同時に取得し、その画像情報の画像１とともに矩形領域３を表示部に表示することができる。なおこの場合は、画像情報とレーダ情報との間のレジストレーションを補正する。但し、ステレオカメラ１２の構成のほうが安価で汎用性が高い点において好ましい。

先述したところでは、取得した画像情報について破砕片群の破砕片を物体検出システムに矩形領域で認識させ、この矩形領域の大きさから、破砕片の実空間でのサイズを求める手法について説明した。
これに代えて、画像情報から物体検出システムで破砕片を矩形領域として認識させた後、さらに物体検出システムで矩形領域内の破砕片の三次元形状を認識させ、その三次元形状から破砕片の実空間でのサイズを測定するようにしてもよい。この場合、先に述べた回転画像１ａ～１ｇをも用いた処理は不要になる。
あるいは、物体検出システムで、距離センサ等で得られるレーダ情報の三次元形状から破砕片を直接的に識別させるとともに、その識別した破砕片について破砕片の輪郭を自動で認識させ、それにより得られる三次元形状から破砕片の実空間でのサイズを測定することも可能である。この場合も、回転画像１ａ～１ｇによる処理は不要である。
なお、上記の三次元形状を認識させる処理には、一般に、高分解能の三次元データが必要となり高性能な距離センサが必要となる。また、三次元データの処理は処理負荷が大きく高性能なプロセッサが必要となる。

ここでは、以上に述べた実施形態の破砕片検出方法をコンピュータに実現させるプログラムや、該プログラムが記録されて電子計算機で読み取り可能な記録媒体をも発明の対象とする。

（破砕片の小割）
以上に述べた破砕片検出方法もしくは破砕片検出装置を用いて、破砕片群の破砕片２の小割を行うことができる。ここでは、上記の破砕片２の検出結果に基いて、自動でブレーカ等を作動させることにより、小割作業の自動化を実現することができる。あるいは、検出結果を作業者に参照させ、当該作業者がブレーカ等を作動させて、破砕片の小割を行うものとしてもよい。

このような破砕片２の小割では、上記の検出結果を用いて、破砕片２に対するブレーカ先端の位置決めを補助することが好ましい。
より詳細には、たとえば、先述したように、表示部に、画像１とともに、上記の検出結果としての矩形領域３を表示させる。このとき、矩形領域３として、小割をすべき所定のサイズの破砕片２についての矩形領域３のみを表示させてもよい。そして、破砕片２の重心にほぼ対応する矩形領域３の図心等に、ブレーカ先端が当接するように、作業者の操作を促す。
あるいは、上記の検出結果から、たとえば矩形領域３の図心に対応する破砕片２の重心の座標を算出すること等により、ブレーカを自動で作動させて、ブレーカ先端が矩形領域３の図心等に当接するように制御することもできる。この場合、ブレーカを備える建設機械等も、破砕片検出装置の処理部に有線もしくは無線で接続され得る。

次に、上述したような破砕片検出方法を試験的に実施し、その効果を確認したので以下に説明する。但し、ここでの説明は単なる例示を目的としたものであり、これに限定されることを意図するものではない。

実施例の破砕片検出方法は、破砕片として鉱山の岩塊を対象とするものであり、建設機械の外側にステレオカメラを設置し、ステレオカメラで取得した画像データから、建設機械内の電子計算機で岩塊サイズを計算することとした。この岩塊サイズの計測は、ステレオカメラの画像から一般物体検出システムであるＹｏｌｏｖ３を用いて画像上での岩塊サイズを決定し、ステレオカメラによる距離計測結果から画像上の岩塊サイズを実空間における岩塊サイズに変換することとした。このようにして計算された岩塊サイズが閾値（７０ｃｍ）以上の大きさの岩塊に矩形領域の枠を付けて、運転席前方に設置した液晶ディスプレイに表示させた。

上記の物体検出システムは、所定の鉱山から得られた岩塊を撮影した多数の画像データを教師データとして、機械学習を行った。この機械学習により、訓練用データに対するＩｏＵ値が約０．７２、検証用データに対するＩｏＵ値が約０．６５となり、目安としている値（０．６５以上）に達し、Ｙｏｌｏｖ３の出力値であり、判定した枠に対する確信度を０～１００％で示したｃｏｎｆｉｄｅｎｃｅ（確信度）値の値も概ね８０％以上の高い値を示した。

実施例の破砕片検出方法を用いて、岩塊サイズ計測の精度検証を行った結果、誤差の標準偏差は全体平均でσ_x＝１２．６ｃｍ、σ_y＝１１．５ｃｍであった。但し、サイズ計測精度評価データには複数の岩塊を一つの岩塊に、または一つの岩塊を複数の岩塊に誤認識したデータが含まれていた。誤認識した岩塊を除いた場合の標準偏差を求めたところ全体平均でσ_x＝８．７ｃｍ、σ_y＝７．４ｃｍであった。また、重機が停止している場合と重機のエンジン停止時・アイドリング時・ブレーカ振動時・重機の前後移動時といった重機振動状態との間に、標準偏差の差は認められなかった。
したがって、実施例の破砕片検出方法によれば、重機の作動状態下においても岩塊はリアルタイムに検出され、小割する必要のある岩塊を特定・表示することが十分可能であることが解かった。

１画像
１ａ～１ｇ回転画像
２破砕片
３、３ａ～３ｇ矩形領域
１１ポール
１２ステレオカメラ
１３カメラ用ケース
１３ａ延長部分
１４無人航空機
Ｒｓ撮影範囲

Claims

岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片を検出する方法であって、
前記破砕片群を複数の異なる位置及び／又は方向から撮影して得られる複数の画像情報を取得すること、ならびに、前記画像情報を、機械学習がなされた物体検出システムにより処理し、前記破砕片群の複数個の破砕片をリアルタイムで検出することを含み、
前記画像情報の画像上にて、前記物体検出システムによる処理で検出された複数個の破砕片のそれぞれを包含する矩形領域を得ることをさらに含む破砕片検出方法。
前記矩形領域として、前記画像情報の画像における所定の回転角での複数の回転画像で、当該破砕片が包含される複数の矩形領域のうち、最も面積が小さくなる最小の矩形領域を用いる、請求項１に記載の破砕片検出方法。
前記最小の矩形領域を得るに当り、
各回転画像における矩形領域の図心座標を、回転前の前記画像の座標に戻したときに、図心座標間の距離が近くなる矩形領域を、各回転画像における同じ破砕片の矩形領域としてグルーピングし、それらの矩形領域のうちの面積が最も小さいものを、前記最小の矩形領域とする、請求項２に記載の破砕片検出方法。
前記矩形領域と、前記矩形領域の図心を用いて求められる破砕片までの距離情報とに基づいて、当該破砕片の実空間でのサイズを算出することをさらに含む、請求項１～３のいずれか一項に記載の破砕片検出方法。
前記画像情報の画像と、該画像上の、前記物体検出システムによる処理で検出された複数個の破砕片のそれぞれについての前記矩形領域とを、ユーザが視認できるように表示することをさらに含む、請求項４に記載の破砕片検出方法。
前記画像上に、前記矩形領域のうち、実空間での所定のサイズ以上の破砕片についての矩形領域のみを表示する、請求項５に記載の破砕片検出方法。
前記画像上に、前記矩形領域のうち、実空間でのサイズの所定の下限値以上かつ所定の上限値以下の範囲内に入る破砕片についての矩形領域のみを表示する、請求項５に記載の破砕片検出方法。
前記物体検出システムが、前記画像情報の画像を所定のグリッド領域に分割し、該グリッド領域を入力とする複数の畳み込み層及び全結合層を含む畳み込みニューラルネットワークを用いて、特定の破砕片と該破砕片の周囲の破砕片とを区別する画像分類を行う、請求項１～７のいずれか一項に記載の破砕片検出方法。
前記画像情報から、三角測量の原理に基いて、前記破砕片群の破砕片の実空間でのサイズを算出することをさらに含む、請求項１～８のいずれか一項に記載の破砕片検出方法。
ステレオカメラにより、前記複数の画像情報を撮影して取得すること、ならびに、前記ステレオカメラにより撮影された前記複数の画像情報から、当該撮影位置と前記破砕片群の破砕片との距離情報を取得することをさらに含み、
前記ステレオカメラにより撮影された前記複数の画像情報のうち、一つの画像情報を、前記物体検出システムにより処理する、請求項１～９のいずれか一項に記載の破砕片検出方法。
前記ステレオカメラが、建設機械に取り付けられ、又は、前記破砕片群よりも高所に固定して設置される、請求項１０に記載の破砕片検出方法。
前記ステレオカメラを、その前面を除く周囲を取り囲むカメラ用ケース内に配置して用いる、請求項１０又は１１に記載の破砕片検出方法。
航空カメラにより、前記複数の画像情報を撮影して取得すること、ならびに、前記航空カメラにより撮影された前記画像情報に、オルソ補正を施すことをさらに含み、
前記オルソ補正後の画像情報を、前記物体検出システムにより処理する、請求項１～９のいずれか一項に記載の破砕片検出方法。
前記破砕片群として、鉱山の岩盤から発破により形成された岩石群を対象とする、請求項１～１３のいずれか一項に記載の破砕片検出方法。
請求項１～１４のいずれか一項に記載の破砕片検出方法を用いて、前記破砕片群の破砕片の小割を行う、破砕片小割方法。
前記破砕片検出方法で得られる検出結果を用いて、前記破砕片に対するブレーカ先端の位置決めを補助する、請求項１５に記載の破砕片小割方法。
岩盤又は構造物の複数個の破砕片を含む破砕片群から、複数個の破砕片を検出する装置であって、
前記破砕片群を複数の異なる位置及び／又は方向から撮影して得られる複数の画像情報を取得する画像取得部と、前記画像情報を、機械学習がなされた物体検出システムにより処理し、前記破砕片群の破砕片のリアルタイムの検出を実行する処理部とを備え、
前記処理部が、前記画像情報の画像上にて、前記物体検出システムによる処理で検出された複数個の破砕片のそれぞれを包含する矩形領域を出力する、破砕片検出装置。
前記処理部が、前記画像情報の画像を所定の回転角で回転させた複数の回転画像で、当該破砕片が包含される複数の矩形領域を算出し、それらの複数の矩形領域のうち、最も面積が小さくなる最小の矩形領域を出力する、請求項１７に記載の破砕片検出装置。
前記処理部が、前記最小の矩形領域を得るに当り、
各回転画像における矩形領域の図心座標を、回転前の前記画像の座標に戻したときに、図心座標間の距離が近くなる矩形領域を、各回転画像における同じ破砕片の矩形領域としてグルーピングし、それらの矩形領域のうちの面積が最も小さいものを、前記最小の矩形領域とする、請求項１８に記載の破砕片検出装置。
前記処理部が、前記矩形領域と、前記矩形領域の図心を用いて求められる破砕片までの距離情報とに基づいて、当該破砕片の実空間でのサイズを算出する、請求項１７～１９のいずれか一項に記載の破砕片検出装置。
前記処理部での処理結果を表示する表示部をさらに備え、
前記処理部が、前記表示部に、前記画像情報の画像と、該画像上の、前記物体検出システムによる処理で検出された複数個の破砕片のそれぞれについての前記矩形領域とを表示させる、請求項２０に記載の破砕片検出装置。
前記処理部が、前記表示部に、前記矩形領域のうち、実空間での所定のサイズ以上の破砕片についての矩形領域のみを表示させる、請求項２１に記載の破砕片検出装置。
前記処理部が、前記表示部に、前記矩形領域のうち実空間でのサイズの所定の下限値以上かつ所定の上限値以下の範囲内に入る破砕片についての矩形領域のみを表示させる、請求項２１に記載の破砕片検出装置。
前記物体検出システムが、前記画像情報の画像を所定のグリッド領域に分割し、該グリッド領域を入力とする複数の畳み込み層及び全結合層を含む畳み込みニューラルネットワークを用いて、特定の破砕片と該破砕片の周囲の破砕片とを区別する画像分類を行う、請求項１７～２３のいずれか一項に記載の破砕片検出装置。
前記処理部が、前記画像情報から、三角測量の原理に基いて前記破砕片群の破砕片の実空間でのサイズを算出する、請求項１７～２４のいずれか一項に記載の破砕片検出装置。
前記画像取得部が、ステレオカメラにより前記複数の画像情報を撮影して取得し、
前記処理部が、前記ステレオカメラにより撮影された前記複数の画像情報から、当該撮影位置と前記破砕片群の破砕片との距離情報を取得し、前記ステレオカメラにより撮影された前記複数の画像情報のうち、一つの画像情報を、前記物体検出システムにより処理する、請求項１７～２５のいずれか一項に記載の破砕片検出装置。
前記画像取得部が、航空カメラにより前記複数の画像情報を撮影して取得し、
前記処理部が、前記航空カメラにより撮影された前記画像情報に、オルソ補正を施し、前記オルソ補正後の画像情報を、前記物体検出システムにより処理する、請求項１７～２５のいずれか一項に記載の破砕片検出装置。
請求項１７～２７のいずれか一項に記載の破砕片検出装置を備え、前記破砕片群の破砕片の小割を行う破砕片小割装置。
前記破砕片検出装置で得られる検出結果を用いて、前記破砕片に対するブレーカ先端の位置決めを補助する、請求項２８に記載の破砕片小割装置。