JP7064664B2 - 対象認識装置、方法およびプログラムならびに対象除去システム - Google Patents

Description

本発明は、撮影された画像から塊状の対象を認識する対象認識装置、方法およびプログラムならびに対象除去システムに関する。

鉱山の採掘現場では原料の岩石を適度な大きさに破砕し運搬する。この工程では、破砕岩石を篩（グリズリバー）にかけるため、篩を通過せず篩上に堆積した大塊岩石を検出し、破砕または除去することが必要となる。破砕作業のためにはまず大塊岩石を特定する。その結果、鉱山の立抗下小割り室における大塊岩石の除去作業の負担を軽減できる。

従来、画像を利用して岩石を認識する方法が知られている。特許文献１記載のシステムは、カメラにより撮像された画像およびマイクロフォンにより検出された音信号により岩石の流動状態を判別し、採掘場で破砕された岩石をクラッシャーに投入する際に篩いに残った大塊岩石を認識して自動的に大塊岩石を除去する方法が提案されているが、大塊岩石の認識方法の詳細は開示されていない。

特開２００９－２３５７８１号公報

また、上記のように流動状態の監視により大塊岩石の認識が自動的になされるとしても精度が十分でなければ作業員の確認を要することになる。その場合には、作業員自らが大塊岩石を確認し、除去操作を行わなければならず、結局、作業員の配置が必要な状況は変わらない。このような例に限らず、岩石のように凸多面体様の外形を有する塊状の対象を高精度で検出するのは困難である。

本発明は、このような事情に鑑みてなされたものであり、基準面を設定することで凸多面体様の外形を有する塊状の対象の表面を検出でき、塊状の対象を容易に検出できる対象認識装置、方法およびプログラムならびに対象除去システムを提供することを目的とする。

（１）上記の目的を達成するため、本発明の対象認識装置は、塊状の対象を認識する対象認識装置であって、異なる角度で撮影された複数の画像をもとに撮影対象の位置情報を表わす３次元データを生成する３次元データ生成部と、所定の区画について前記３次元データの基準面からの距離が所定の範囲内にあると判定されたとき、前記所定の区画の３次元データを塊状の対象の表面として抽出する表面抽出部と、前記抽出された表面を用いて塊状の対象を認識する認識部を備えることを特徴としている。これにより、凸多面体様の外形を有する塊状の対象の表面を抽出でき、対象を容易に認識できる。その結果、例えば岩石の破砕工程で篩に詰まった大塊岩石を効率よく認識できる。

（２）また、本発明の対象認識装置は、前記表面抽出部が、前記基準面として角度配置の異なる複数の平面を用いることを特徴としている。これにより凸多面体様の外形を有する塊状の対象の表面を容易に抽出できる。

（３）また、本発明の対象認識装置は、前記抽出された表面について前記所定の区画ごとに前記３次元データの代表点を算出する代表点算出部を更に備え、前記認識部は、前記抽出された表面として前記代表点を用いて塊状の対象を認識することを特徴としている。これにより、所定の区画ごとに多数の３次元データではなく、代表点で表面を取り扱うことができるため、処理するデータ量を低減し処理の効率を高めることができる。

（４）また、本発明の対象認識装置は、前記代表点算出部が、前記代表点として、前記所定の区画ごとに前記３次元データの平均位置を算出することを特徴としている。平均位置とすることで所定の区画の塊状の対象の表面を適正に表すことができる。

（５）また、本発明の対象認識装置は、前記３次元データにおける輝度の差を用いて、塊状の対象の輪郭を抽出する輪郭抽出部を更に備え、前記認識部は、前記抽出された表面および輪郭を用いて塊状の対象を認識することを特徴としている。これにより、位置情報から抽出された表面だけでなく、輝度情報から抽出された輪郭をも併用することで、塊状の対象の位置、大きさ、形状などを高精度に認識できる。

（６）また、本発明の対象認識装置は、前記輪郭抽出部が、前記所定の区画内の前記３次元データの輝度が絶対的基準値より小さい条件または位置間での輝度の差が相対的基準値より大きい条件の少なくとも一方を満たす場合に前記所定の区画を輪郭として抽出することを特徴としている。これにより、塊状の対象の表面と空隙との差を捉えることができ、塊状の対象の輪郭を抽出できる。

（７）また、本発明の対象除去システムは、前記複数の画像を撮影するカメラと、上記の（１）から（６）のいずれかに記載の対象認識装置と、前記認識された塊状の対象が所定時間同じ位置に留まっているとき、前記同じ位置に留まっている塊状の対象を除去対象として判定する判定部と、前記除去対象の塊状の対象を破砕または移動する小割り機と、を備えることを特徴としている。これにより、岩石の破砕工程で篩いに詰まった大塊岩石を除去できる。その結果、岩石の小割り作業を自動化でき、操作員の負担を軽減できる。

（８）また、本発明の対象認識方法は、塊状の対象を認識する方法であって、異なる角度で撮影された複数の画像をもとに撮影対象の位置情報を表わす３次元データを生成するステップと、所定の区画について前記３次元データの基準面からの距離が所定の範囲内にあると判定されたとき、前記所定の区画の３次元データを塊状の対象の表面として抽出するステップと、前記抽出された表面を用いて塊状の対象を認識するステップと、を含むことを特徴としている。これにより、基準面を設定することで凸多面体様の外形を有する塊状の対象の表面を抽出でき、対象を容易に認識できる。

（９）また、本発明のプログラムは、塊状の対象を認識するプログラムであって、異なる角度で撮影された複数の画像をもとに撮影対象の位置情報を表わす３次元データを生成する処理と、所定の区画について前記３次元データの基準面からの距離が所定の範囲内にあると判定されたとき、前記所定の区画の３次元データを塊状の対象の表面として抽出する処理と、前記抽出された表面を用いて塊状の対象を認識する処理と、をコンピュータに実行させることを特徴としている。これにより、基準面を設定することで凸多面体様の外形を有する塊状の対象の表面を抽出でき、対象を容易に認識できる。

本発明によれば、凸多面体様の外形を有する塊状の対象の表面を抽出でき、さらに塊状の対象の位置、大きさ、形状を容易に精度よく認識できる。

本発明の対象除去システムの機能的構成を示す図である。 本発明の対象除去システムの動作を示すフローチャートである。 本発明の対象認識装置の動作を示すフローチャートである。 ３次元データの代表点抽出の各領域を示す模式図である。 代表点算出の処理を示す模式図である。 （ａ）、（ｂ）それぞれカメラと代表点の相対位置関係を示す模式図および基準面を用いた表面抽出処理を示す模式図である。 単一の基準面による表面抽出後の画像データを示す図である。 （ａ）、（ｂ）それぞれ光軸に垂直な基準面を用いる場合および光軸に垂直な面から傾いた基準面を用いる場合の処理を示す模式図である。 複数の基準面による表面抽出後の画像データを示す図である。 表面抽出に加え輪郭抽出を行った場合の処理後の画像を示す図である。

以下に、本発明の実施形態について説明する。なお、説明中の記載値は一例であり、認識しようとする対象の大きさや形状、カメラや処理装置の性能等によって記載値以外の数値をとることもある。

［第１の実施形態］
（対象除去システムの構成）
対象除去システム１００は、自動的に塊状の対象が除去対象であるかを認識し、除去対象である場合にはその除去が可能なシステムである。例えば、鉱山の採掘現場等で、自動的に破砕岩石堆積中の大塊岩石を特定して大塊岩石を除去できる。なお、鉱山から採掘される岩石は、セメント原料に限らず、コンクリートの骨材や無機材料の原料としても用いられる。

図１は、対象除去システム１００機能的構成の一例を示す図である。対象除去システム１００は、カメラ１０５、コンピュータ１１０（対象認識装置）、操作部１４０、表示部１５０および小割り機２００を備えており、カメラ１０５で撮影した画像に由来する撮影領域の表面を表わす３次元データ（ステレオビジョンの原画像）から特定した岩石３００を小割り機２００で除去できる。表面を表わすデータであるため、岩石３００の裏側や隠蔽された岩石３００は見えないが、岩石３００の認識には問題ない。

カメラ１０５は、複数の異なる角度の画像を撮影する。カメラ１０５は、制御や処理を容易にする観点から所定の位置に複数台設けられているステレオビジョンシステムを構成することが好ましい。例えば死角を避けるためカメラ１０５は左右に１台ずつ固定して設置し、それぞれに右半面、左半面を担当させることができる。なお、１台のカメラ１０５を移動させて死角を作らないように複数の角度の画像を撮影してもよい。カメラ１０５のフレームレートは、特に限定されないが、少なくとも数秒に一回の判定に必要な速度を満たしていることが好ましい。データ転送速度に応じて設定可能であり、例えば２０ｆｐｓと設定できる。

（対象認識装置の構成）
コンピュータ１１０は、メモリおよびＣＰＵを備えており、例えばＰＣを用いることができる。コンピュータ１１０は、メモリに記憶されたプログラムを実行することで動作し、塊状の対象を認識する対象認識装置としても機能する。

塊状の対象は、凸多面体様の外形を有する対象を指し、本実施形態では岩石３００を指すが、これに限定されず金属等の各種材料の塊や廃材も含まれる。したがって、対象認識装置は、これのみで対象除去システム１００以外にも応用可能である。なお、一連の判別計算は１回数百ミリ秒かかる場合もあるが、コンピュータ１１０には数秒に１回の頻度で計算する能力があればよい。

コンピュータ１１０は、機能的構成として、３次元データ生成部１１１、表面抽出部１１２、代表点算出部１１３、輪郭抽出部１１４、認識部１１５、判定部１２０および小割り機制御部１３０を備えている。コンピュータ１１０は、カメラ１０５で撮影した画像を受信する。

３次元データ生成部１１１は、異なる角度で撮影された複数の画像をもとに撮影領域の表面を表わす３次元データを生成する。３次元データの生成では、角度の異なる２枚の画像から同一点を探索し、視差を求め、視差に基づいて同一点の３次元位置を算出する。例えば、撮影環境内に存在するパターンとは明確に区別できる図形をマーカーとして用いることにより、同一点の探索が容易になり、それに伴う誤差の減少により正確な３次元位置を得ることができる。マーカーとしては白黒の交差する図形標識を撮影領域内に設置することが可能である。

例えば、ＣＣＤカメラ２台によるステレオビジョンシステムからは数十万点の点で構成される点群として３次元データが得られる。画像からは各点のデータとして、３次元座標と輝度が得られる。３次元座標は、例えばカメラ１０５の光軸をｚ軸、ｚ軸に垂直で鉛直面に平行な軸をｙ軸、ｚ軸およびｙ軸に垂直な軸をｘ軸としたときのｘ、ｙ、ｚ座標である。なお、本実施形態ではコンピュータ１１０側で３次元データを生成する構成を採っているが、カメラ１０５側で３次元データを生成してコンピュータ１１０に送信する構成であってもよい。

表面抽出部１１２は、所定の区画について生成された３次元データが、ある基準面からの距離が所定の範囲内（すなわち各点の基準面からの距離の差が所定の範囲内）にあると判定されたとき、判定に用いられたデータから塊状の対象の表面を抽出する。例えば、５×５＝２５点の区画について３次元位置から平面度を判定し、一定の基準を満たす場合にはその区画を平面と判定している。なお、所定の区画の好ましい大きさは、設備の規模、塊状の対象の大きさ、形状、成分、破砕方法などで異なるが、例えば実験を行った鉱山における岩石の小割り作業においては、前記５×５＝２５点は、認識すべき岩石の表面の２０ｍｍから１００ｍｍ四方に相当する。

基準面は、篩３５０の載置面を基準にして例えばｘ軸回りに－２０°以上４０°以下の範囲の傾きを有し、ｙ軸回りに－１０°以上１０°以下の範囲の傾きを有することができる。これにより、塊状の対象の表面に対し平行に近い基準面を設定でき、塊状の対象の表面を確実に抽出できる。また、基準面からの距離の所定の範囲は、例えば４０ｍｍ未満とすることができる。これら基準面の傾き、および基準面からの距離の所定の範囲は、設備の規模、篩３５０の目開きの大きさ、破砕する塊状物の種類や成分、破砕方法などにより最適値が異なり、前記数値以外の範囲をとることもある。参考までに記載すると、前記所定の区画の大きさ、前記基準面の傾き、および基準面からの距離の例示の数値は、石灰石鉱山における篩の目開きが８００ｍｍの岩石破砕設備で実験を行った場合のものである。

表面抽出部１１２は、基準面として角度配置の異なる複数の平面を用いることが好ましい。角度配置の異なる複数の基準面を用いることで塊状の対象の傾斜した外形表面を精度よく抽出できる。

代表点算出部１１３は、所定の区画ごとに、生成された３次元データの代表点を算出する。これにより、所定の区画ごとに代表点で表面を取り扱うことができるため、処理するデータ量を低減し処理の効率を高めることができる。代表点算出部１１３は、代表点として、所定の区画ごとに生成された３次元データの平均位置を算出することが好ましい。これにより、平均位置とすることで所定の区画の塊状の対象の表面を適正に表すことができる。なお、平均値に代えて中央値、最頻値を用いることもできる。

輪郭抽出部１１４は、３次元データにおける輝度の差を用いて、塊状の対象の輪郭を抽出する。輪郭抽出部１１４は、３次元データの輝度の最大値と最小値との間を２５６階調で表したときに所定の区画内の３次元データの輝度が絶対的基準値より小さい条件または位置間での輝度の差が相対的基準値より大きい条件の少なくとも一方を満たす場合に、所定の区画（代表点）を輪郭として抽出することが好ましい。これにより、塊状の対象の表面と空隙との差を捉えることができ、塊状の対象の輪郭を抽出できる。

認識部１１５は、抽出された表面を用いて塊状の対象を認識する。具体的には、処理された画像からラベリング処理（画像処理で連続した領域を抽出する手法）によって連続した部分を抽出し塊状の対象と判定する。これにより、基準面を設定することで凸多面体様の外形をもつ塊状の対象の表面を抽出でき、塊状の対象を容易に検出できる。その結果、例えば岩石の破砕工程に応用すれば篩３５０に詰まった大塊岩石を効率よく認識できる。認識部１１５は、抽出された塊状の対象の表面だけでなく輪郭を用いて塊状の対象を認識することが好ましい。表面の位置情報だけでなく、輝度の差も重畳して用いることでエッジが明確になり、確実に塊状の対象を認識できる。

判定部１２０は、認識された塊状の対象が所定時間同じ位置に留まっているとき、同じ位置に留まっている塊状の対象を除去対象として判定する。採掘された岩石を篩にかける工程では、同じ位置に滞留している岩石は、篩３５０を通らない大塊岩石とみなしてよい。

小割り機制御部１３０は、小割り機２００が大塊岩石を除去するための動作を制御する。すなわち、判定部１２０で篩３５０に滞留している大塊岩石として認識された対象を目標として、岩石を破砕するための位置に小割り機２００の先端を移動させ、先端が大塊岩石を破砕または移動するよう自動操作することができる。

操作部１４０は、例えばキーボードやマウス等であり、作業者による操作を受け付ける。作業者は操作部１４０を操作することで、一連の動作のパラメータの調整や停止、再開等が可能である。小割り機２００の動作は、自動であることが好ましいが、操作部１４０による操作が可能であってもよい。表示部１５０は、カメラ１０５が撮影した画像や処理後の画像（表面や輪郭が抽出された画像）や操作に必要なユーザインターフェースを表示する。

小割り機２００は、特に指定しないが例えば、ブームおよびアーム等からなる直列リンク機構を有し、先端に装着されたブレーカにより除去対象の塊状の対象を破砕または移動する。直列リンク機構の各関節には回転角度を検出するセンサ、各油圧アクチュエータには発生力または反力を検出する油圧センサが装着されていてもよい。そして、これらのセンサにより検出される信号および小割り機制御部１３０から出力される制御データに基づいて、油圧アクチュエータにより直列リンク機構が動作されるものでもよい。

このようにして、岩石の破砕工程で篩３５０に詰まった大塊岩石を除去できる。その結果、例えば採掘された岩石を篩にかける工程である、石灰石鉱山の立抗下小割り室における大塊岩石の小割り作業を自動化でき、操作員の負担を軽減できる。

（対象除去システムの動作）
上記のように構成された対象除去システム１００の動作の一例を説明する。図２は、対象除去システム１００の動作を示すフローチャートである。まず、カメラ１０５で撮影した複数の角度からの撮影対象の画像をコンピュータ１１０で受信する（ステップＳ１）。受信した画像から表面を表す３次元データを生成する（ステップＳ２）。生成された３次元データを用いて岩石を認識する（ステップＳ３）。岩石の認識処理の詳細は、対象認識装置の動作として後述する。

認識された岩石のうち篩の位置で滞留しつづける岩石があるか否かを判定する（ステップＳ４）。滞留する岩石があると判定された場合には、その岩石を大塊岩石と認識し、小割り機２００を制御して大塊岩石を除去し（ステップＳ５）、終了する。滞留する岩石が無いと判定された場合にはそのまま終了する。

（対象認識装置の動作）
次に、対象認識装置の動作の一例を説明する。図３は、対象認識装置の動作を示すフローチャートである。まず、３次元データ（３次元の位置情報）を用いて所定の区画（例えば、２５ピクセルで１区画）の各々が平面か否かを判定する。判定基準は所定の区画内のすべての位置で、ある基準面からの距離が所定の範囲内にあると判定されたとき、平面であると判定し、塊状の対象の表面として抽出する（ステップＴ１）。例えば、ある基準面に対して１区画２５点の高さ方向の差異の最大値（最大奥行き距離）が４０ｍｍ未満なら平面、４０ｍｍ以上ならエッジ（輪郭）と判定できる。

１区画について、複数の異なる角度の基準面に対して上記の計算および判定を行ない、例えば全ての基準面が６０面だとしたらそのうちのどれか１つでも平面であると判定された場合には、その区画は平面と判定される。平面と判定された区画については、その区画の代表点を算出する（ステップＴ２）。そして、平面と判定された区画をつなぎ合わせて塊状の対象の表面候補として扱う（ステップＴ３）。すなわち、複数の区画について抽出された表面を統合する。これにより、塊状の対象の露出している表面を特定することができる。ステップＴ３以降の計算では、表面を代表点で表わして処理することで処理の効率化を図ることができる。

一方、３次元データの輝度情報を用いた輪郭の抽出も行う。例えば３次元データの輝度の最大値と最小値との間を２５６階調で表したときに所定の区画内の輝度の最大値が３５以下か否か、最大値と最小値との差が５０階調以上か否か、最大値が１２８階調以下でかつ最大値と最小値との差が３０階調以上か否かのいずれかの条件を満たすか否かを判定し、大きい場合には所定の区画を輪郭として抽出することができる（ステップＴ４）。

次に、それぞれ得られた表面のデータと輪郭のデータとを重畳する（ステップＴ５）。そして、重畳されたデータを用いて塊状の対象を認識する（ステップＴ６）。このようにして重畳されたデータでは、表面と輪郭が明確になるため、塊状の対象の認識が容易になる。なお、上記の例では表面と輪郭を統合して塊状の対象を認識しているが、表面の抽出処理のみで塊状の対象を認識してもよい。

（代表点の算出）
点群処理の高速化を図るためには、原画像の画素をそのまま用いるよりも原画像の画素の区画に対応する点群を平均化しその値をその区画の代表値とすることが好ましい。各点の３次元位置はノイズ等の影響により微小な誤差を含んでいるが、この平均化によりこの誤差が除去できる。

図４は、３次元データの代表点抽出の各領域を示す模式図である。図４に示すように、撮影領域Ｆ０に対して、領域内の物体の表面を表す３次元データＰ０が生成される。この３次元データＰ０に対して、例えば所定の区画Ｒｙｘ、Ｒｙ＋１ｘ、Ｒｙｘ＋１、Ｒｙ＋１ｘ＋１が設定され、それぞれの区画の代表点が算出される。例えば、数十万点の原点群を１万点ほどの代表点に集約することが可能である。

図５は、代表点算出の処理を示す模式図である。図５に示す原点群Ｐｙｘ、Ｐｙ＋１ｘ、Ｐｙｘ＋１、Ｐｙ＋１ｘ＋１は、それぞれの所定の区画内の３次元データを示す原点群である。そして、所定の区画内の原点群に対してそれぞれ平均を示す代表点Ａｙｘ、Ａｙ＋１ｘ、Ａｙｘ＋１、Ａｙ＋１ｘ＋１を算出できる。平均化は、各軸成分の平均値および輝度の平均値を算出することで行なうことができる。

（単一の基準面による表面の抽出）
図６（ａ）、（ｂ）は、それぞれカメラ１０５と代表点の相対位置関係を示す模式図および基準面による表面抽出処理を示す模式図である。図６（ａ）に示すように、水平面からθだけ傾いた篩３５０の面（載置面）に岩石３００が載っている際に、各原点群Ｐｙｘは、仮想的に岩石表面付近に設けられる。これに対し、カメラ１０５の光軸ｚが表わされている。なお、θは、例えば１２°であるが、設備に応じた数値となる。

また、図６（ｂ）に示すように、カメラ１０５の光軸ｚに対して垂直な面Ｑ０を基準面として設定し、これに対して最遠奥行き面Ｑｍａｘ、最近奥行き面Ｑｍｉｎを設けることができ、これらの面の範囲に原点群Ｐｙｘが入ると、原点群Ｐｙｘは連続した平面上にあると判断し、塊状の対象の表面として抽出する。

図７は、単一の基準面による表面抽出後の画像データを示す図である。図７に示す例では撮影領域Ｆ０において、３次元データの代表点が明るい色と暗い色で区別されて表示されている。明るい色を示す位置が表面として抽出された点を表しており、暗い色を示す位置が表面として抽出されなかった点を表している。図７に示すように、この処理により概ね岩石の形状が表れる。

（複数の基準面による表面の抽出）
発破による破砕岩石、特に大塊は破砕面によって構成される多面体状を呈することが多いので、大塊の判別のために岩石の３次元形状から「面」の抽出を行うことが好ましい。３次元形状から面を抽出するには、基準面からの距離が閾値以下の領域＝面とする方法がある。１つの基準面による抽出ではその基準面と平行な面のみが抽出されるので、複数の基準面を用いて抽出を行うことが好ましい。これにより凸多面体様の外形を有する大塊が検出できる。

図８（ａ）、（ｂ）は、それぞれ光軸ｚに垂直な基準面を用いる場合および光軸ｚに垂直な面から傾いた基準面を用いる場合の処理を示す模式図である。カメラの光軸ｚに対して傾いている岩石の所定の表面３０１に対して、図８（ａ）に示すように光軸ｚに垂直な面Ｑ０を基準面として用いた場合には、表面３０１の代表点Ａｙｘの最近奥行き面Ｑｍｉｎと最遠奥行き面Ｑｍａｘとの間が大きくなることにより、平面と認識されない場合がある。

一方、図８（ｂ）に示すように面Ｑ０に対して傾いた載置面に平行な面Ｗ０を基準面として用いた場合には、表面３０１の代表点Ａｙｘの最近奥行き面Ｗｍｉｎと最遠奥行き面Ｗｍａｘとの間が小さくなり平面と認識される確率が高くなる。そのため、複数の基準面を用い、かつ基準面からの適切な距離を設定することで表面３０１の抽出が可能となる。光軸ｚに垂直な面を中心の基準面として、わずかに傾斜に差をもたせて複数の基準面を設けて表面を抽出することができる。例えば、光軸ｚに対して垂直な軸ｘ、ｙをとったとき、ｘ軸回転で－１０°から４５°の１２段階の角度とｙ軸回転で－１０°から１０°の５段階の角度（それぞれ５°刻み）を組み合わせて６０種類の基準面で判定し、表面を抽出できる。ｘ軸回転で－２０°から４０°の４段階の角度（２０°刻み）とｙ軸回転で－１０°から１０°の３段階の角度（１０°刻み）を組み合わせて１２種類の基準面で判定し、表面を抽出してもよい。

図９は、複数の基準面による表面抽出後の画像を示す図である。図９に示す例では撮影領域Ｆ０において、明るい色を示す位置が表面として抽出された点を表しており、暗い色を示す位置が表面として抽出されなかった点（すなわち輪郭扱いとなった点）を表している。図９に示すように、複数の基準面により表面を抽出することで、単一の基準面で表面を抽出する場合に比べて岩石の表面を広く捉えることができる。

（輝度による輪郭の抽出）
破砕岩石堆積の画像においては岩石の周囲は明瞭な輪郭線が認められることが多い。画像における岩石の輪郭部分では画像の輝度が低下しているので、輝度がある閾値以下の領域を輪郭部分とすることにより大塊岩石の検出を行うことができる。

しかし、輪郭だけで判別しようとすると、塊状の対象に自体の模様による輝度変化により別の対象と認識される場合や、重なり合った同輝度の岩石を分離することができない場合があるため、表面の抽出と重畳して用いることが好ましい。

（表面と輝度による対象の認識）
図１０は、表面抽出に加え輪郭抽出を重畳して行った場合の処理後の画像を示す図である。図１０に示す例では撮影領域Ｆ０において、明るい色を示す位置が表面として抽出された点を表しており、暗い色を示す位置が表面として抽出されなかった点または輪郭として抽出された点を表している。図１０に示すように、抽出された表面に輪郭形状を重畳することで、表面の抽出のみの場合に比べて岩石の形状が明確に表れる。このようにして、３次元形状に基づく面の抽出と画像の輝度に基づく輪郭部分を重畳することにより相互の欠点が補償され高確率な大塊岩石の検出が可能となる。

１００ 対象除去システム
１０５ カメラ
１１０ コンピュータ
１１１ ３次元データ生成部
１１２ 表面抽出部
１１３ 代表点算出部
１１４ 輪郭抽出部
１１５ 認識部
１２０ 判定部
１３０ 小割り機制御部
１４０ 操作部
１５０ 表示部
２００ 小割り機
３００ 岩石
３０１ 表面
３５０ 篩
Ｆ０ 撮影領域
Ｐ０ ３次元データ
Ｐｙｘ～Ｐｙ＋１ｘ＋１ 原点群
Ａｙｘ～Ａｙ＋１ｘ＋１ 代表点
Ｒｙｘ～Ｒｙ＋１ｘ＋１ 区画
ｚ 光軸
Ｑ０ 光軸に垂直な面
Ｑｍａｘ 光軸に垂直な最遠奥行き面
Ｑｍｉｎ 光軸に垂直な最近奥行き面
Ｗ０ 光軸に垂直な面から傾いた面
Ｗｍａｘ 光軸に垂直な面から傾いた最遠奥行き面
Ｗｍｉｎ 光軸に垂直な面から傾いた最近奥行き面

Claims (9)

1. 塊状の対象を認識する対象認識装置であって、
   異なる角度で撮影された複数の画像をもとに撮影対象の位置情報を表わす原点群である３次元データを生成する３次元データ生成部と、
   所定の区画について前記３次元データの基準面からの距離が所定の範囲内にあると判定されたとき、前記所定の区画の３次元データを塊状の対象の表面として抽出する表面抽出部と、
   前記抽出された表面を用いて塊状の対象を認識する認識部と、を備えることを特徴とする対象認識装置。
2. 前記表面抽出部は、前記基準面として角度配置の異なる複数の平面を用いることを特徴とする請求項１記載の対象認識装置。
3. 前記抽出された表面について前記所定の区画ごとに前記３次元データの代表点を算出する代表点算出部を更に備え、
   前記認識部は、前記抽出された表面として前記代表点を用いて塊状の対象を認識することを特徴とする請求項１または請求項２記載の対象認識装置。
4. 前記代表点算出部は、前記代表点として、前記所定の区画ごとに前記３次元データの平均位置を算出することを特徴とする請求項３記載の対象認識装置。
5. 前記３次元データにおける輝度の差を用いて、塊状の対象の輪郭を抽出する輪郭抽出部を更に備え、
   前記認識部は、前記抽出された表面および輪郭を用いて塊状の対象を認識することを特徴とする請求項１から請求項４のいずれかに記載の対象認識装置。
6. 前記輪郭抽出部は、前記所定の区画内の前記３次元データの輝度が絶対的基準値より小さい条件または位置間での輝度の差が相対的基準値より大きい条件の少なくとも一方を満たす場合に前記所定の区画を輪郭として抽出することを特徴とする請求項５記載の対象認識装置。
7. 前記複数の画像を撮影するカメラと、
   請求項１から請求項６のいずれかに記載の対象認識装置と、
   前記認識された塊状の対象が所定時間同じ位置に留まっているとき、前記同じ位置に留まっている塊状の対象を除去対象として判定する判定部と、
   前記除去対象の塊状の対象を破砕または移動する小割り機と、を備えることを特徴とする対象除去システム。
8. 塊状の対象を認識する方法であって、
   異なる角度で撮影された複数の画像をもとに撮影対象の位置情報を表わす原点群である３次元データを生成するステップと、
   所定の区画について前記３次元データの基準面からの距離が所定の範囲内にあると判定されたとき、前記所定の区画の３次元データを塊状の対象の表面として抽出するステップと、
   前記抽出された表面を用いて塊状の対象を認識するステップと、を含むことを特徴とする方法。
9. 塊状の対象を認識するプログラムであって、
   異なる角度で撮影された複数の画像をもとに撮影対象の位置情報を表わす原点群である３次元データを生成する処理と、
   所定の区画について前記３次元データの基準面からの距離が所定の範囲内にあると判定されたとき、前記所定の区画の３次元データを塊状の対象の表面として抽出する処理と、
   前記抽出された表面を用いて塊状の対象を認識する処理と、をコンピュータに実行させることを特徴とするプログラム。
   

Images