JPWO2020008538A1 - 材質推定装置及びロボット - Google Patents

Abstract

材質推定装置（７０）は、対象物（５）に光線を投射する投光部（２１）及び対象物（５）において反射された光線を受光する受光部（２２）を備えた形状計測センサ（２）と、投光部（２１）と受光部（２２）との位置及び姿勢の関係を示す位置姿勢情報（３１１）と、対象物（５）の材質と反射率との関係を示す反射率材質関係情報（３１２）とを格納するデータベース（３１）と、受光部（２２）が受光した光線に基づいて生成された画像データと位置姿勢情報（３１１）とに基づいて、対象物（５）の表面形状を示す距離画像を生成する形状計測部（３２）と、距離画像と、位置姿勢情報（３１１）と、反射率材質関係情報（３１２）とに基づいて、対象物（５）の材質を推定する材質推定部（３３）とを備える。

Description

本発明は、物体の材質を推定する材質推定装置及びロボットに関する。

物体を操作するロボットは、形状計測センサにより物体の形状及び把持位置を認識した上で物体を把持する。二種類以上の物体を区別して操作する場合、形状計測センサにより物体の形状及び把持位置を認識した上で物体を把持して操作を行うが、物体の材質に応じて把持する力加減の変更が必要になる。

特許文献１には、光又は放射線を把持対象物に照射して非接触で材質を推定する手法が提案されている。

特開２００８−０４９４５９号公報

しかしながら、特許文献１に開示される手法は、蛍光Ｘ線分析装置又は赤外分光光度計測装置といった分析装置を使用する必要があるため、生産現場に適用すると、生産現場に分析装置を設置するスペースを確保する必要がある。生産現場において、ロボットの設置スペースとは別に分析装置の設置スペースを確保することは、作業を行う装置の集積度の低下につながる。すなわち、生産現場においては、特許文献１に開示される手法を適用して物体の材質を推定することは困難であった。

本発明は、上記に鑑みてなされたものであって、分析装置を使用することなく物体の材質を推定できる材質推定装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、対象物に光線を投射する投光部及び対象物において反射された光線を受光する受光部を備えた形状計測センサと、投光部と受光部との位置及び姿勢の関係を示す位置姿勢情報と、対象物の材質と反射率との関係を示す反射率材質関係情報とを格納する記憶部とを備える。本発明は、受光部が受光した光線に基づいて生成された画像データと位置姿勢情報とに基づいて、対象物の表面形状を示す距離画像を生成する形状計測部と、距離画像と、位置姿勢情報と、反射率材質関係情報とに基づいて、対象物の材質を推定する材質推定部とを備える。

本発明に係る材質推定装置は、分析装置を使用することなく物体の材質を推定できるという効果を奏する。

本発明の実施の形態１に係る材質推定装置及びロボットの構成を示す図 実施の形態１に係る材質推定装置の情報処理部の動作を示す図 実施の形態１に係る材質推定装置の材質推定部の動作を示すフローチャート 実施の形態１に係る材質推定装置の材質推定部による立体形状を推定する処理を模式的に示す図 実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における正反射点の定義を示す図 実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における拡散反射点の定義を示す図 実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における二次反射点の定義を示す図 実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における正反射点でありかつ二次反射点でもある点の定義を示す図 本発明の実施の形態２に係る材質推定装置の構成を示す図 本発明の実施の形態３に係る材質推定装置の構成を示す図 実施の形態３に係る材質推定装置の変形例の構成を示す図 実施の形態１、実施の形態２又は実施の形態３に係る情報処理部の機能をハードウェアで実現した構成を示す図 実施の形態１、実施の形態２又は実施の形態３に係る情報処理部の機能をソフトウェアで実現した構成を示す図

以下に、本発明の実施の形態に係る材質推定装置及びロボットを図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１に係る材質推定装置及びロボットの構成を示す図である。材質推定装置７０は、対象物５の三次元形状を取得する形状計測センサ２と、情報処理部３とを有する。ロボット６０は、対象物５を操作する操作部であるハンド４と、操作部であるハンド４を移動させるロボットアーム１を備える。

ロボットアーム１は、ハンド４を移動させる。なお、ロボットアーム１の代わりに直動ステージを用いてハンド４を移動させてもよい。

形状計測センサ２は、光を投射する投光部２１及び投光部２１から投射された光の反射光を受光する受光部２２を有する。投光部２１には、プロジェクタ又はレーザースリット投光装置を適用できる。受光部２２にはデジタルカメラを適用できる。投光部２１と受光部２２との位置及び姿勢の関係が既知な場合、対象物５において反射した投光部２１からの光を受光部２２で受光することにより、三角測量の原理で形状計測センサ２から対象物５までの距離を取得することができる。

情報処理部３は、形状計測センサ２の投光部２１と受光部２２との位置及び姿勢の関係を示す位置姿勢情報３１１、対象物５の材質と反射率との関係を示す反射率材質関係情報３１２及び対象物５の材質と把持パラメータとを関連付けた材質把持パラメータ関係情報３１３が格納された記憶部であるデータベース３１、形状計測センサ２から取得される情報を基に対象物５の表面形状を復元する形状計測部３２、投光部２１が投光した光線が受光部２２で受光されるまでの光線経路に基づき、対象物５の材質を推定する材質推定部３３、材質の推定結果に基づき把持方法又は把持手段を決定する制御部３４を有する。把持パラメータは、ハンド４で対象物５を把持する際に、対象物５を挟む力加減、ハンド４の開閉量及びハンド４が対象物５を挟む把持位置、ハンド４が対象物５を把持する際のアプローチ方向、ロボットアーム１の動作速度及びロボットアーム１の動作軌跡を表す各パラメータを含む。材質把持パラメータ関係情報３１３は、材質名と把持パラメータとを関係付けたテーブルによって実現できる。情報処理部３での処理の詳細は後述する。

ハンド４は、対象物５を挟んで把持するフィンガー形状のグリッパである。

対象物５は、供給箱６に収容されている。対象物５は、特定の材質に限定されない。また、供給箱６に収容される対象物５は、２種類以上の物体が混在してもよい。供給箱６内での対象物５の置き方は、特定の置き方に限定されない。供給箱６内での対象物５の置き方は、ばら積み及び平置きを例示できるが、他の置き方でもよい。

図２は、実施の形態１に係る材質推定装置の情報処理部の動作を示す図である。形状計測部３２には、形状計測センサ２の取得データ４１が入力される。取得データ４１とは、投光部２１が発する光線の投光パターンを受光部２２で撮影した画像のデータを指す。なお、形状計測センサ２の出力信号に基づいて画像データを生成する画像データ生成部を形状センサ２とは別に設け、画像データ生成部が出力する画像データを取得データ４１とすることも可能である。形状計測部３２は、取得データ４１と位置姿勢情報３１１とに基づいて、三角測量の原理で形状計測データ４２を作成する。形状計測データは距離画像と称されるデータであり、受光部２２との距離が近いほど物体が明るく、受光部２２との距離が遠いほど物体が暗く表示される画像データである。したがって、投光部２１が対象物５に光線を投射している場合、距離画像は、対象物５の表面形状を含んでいる。

材質推定部３３には、距離画像である形状計測データ４２、位置姿勢情報３１１及び反射率材質関係情報３１２が入力される。材質推定部３３の具体的な処理フローチャートは後述する。材質推定部３３からは、画像に映っている物体の材質の推定結果である材質推定データ４３が出力される。

制御部３４には、材質推定部３３で推定された材質推定データ４３と、データベース３１に蓄えられた材質把持パラメータ関係情報３１３とが入力される。制御部３４は、推定された材質に適した把持パラメータ４４を、材質把持パラメータ関係情報３１３に基づいて決定し、ロボット６０に出力する。

対象物５が軟らかい材料で形成されている場合、重心から離れた位置を把持すると対象物５が自重で変形する可能性があるため、重心に近い位置で把持することが好ましい。また、対象物５が軟らかい材料で形成されている場合、ハンド４が対象物５に衝突すると対象物５に打痕が残る可能性があるため、ロボットアーム１がハンド４を移動させる速度は低速であることが好ましい。このように、制御部３４は、材質推定データ４３に基づいて、把持パラメータを変更することによってロボットアーム１及びハンド４の動作を変更する。

図３は、実施の形態１に係る材質推定装置の材質推定部の動作を示すフローチャートである。ステップＳ１において、材質推定部３３は、投光部２１が光線を投射する領域の立体形状を形状計測データ４２から推定する。

図４は、実施の形態１に係る材質推定装置の材質推定部による立体形状を推定する処理を模式的に示す図である。投光部２１は、特定の投光パターンで光線を発するため、物体の表面に投射された投光パターンは、物体の表面にあわせて形状が変形する。したがって、材質推定部３３は、形状計測データ４２が示す画像中での明暗のパターンの形状と、投光部２１が発する光線の投光パターンとを比較することにより、投光部２１が光線を投射する領域の立体形状の表面を推定する。

上記のように、形状計測データ４２だけでは、形状計測センサ２から見た物体の表面の形状しか得られない。すなわち、図４に示すように、投光部２１が光線を投射する領域に存在する対象物５までの距離を形状計測センサ２で計測した場合、形状計測データ４２は、対象物５の表面だけが抽出された抜けのある形状を示すデータとなる。そこで、材質推定部３３は、形状計測データ４２に対して、データを補間したり、定義済のプリミティブ形状を当てはめたりすることで、投光部２１が光線を投射する領域に存在する物体の立体形状を推定する。プリミティブ形状とは、直方体、立方体、円柱、球体及び錐体といった幾何学的に単純な形状である。なお、対象物５のＣＡＤ（Computer Aided Design）データとも称されるコンピュータ支援設計データがデータベース３１に記憶されている場合には、ＣＡＤデータを当てはめて対象物５の立体形状を推定してもよい。このように、材質推定部３３は、プリミティブ形状又はＣＡＤデータといった定義済の形状データと形状計測データ４２とを照合することにより、投光部２１が光線を投射する領域に存在する物体の立体形状を推定する。図４には、投光部２１が光線を投射する領域に存在する物体の立体形状の推定結果を破線で示している。図４に示す対象物５は中実の物体であるが、材質推定部３３が推定する立体形状は、外形形状である。すなわち、対象物５が中実であっても中空であっても、材質推定部３３による立体形状の推定結果は同じとなる。

ステップＳ２において、材質推定部３３は、投光部２１が光線を投射する領域に存在する物体の立体形状の表面における反射状態を推定する。立体形状の表面における反射状態の推定とは、位置姿勢情報３１１と、立体形状とをもとに、立体形状の表面の各点が、後述する正反射点１０、拡散反射点１１及び二次反射点１２のいずれに該当するかを判定することを指す。正反射点１０は、鏡面反射点とも称される。

図５は、実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における正反射点の定義を示す図である。立体形状の表面上のある点において、投光部２１から出た光線が鏡面反射して受光部２２に入射する場合に、鏡面反射が発生する立体形状の点を正反射点１０と定義する。正反射点１０となりうる位置は、投光部２１及び受光部２２の距離及び姿勢に基づいて特定可能である。

図６は、実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における拡散反射点の定義を示す図である。立体形状の表面上のある点において、投光部２１から出た光線の拡散反射成分が受光部２２に入射する場合に、拡散反射が発生する点を拡散反射点１１と定義する。投光部２１から出た光線が拡散反射して受光部２２に入射する場合、受光部２２に入射する光線は基準値と同じ強度である。したがって、基準値と同じ強度の光線が受光部２２に入射する場合には、拡散反射点１１であると判断できる。

図７は、実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における二次反射点の定義を示す図である。投光部２１から出た光線が立体形状で二回鏡面反射されて、反射光が最終的に受光部２２に入射する場合に、最後の鏡面反射が発生する点を二次反射点１２と定義する。投光部２１から出た光線が二次反射して受光部２２に入射する場合、受光部２２に入射する光線は基準値未満の強度である。なお、立体形状で二回以上反射された光線は、大きく減衰する。したがって、立体形状で三回以上鏡面反射された反射光、すなわち三次以上の反射光は、無視しても材質推定結果に影響を与える可能性は小さい。実施の形態１においては、三次以上の反射光の考慮は省略する。

図８は、実施の形態１に係る材質推定装置の材質推定部による立体形状の表面の反射状態を推定する処理における正反射点でありかつ二次反射点でもある点の定義を示す図である。立体形状によっては、正反射点１０で反射された光線と、二次反射光との両方が受光部２２に入射する場合がある。すなわち、正反射点１０でありかつ二次反射点１２でもある点が存在しうる。正反射点１０で反射された光線と、二次反射光との両方が受光部２２に入射する場合には、受光部２２に入射する光線は基準値を超える強度となる。したがって、立体形状の表面の点において反射された光線が、基準値未満の強度又は基準値を超える強度で受光部２２に入射する場合には、光線が反射される点は二次反射点１２であると判断できる。なお、基準値に幅を持たせてもよい。すなわち、上限閾値と下限閾値との間の値が基準値であり、受光部２２に入射する光線の強度が上限閾値を超える場合又は下限閾値未満の場合に二次反射点１２と判断してもよい。

ステップＳ３において、材質推定部３３は、立体形状の表面における拡散反射点１１の拡散反射率を推定する。立体形状の表面のある点が、拡散反射点１１に該当する場合、物体反射光のモデルより、光線の強度と光線方向とから拡散反射率を推定することができる。すなわち、投光部２１と拡散反射点１１との位置関係及び投光部２１が発する光線の投光パターンとに基づいて、投光部２１から拡散反射点１１に到達する光線の強度を特定する。受光部２２に入射した光線の強度を投光部２１から拡散反射点１１に到達する光線の強度で除することで、拡散反射率を推定できる。立体形状の表面のある点が、拡散反射点１１に該当する場合、拡散反射率が推定できていれば、光線の強度と光線方向とから鏡面反射率も推定することができる。

ステップＳ４において、材質推定部３３は、立体形状の表面における拡散反射点１１の鏡面反射率を推定する。なお、鏡面反射率は、正反射率とも称される。立体形状のある点が正反射点１０に該当する場合も同様に、光線の強度と光線方向とから鏡面反射率を推定することができる。その際、拡散反射率が既知である必要があるが、正反射点１０周辺の拡散反射点１１で推定した拡散反射率を用いることで、鏡面反射率を推定することができる。

ステップＳ５において、材質推定部３３は、正反射点１０、拡散反射点１１及び二次反射点１２を補間する。一般に、正反射点１０、拡散反射点１１及び二次反射点１２は、対象物５の表面にある程度の大きさをもって分布する。また、外乱の影響により、ある点で反射されて受光部２２に入射する光線の強度が基準値を超えたり、基準値を下回ったりすることがありうる。したがって、正反射点１０、拡散反射点１１又は二次反射点１２の領域の中に、他の種類の小さい反射点が存在すると推定される可能性がある。したがって、材質推定部３３は、正反射点１０、拡散反射点１１及び二次反射点１２のいずれかに囲まれた閾値以下の大きさの領域は、その領域を囲む正反射点１０、拡散反射点１１又は二次反射点１２と同じであるとする補間処理を行う。なお、補間処理を行った点の反射率と同じであると推定する。

ステップＳ６において、材質推定部３３は、投光部２１が光線を投射する領域に存在する物体の立体形状と反射率とに基づいて、物体領域を推定する。すなわち、材質推定部３３は、投光部２１が光線を投射する領域のどこに対象物５が存在するかを推定する。材質の異なる複数の対象物５が混在する場合、拡散反射率及び鏡面反射率は互いに異なる。また、対象物５を収容する供給箱６の拡散反射率及び鏡面反射率は、対象物５とは異なる。材質が同じであるが別々の対象物５は、拡散反射率及び鏡面反射率は同じであるが、形状が不連続である。したがって、材質推定部３３は、形状、拡散反射率及び鏡面反射率の変化が滑らかな領域を一つの物体と推定する。ここで、「変化が滑らか」とは、形状計測データ４２である距離画像で隣接する画素に対応する二つの点において、位置の差又は反射率の差が閾値以下であることを意味する。また、材質推定部３３は、形状、拡散反射率及び鏡面反射率の変化が滑らかな領域に囲まれた二次反射領域なども、同一の物体と推定する。このような特定の条件に基づく推定であったり、機械学習に基づき領域をセグメンテーションするなどの方法により、材質推定部３３は、複数の立体形状に分かれて推定された一つの物体を、一つの物体の物体領域と推定することができる。

ステップＳ７において、材質推定部３３は、反射率材質関係情報３１２に基づいて、物体領域ごとの材質を推定する。材質推定部３３は、データベース３１に蓄えられた反射率材質関係情報３１２と、推定した物体領域ごとに、拡散反射率及び鏡面反射率とから、物体の材質を推定する。すなわち、材質推定部３３は、反射率材質関係情報３１２において拡散反射点での反射率に関係付けられている材質を、対象物５の材質と推定する。

実施の形態１に係る材質推定装置７０は、物体の材質を、高価で特殊なセンサを使うことなく、物体操作に使われる形状計測センサを用いて物体の材質を推定できる。したがって、様々な種類の物体に応じた操作の制御が可能となる。実施の形態１に係る材質推定装置７０は、ロボット６０に通常用いられている、投光部２１と受光部２２とを持つ形状計測センサ２を用いて、物体の材質を推定する。これにより、蛍光Ｘ線分析装置又は赤外分光光度計測装置といった分析装置を用いず、安価かつ現実的な装置構成で、様々な種類の物体の材質を推定することができる。

実施の形態２．
図９は、本発明の実施の形態２に係る材質推定装置の構成を示す図である。実施の形態２の係るロボット６０は、ロボットアーム１に吸着ハンド１３が設置されている点で、実施の形態１に係るロボット６０と相違する。実施の形態２に係る材質推定装置７０において、データベース３１には、操作部の種類と対象物５の材質とを関連付けたデータが記憶される。

対象物５を操作する操作部は、対象物５を保持するのに適するか否かは、対象物５の材質によって異なる。したがって、実施の形態１に係る材質推定装置７０と同様に対象物５の材質を推定することにより、対象物５の材質に合わせて操作部を使い分けることができる。具体的に説明すると、対象物５が柔軟物であれば、ハンド４で挟むよりも吸着ハンド１３で吸い付ける方が、対象物５を把持しやすい。また、対象物５がメッシュ状である場合には、吸着ハンド１３で吸い付けるよりもハンド４で挟む方が対象物５を把持しやすい。

実施の形態２に係る材質推定装置７０は、対象物５の材質の推定結果に基づいて、ハンド４で挟んで対象物５を把持するか、吸着ハンド１３で吸い付けて対象物５を把持するかを切り替えることができ、対象物５を効率的に把持できる。

実施の形態３．
図１０は、本発明の実施の形態３に係る材質推定装置の構成を示す図である。実施の形態３に係る材質推定装置７０は、情報処理部３がネットワーク５０を通じて形状計測センサ２に接続されている点で実施の形態１に係る材質推定装置７０と相違する。

実施の形態３に係る材質推定装置７０は、情報処理部３をロボットアーム１から離して設置することが可能である。材質と反射率との関係を示すデータをデータベース３１に多く記憶させるほど、材質推定の精度は高くなるが、データベース３１が大型化し、情報処理部３の設置スペースが拡大する。ロボットアーム１が設置される生産現場において情報処理部３の設置スペースが大きくなることは、生産性を向上させる妨げとなる。実施の形態３に係る材質推定装置７０は、情報処理部３をロボットアーム１から離して設置することにより、生産現場に作業用のスペースを確保でき、生産性を向上させることができる。

図１１は、実施の形態３に係る材質推定装置の変形例の構成を示す図である。複数のロボット６０のロボットアーム１に形状計測センサ２が設置されており、情報処理部３は、ネットワーク５０を通じて複数の形状計測センサ２に接続されている。上記のように、データベース３１に記憶させておく情報量が多いほど材質推定の精度が向上する。したがって、複数のロボット６０に共通して情報処理部３を設置することにより、精度の高い材質推定結果に基づいて、把持パラメータを変更することができる。

また、複数のロボット６０のいずれかにおける操作の成否情報をもとに、材質と把持パラメータとの関係を更新したり、材質推定部３３の材質推定方法を変更したりすることで、より性能の高い操作を実現することができる。

上記実施の形態１、実施の形態２又は実施の形態３に係る情報処理部３の機能は、処理回路により実現される。処理回路は、専用のハードウェアであっても、記憶装置に格納されるプログラムを実行する演算装置であってもよい。

処理回路が専用のハードウェアである場合、処理回路は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、又はこれらを組み合わせたものが該当する。図１２は、実施の形態１、実施の形態２又は実施の形態３に係る情報処理部の機能をハードウェアで実現した構成を示す図である。処理回路２９には、情報処理部３の機能を実現する論理回路２９ａが組み込まれている。処理回路２９を実現するハードウェアには、マイクロコントローラを例示できる。

処理回路２９が演算装置である場合、情報処理部３の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。

図１３は、実施の形態１、実施の形態２又は実施の形態３に係る情報処理部の機能をソフトウェアで実現した構成を示す図である。処理回路２９は、プログラム２９ｂを実行する中央処理装置２９１と、中央処理装置２９１がワークエリアに用いるランダムアクセスメモリ２９２と、プログラム２９ｂを記憶する記憶装置２９３を有する。記憶装置２９３に記憶されているプログラム２９ｂを中央処理装置２９１がランダムアクセスメモリ２９２上に展開し、実行することにより、情報処理部３の機能が実現される。ソフトウェア又はファームウェアはプログラム言語で記述され、記憶装置２９３に格納される。

処理回路２９は、記憶装置２９３に記憶されたプログラム２９ｂを読み出して実行することにより、情報処理部３の機能を実現する。プログラム２９ｂは、情報処理部３の機能を実現する手順及び方法をコンピュータに実行させるものであるとも言える。

なお、処理回路２９は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。

このように、処理回路２９は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１ ロボットアーム、２ 形状計測センサ、３ 情報処理部、４ ハンド、５ 対象物、６ 供給箱、１０ 正反射点、１１ 拡散反射点、１２ 二次反射点、１３ 吸着ハンド、２１ 投光部、２２ 受光部、２９ 処理回路、２９ａ 論理回路、２９ｂ プログラム、３１ データベース、３２ 形状計測部、３３ 材質推定部、３４ 制御部、４１ 取得データ、４２ 形状計測データ、４３ 材質推定データ、４４ 把持パラメータ、５０ ネットワーク、６０ ロボット、７０ 材質推定装置、２９１ 中央処理装置、２９２ ランダムアクセスメモリ、２９３ 記憶装置、３１１ 位置姿勢情報、３１２ 反射率材質関係情報、３１３ 材質把持パラメータ関係情報。

図２は、実施の形態１に係る材質推定装置の情報処理部の動作を示す図である。形状計測部３２には、形状計測センサ２の取得データ４１が入力される。取得データ４１とは、投光部２１が発する光線の投光パターンを受光部２２で撮影した画像のデータを指す。なお、形状計測センサ２の出力信号に基づいて画像データを生成する画像データ生成部を形状計測センサ２とは別に設け、画像データ生成部が出力する画像データを取得データ４１とすることも可能である。形状計測部３２は、取得データ４１と位置姿勢情報３１１とに基づいて、三角測量の原理で形状計測データ４２を作成する。形状計測データは距離画像と称されるデータであり、受光部２２との距離が近いほど物体が明るく、受光部２２との距離が遠いほど物体が暗く表示される画像データである。したがって、投光部２１が対象物５に光線を投射している場合、距離画像は、対象物５の表面形状を含んでいる。

Claims (7)

1. 対象物に光線を投射する投光部及び前記対象物において反射された前記光線を受光する受光部を備えた形状計測センサと、
   前記投光部と前記受光部との位置及び姿勢の関係を示す位置姿勢情報と、前記対象物の材質と反射率との関係を示す反射率材質関係情報とを格納する記憶部と、
   前記受光部が受光した前記光線に基づいて生成された画像データと前記位置姿勢情報とに基づいて、前記対象物の表面形状を示す距離画像を生成する形状計測部と、
   前記距離画像と、前記位置姿勢情報と、前記反射率材質関係情報とに基づいて、前記対象物の材質を推定する材質推定部とを備えることを特徴とする材質推定装置。
2. 前記材質推定部は、
   前記対象物の表面の点であって、前記点において反射されて前記受光部に入射する前記光線の強度が基準値未満又は前記基準値を超える強度である拡散反射点での反射率を、前記位置姿勢情報及び前記光線の投光パターンと、前記受光部が受光する光線の強度とに基づいて推定し、
   前記反射率材質関係情報において前記拡散反射点での反射率に関係付けられている材質を、前記対象物の材質と推定することを特徴とする請求項１に記載の材質推定装置。
3. 前記材質推定部は、
   前記距離画像が示す表面形状と定義済の形状データとの照合により前記光線が投射された領域の立体形状を推定し、前記立体形状の表面の各点での前記光線の反射率に基づいて、前記対象物の立体形状を推定することを特徴とする請求項１又は２に記載の材質推定装置。
4. 前記記憶部、前記形状計測部及び前記材質推定部と、前記形状計測センサとがネットワークを通じて接続されたことを特徴とする請求項１から３のいずれか１項に記載の材質推定装置。
5. 前記対象物を把持する操作部を備えたロボットアームを制御する制御部を有し、
   前記制御部は、前記材質推定部による前記対象物の材質の推定結果に基づいて、前記操作部が前記対象物を把持する操作の条件を示す把持パラメータを変更することを特徴とする請求項１から４のいずれか１項に記載の材質推定装置。
6. 前記制御部は、前記操作部を複数備えた前記ロボットアームを制御し、前記対象物の材質の推定結果に基づいて、前記対象物を操作する操作に用いる前記操作部を決定することを特徴とする請求項５に記載の材質推定装置。
7. 対象物を把持する操作部を備えたロボットアームと、前記対象物の材質を推定する請求項５又は６に記載の材質推定装置とを備えることを特徴とするロボット。

Images