JP2024019989A - センシング装置およびセンシング方法 - Google Patents

Abstract

【課題】透明な素材を含む物体の３次元形状を正確に計測することが可能なセンシング装置およびセンシング方法を提供する。【解決手段】計算機１は、物体３０の視覚情報を基に画像３５を生成し、画像３５のうち物体３０が占める領域を物体領域３６として抽出し、物体３０の距離情報のうち物体３０のエッジ部分の距離情報を抽出してエッジ距離情報３７を生成し、物体３０の遠赤外線情報を基に物体領域３６に対応する遠赤外線画像４１を生成し、物体３０を加熱するように加熱装置４を制御し、物体３０の加熱前後の遠赤外線画像４１，４２から物体３０の部分表面形状情報４４，４５を推定し、部分表面形状情報４４，４５を用いてエッジ距離情報３７を補間することにより物体３０の補間エッジ距離情報５７を生成し、補間エッジ距離情報５７を３次元形状情報に変換して出力する。【選択図】 図１

Description

本発明は、センシング装置およびセンシング方法に関する。

近年、少子高齢化による労働人口減少に伴い、人手不足解消や生産性向上を目的としたシステム制御の自動・自律化への期待が高まっている。例えば、産業・物流分野では作業対象物であるワークを自動でピッキングするロボットなどのニーズが高い。ピッキング作業の自動化には、カメラなどのセンサを配置して、ワークの３次元形状を計測しワークの把持する位置情報などをロボットに教示する必要がある。一般的な３次元形状の計測方法としては、カメラを複数台設置あるいはカメラとプロジェクタを設置し、三角測量の原理により計測する方法がある。この時、カメラは可視光センサを使用することが多く、紙などの素材で梱包されたワークは正確に梱包素材の３次元形状を認識できる。しかし、ブリスターパックなどの透明な素材でワークが梱包されている場合は、梱包部分の形状が取得できず、中のワーク本体の形状のみを取得してしまい、ピッキングする際に透明な梱包部分を押し潰して破壊する恐れがある。そのため、透明部分の３次元形状を取得には可視光センサだけでなく遠赤外線カメラを併用する方法が期待される。例えば、特許文献１では、可視光カメラと遠赤外線カメラを固定した撮像装置にて、ワークを複数箇所から計測することで３次元形状を取得している。

特開２０１９－０３２６００号公報

特許文献１の技術を活用すれば、ワーク本体が透明な素材で梱包されたワークに対し、正しく透明部分の形状を認識でき、梱包部分を破壊せずにピッキングすることができる。しかし、撮像装置を移動させて複数枚の画像を取得するには、キャリブレーションの精度に依存するだけでなく、１つのワークのピッキングに時間を要してしまいシステム全体の効率を低下してしまう恐れがある。

本発明は、上記課題に鑑みてなされたものであり、その目的は、透明な素材を含む物体の３次元形状を正確に計測することが可能なセンシング装置およびセンシング方法を提供することにある。

上記目的を達成するために、本発明は、物体の３次元形状を計測するセンシング装置において、計算機と、加熱装置とを備え、前記計算機は、前記物体の視覚情報を基に画像を生成する画像生成部と、前記画像のうち前記物体が占める領域を物体領域として抽出する物体領域抽出部と、前記物体の距離情報のうち前記物体のエッジ部分の距離情報を抽出してエッジ距離情報を生成するエッジ距離情報生成部と、前記物体の遠赤外線情報を基に前記物体領域に対応する遠赤外線画像を生成する遠赤外線画像生成部と、前記物体を加熱するように前記加熱装置を制御する加熱装置制御部と、前記物体の加熱前後の遠赤外線画像から前記物体の部分表面形状情報を推定する部分表面形状推定部と、前記部分表面形状情報を用いて前記エッジ距離情報を補間することにより前記物体の補間エッジ距離情報を生成する形状補間部と、前記補間エッジ距離情報を３次元形状情報に変換して出力する物体形状出力部とを有するものとする。

また、物体の３次元形状を計測するセンシング方法において、物体の視覚情報を基に前記物体の画像を生成する手順と、前記画像のうち前記物体が占める領域を物体領域として抽出する手順と、前記物体の距離情報のうち前記物体のエッジ部分の距離情報を抽出してエッジ距離情報を生成する手順と、前記物体の遠赤外線情報を基に前記物体領域に対応する遠赤外線画像を生成する手順と、前記物体を加熱する手順と、前記物体を加熱した後の前記物体の遠赤外線画像を生成する手順と、前記物体の加熱前後の遠赤外線画像から前記物体の部分表面形状情報を推定する手順と、前記部分表面形状情報を用いて前記エッジ距離情報を補間することにより前記物体の補間エッジ距離情報を生成する手順と、前記補間エッジ距離情報を３次元形状情報に変換する手順とを備えるものとする。

以上のように構成した本発明によれば、物体の加熱前後の遠赤外線画像から物体の部分表面形状情報を生成し、物体のエッジ距離情報を部分表面形状情報を用いて補間することで、透明な素材を含む物体３次元形状を正確に計測することが可能となる。

本発明によれば、透明な素材を含む物体の３次元形状を正確に計測することが可能となる。

本発明の第１の実施例におけるセンシング装置およびセンシングシステムの構成図 物体領域抽出部の機能ブロック図 エッジ距離情報生成部の処理を説明する図 エッジ距離情報生成部により生成したエッジ距離情報の一例を示す図 遠赤外線画像生成部の処理を説明する図 部分表面形状推定部の処理を説明する図 形状補間部の機能ブロック図 形状補間部の処理を説明する図 本発明の第２の実施例におけるピッキングロボットシステムの構成図

以下、本発明の実施形態について図面を用いて説明する。なお、各図中、同等の要素には同一の符号を付し、重複した説明は適宜省略する。

図１は本発明の第１の実施例におけるセンシング装置およびセンシングシステムの構成図である。図１に示すセンシング装置１００は、物体の３次元形状を計測する装置であり、計算機１と、加熱装置４とを備える。図１において、計算機１の機能部５～１２の機能は、演算装置、主記憶装置、および外部記憶装置を有する計算機１において実現される。

センシング装置１００は、物体の視覚情報、距離情報および遠赤外線情報を基に物体の３次元形状を計測する。物体の視覚情報および距離情報を取得する手段としては、可視光センサを用いることが好ましい。本実施例では、可視光センサとしてステレオカメラ２を用いるが、可視光センサはこれに限定されるものではない。例えば、可視光カメラの横にプロジェクタを併設し距離情報を計測するセンサや、機械学習などにより可視光カメラの画像から距離情報を推定するセンサを代用する形態も可能である。センシングシステム２００は、センシング装置１００、可視光センサ２、および遠赤外線センサ３により構成される。

図１に示す機能部５～１２の概要を説明する。画像生成部５はステレオカメラ２の左右の可視光カメラで取得した情報を基に２枚の画像を生成する機能、物体領域抽出部６は画像生成部５により生成した２枚の画像を解析することで画像中の物体領域を抽出する機能、エッジ距離情報生成部７は前記物体領域に対応する距離情報を解析し、物体のエッジ部分の距離情報を抽出する機能、遠赤外線画像生成部８は遠赤外線カメラ３によって前記物体領域に対応する遠赤外線画像を生成する機能、加熱装置制御部９は前記物体領域を加熱装置４により加熱するよう制御する機能、部分表面形状推定部１０は遠赤外線画像生成部８により生成した加熱前後の前記物体領域の遠赤外線画像を解析し、物体領域の表面形状の一部を推定する機能、形状補間部１１は前記推定した表面形状を用いて、エッジ距離情報生成部７により生成したエッジ距離情報を補間する機能、物体形状出力部１２は前記補間した３次元形状情報に変換して出力する機能である。以下、機能部６～１２の詳細について説明する。

図２は、物体領域抽出部６の機能ブロック図である。物体領域抽出部６は、画像生成部５によって生成したステレオカメラ２の撮像画像から３次元情報を取得する３次元情報取得部２０と、取得した３次元情報を解析し画像中の物体領域を抽出する物体領域抽出部２１とを備える。３次元情報取得部２０は、ステレオカメラ２の撮像画像から視差を算出することで３次元情報を取得する。視差の算出方法としては、ブロックマッチングなどの一般的な方法を用いることで算出する。算出した視差情報を、カメラの設置位置や姿勢情報のパラメータから、３次元空間上の点群情報といった３次元情報に変換する。本手法以外にも、２枚のカメラ画像から３次元情報を取得できる方法であれば、特に限定しない。

物体領域抽出部２１は、カメラ画像と３次元情報から物体領域を抽出する。抽出方法としては、例えば、物体が存在するカメラ画像と予め撮影した物体が存在しない背景のカメラ画像との差分領域を物体領域として抽出する方法や、同様に物体が存在する場合にて算出した３次元情報と存在しない場合にて算出した３次元情報との差分領域を物体領域として抽出する方法や、画像により求めた物体領域と３次元情報により求めた物体領域との共通部分を最終的な物体領域として抽出する方法などがあり、特に限定しない。

図３は、エッジ距離情報生成部７の処理を説明する図である。図３において、３０はロボットにてピッキングする対象の物体（以下、ワーク）の一例、３１はワーク３０の梱包材のうち紙素材で形成された部分、３２はワーク３０の梱包材のうち透明な素材（プラスチック、ガラスなど）で形成された部分、３３は梱包材３１，３２で梱包されたワーク本体、３４はセンシング装置１００にて計測を行う際にワーク３０を設置するための台座、３５はステレオカメラ２によって台座３４上のワーク３０を撮影した際の、片方の可視光カメラ２の撮像画像の一例、３６は物体領域抽出部６によって撮像画像３５から抽出した物体領域、３７はエッジ距離情報生成部７によって生成したエッジ距離情報を示している。

エッジ距離情報生成部７は、物体領域３６内の３次元情報を解析することで、ワーク３０のエッジ距離情報を生成する。エッジ距離情報の生成方法の一例を説明する。まず、３次元情報から撮像画像３５の各画素に対応する位置のステレオカメラ２からの距離値を求め、各画素に当該距離値を紐づけた情報を距離画像として生成する。次に、距離画像の各画素の距離値を上下左右に隣接する画素の距離値と比較し、両者に閾値以上の差があれば当該画素をエッジ部分として抽出し、比較した距離値の小さい方を当該エッジ部分の画素に紐づけた情報をエッジ距離情報として生成する。

図４は、エッジ距離情報生成部７により生成したエッジ距離情報３７の一例を示す図である。エッジ部分の各画素にはカメラからの距離値（単位：ｃｍ）が格納されており、エッジ部分以外の各画素には値は格納されない。エッジ距離情報３７によりワーク３０の外形部分の距離情報を表すことが可能となり、透明な梱包材３１，３２に対しても外枠の距離情報を取得することができる。なお、本例以外にもワーク３０のエッジ部分に対応する距離情報を取得可能な方法であれば、特に方法は限定しない。また、距離画像の解像度については、撮像画像と同等のものを使用しても良く、ダウンサンプリング処理などにより解像度を低下させた距離画像を使用しても良い。

図５は、遠赤外線画像生成部８の処理を説明する図である。図５において、４０は遠赤外線カメラ３からの情報を基に生成したワーク３０および台座３４の遠赤外線画像、４１は遠赤外線画像４０から物体領域３６に対応する遠赤外線画像を抽出したものを示している。遠赤外線画像は温度情報を含み、温度情報は素材の違いなどにより異なる。また、遠赤外線画像は、各画素に温度の値が紐づけた情報であり、撮像画像や距離画像と同じく、画像情報として扱う。また、遠赤外線画像の解像度については、撮像画像と同等のもの、あるいは解像度が低いものを使用しても良く、特に限定しない。

図１に戻り、加熱装置制御部９は、加熱装置４によりワーク３０を加熱する。加熱装置４はステレオカメラ２や遠赤外線カメラ３と近い位置に設置し、ワーク３０を撮影する向きも同方向（本例ではワーク３０の真上）であることが理想であるが、カメラによりワーク３０を撮影する向きと同じ方向からワーク３０の加熱が可能な手段であれば、特に限定しない。また、本実施例では、加熱装置４として、温風装置を想定しているが、ワーク３０の温度上昇を促すことが可能な装置であれば、特に限定しない。センシング装置１００では、加熱装置４によりワーク３０の加熱が完了した際に、加熱装置制御部９から遠赤外線画像生成部８に対して、再度遠赤外線カメラ３にてワーク３０を計測する指令を送信することで、加熱前後のワーク３０の遠赤外線画像を生成する。なお、加熱装置４による加熱方法として、予め設定した時間で毎回加熱する方法や、事前に生成したエッジ距離情報や遠赤外線画像を活用し、加熱装置４から物体３０までの大よその距離を推定しておき、当該距離に応じて加熱時間を変更する方法や、遠赤外線画像における温度の値が全体的に高い場合はワーク３０が温まりやすい素材であると判定して加熱時間を短縮する方法や、ワーク３０の事前情報（形状、寸法、素材など）に応じて加熱時間または加熱方向を調整する方法などを用いても良く、特に限定しない。

図６は、部分表面形状推定部１０の処理を説明する図である。図６において、４１は図５で示した加熱前のワーク領域（物体領域）に対応する遠赤外線画像の一例、４２，４３は加熱装置制御部９により加熱した後のワーク領域に対応する遠赤外線画像の一例、４４，４５は部分表面形状推定部１０によって出力される部分表面形状情報の一例を示している。加熱装置４は遠赤外線カメラ３と近接した位置に設置し、真上からワーク３０を加熱するため、ワーク３０の高い位置にある部分（遠赤外線カメラ３やステレオカメラ２に近い部分）であるほど、早く加熱されるため、温度変化が大きくなる。例えば、本例のワーク３０の場合、透明な梱包部分が最も加熱装置４に近い位置にあるため、４２のように透明な梱包部分の温度が最も高くなる。また、ワーク３０の紙部分自体も加熱されるため、温度変化が生じ紙素材の領域を計測することができる。一方で、ワーク本体３３については、温まりにくい素材でできていれば、４２のように透明な梱包部分よりも温度が低くなり、ワーク本体３３の領域を計測することができず、温まりやすい素材であれば、遠赤外線画像４３のように透明な梱包部分よりも温度が高くなりワーク本体３３の領域を計測できる。本発明では、透明な梱包部分の領域を取得したいため、遠赤外線画像４３のワーク本体３３の領域はノイズとなってしまう。そのため、加熱前に生成した遠赤外線画像４１を使用し、加熱前に閾値以上の温度値を持つ領域については、加熱後に生成した遠赤外線画像４３から削除するというノイズ除去などの処理を加えても良い。部分表面形状推定部１０では、ノイズ除去などを実施後の最終的な加熱後の遠赤外線画像４２から、温度値が類似している領域を部分表面形状情報４４，４５として出力する。なお、部分表面形状情報を抽出する際に、温度値だけでなく領域の位置情報を使用しても良く、温度値が類似している領域が複数存在し、これらの領域が事前に定めた閾値よりも離れている場合はそれぞれ別の部分表面形状情報として出力しても良く、特に限定しない。

図７は、形状補間部１１の機能ブロック図である。形状補間部１１は、ステレオカメラ２からの情報を基に生成したエッジ距離情報と遠赤外線カメラ３からの情報を基に推定した部分表面形状情報の２つの計測情報を同一センサ空間上の情報に校正する計測情報校正部５０と、校正後の計測情報を比較してワークの３次元形状を補間する形状補間実行部５１とを備える。以下、計測情報校正部５０と形状補間実行部５１について説明する。

計測情報校正部５０は、ステレオカメラ２と遠赤外線カメラ３の設置位置や姿勢情報、解像度の情報などから、エッジ距離情報と部分表面形状情報を同一センサ空間上の情報に校正する。校正方法として、本例では各計測情報を画像情報として扱っているため、解像度を片方のサイズに合致するように画像をリサイズした後、一般的なチェックマーカなどを使用したキャリブレーション手法により求めたセンサ間の回転行列や並進ベクトルにより、各計測情報の座標情報を同一空間上に変換することで、校正する。解像度のリサイズについては、エッジ距離情報と部分表面形状情報のどちらの解像度に合致させるかは特に限定しない。キャリブレーション方法については、図４に示したエッジ距離情報と、図６に示した部分表面形状情報４４，４５を比較できるような座標変換が可能な方法であれば特に限定せず、本例のように各計測情報を画像情報として扱う場合は、画像間の位置合わせといった２次元空間内での座標変換方法を用いても良い。

図８は、形状補間実行部５１の処理を説明する図である。図８において、５５はエッジ距離情報３７においてエッジ部分の距離値が記載された初期エッジ距離情報の一例、５６，５７は形状補間実行部５１によって補間された補間エッジ距離情報の一例を示している。形状補間実行部５１は、計測情報校正部５０により校正した部分表面形状情報４４，４５を用いて、初期エッジ距離情報５５を補間する。補間の流れとしては、部分表面形状情報４４，４５とエッジ距離情報３７を比較し、フィッティング処理などにより各部分表面形状情報の外周部分が、エッジ距離情報３７のどのエッジ部分に対応するかを判定する。そして、部分表面形状情報の外周部分に対応する初期エッジ距離情報５５の値を比較することで、ステレオカメラ２から遠方にある部分表面形状情報を順番に使用しつつ初期エッジ距離情報５５の補間処理を実行する。なお、補間に使用する部分表面形状情報の順番を決める際に、ステレオカメラ２からの距離を使用するのではなく、部分表面形状情報の大きさを使用しても良い。補間処理としては、部分表面形状情報の外周部分に対応するエッジ距離情報の距離値を基準距離値として使用し、各画素の周囲（上下左右の位置）に空白がある場合は基準距離値を埋めていくといった処理を、基準距離値よりも小さい距離値を含む画素が見つかるまで物体領域内で繰り返す方法など、初期エッジ距離情報５５の値を用いて空白部分を埋めていく方法であれば特に限定しない。本例の場合、部分表面形状情報４４，４５の外周部分のエッジ距離情報を比較すると、部分表面形状情報４４の距離値の方が１５ｃｍ大きいため、部分表面形状情報４４を使用して初期エッジ距離情報５５を補間して、補間エッジ距離情報５６を生成する。そして、補間エッジ距離情報５６に対して、部分表面形状情報４５を使用してエッジ距離情報を補間し、補間エッジ距離情報５７を生成する。本例では、補間エッジ距離情報５６の空白部分を埋めていく際に、基準距離値（８０）よりも大きい距離値（８５）を含む画素が見つかるため、当該画素の距離値を基準距離値（８０）で上書きすることで、最終的な補間エッジ距離情報５７を生成する。

物体形状出力部１２では、形状補間部１１により生成した補間エッジ距離情報から３次元点群を生成し、最終的なワークの３次元形状情報として出力する。

（まとめ）
本実施例では、物体３０の３次元形状を計測するセンシング装置１００において、計算機１と、加熱装置４とを備え、計算機１は、物体３０の視覚情報を基に物体３０の画像３５を生成する画像生成部５と、画像３５のうち物体３０が占める領域を物体領域３６として抽出する物体領域抽出部６と、物体３０の距離情報のうち物体３０のエッジ部分の距離情報を抽出してエッジ距離情報３７を生成するエッジ距離情報生成部７と、物体３０の遠赤外線情報を基に物体領域３６に対応する遠赤外線画像４１～４３を生成する遠赤外線画像生成部８と、物体３０を加熱するように加熱装置４を制御する加熱装置制御部９と、物体３０の加熱前後の遠赤外線画像４１～４３から物体３０の部分表面形状情報４４，４５を推定する部分表面形状推定部１０と、部分表面形状情報４４，４５を用いてエッジ距離情報３７を補間することにより物体３０の補間エッジ距離情報５７を生成する形状補間部１１と、補間エッジ距離情報５７を３次元形状情報に変換して出力する物体形状出力部１２とを有する。

また、本実施例におけるセンシングシステム２００は、センシング装置１００と、物体３０の視覚情報および距離情報を取得する可視光センサ２と、物体３０の遠赤外線情報を取得する遠赤外線センサ３とを備える。

また、本実施例では、物体の３次元形状を計測するセンシング方法において、物体３０の視覚情報を基に物体３０の画像３５を生成する手順と、画像３５のうち物体３０が占める領域を物体領域３６として抽出する手順と、物体３０の距離情報のうち物体３０のエッジ部分の距離情報を抽出してエッジ距離情報３７を生成する手順と、物体３０の遠赤外線情報を基に物体領域３６に対応する遠赤外線画像４１を生成する手順と、物体３０を加熱する手順と、物体３０を加熱した後の遠赤外線画像４２，４３を生成する手順と、物体３０の加熱前後の遠赤外線画像４１～４３から物体３０の部分表面形状情報４４，４５を推定する手順と、部分表面形状情報４４，４５を用いてエッジ距離情報３７を補間することにより物体３０の補間エッジ距離情報５７を生成する手順と、補間エッジ距離情報５７を３次元形状情報に変換する手順とを備える。

以上のように構成した本実施例によれば、物体３０の加熱前後の遠赤外線画像４１～４３から物体３０の部分表面形状情報４４，４５を生成し、物体３０のエッジ距離情報３７を部分表面形状情報４４，４５を用いて補間することで、透明な素材を含む物体３０の３次元形状を正確に計測することが可能となる。

また、本実施例におけるエッジ距離情報生成部７は、画像３５の各画素に対応する位置の可視光センサ２からの距離値を算出し、画像３５の各画素に前記距離値を紐づけた情報を距離画像として生成し、前記距離画像の隣接する画素同士で距離値の差分を算出し、前記差分が所定の閾値以上となる画素を、前記エッジ部分を構成する画素として抽出し、前記エッジ部分を構成する各画素に、各画素の距離値と隣接する画素の距離値のうち小さい方の値を紐づけた情報をエッジ距離情報３７として生成する。これにより、可視光センサ２で取得した情報からエッジ距離情報３７を生成することが可能となる。

また、本実施例における遠赤外線画像生成部８は、物体領域３６の各画素に物体３０の遠赤外線情報を紐づけた情報を遠赤外線画像４１として生成する。これにより、物体領域３６に対応する遠赤外線画像４１を取得することが可能となる。

また、本実施例における加熱装置制御部９は、物体領域３６、エッジ距離情報３７、物体３０を加熱する前の遠赤外線画像４１、および物体３０の事前情報のうち少なくとも１つの情報に基づいて、加熱装置４による物体３０の加熱時間または加熱方向を調整する。これにより、部分表面形状情報４４，４５の推定に適した温度状態となるように物体３０を加熱することが可能となる。

また、本実施例における部分表面形状推定部１０は、物体３０の部分表面形状情報４４，４５を推定する際に、物体３０を加熱する前の遠赤外線画像４１を用いて、物体３０を加熱した後の遠赤外線画像４３に含まれるノイズを除去する。これにより、部分表面形状情報４４，４５の推定精度を向上させることが可能となる。

また、本実施例における形状補間部１１は、エッジ距離情報３７および部分表面形状情報４４，４５の各座標を同一空間上の座標に変換することによりエッジ距離情報３７および部分表面形状情報４４，４５を校正する計測情報校正部５０と、校正後のエッジ距離情報３７を校正後の部分表面形状情報４４，４５を用いて補間する形状補間実行部５１とを有する。これにより、エッジ距離情報３７の補間精度を向上させることが可能となる。

また、本実施例における部分表面形状情報４４，４５は、複数の部分表面形状にそれぞれ対応した複数の部分表面形状情報４４，４５を含み、形状補間部１１は、複数の部分表面形状情報４４，４５をエッジ距離情報３７の補間に使用する順番を、可視光カメラ２から前記複数の部分表面形状までの各距離または前記複数の部分表面形状の各大きさに基づいて決定する。これにより、エッジ距離情報３７の補間精度を向上させることが可能となる。

また、本実施例における可視光センサ２は、ステレオカメラ、プロジェクタを併設した可視光カメラ、および画像から距離を推定する機能を備えた可視光カメラのいずれかで構成されている。これにより、物体３０の視覚情報と距離情報とを同時に取得することが可能となる。

なお、本実施例では、部分表面形状が四角形となるワークを例に説明したが、ワークの形状は特に限定しない。例えば、透明な梱包部分が半球形状である場合、加熱後の遠赤外線情報はカメラに最も近い頂点部分の温度が最大となり、カメラから離れるほど温度が低くなるといった情報となる。この場合、温度が最も低い部分のエッジ距離情報は生成できるため、その基準距離値を使い、遠赤外線画像から推定した３次元情報により補間するなどの方法により、部分表面形状情報を推定しても良く、あるいは物体形状のカテゴリ毎に対応する遠赤外線画像のモデルを保持しておき、遠赤外線画像から３次元モデルを生成し、エッジ距離情報を用いて部分表面形状情報を推定する方法などを使用しても良い。

図９は、本発明の第２の実施例におけるピッキングロボットシステムの構成図である。図９に示すピッキングロボットシステム３００は、ピッキングロボット６０と、ベルトコンベア６１と、センシングシステム２００とを備える。ピッキングロボットシステム３００は、ベルトコンベア６１に流れるワーク３０の３次元形状をセンシングシステム２００により計測し、ピッキングロボット６０によりワーク３０を把持して運搬するシステムである。

図９において、遠赤外線カメラ３ａ、加熱装置４、およびピッキングロボット６０は、ベルトコンベア６１の上流から下流に向かって順に、ベルトコンベア６１の近傍に設置されている。ステレオカメラ２および遠赤外線カメラ３ｂは、ピッキングロボット６４の近傍に設置されている。

図９において、画像生成部５、物体領域抽出部６、エッジ距離情報生成部７、遠赤外線画像生成部８、加熱装置制御部９、形状補間部１１、および物体形状出力部１２は、第１の実施例と同じまたは類似する機能を有する。ロボット制御部１３は、物体形状出力部１２により出力されたワーク３０の３次元形状情報を用いてピッキングロボット６４を制御し、ワーク３０を把持して所定の位置に運搬する機能を有する。事前遠赤外線画像１４は、ワーク３０を加熱する前に生成したワーク３０の遠赤外線画像である。校正情報１５は、遠赤外線カメラ３ａ，３ｂの計測情報を校正するためのパラメータ情報である。以下、部分表面形状推定部１０とロボット制御部１３について説明する。

部分表面形状推定部１０は、第１の実施例における部分表面形状推定部１０（図１に示す）の機能をほぼ踏襲しており、事前遠赤外線画像１４、およびピッキングロボット６０近傍の遠赤外線カメラ３ｂにて計測した遠赤外線画像から部分表面形状情報を生成する。遠赤外線カメラ３ａ，３ｂは、計測情報校正部５０（図７に示す）で説明した方法により予めキャリブレーションを実施して校正情報１５を生成することで、各カメラの計測情報を同一の座標空間上で扱えるようにしておく。校正情報１５を用いることで、遠赤外線カメラ３ａとステレオカメラ２の計測情報も同一の座標空間で表現できるため、事前遠赤外線画像１４と物体領域抽出部６により抽出した物体領域を比較することで、物体領域に対応する加熱前の遠赤外線画像を生成でき、第１の実施例と同様のフローにて部分表面形状情報を推定できる。

ロボット制御部１３では、物体形状出力部１２により出力されたワーク３０の３次元形状情報を用いて、ピッキングロボット６４によるワーク３０の運搬を実行する。本例では、得られる３次元形状情報はステレオカメラ２により計測したものであるため、事前にピッキングロボット６４とステレオカメラ２のキャリブレーションを実施しておく。キャリブレーションの方法としては、ピッキングロボット６４のアーム部分にキャリブレーションボードを設置し、ステレオカメラ２により計測して校正情報を推定する方法など、特に限定しない。ロボット制御部１３では、３次元形状情報を３次元点群座標として扱い、ピッキングロボット６４に対して、把持位置と運搬位置の座標情報を教示することで、ワーク３０を運搬する。なお、把持位置と運搬位置を決める方法は特に限定しない。また、把持に使用するアーム部分についても人の手のような形に限定せず、真空ポンプを使用した吸着アームなどでも良く、特に限定しない。

（まとめ）
本実施例では、センシングシステム２００と、ピッキングロボット６０と、物体３０をピッキングロボット６０まで搬送するベルトコンベア６１とを備えたピッキングロボットシステム３００において、遠赤外線センサ３ａ，３ｂは、加熱装置４で加熱する前の物体３０の遠赤外線情報を取得する第１遠赤外線センサ３ａと、加熱装置４で加熱した後の物体３０の遠赤外線情報を取得する第２遠赤外線センサ３ｂとを含み、計算機１は、物体３０の３次元形状情報を用いてピッキングロボット６０を制御するロボット制御部１３を有する。

以上のように構成した本実施例によれば、第１遠赤外線センサ３ａにより計測した加熱前の物体３０の遠赤外線情報と、第２遠赤外線センサ３ｂにより計測した加熱後の物体３０の遠赤外線情報から物体３０の部分表面形状を生成し、当該部分表面形状を用いて可視光センサ２により計測した物体３０のエッジ距離情報を補間することで、システム全体の効率を維持しつつ、透明な素材を含む物体３０の３次元形状を正確に計測することが可能となる。

また、本実施例おける計算機１は、物体３０の計測を行うごとにエッジ距離情報と部分表面形状情報とを対応づけて記憶し、新たに生成したエッジ距離情報が過去に生成したエッジ距離情報と一致した場合に、加熱装置４による物体３０の加熱および遠赤外線センサ３ａ，３ｂによる遠赤外線情報の取得を省略し、過去に生成したエッジ距離情報に対応する部分表面形状情報を用いて、新たに生成したエッジ距離情報を補間することにより、物体３０の３次元形状情報を生成しても良い。これにより、システム全体の効率を向上させることが可能となる。

以上、本発明の実施例について詳述したが、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、本発明は必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成の一部を加えることも可能であり、ある実施例の構成の一部を削除し、あるいは、他の実施例の一部と置き換えることも可能である。

１…計算機、２…ステレオカメラ（可視光センサ）、３…遠赤外線カメラ（遠赤外線センサ）、３ａ…遠赤外線カメラ（第１遠赤外線センサ）、３ｂ…遠赤外線カメラ（第２遠赤外線センサ）、４…加熱装置、５…画像生成部、６…物体領域抽出部、７…エッジ距離情報生成部、８…遠赤外線画像生成部、９…加熱装置制御部、１０…部分表面形状推定部、１１…形状補間部、１２…物体形状出力部、１３…ロボット制御部、１４…事前遠赤外線画像、１５…校正情報、２１…物体領域抽出部、３０…ワーク（物体）、３１，３２…梱包材、３３…ワーク本体、３４…台座、３５…撮像画像、３６…物体領域、３７…エッジ距離情報、４０～４３…遠赤外線画像、４４，４５…部分表面形状情報、５０…計測情報校正部、５１…形状補間実行部、５５…初期エッジ距離情報、５６，５７…補間エッジ距離情報、６０…ピッキングロボット、６１…ベルトコンベア、１００…センシング装置、２００…センシングシステム、３００…ピッキングロボットシステム。

Claims (12)

1. 物体の３次元形状を計測するセンシング装置において、
   計算機と、
   加熱装置とを備え、
   前記計算機は、
   前記物体の視覚情報を基に画像を生成する画像生成部と、
   前記画像のうち前記物体が占める領域を物体領域として抽出する物体領域抽出部と、
   前記物体の距離情報のうち前記物体のエッジ部分の距離情報を抽出してエッジ距離情報を生成するエッジ距離情報生成部と、
   前記物体の遠赤外線情報を基に前記物体領域に対応する遠赤外線画像を生成する遠赤外線画像生成部と、
   前記物体を加熱するように前記加熱装置を制御する加熱装置制御部と、
   前記物体の加熱前後の遠赤外線画像から前記物体の部分表面形状情報を推定する部分表面形状推定部と、
   前記部分表面形状情報を用いて前記エッジ距離情報を補間することにより前記物体の補間エッジ距離情報を生成する形状補間部と、
   前記補間エッジ距離情報を３次元形状情報に変換して出力する物体形状出力部とを有する
   ことを特徴とするセンシング装置。
2. 請求項１に記載のセンシング装置において、
   前記遠赤外線画像生成部は、前記物体領域の各画素に前記物体の遠赤外線情報を紐づけた情報を前記遠赤外線画像として生成する
   ことを特徴とするセンシング装置。
3. 請求項１に記載のセンシング装置において、
   前記加熱装置制御部は、前記物体領域、前記エッジ距離情報、前記物体を加熱する前の前記遠赤外線画像、および前記物体の事前情報のうち少なくとも１つの情報に基づいて、前記加熱装置による前記物体の加熱時間または加熱方向を調整する
   ことを特徴とするセンシング装置。
4. 請求項１に記載のセンシング装置において、
   前記部分表面形状推定部は、前記物体の部分表面形状を推定する際に、前記物体を加熱する前の前記遠赤外線画像を用いて、前記物体を加熱した後の前記遠赤外線画像に含まれるノイズを除去する
   ことを特徴とするセンシング装置。
5. 請求項１に記載のセンシング装置において、
   前記形状補間部は、
   前記エッジ距離情報および前記部分表面形状情報の各座標を同一空間上の座標に変換することにより前記エッジ距離情報および前記部分表面形状情報を校正する計測情報校正部と、
   校正後の前記エッジ距離情報を校正後の前記部分表面形状情報を用いて補間する形状補間実行部とを有する
   ことを特徴とするセンシング装置。
6. 請求項１に記載のセンシング装置と、
   前記物体の視覚情報および距離情報を取得する可視光センサと、
   前記物体の遠赤外線情報を取得する遠赤外線センサとを備える
   ことを特徴とするセンシングシステム。
7. 請求項６に記載のセンシングシステムにおいて、
   前記エッジ距離情報生成部は、
   前記画像の各画素に対応する位置の前記可視光センサからの距離値を算出し、
   前記画像の各画素に前記距離値を紐づけた情報を距離画像として生成し、
   前記距離画像の隣接する画素同士で距離値の差分を算出し、
   前記差分が所定の閾値以上となる画素を、前記エッジ部分を構成する画素として抽出し、
   前記エッジ部分を構成する各画素に、各画素の距離値と隣接する画素の距離値のうち小さい方の値を紐づけた情報を前記エッジ距離情報として生成する
   ことを特徴とするセンシングシステム。
8. 請求項６に記載のセンシングシステムにおいて、
   前記部分表面形状情報は、複数の部分表面形状にそれぞれ対応した複数の部分表面形状情報を含み、
   前記形状補間部は、前記複数の部分表面形状情報を前記エッジ距離情報の補間に使用する順番を、前記可視光センサから前記複数の部分表面形状までの各距離または前記複数の部分表面形状の各大きさに基づいて決定する
   ことを特徴とするセンシングシステム。
9. 請求項６に記載のセンシングシステムにおいて、
   前記可視光センサは、ステレオカメラ、プロジェクタを併設した可視光カメラ、および画像から距離を推定する機能を備えた可視光カメラのいずれかで構成されている
   ことを特徴とするセンシングシステム。
10. 請求項６に記載のセンシングシステムと、
    ピッキングロボットと、
    前記物体を前記ピッキングロボットまで搬送するベルトコンベアとを備えたピッキングロボットシステムにおいて、
    前記遠赤外線センサは、前記加熱装置で加熱する前の前記物体の遠赤外線情報を取得する第１遠赤外線センサと、前記加熱装置で加熱した後の前記物体の遠赤外線情報を取得する第２遠赤外線センサとを含み、
    前記計算機は、前記物体の３次元形状情報を用いて前記ピッキングロボットを制御するロボット制御部を有する
    ことを特徴とするピッキングロボットシステム。
11. 請求項１０に記載のピッキングロボットシステムにおいて、
    前記計算機は、
    前記物体の計測を行うごとに前記エッジ距離情報と前記部分表面形状情報とを対応づけて記憶し、
    新たに生成した前記エッジ距離情報が過去に生成した前記エッジ距離情報と一致した場合に、前記加熱装置による前記物体の加熱および前記遠赤外線センサによる前記遠赤外線情報の取得を省略し、前記過去に生成した前記エッジ距離情報に対応する前記部分表面形状情報を用いて、新たに生成した前記エッジ距離情報を補間することにより、前記物体の３次元形状情報を生成する
    ことを特徴とするピッキングロボットシステム。
12. 物体の３次元形状を計測するセンシング方法において、
    前記物体の視覚情報を基に前記物体の画像を生成する手順と、
    前記画像のうち前記物体が占める領域を物体領域として抽出する手順と、
    前記物体の距離情報のうち前記物体のエッジ部分の距離情報を抽出してエッジ距離情報を生成する手順と、
    前記物体の遠赤外線情報を基に前記物体領域に対応する遠赤外線画像を生成する手順と、
    前記物体を加熱する手順と、
    前記物体を加熱した後の前記物体の遠赤外線画像を生成する手順と、
    前記物体の加熱前後の遠赤外線画像から前記物体の部分表面形状情報を推定する手順と、
    前記部分表面形状情報を用いて前記エッジ距離情報を補間することにより前記物体の補間エッジ距離情報を生成する手順と、
    前記補間エッジ距離情報を３次元形状情報に変換する手順とを備える
    ことを特徴とするセンシング方法。

Images