JP7028814B2

JP7028814B2 - 外形認識装置、外形認識システム及び外形認識方法

Info

Publication number: JP7028814B2
Application number: JP2019020670A
Authority: JP
Inventors: 雄二平
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2019-02-07
Filing date: 2019-02-07
Publication date: 2022-03-02
Anticipated expiration: 2039-02-07
Also published as: JP2020129187A; CN111536895B; US20200257923A1; DE102020201379A1; US11132579B2; CN111536895A

Description

本発明は、外形認識装置、外形認識システム及び外形認識方法に関する。

工場等において、コンベアベルト上に載置されて搬送されるワークをカメラで撮影し、画像処理によりワークの外形（輪郭）を認識してロボットアーム等によってワークをピックアップする装置が採用されている。このような装置ではワーク（対象物）の色とコンベアベルト（背景）の色とが近似している場合や、ワークが透明（光透過率が比較的大きい）である場合には、画像処理によりワークの外形を正確に認識できない可能性がある。

ワークの外形を認識するために、カメラで撮影される画像の２次元位置（画素）毎に被写体までの距離を測定し、各画素の色を距離に対応する色（例えば濃淡）として表示する距離画像を用いることが考えられる。このような距離画像を得る技術としては、測定物の表面にパターン光を投光し、対象物の表面に投影されたパターン光の画像を異なる位置に配置された２台のカメラで撮影し、２台のカメラが撮影した画像間の視差に基づいて、撮影画像の画素毎に対象物までの距離を算出する３次元計測技術が知られている（例えば特許文献１参照）。

特開２００１－２８５７６２号公報

対象物表面にパターン光を投影する３次元計測技術では、対象物が透明である場合には、対象物表面に投影されるパターンを認識することができず、距離を算出することができない場合がある。このため、透明性を有する対象物の外形を正確に検出できる技術が望まれている。

本開示の一態様に係る外形認識装置は、載置面の上に配置された対象物の外形を認識する外形認識装置であって、前記対象物及び前記載置面にパターン光を投光する投光部と、前記投光部のパターン光の光量を調節する光量調節部と、前記パターン光の前記対象物及び前記載置面による反射光を含む画像を異なる視点から撮影する２つの撮影部と、前記２つの撮影部が異なる視点から撮影した画像の視差から２次元位置毎に前記対象物及び前記載置面までの距離を算出する距離算出部と、前記距離算出部が算出した距離を２次元位置毎に最大距離から最小距離に亘って階調表現し、且つ前記距離算出部が距離を算出できない位置を前記載置面と異なる階調で表す距離画像を生成する画像生成部と、前記画像生成部が生成した距離画像を画像処理して前記対象物の外形を抽出する外形抽出部と、を備え、前記光量調節部は、前記距離算出部により、前記対象物の少なくとも外形の距離を算出できず、且つ前記載置面の距離を算出できるよう、前記投光部の光量を調節し、前記画像生成部は、前記距離画像の階調表現における最大距離が、前記載置面の距離より大きい距離になるよう画像を生成する。

本開示の別の態様に係る外形認識方法は、載置面上に配置された対象物の外形を認識する外形認識方法であって、前記対象物及び前記載置面にパターン光を投光する工程と、前記パターン光の前記対象物及び前記載置面による反射光を含む画像を異なる視点から撮影する工程と、前記異なる視点から撮影した２つの画像の視差から２次元位置毎に前記対象物及び前記載置面までの距離を算出する工程と、前記２つの画像から算出した距離を２次元位置毎に階調表現し、且つ前記距離を算出する工程で距離を算出できなかった位置を前記載置面と異なる階調で表す距離画像を生成する工程と、前記距離画像を画像処理して前記対象物の外形を抽出する工程と、備え、パターン光を投光する工程において、前記距離を算出する工程で前記対象物の少なくとも外形の距離を算出できず、且つ前記載置面の距離を算出できるよう前記パターン光の光量を設定し、前記距離画像を生成する工程において、前記距離画像の階調表現における最大距離を前記載置面の距離より大きい距離に設定する。

本開示に係る外形認識装置及び外形認識方法によれば、対象物が透明性を有する場合であっても、その外形を正確に検出できる。

本開示の一実施形態に係る外形認識装置の構成を示す模式図である。図１の外形認識装置によって行われる外形認識方法の手順を示すフローチャートである。図１の外形認識装置によって外形を検出する対象物を例示する画像である。図３の対象物の距離を最大限測定可能とした場合の距離画像の一例である。図１の外形認識装置によって生成される図３の対象物の距離画像の一例である。本開示の一実施形態に係る外形認識システムの構成を示す模式図である。

以下、本発明の実施形態について、図面を参照しながら説明する。図１は、本発明の外形認識装置の構成を示す模式図である。図１の外形認識装置１は、載置面Ｐの上に配置された透明性を有する対象物Ｗの外形を認識する。

外形認識装置１は、対象物Ｗ及び載置面Ｐにパターン光を投光する投光部１０と、投光部１０のパターン光の光量を調節する光量調節部２０と、パターン光の対象物Ｗ及び載置面Ｐによる反射光を含む画像を異なる視点から撮影する２つの撮影部３０Ａ，３０Ｂと、２つの撮影部３０Ａ，３０Ｂが異なる視点から撮影した画像の視差から２次元位置毎に対象物Ｗ及び載置面Ｐまでの距離を算出する距離算出部４０と、距離算出部４０が算出した距離を２次元位置毎に最大距離から最小距離に亘って階調表現し、且つ距離算出部４０が距離を算出できない位置を載置面と異なる階調（本実施形態では最大距離と同じ階調）で表す距離画像を生成する画像生成部５０と、画像生成部５０が生成した距離画像を画像処理して対象物Ｗの外形を抽出する外形抽出部６０と、を備える。

投光部１０は、パターン光を投光することができるものであればよいが、典型的にはプロジェクタが用いられる。投光部１０が投光するパターン光のパターンは、光軸に垂直な２次元平面上に、好ましくは規則的に配列される複数の特徴点を有するパターンとされる。

光量調節部２０は、距離算出部４０により、対象物Ｗの少なくとも外形（投光部１０から見たときの外縁部）の距離を算出できず、且つ載置面Ｐの距離を算出できるよう、投光部１０の光量を制御する。

撮影部３０Ａ，３０Ｂは、被写体からの光の像を結像させる光学系と、結像した像を２次元位置毎に電気信号に変換する２次元撮像素子とを有するカメラによって構成することができる。撮影部３０Ａ，Ｂは、載置面Ｐからの距離が互いに等しくなるよう配置されることが好ましい。また、撮影部３０Ａ，３０Ｂは、光学系の光軸が載置面Ｐに対して略垂直となるよう配置されることが好ましい。

撮影部３０Ａ，３０Ｂは、パターン光の対象物Ｗ及び載置面Ｐによる反射光を含む画像を異なる視点から撮影する。つまり、撮影部３０Ａ，３０Ｂは、パターン光によって表面にパターン状の模様が付された対象物Ｗ及び載置面Ｐの画像を撮影する。

距離算出部４０は、撮影部３０Ａ，３０Ｂが撮影した画像におけるパターン光によるパターンの特徴点の座標を抽出し、２つの画像の対応する特徴点の視差を算出する。そして、距離算出部４０は、各特徴点の視差に基づいて対象物Ｗ又は載置面Ｐの表面上のパターン光の特徴点が投影されている点までの撮影部３０Ａ，３０Ｂからの距離を算出する。これにより、距離算出部４０は、撮影部３０Ａ，３０Ｂの光軸に垂直な２次元位置毎に対象物Ｗ又は載置面Ｐまでの距離を算出することができる。

なお、対象物Ｗの表面に投影されるパターンを十分に認識できない部分がある場合、距離算出部４０は、対象物Ｗの表面のパターンを十分に認識できない部分の距離を算出することができない。対象物Ｗが透明性を有する場合、パターン光が対象物Ｗを透過して撮影部３０Ａ，３０Ｂに向かって十分に反射せず、撮影部３０Ａ，３０Ｂが撮影した画像においてパターン光によって投影されるパターンを認識することが難しくなる。透明性を有する対象物Ｗの場合、投光部１０の光量が小さくなるほど距離算出部４０による距離の算出が難しくなる傾向がある。「透明性を有する」は、無色透明に制限されず、有色透明や半透明を含む。

画像生成部５０は、距離算出部４０が算出した２次元位置毎の対象物Ｗ又は載置面Ｐまでの距離を、その２次元位置の画素の濃淡によって表す距離画像を生成する。画像生成部５０は、適切に設定される最大距離から最小距離に亘って濃淡が変化するよう階調表現する。具体的には、画像生成部５０は各画素の色を明度が例えば０から２５５までの２５６階調のグレイスケールで表し、設定される最大距離において明度が最小値となり、設定される最小距離において明度が最大値となる距離画像を生成する。この場合、最大距離を超える距離の画素の明度は最小値となり、最小距離未満の距離の画素の明度は最大値となる。また、画像生成部５０は、距離を算出できない位置に対応する画素の明度を最小値とする。つまり、画像生成部５０は、パターン光によって対象物Ｗ又は載置面Ｐの表面上に描かれるパターンの特徴点を認識できない場合には、対応する画素の明度を無限遠と同じ明度にする。

画像生成部５０は、距離画像の階調表現における最大距離を、載置面Ｐの距離よりも大きい距離に設定する。これによって、距離画像における載置面Ｐの画素の明度が最小値よりも大きい値となり、距離算出部４０により距離を算出できない位置の画素と区別することが可能となる。

また、画像生成部５０は、距離画像の階調表現における最小距離を、載置面の距離よりも大きい値に設定することが好ましい。これにより、対象物Ｗ及び載置面Ｐの表面上で、距離算出部４０によって距離を算出可能な座標の明度がすべて最大値となる。一方、距離算出部４０により距離を算出できない位置の画素の明度は最小値であるため、距離算出部４０により距離を算出できない位置と距離を算出できる位置とのコントラストが最大となるため、次に説明する外形抽出部６が対象物Ｗの外形を検出することがより容易になる。距離画像の階調表現における最小距離を、載置面の距離よりも大きい値に設定する場合、その階調は２階調（モノクロ）であってもよい。

外形抽出部６０は、画像生成部５０が生成した距離画像から、公知の画像処理技術によって、対象物Ｗの外形形状をパターン認識することにより、距離画像中の対象物Ｗの外形を認識する。具体的には、距離画像において、ノイズは存在し得るが、基本的に対象物Ｗの画素の明度は最小値となり、載置面Ｐの画素の明度は一定の大きい値（距離画像の階調表現における最小距離を載置面の距離よりも大きい値に設定する場合は最大値）となる。このため、外形抽出部６０は、距離画像において明度が小さい部分の輪郭の中で対象物Ｗの外形形状に近似するものを、対象物Ｗの外形として抽出する。

続いて、外形認識装置１によって行うことができる本開示の一実施形態に係る外形認識方法の手順を説明する。図２は、外形認識装置１によって行われる外形認識方法の手順を示すフローチャートである。このため、図２の外形認識方法では、図１の外形認識装置１の構成要素に付した符号を用いて説明する。

図２の外形認識方法は、載置面Ｐ上に配置された対象物Ｗの外形を認識する外形認識方法である。図３に、透明性を有する対象物Ｗを例示する。図３は、投光部１０からパターン光を投光していない状態で、撮像装置Ａにより撮影した画像の例である。図示するように、通常の画像では、対象物Ｗの外形を認識することが難しい。

図２の外形認識方法は、対象物Ｗ及び載置面Ｐにパターン光を投光する工程（ステップＳ１：投光工程）と、パターン光の対象物Ｗ及び載置面Ｐによる反射光を含む画像を異なる視点から撮影する工程（ステップＳ２：撮影工程）と、異なる視点から撮影した２つの画像の視差から２次元位置毎に対象物Ｗ及び載置面Ｐまでの距離を算出する工程（ステップＳ３：距離算出工程）と、２つの画像から算出した距離を２次元位置毎に階調表現し、且つ距離算出工程で距離を算出できなかった位置を載置面と異なる階調（典型的には最大距離と同じ階調）で表す距離画像を生成する工程（ステップＳ４：距離画像生成工程）と、距離画像を画像処理して対象物の外形を抽出する工程（ステップＳ５：外形抽出工程）と、を備える。

ステップＳ１の投光工程では、投光部１０によって対象物Ｗ及び載置面Ｐにパターン光を投光する。パターン光の光量は、対象物Ｗの少なくとも外形の距離を算出できず、且つ載置面Ｐの距離を算出できるように設定される。このような光量の設定は、同じ種類の対象物Ｗの外形を連続して検出する際に、最初に対象物Ｗのサンプルを載置面Ｐ上に配置し、距離画像をオペレータが確認しながらマニュアル操作によって行うキャリブレーションとすることができる。また、光量の設定は、対象物Ｗを予め定められた位置及び向きに配置した場合において、処理画像の対象物Ｗの外縁部となる画素の座標を外形認識装置１に記憶させておき、オペレータが対象物Ｗを予め定められた位置及び向きに配置することで、外形認識装置１がパターン光の強度を自動で調節できるようにしてもよい。

ステップＳ２の撮影工程では、パターン光が投光されて表面にパターンが投影されている対象物Ｗ及び載置面Ｐを２つの撮影部３０Ａ，３０Ｂによって撮影する。これにより、撮影部３０Ａ，３０Ｂ間の位置が異なることに起因して、撮影部３０Ａ，３０Ｂの２つの撮影画像は、被写体（対象物Ｗ及び載置面Ｐ）の各部が撮影部３０Ａ，３０Ｂからの距離に応じた距離だけ位置ずれした、いわゆる視差を有する画像となる。

ステップＳ３の距離算出工程では、撮影部３０Ａ，３０Ｂが撮影した２つの画像の視差に基づいて、各部の撮影部３０Ａ，３０Ｂからの距離を算出する。このとき、パターン光によるパターンの特徴点は対象物Ｗ又は載置面Ｐの表面の同一点であることが保証されるため、パターンの特徴点について距離を算出することで、撮影画像中の対象物Ｗ及び載置面Ｐの各２次元位置までの距離を比較的正確に算出することができる。

ステップＳ４の距離画像生成工程では、２次元位置毎の距離を各画素の色の階調表現によって表す距離画像を生成する。このとき、階調表現における最大距離を載置面Ｐの距離以上とすることが必要であり、最小距離を載置面Ｐの距離以上とすることが好ましい。

図４は、距離画像生成工程で得られる距離画像の一例である。このように、投光工程において、対象物Ｗの距離を算出不能とし、且つ載置面Ｐの距離を算出可能とすることで、対象物Ｗの画素の明度が無限遠の明度と同じとなり、２次元位置において対象物Ｗの周囲の載置面Ｐの明度が近距離を示す明度となる。これに対し、従来のように、投光工程における光量を対象物Ｗの表面の距離を可能な限り算出可能とすることができる光量に設定した場合に得られる距離画像を図５に示す。このように、対象物Ｗが透明性を有する場合、対象物Ｗの表面の距離を算出可能とすることは困難である。

ステップＳ５の外形抽出工程では、周知の画像処理技術によって、距離画像中の対象物Ｗの外形を認識する。図４に示す距離画像であれば、対象物Ｗの外形を比較的正しく認識できる。

以上のように、外形認識装置１及び外形認識方法によれば、対象物Ｗの表面の距離が測定不能となるよう、パターン光の光量を調節することで、画像処理によって対象物Ｗの外形を容易に認識可能とすることができる。このため、外形認識装置１及び外形認識方法によって、透明性を有する対象物の外形を正確に検出できる。

さらに、本開示の一実施形態に係る外形認識システムについて説明する。図６は、外形認識システム１００の構成を示す模式図である。

外形認識システム１００は、複数の外形認識装置１と、複数の外形認識装置１にネットワークを介して接続される管理装置２とを備える。

管理装置２は、複数の外形認識装置１から光量調節部２０が調節した光量の情報を収集する。これにより、管理装置２は対象物Ｗに対して適用された光量の情報を収集し、各外形認識装置１において新しい種類の対象物Ｗを処理する際に、他の外形認識装置１において同種の対象物Ｗに対して設定された光量の傾向等の情報を提供することで、光量の調節を容易化すると共に、対象物Ｗの外形認識の制度を向上することができる。このため、管理装置２は、例えば深層学習等により、複数の外形認識装置１から得られる情報に基づいて、より最適な光量を推定できるようにすることが好ましい。

以上、本開示の実施形態について説明したが、本開示に係る外形認識装置、外形認識システム、及び外形認識方法は、前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本開示から生じる最も好適な効果を列挙したに過ぎず、本開示による効果は、本実施形態に記載されたものに限定されるものではない。
て、より最適な光量を推定できるようにすることが好ましい。

本開示に係る外形認識装置、外形認識システム、及び外形認識方法において、画像生成部は、距離算出部が距離を算出できない位置を、最大距離と同じ階調以外の、載置面と異なる階調で表す距離画像を生成してもよい。載置面と異なる階調としては、最小距離や載置面と異なることが明らかな特定の階調とすることができ、パターン光の光量に応じてせってされる階調であってもよい。

１外形認識装置
２管理装置
１０投光部
２０光量調節部
３０Ａ，３０Ｂ撮影部
４０距離算出部
５０画像生成部
６０外形抽出部
１００外形認識システム
Ｐ載置面
Ｗ対象物

Claims

載置面の上に配置された透明性を有する同じ種類の対象物の外形を連続して認識する外形認識装置であって、
前記対象物及び前記載置面にパターン光を投光する投光部と、
前記投光部のパターン光の光量を調節する光量調節部と、
前記パターン光の前記対象物及び前記載置面による反射光を含む画像を異なる視点から撮影する２つの撮影部と、
前記２つの撮影部が異なる視点から撮影した画像の視差から２次元位置毎に前記対象物及び前記載置面までの距離を算出する距離算出部と、
前記距離算出部が算出した距離を２次元位置毎に最大距離から最小距離に亘って階調表現し、且つ前記距離算出部が距離を算出できない位置を前記載置面と異なる階調で表す距離画像を生成する画像生成部と、
前記画像生成部が生成した距離画像を画像処理して前記対象物の外形を抽出する外形抽出部と、
を備え、
前記光量調節部は、前記対象物のサンプルを前記載置面上に配置して行うキャリブレーションに基づいて、前記距離算出部により、前記対象物の少なくとも外形の距離を算出できず、且つ前記載置面の距離を算出できるよう、前記投光部の光量を設定し、
前記画像生成部は、前記距離画像の階調表現における最大距離が、前記載置面の距離より大きい距離になるよう画像を生成する、外形認識装置。
前記画像生成部は、前記距離画像の階調表現における最小距離が、前記載置面の距離より大きい距離になるよう画像を生成する、請求項１に記載の外形認識装置。
複数の請求項１又は２に記載の外形認識装置と、複数の前記外形認識装置から前記光量調節部が調節した光量の情報を収集する管理装置と、を備える外形認識システム。
載置面上に配置された透明性を有する同じ種類の対象物の外形を連続して認識する外形認識方法であって、
前記対象物及び前記載置面にパターン光を投光する工程と、
前記パターン光の前記対象物及び前記載置面による反射光を含む画像を異なる視点から撮影する工程と、
前記異なる視点から撮影した２つの画像の視差から２次元位置毎に前記対象物及び前記載置面までの距離を算出する工程と、
前記２つの画像から算出した距離を２次元位置毎に階調表現し、且つ前記距離を算出する工程で距離を算出できなかった位置を前記載置面と異なる階調で表す距離画像を生成する工程と、
前記距離画像を画像処理して前記対象物の外形を抽出する工程と、
を備え、
パターン光を投光する工程において、前記対象物のサンプルを前記載置面上に配置して行うキャリブレーションに基づいて、前記距離を算出する工程で前記対象物の少なくとも外形の距離を算出できず、且つ前記載置面の距離を算出できるよう前記パターン光の光量を設定し、
前記距離画像を生成する工程において、前記距離画像の階調表現における最大距離を前記載置面の距離より大きい距離に設定する、外形認識方法。