JP6413648B2 - 計測システム、物体取出システム、計測方法およびプログラム - Google Patents

Description

本発明は、山積みされた物体の形状を計測するためのシステム、そのシステムを備えた物体取出システム、その計測方法およびその方法をコンピュータに実行させるためのプログラムに関する。

様々な電子部品や機械部品は、ワークと呼ばれる加工対象物を、プレス加工や、曲げ加工、打抜き加工等の成型を行うことにより製造される。複数のワークは、包装されることなく、トレイ等の容器に乱雑に山積みされた状態で搬送され、加工するために容器から１つずつ取り出される。このワークを取り出すシステムとして、ピッキングシステムが使用されている。

ピッキングシステムは、乱雑に山積みされたワークの位置、形状、傾き等の姿勢を認識し、その認識結果をコントローラに与え、コントローラがアームを制御してワークを正確に取り出す（ピッキングする）。ピッキングシステムは、それらを認識するために、撮像手段、投光手段、認識手段を備えている。

撮像手段は、山積みされたワークを撮像して画像を取得するとともに、ワークまでの距離を計測する。投光手段は、ワークに局所的な特徴がない場合に模様（テクスチャ）を与えて、その形状を正確に計測することができるようにする。認識手段は、撮像手段により得られた画像や計測された距離、自己が保持するワークの形状情報を用い、ワークの位置、形状、姿勢を認識し、認識結果をコントローラに与える。

ここで、正確な形状を計測するための技術として、例えば、特許文献１に記載の技術がある。この技術では、局所的な特徴を有しない被写体に、乱数を用いて非周期的な投光パターンを照射して対応点付けを確実にし、それを２つのカメラで撮影して画素間の視差に基づき距離を算出することにより正確な形状を計測している。

ワークを１つずつピッキングしていくと、山積みされたワークが１つずつ減っていき、山積みされたワークまでの距離が徐々に変化していく。そのため、撮像される画像は、投光手段から照射された投光パターンがぼけた画像となっていく。また、ピッキングしやすいワークは、焦点を合わせて投光パターンを照射した、山積みされた最上部にあるワークとは限らない。すると、ピッキングしやすいワークにはぼけた投光パターンが照射されてしまう。

正確にピッキングするには、正確な形状を把握することが必要である。正確な形状を把握できれば、正確な位置や姿勢も把握することができるからである。しかしながら、上記のように投光パターンがぼけていては、ピッキングしようとするワークの形状を正確に計測することができない。これでは、位置ずれや傾きのずれも生じ、ピッキングし損ねる可能性があり、生産性が低下してしまう。

そこで、ワーク等の物体の形状を正確に計測することができ、これにより、ピッキングし損ねることを防止し、生産性を高めることができるシステムや方法の提供が望まれている。

本発明は、上記課題に鑑み、複数の物体のうちの１つの形状を計測する計測システムであって、複数の物体を２以上の異なる角度から撮像し、得られた２以上の画像に基づき各物体までの距離を算出する撮像手段と、物体の姿勢を変えて一定の方向から見える複数の形状を形状情報として記憶する記憶手段と、撮像手段により得られた２以上の画像と記憶手段に記憶された形状情報とに基づき、複数の物体の中から１つの物体を選定する選定手段と、選定手段により選定された物体までの、撮像手段により撮像し、算出された距離を用いて、該選定された物体に焦点を合わせて所定の投光パターンを照射するように投光手段に指示する指示手段とを含み、投光手段により所定の投光パターンが照射された該選定された物体を撮像手段により撮像し、得られた２以上の画像に含まれる所定の投光パターン上の複数の点までの距離をそれぞれ算出することにより該選定された物体の形状を計測する、計測システムが提供される。

本発明のシステム、方法およびプログラムを提供することにより、物体の形状を正確に計測することができる。これにより、ピッキングし損ねることを防止し、生産性を高めることができる。

本実施形態の物体取出システムとしてのピッキングシステムの概略構成を示した図。 図１に示すピッキングシステムが備える計測システムのハードウェア構成を示した図。 図２に示す計測システムの機能ブロック図。 計測システムが備える記憶手段に記憶される形状情報を例示した図。 計測システムが備える撮像手段により撮像される画像を例示した図。 撮像手段により計算される距離について説明する図。 撮像手段により計算される距離について説明する図。 投光手段により投光される投光パターンを例示した図。 投光手段により投光パターンが照射されたワーク表面の一部を例示した図。 ピッキングシステムが実行する処理の流れを例示したフローチャート。 距離と露光量の関係について説明する図。 距離とズーム倍率の関係について説明する図。

図１は、本実施形態の物体取出システムとしてのピッキングシステムの概略構成を示した図である。図１に示すピッキングシステムは、計測システムと、投光装置１０と、コントローラ１１と、物体取出装置としてのピッキング装置１２とを含んで構成される。ピッキングシステムは、乱雑に山積み、すなわちバラ積みされた複数の物体を掴み取り、その物体を所定の場所へ搬送したり、所定の箇所へ提供したりする。提供先は、その物体を取り付ける取り付け箇所であってもよい。以下、ピッキングシステムがピッキングする物体を、金属や樹脂等の加工対象物であるワーク１３として説明する。

投光装置１０は、例えば、プロジェクタとされ、所定の投光パターンを照射する。投光装置１０は、光源と、液晶パネル等の表示パネルと、投射レンズとから構成される。表示パネルは、光源からの光を、対象物の表面に所定の模様等を映し出す光へ変換し、投射レンズは、その変換した光を対象物に向けて照射する。ここでは、液晶パネルを使用したＬＣＤ方式について説明したが、その他の方式を採用してもよい。

投光装置１０は、所定の投光パターンとして、同時に得られる２以上の画像をマッチングするために、正確な位置合わせを可能にするランダムパターンと呼ばれる非周期的な模様を照射することができる。このランダムパターンを照射することで、テクスチャがないワーク１３であっても、計測システムが備える撮像装置１４を用いて、ワーク１３の端部（エッジ）のみならず、ワーク１３の各面の部分の形状データまで取得することが可能となる。

コントローラ１１は、計測システムが備える認識装置１５が認識し、出力した認識結果に基づき、ピッキング装置１２の動作を制御する。認識結果は、ピッキングするワーク１３の位置および姿勢に関するデータ、ワーク１３の形状データ等である。これらのデータにより、コントローラ１１は、そのワーク１３を、どの方向から、どのような速度で移動させてピッキングするかという諸条件を決めることができる。

計測システムの制御部およびコントローラ１１のハードウェア構成は同じ構成とすることができ、そのハードウェア構成については後述する。コントローラ１１は、所定のプログラムを保持し、そのプログラムを実行することにより上記の制御を実現することができる。

ピッキング装置１２は、ワーク１３を掴み取るためのワーク１３を挟み、挟んだ状態で支持する２本の指をもつハンド１２ａと、ハンド１２ａに連続し、ハンド１２ａを所定の位置へ移動させるアーム１２ｂとを備えている。ピッキング装置１２は、コントローラ１１により、アーム１２ｂを移動させ、ハンド１２ａの向きを変えて、常にワーク１３の同じ位置を掴み取るように制御される。このため、ピッキング装置１２は、掴み取ったワーク１３を、その後どこかに取り付ける場合に同じように取り付けることができ、生産性を高めることができる。

ピッキング装置１２は、上記では２本の指をもつハンド１２ａを備えるものとして説明したが、３本以上の指をもつハンド１２ａであってもよいし、吸引することによりワーク１３をピッキングする構成とされていてもよい。

計測システムは、図１に示す実施形態では、上記の投光装置１０を含まない構成とされているが、上記の投光装置１０を含んで構成されていてもよい。計測システムは、バラ積みされた複数のワーク１３の中から１つのワーク１３を選定し、そのワーク１３の形状を計測し、位置や姿勢に関するデータとともにコントローラ１１へ出力する。そのために、計測システムは、上記の撮像装置１４と、認識装置１５とを備える。

撮像装置１４は、例えば、ステレオカメラとされ、複数のワーク１３を異なる２以上の角度から撮像して２以上の画像を出力するとともに、２以上の画像に基づき各ワーク１３までの距離を算出する。撮像装置１４は、２以上のカメラを備え、各カメラは、レンズ、シャッタ、画像センサを備える。撮像装置１４は、各カメラのシャッタを同時に制御し、１回の撮像操作で複数枚同時に撮像する。画像センサは、複数の光電変換素子を備え、受光した光を電気信号に変換する。また、撮像装置１４は、Ａ／Ｄコンバータを備え、電気信号をデジタルデータである画像データに変換する。そして、撮像装置１４は、画像データを用い、撮像装置１４から各ワーク１３までの距離を算出する。

認識装置１５は、撮像装置１４から出力された画像データや距離の情報を用いて、バラ積みされた複数のワーク１３の中の１つのワーク１３を選定し、そのワーク１３の正確な形状を計測する。このため、認識装置１５は、投光装置１０および撮像装置１４との間で情報のやりとりを行う。

投光装置１０、コントローラ１１、ピッキング装置１２、撮像装置１４、認識装置１５は、互いにケーブルで接続されていてもよいし、ネットワークを介して接続されていてもよい。ネットワークは、有線ネットワークであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ等の無線ネットワークであってもよい。

図２は、計測システムの制御部のハードウェア構成を例示した図である。撮像装置１４におけるカメラ部分のハードウェア構成については説明したので、撮像装置１４における距離を算出する処理、認識装置１５における認識処理を実施するためのハードウェア構成について説明する。撮像装置１４および認識装置１５は、上記のカメラ部分の構成を除き、同様のハードウェア構成とすることができる。したがって、ここでは認識装置１５のみのハードウェア構成について説明する。認識装置１５は、ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、ＨＤＤ２３、入出力Ｉ／Ｆ２４、外部記憶Ｉ／Ｆ２５を備えている。

ＲＯＭ２１は、起動時に実行されるブートプログラムやファームウェア等を記憶する。ＨＤＤ２３は、ＯＳや、ワークの選定、そのワークの位置、形状、姿勢等の認識処理を実現するためのプログラムを記憶する。ここでは、ＨＤＤ２３を使用しているが、フラッシュメモリやＳＳＤ等を使用してもよい。ＣＰＵ２０は、装置全体を制御し、ＲＯＭ２１やＨＤＤ２３に記憶されたプログラムを読み出し実行する。ＲＡＭ２２は、ＣＰＵ２０に対して作業領域を提供する。

入出力Ｉ／Ｆ２４は、投光装置１０、撮像装置１４やコントローラ１１と接続し、ＣＰＵ２０からの指示やデータ等をそれらの装置に出力し、それら装置からデータ等の入力を受け付ける。外部記憶Ｉ／Ｆ２５は、ＣＤ−ＲＯＭドライブやＳＤカードスロット等とされ、上記のプログラムをインストールする場合等に使用される。これらのユニットは、バス２６に接続され、互いにバス２６を介して情報のやりとりを行うことができるようになっている。

認識装置１５は、通信Ｉ／Ｆを備え、ネットワークを介してそれら装置と通信することもできる。認識装置１５は、必要に応じて、情報を入力するための入力装置や、現在の処理状況やエラー等を表示するための表示装置を備えることができる。

図３を参照して、計測システムが備える機能について説明する。計測システムが備える機能は、上記の撮像装置１４における２つのカメラ、ＣＰＵ２０、ＨＤＤ２３に記憶されるプログラム等によって実現される。計測システムは、バラ積みされた複数のワーク１３の中から１つのワーク１３を選定し、その選定したワーク１３の正確な形状を計測する装置である。それを実現するために、計測システム３０は、撮像装置１４である撮像手段３１と、記憶手段３２と、選定手段３３と、指示手段３４とを少なくとも備える。なお、計測システム３０は、コントローラ１１へ認識結果を出力する出力手段３６をさらに備えることができる。図３では、投光装置１０である投光手段３５が計測システムに実装されていない構成とされているが、計測システムは、この投光手段３５を含めた構成とすることも可能である。

撮像手段３１は、バラ積みされた複数のワーク１３を２以上の異なる角度から撮像して２以上の画像を取得し、出力する。また、撮像手段３１は、２以上の画像に基づき、撮像手段３１から各ワーク１３までの距離を計算し、出力する。具体的な距離の算出方法については後述する。

記憶手段３２は、ワーク１３の姿勢を変えて一定の方向から見える複数の形状を形状情報として記憶する。具体的には、ワーク１３を、角度を変えて撮像した複数の二次元画像を形状情報として記憶する。選定手段３３は、撮像手段３１から出力された２以上の画像と、記憶手段３２に記憶された形状情報とに基づき、複数のワーク１３の中から１つのワーク１３を選定する。ここでは、選定手段３３は、バラ積みされた複数のワーク１３の中の最もピッキングしやすいワーク１３を選定する。具体的なワーク１３の選定方法については後述する。

指示手段３４は、選定手段３３により選定されたワーク１３までの、撮像手段３１により算出された距離の情報を用いて、その選定されたワーク１３に焦点を合わせて所定の投光パターンであるランダムパターンを照射するように投光手段３５に指示する。この指示を受けて、投光手段３５は、その選定されたワーク１３に焦点を合わせてランダムパターンを照射する。指示手段３４は、投光手段３５によりランダムパターンが照射された、その選定されたワーク１３を撮像するように撮像手段３１に対しても指示する。

撮像手段３１は、投光手段３５がランダムパターンを照射したその選定されたワーク１３を撮像し、得られた２以上の画像に含まれるランダムパターン上の複数の点までの距離をそれぞれ算出する。これにより、その選定されたワークの正確な形状を計測する。

出力手段３６は、撮像手段３１から出力された２以上の画像および各点までの距離、記憶手段３２に記憶された形状情報から認識されるワーク１３の位置および姿勢に関するデータ、ワーク１３の形状データを出力する。これらのデータは、コントローラ１１によりピッキング装置１２を制御するために使用される。

図４は、計測システム３０が備える記憶手段３２に記憶される形状情報を例示した図である。例えば、ワーク１３の形状を、図４（ａ）に示すような円筒形とする。記憶手段３２に記憶する形状情報は、この円筒形のワーク１３を、様々な方向に傾けながら撮像手段３１により撮像し、図４（ｂ）に示すような二次元画像として得られた形状データとされる。図４（ｂ）では、向かって左側から、円筒形の上部または底部の形状、正面の形状、それを４５°、９０°、１３５°傾けた形状の５つを形状情報としている。

選定手段３３は、撮像手段３１から出力された画像と、この形状情報としての二次元画像とを比較し、比較結果として、これら画像のデータが一致する量が一定以上である場合に、ワーク１３として認識する。そして、選定手段３３は、ワーク１３として認識した中から、その量が最も大きいワーク１３を、最もピッキングしやすいワーク１３として選定する。

図５を参照して、ワーク１３の選定方法について詳細に説明する。図５（ａ）〜（ｃ）の、向かって左側の図は、バラ積みした複数のワーク１３を正面よりやや上方の斜め方向から見た図で、向かって右側の図は、真上の撮像手段３１側から見た図である。図５（ａ）に示すワークＡは、ワークＡの上に別のワークが乗っていて、撮像手段３１からは、ワークＡの一部の形状しか見えない。このため、図４（ｂ）中、右から２番目のワークと比較した場合に、データの一部のみが一致し、その一致するデータ量は少ない。

図５（ｂ）に示すワークＢは、バラ積みした複数のワークの中で最も高い位置にある。しかしながら、ワーク自体が大きく傾いているため、図４（ｂ）に示すいずれのワークの形状とも異なっている。このため、図４（ｂ）中、左から１番目のワークや左から２番目のワークと比較しても、その一致するデータ量は少ない。

図５（ｃ）に示すワークＣおよびワークＤは、バラ積みした複数のワークの中で最も低い位置にあるが、別のワークが乗っておらず、ワーク自体が傾いてもいない。このため、ワーク全体が撮像手段３１からよく見えていて、図４（ｂ）中、左から１番目のワーク、右から２番目のワークと比較して、最も一致するデータ量が多い。このことから、選定手段３３は、このワークＣ、Ｄを最もピッキングしやすいワークとして選定する。

なお、ワークＣ、Ｄのように２つのワークを選定した場合、いずれか１つを先にピッキングし、もう１つを次にピッキングすることができる。ピッキングする順序は、どのような順序であってもよく、例えば、撮像手段３１から見て左側から順にピッキングすることができる。これは一例であるので、これに限定されるものではない。

図６および図７を参照して、撮像手段３１が行うワーク１３までの距離の算出方法について説明する。撮像手段３１は、例えば２台のカメラ４０ａ、４０ｂを備え、同時に撮像を行う。撮像手段３１は、得られた２つの画像間に生じる視差Δを利用し、三角測量の原理によりワーク１３までの距離Ｌを計算する。撮像手段３１は、一対の画像センサ４１ａ、４１ｂと、一対のレンズ４２ａ、４２ｂとを組み合わせることで２つのカメラ４０ａ、４０ｂを構成している。

図６では、ワーク１３からの光を、同一の光学系からなる２つのカメラ４０ａ、４０ｂを配置して撮像している。レンズ４２ａ、４２ｂを通して得られたワーク像４３ａ、４３ｂは、被写体上の同一点が図６および図７に示すように視差Δだけずれて画像センサ４１ａ、４１ｂに至り、複数の光電変換素子で受光される。

レンズ４２ａ、４２ｂの光軸間の距離Ｄは、基線長と呼ばれ、レンズ４２ａ、４２ｂの焦点距離をｆとし、Ｌ>>ｆであるとき、下記式１が成り立つ。

上記式１中、基線長Ｄおよびレンズ４２ａ、４２ｂの焦点距離ｆは既知の値であるため、図６および図７に示す視差Δを検出することで、ワーク１３までの距離Ｌを計算することができる。視差Δは、画像を構成する画素の幅が一定の値であることから、画素数から求めることができる。

図８および図９を参照して、ランダムパターンについて説明する。撮像手段３１として使用されるステレオカメラによる距離の計測は、同時に得られた２つの画像にテクスチャ（模様）が存在することが前提である。これは、テクスチャがないワーク１３では、２つの画像の間でマッチングが得られず、視差Δを検出することができないからである。そこで、テクスチャがないワーク１３の形状を正確に計測するために投光装置１０を用いて図８に示すようなランダムパターンと呼ばれる細かいテクスチャがワーク１３に投光される。

ランダムパターンは、等間隔で同じ模様が繰り返される周期的なパターンではなく、図８に示すような、その間隔も、模様も異なる非周期的なパターンである。２つの画像をマッチングする際に、２つの画像間の同じ位置を識別することができれば、図８に示すパターンに限らず、いかなるパターンであってもよい。

ワーク１３を正確にピッキングするためには、ワーク１３の形状をより正確に計測しなければならない。形状を正確に計測するためには、投光装置１０から照射されるランダムパターンがピッキングしたいワーク１３に焦点（ピント）が合うように照射しなければならない。ワーク１３にピントが合うようにランダムパターンを照射し、そのワーク１３を撮像すると、図９（ａ）に示すようなはっきりしたランダムパターンの画像が得られる。

ピントが合っているため、２つの画像間の対応する画素を特定することができ、その画素に対応したワーク１３上の点までの正確な距離を算出することができる。このため、ワーク１３の面の部分がどのような形状になっているかを、その正確に算出された距離から正確に計測することができる。

これに対し、ワーク１３にピントが合っていない場合、図９（ｂ）に示すようなぼやけたランダムパターンの画像が得られる。このように画像がぼやけていると、２つの画像間の対応する画素をはっきり特定することができない。これでは、その画素に対応したワーク１３上の点までの正確な距離を算出することができないため、ワーク１３の面の形状を正確に計測することができない。

本発明では、ピッキングするワーク１３にピントを合わせてランダムパターンを照射し、それを撮像するので、ワーク１３の正確な形状を計測することができる。正確な形状の情報が得られる結果として、正確な位置や正確な姿勢の情報を得ることができる。

投光装置１０から照射されるランダムパターンを常にピッキングするワークにピントが合うようにして正確なワークの形状を計測する計測システムを備えるピッキングシステムが行う処理を、図１０を参照して詳細に説明する。この処理は、ステップ１０００から開始し、ステップ１００５では、撮像手段３１を起動し、ステップ１０１０では、投光手段３５を起動する。いずれも電源を入れて起動させることができる。なお、投光手段３５は、ランダムパターンを照射するのではなく、単に複数のワーク１３を照明するだけでもよい。

ステップ１０１５では、撮像手段３１によりバラ積みされた複数のワーク１３を撮像する。この撮像により、２つの画像が得られる。ステップ１０２０では、得られた２つの画像に基づき、撮像手段３１からバラ積みされた複数のワーク１３の最も高い部分（最高点）までの距離を計算する。撮像手段３１は、バラ積みされた複数のワーク１３の真上から撮像しているため、最高点は、撮像手段３１から最も近い位置にある点である。なお、最高点は、ワーク１３のエッジ部分となるため、そのエッジ部分を基に２つの画像のマッチングを行い、視差を得、その視差から上記式１により上記距離を計算することができる。

ステップ１０２５では、計算した距離を用いて投光手段３５のピントをその最高点に合わせる。投光手段３５は、測距センサを搭載しているため、測距センサで計測される距離がその計算した距離になるように投光距離を調整する。ステップ１０３０では、投光手段３５からランダムパターンを照射する。ステップ１０３５では、ランダムパターンが照射されたバラ積みされた複数のワーク１３を撮像手段３１により撮像する。

ステップ１０４０では、選定手段３３が撮像結果を取り込み、最もピッキングしやすいワークを選定する。ステップ１０４５では、投光手段３５のピントを、選定手段３３により選定されたワーク１３に合わせる。撮影結果には、各ワーク１３までの距離も含まれているため、選定されたワーク１３までの距離を用いて投光手段３５のピントを合わせる。ステップ１０５０では、投光手段３５からランダムパターンを照射する。このランダムパターンは、ステップ１０３０とは異なり、選定されたワーク１３にピントが合ったランダムパターンである。

ステップ１０５５では、ランダムパターンが照射されたバラ積みされた複数のワーク１３を撮像手段３１で撮像する。ステップ１０６０では、撮影結果から、選定されたワーク１３の正確な形状の形状データ、位置や姿勢に関するデータを生成し、それらデータを認識結果としてコントローラ１１に出力する。ステップ１０６５では、コントローラ１１がそれらデータに基づきピッキング装置１２を制御し、選定されたワーク１３をピッキングする。

ステップ１０７０では、ワークが残っているかどうかを判断し、残っている場合はステップ１０３５へ戻り、バラ積みされたワークを撮像手段３１で撮像する。一方、残っていない場合、ステップ１０７５へ進み、ピッキングを終了する。

山積みされたワーク１３をピッキングする場合、最もピッキングしやすいワークは、山の最上部にあるワーク１３であることが多い。このため、処理を開始する際、その最上部のワーク１３にピントを合わせることで、焦点合わせにかかる時間を短縮し、これによりピッキング時間を短縮することができる。

ワーク１３は、一般的には図１１に示すような容器４４の中に山積みされている。容器４４の中にあるワーク１３を投光装置１０で照明する場合、投光装置１０から近い位置にあるワーク１３には投光装置１０から出射される光束のほぼ全てが容器４４内に照射される（図１１中、８００ｍｍの位置）。一方、投光装置１０から遠い位置（例えば、図１１中、１２００ｍｍの位置）にあるワーク１３に対しては、投光装置１０からの光は広がり、容器４４の外側にも光が照射され、投光装置１０から出射される光束の一部しか容器４４内には照射されない。

このため、投光装置１０から遠い位置にあるワーク１３は、照射される光量が少なくなる。光量が少ないと撮像装置１４でワーク１３を撮像した場合、暗い画像が得られることになる。画像が暗いと、２つの画像の間でマッチングが得られなくなり、正しい視差Δが得られなくなってしまうという不具合が生じる。

そこで、投光装置１０からワーク１３までの距離に応じて撮像装置１４の露光量を変えて、撮像装置１４は常に明るさが一定の画像が得られるようにする。具体的には、撮像装置１４は、ワーク１３までの距離に応じて、露光量を変えるために露光時間を変えることができる。

例えば、容器４４のサイズが縦５００ｍｍ、横５００ｍｍ、高さ４００ｍｍで、投光装置１０から床面までの距離が１２００ｍｍであるとする。この場合、容器４４の最上部は、投光装置１０から８００ｍｍ離れた位置にあるため、投光装置１０の画角は、３４．７ｄｅｇ（＝２×ｔａｎ^−１（２５０／８００））以上あれば、容器４４全体（縦５００ｍｍ×横５００ｍｍ）を照明することができる。図１１に示すように、ワーク１３が投光装置１０から１２００ｍｍ離れた位置にあると、投光装置１０からの光束は、縦７５０ｍｍ（＝１２００×ｔａｎ（３４．７／２）×２）×横７５０ｍｍの領域が照明される。容器４４の面積（縦５００ｍｍ×横５００ｍｍ）の２．２５倍の面積が照明されるため、容器４４に照射される光量は、８００ｍｍ離れた位置にある場合に比べて０．４４倍となる。

このように山積みされたワーク１３がピッキングされて減少していくと、残ったワーク１３は、投光装置１０からの距離が遠くなっていく。その結果、ワーク１３に照射される光量は少なくなっていく。しかしながら、上記のように距離に応じて露光時間を変え、その時間を長くしていくことで、撮像した画像が暗くならないようにすることができる。

撮像装置１４から選定したワーク１３までの距離が分かれば、投光装置１０から選定したワーク１３までの距離も換算することができる。投光装置１０と撮像装置１４は固定されているため、設置したときの位置関係が常に一定に保たれている。図１に示すように、投光装置１０と撮像装置１４を同じ高さに並べて設置した場合は、撮像装置１４からワーク１３までの距離と、投光装置１０からワーク１３までの距離は、ほぼ同じ距離とみなすことができる。このため、撮像装置１４から得られた距離を用い、その距離に応じて、撮像装置１４の露光時間を変えることができ、これにより、常に明るい画像を得ることが可能となる。その結果、２つの画像の間でマッチングが得られ、正しい視差Δを得ることができる。

これまでは、ワーク１３と投光装置１０との距離が離れた場合は露光時間を長くすることで明るい画像が得られることを説明したが、露光時間を長くすることに限らず、例えば、投光装置１０の輝度を高めて照射する光量を大きくすることで明るい画像が得られるようにしてもよい。具体的には、投光装置１０が、ワーク１３と投光装置１０との距離に応じて、投光装置１０から出射される光量を変えることができる。なお、ワーク１３と投光装置１０との距離は、上記と同様、撮像装置１４からワーク１３までの距離とほぼ同じ距離とし、撮像装置１４から得られた距離を用いることができる。これにより、露光時間を長くする場合と同様、常に明るい画像を得ることができる。その結果、２つの画像の間でマッチングが得られ、正しい視差Δを得ることができる。

ピッキングしていくに従って、山積みされたワーク１３の高さが変わり、投光装置１０から選定したワーク１３までの距離に応じて撮像装置１４の露光時間や投光装置１０の輝度を変化させることを提案したが、そのほか、投光装置１０の画角を変えてもよい。以下、この画角を変えることについて説明する。

図１２に示すように、投光装置１０からワーク１３までの距離が８００ｍｍである場合、上記で説明したようにその画角θ１は、３４．７ｄｅｇである。投光装置１０からワーク１３までの距離が１０００ｍｍになると、投光装置１０からの光は、容器４４の面積（縦５００ｍｍ×横５００ｍｍ）よりも広い範囲に照射されるため、ワーク１３に照射される光量は少なくなる。これを補うため、投光装置１０の画角θを狭くする。具体的には、画角θを、２×ｔａｎ^−１（２５０／１０００）＝２８．１ｄｅｇにすることで、その距離が１０００ｍｍになった場合でも、容器４４の外側の広い範囲に照明されることがなくなり、ワーク１３に照射される光量が低下するのを防ぐことができる。

さらに、投光装置１０からワーク１３までの距離が１２００ｍｍになると、投光装置１０からの光は、容器４４の面積よりも、より広い範囲に照射されることになるため、ワーク１３に照射される光量はさらに少なくなる。この場合は、画角θを、２×ｔａｎ^−１（２５０／１２００）＝２３．５ｄｅｇにすることで、容器４４の外側の広い範囲に照明されることがなくなり、ワーク１３に照射される光量が低下するのを防ぐことができる。

このように、ワーク１３までの距離に応じて、投光装置１０の投光画角を変化させることで、ワーク１３に照射されない無駄な光がなくなり、撮像装置１４で常に明るい画像を得ることができる。これにより、２つの画像の間でマッチングが得られ、正しい視差Δを得ることができる。

投光する画角は、一般的なプロジェクタ等のズーム機能でズーム倍率を変えることにより変化させることができる。なお、ズームによりプロジェクタ等の明るさが変わってしまうと、容器４４だけに光を照射するようにしても、ワーク１３に照射される光量を十分に確保できなくなってしまう可能性がある。そこで、投光装置１０は、ズーム倍率に関わらず、ズーム全域で同等の明るさを一定に維持できる光学設計とすることが望ましい。

選定されたワーク１３にピントが合ったランダムパターンを照射し、それを撮像して、そのワーク１３の各点までの正確の距離を算出することができるので、そのワーク１３の正確な位置も把握することができる。また、形状情報とともにこの算出した距離を用いることで正確なワーク１３の向きや傾き等の姿勢も把握することができる。これらを位置や姿勢に関するデータとして、形状データとともにコントローラ１１に与えることで、ピッキング装置１２がそのワーク１３をピッキングしたときに、掴む位置や傾きにばらつきをなくすことができる。また、掴んだワークを別の装置に取り付ける際にも、正確に歩留まり良く取り付けることができる。

これまで本発明を、計測システム、物体取出システム、計測方法およびプログラムとして上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではない。したがって、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。よって、本発明では、その計測方法を含む物体の取出方法やそのプログラムが記録された記録媒体等も提供することができるものである。

１０…投光装置、１１…コントローラ、１２…ピッキング装置、１２ａ…ハンド、１２ｂ…アーム、１３…ワーク、１４…撮像装置、１５…認識装置、２０…ＣＰＵ、２１…ＲＯＭ、２２…ＲＡＭ、２３…ＨＤＤ、２４…入出力Ｉ／Ｆ、２５…外部記憶Ｉ／Ｆ、２６…バス、３０…計測システム、３１…撮像手段、３２…記憶手段、３３…選定手段、３４…指示手段、３５…投光手段、３６…出力手段、４０ａ、４０ｂ…カメラ、４１ａ、４１ｂ…画像センサ、４２ａ、４２ｂ…レンズ、４３ａ、４３ｂ…ワーク像、４４…容器

特開２００１−０９１２３２号公報

Claims (12)

1. 複数の物体のうちの１つの形状を計測するための計測システムであって、
   前記複数の物体を２以上の異なる角度から撮像し、得られた２以上の画像に基づき各前記物体までの距離を算出する撮像手段と、
   前記物体の姿勢を変えて一定の方向から見える複数の形状を形状情報として記憶する記憶手段と、
   前記撮像手段により得られた前記２以上の画像と前記記憶手段に記憶された前記形状情報とに基づき、前記複数の物体の中から１つの物体を選定する選定手段と、
   前記選定手段により選定された前記物体までの、前記撮像手段により撮像し、算出された前記距離を用いて、前記選定された物体に焦点を合わせて所定の投光パターンを照射するように投光手段に指示する指示手段とを含み、
   前記投光手段により前記投光パターンが照射された前記選定された物体を前記撮像手段により撮像し、得られた２以上の画像に含まれる投光パターン上の複数の点までの距離をそれぞれ算出することにより該選定された物体の形状を計測する、計測システム。
2. 前記撮像手段は、前記複数の物体のうち、該撮像手段に最も近い物体に焦点を合わせて撮像し、該最も近い物体までの距離を算出し、
   前記指示手段は、前記撮像手段により算出された前記距離を用いて、前記最も近い物体に焦点を合わせて前記投光パターンを照射するように前記投光手段に指示し、
   前記選定手段は、前記投光パターンが照射された前記複数の物体を撮像し、得られた２以上の画像を用いて選定する、請求項１に記載の計測システム。
3. 前記撮像手段は、算出した前記選定された物体までの距離に応じて露光時間を変化させる、請求項１または２に記載の計測システム。
4. 前記投光手段は、前記撮像手段により算出された前記選定された物体までの距離に応じて輝度を変化させる、請求項１または２に記載の計測システム。
5. 前記投光手段は、ズーム機能を有し、前記撮像手段により算出された前記選定された物体までの距離に応じてズーム倍率を変化させる、請求項１または２に記載の計測システム。
6. 前記投光手段は、前記ズーム倍率に関わらず明るさを一定に維持する、請求項５に記載の計測システム。
7. 前記選定された物体の形状を形状データとして出力する出力手段をさらに含み、
   前記出力手段は、前記撮像手段により算出された前記複数の点までの距離と前記記憶手段に記憶された前記形状情報とから得られる前記選定された物体の位置および姿勢に関するデータとともに、前記複数の物体を１つずつ取り出す取出装置へ前記形状データを出力する、請求項１〜６のいずれか１項に記載の計測システム。
8. 前記選定手段は、前記撮像手段により得られた前記２以上の画像に含まれる各前記物体の形状と、前記記憶手段に前記形状情報として記憶される前記複数の形状とを比較し、比較結果に基づき前記取出装置が最も取出しやすい物体を選定する、請求項７に記載の計測システム。
9. 前記投光パターンを照射する投光手段をさらに含む、請求項１〜８のいずれか１項に記載の計測システム。
10. 請求項１〜９のいずれか１項に記載の計測システムと、複数の物体を１つずつ取り出す取出装置とを含む、物体取出システム。
11. 複数の物体のうちの１つの形状を計測するための計測システムにより実行される計測方法であって、前記計測システムは、前記物体の姿勢を変えて一定の方向から見える複数の形状を形状情報として記憶する記憶手段を含み、
    撮像手段により前記複数の物体を２以上の異なる角度から撮像し、得られた２以上の画像に基づき各前記物体までの距離を算出するステップと、
    前記撮像手段により得られた前記２以上の画像と前記記憶手段に記憶された前記形状情報とに基づき、前記複数の物体の中から１つの物体を選定するステップと、
    選定された前記物体までの、前記撮像手段により撮像し、算出された前記距離を用いて、前記選定された物体に焦点を合わせて所定の投光パターンを照射するように投光手段に指示するステップと、
    前記投光手段により前記投光パターンが照射された前記選定された物体を前記撮像手段により撮像し、得られた２以上の画像に含まれる投光パターン上の複数の点までの距離をそれぞれ算出することにより該選定された物体の形状を計測するステップとを含む、計測方法。
12. 請求項１１に記載の計測方法をコンピュータに実行させるためのプログラム。