JP5552098B2 - 機械視覚を用いた、手動の組立て作業をエラープルーフ化するためのシステム - Google Patents

Description

[0001]本発明は、一般的には、視覚技術を用いた感知システムに関し、より詳細には、組立て工程中、作業者が、複数の収納箱を含むラックなどの提示デバイスから適切な部品を選択しているかどうかを判定するための、立体視覚などの３次元のリアルタイムの機械視覚、立体照明三角測量を用いる視覚的または赤外線飛行時間型距離測定を使用するエラー検出システムに関する。

[0002]さまざまな車両組立て工程など、ある種の自動組立て工程では、作業者は、ラック、収納箱、または他の提示デバイスから部品を選択することを要求される。多くの場合、ラックは、いくつかの異なる部品を保持する複数の収納箱を含むことができ、そこから作業者は選択しなければならない。たとえば車両にシートベルト組立体を組み付ける工程では、シートベルトおよびシートベルトリトラクタが、複数の収納箱を有するラック内に保持されることがあり、その場合、各々の収納箱は、特定の車両用の特定のリトラクタまたはシートベルト色を含む。作業者は、適切な部品が車両上に正確に配置されるようにそれを収納箱から選択しなければならない。不適切に選択され、組み立てられた部品が、重要な部品であることがあり、不適切に組み立てられた部品の結果、車両のリコールを必要とすることがある。

[0003]正しい部品が特定の組立て工程で取り付けられたことを電子的に判定し、間違った部品が選択された場合に正しい部品が代用され得るように作業者に警告することが当技術分野で知られている。１つの現在知られている工程では、さまざまな部品が、ラックのある領域内に配置された収納箱内に配置される。光センサが、各々の収納箱の開口部に配置され、車両の作業者が手を収納箱に入れて部品を探すときに光線が遮られる。処理システムは、どのセンサ光が妨害されているかを判定し、その収納箱に関連付けられた部品が、組立て場所で現在検出されている車両用の適切なものであるかどうかを判定する。作業者が、適切な部品を選択しているかどうかを示すものとして緑色光、作業者が間違った部分を選択しているかどうかを示すものとして赤色光などの信号光が、提供され得る。さらに、どの収納箱から部品を選択すべきかの視覚的指示を車両作業者に対してもたらす光が、含まれ得る。

[0004]組立て工程中、作業者が、適切な部品を選択しているかどうかを判定するための上記で説明された知られているシステムは、いくつかの欠点を有する。たとえば、システムは、かなり複雑であり、ラックおよび車両組立て場所に配線接続される。したがって、いくつかの配線が、作業領域内の感知システムおよび車両が組み立てられている場所に設けられる。これらの配線および他のデバイスは、作業者の障害となり、また、感知システムが１つの場所から別の場所に移動されるときにこれを分解および再組立てするには、多大な労力を必要とする。

[0005]本発明の教示によれば、組立て工程中、適切な部品が提示デバイスから選択されたかどうかを判定するエラー検出視覚システムが、開示される。１つの実施形態では、提示デバイスは、複数の収納箱を含むラックであり、この場合収納箱は、複数の異なる部品を保持する。視覚システムは、提示デバイスに向かって光線を投射する１つまたは複数の投射デバイスと、作業者が部品を提示デバイスから選択するときに作業者から戻る反射を受け取る、カメラなどの検出器とを含む。エラー検出視覚システムは、ビデオカメラの立体対、立体照明三角測量を用いる視覚および赤外線飛行時間型距離測定などのさまざまな検出工程を使用することができる。

[0006]本発明のさらなる特徴は、添付の図を併用して以下の説明および付属の特許請求の範囲から明らかになろう。

[0007]本発明の実施形態による、ビデオカメラの立体対を使用する、組立て工程のためのエラー検出視覚システムの平面図である。 [0008]本発明の別の実施形態による、立体照明構成を使用する、組立て工程のためのエラー検出視覚システムの平面図である。 [0009]本発明の別の実施形態による、飛行時間型構成を使用する、組立て工程のためのエラー検出視覚システムの平面図である。

[0010]正しい部品が組立体上に取り付けられるために選択されたかどうかを判定するためのエラー検出視覚システムに向けられた本発明の実施形態の以下の考察は、単に例示的な性質のものにすぎず、本発明またはその用途もしくは使用に限定することが意図されるものではない。たとえば、本発明は、特に車両組立てラインに適用される。しかし、当業者に理解されるように、本発明の感知システムは、他の組立て工程にも適用される。

[0011]提案された本発明は、１つまたは複数の立体視覚を用いた三次元リアルタイム機械視覚、立体照明三角測量を用いた視覚および赤外線飛行時間型距離測定を使用して、作業者が、複数の場所のどの１つから部品を選択したかを検出する感知システムを含む。本発明はまた、部品を保持するデバイスと、作業者にどの部品を選ぶべきかを示す表示サブシステムと、その感知および表示を、組立てステーションを通る製造対象商品の進捗と連携させ、他の組立てライン制御デバイスと通信して適切な動作を記録し、またはエラーの注意を与えるためのコンピュータ制御ユニットとを含むこともできる。

[0012]本発明はまた、制御ユニットおよび感知システムを使用してラック内の場所と何の部品であるかとの関連付けを素早く学習するための方法も含む。これは、このシステムを、多種多様なラックおよびラック上の部品の多様な構成と連動するように展開させることを簡単にする。

[0013]以下の考察では、用語「部品取上げゾーン」は、提示ラック内またはその上の部品のすぐ前の空間（ｖｏｌｕｍｅ）または収納箱またはそのようなものから部品を取り出すために作業者がそこを通って到達しなければならない空間を称する。本発明の出願では、複数のそのようなゾーンが定義され、各々のゾーン内で入手可能な部品は、感知システムに把握される。

[0014]本発明は、作業者が、ラックなどの部品提示デバイスからどの部品を選択するかの感知に対する３つの方法を提案する。第１の方法では、ビデオカメラの立体対が、立体視野がラック全体およびラック前方の進入空間を網羅するように設けられる。知られている立体の機械視覚技術を用いて、システムは、作業者の手が進入空間内のどこに移動してもその場所を感知する。作業者の手が複数の所定のゾーンのいずれか１つに入った場合、そのゾーン内に位置する部品を作業者が選択しようとしたことが記録される。作業者が、正しい部品を含まない収納箱内に手を入れた場合、システムは、視覚的または可聴のエラーの合図によって作業者に警告することになり、同様に正しい選択には、肯定的な合図が伴い得る。１つの実施形態では、システムは、作業者の手の監視を続け、正しい部品がラックから取り出されることを確かめ、あるいは作業者が最初に間違った部品に近づいた場合、作業者の手が部品を取り上げずにゾーンを離れたかを確かめる。作業者が、システムの警告にもかかわらず間違った部品を取り上げ続けている場合、適切な是正処置が取られ得るようにエラーが組立てライン制御デバイスに伝達される。

[0015]図１は、ビデオカメラ１２、１４の立体対を使用する、上記で論じられたタイプのエラー検出視覚システム１０の平面図である。この図では、作業者１６は、ラック２０内に配置されたいくつかの収納箱１８から部品を取り出している。作業者１６は、収納箱１８から、車両組立てラインを進行していく車両２２上に組み立てられる部品を選択する。

[0016]カメラ１２、１４は、ラック２０の周りおよび前方の作業領域のビデオ映像を撮影し、映像の流れをコントローラ２６に提供する。コントローラ２６は、上記で論じられたように、知られている立体視覚技術を用いて、検出されている特定の車両２２用の適切な収納箱１８内に作業者１６が手を置いているかどうかを判定する。作業者１６が適切な部品を選択した場合、ライト組立体３０上の緑色光２８などの特定の光が、適切な部品が選択されたことを示すことができる。作業者１６が適切な部品を保持する収納箱１８内に手を入れていない場合、ライト組立体３０上の赤色光３２を点灯し、作業者１６に誤りを通知することができる。さらに、または代替として、コントローラ２６は、不適切な部品選択の可聴指示を与えるスピーカ３４に信号を送ることができる。

[0017]システム１０は、さらに、ラック２０に向かって低強度レーザ光線を投射することができるレーザ３６を含む。コントローラ２６からの信号は、車両２２がライン上で検出されたとき、レーザ３６が光線を特定の収納箱１８の特定の１つに隣接するテープ３８の特定の反射片に向けるようにし、その結果、作業者１６は、どの収納箱１８から部品を選択するべきかの視覚的指示を受け取ることができる。

[0018]立体視覚による作業者の手の感知は、いくつかの方法で達成され得る。カメラ１２および１４の両方が共有点を見ているとき、その三次元の場所は、標準的な三角測量公式によって容易に算出される。主な難点は、２つのカメラ画像内で対応する点を識別し、これらのうちどれが作業者の手であるかを判定することである。１つの技術は、たとえば対比する輝度の領域間の境界などの、視界の物体の自然発生する視覚特徴を合致させることである。カメラで見られる光景は、作業者１６の動きを除いて静的なものであるため、連続的なカメラ画像間で差を取ることにより、静的なクラッタが排除され、したがって、作業者１６の動作（速度および位置）を識別する助けとなる。この技術、または静的光景の大部分を取り除いてから光景の残りの部分を分析して作業者の動作を検出する他の方法は、背景デシメーションフィルタと称されている。そのようなフィルタは、立体距離分析の画面書換速度を向上させる。作業者１６のどこかの部分が、部品取上げゾーンに入っているかどうかを監視することが十分になり得るが、必要であれば、作業者の手をその場所の形態学モデルを用いて作業者の腕の端部に識別するために追加の処理が使用され得る。作業者１６によって着用される手袋上の特徴的なマーキングなどの特に容易に認識される視覚特徴が使用されれば、より高い的中率およびより速い算出が得られ得る。同様に、色画像処理が、素早く手を識別し、それを三次元で位置付けることができるように、作業者１６は、特徴的な色の手袋を着用することも求められ得る。これは、手袋の色と十分に異なるすべての色を排除することに基づいた、背景デシメーションフィルタになるはずである。

[0019]立体視覚に対する代替策は、作業者の手を検出するために立体照明を使用することである。立体照明の簡単なバージョンは、可視線または赤外線の光の平面を投射し、それを、その平面部から離れた位置にあり平面に対して傾斜して向けられた単一のカメラを用いて監視することである。カメラは、平面を遮るあらゆる物体上に投射された光のストライプを感知し、それによって、どこで平面が貫かれているかを確かめる。光学フィルタまたは同様のものを使用することにより、カメラは、投射された光の狭帯域周りの周波数の狭帯域を感知し易くなり、したがって背景の光景を取り除くことができる。複数の光の平面は、平面的にスライスした集合体として物体の三次元画像を与える。あるいは、平面に配置された２つの線形配列のセンサが、二次元の立体三角測量によって平面内の物体の場所を与える。

[0020]図２は、本発明の別の実施形態による、立体照明を用いる、上記で論じられたタイプのエラー検出視覚システム５０の斜視図である。システム５０は、ラック５６の前方に平坦な光線５４を投射する光源５２を含む。ラック５６は、複数の収納箱５８を含み、ここでは、各々の収納箱５８は異なる部品を保持する。作業者６０が手を収納箱５８の１つの中に挿入し、平坦な光線５４を遮ったとき、カメラ６２は、作業者の腕からの光の反射によって作業者の手の場所を検出し、したがってカメラ６２が作業者の手の場所を検出することを可能にする。作業者の腕から出る光片の反射から、コントローラ６６は、三角測量を用いて作業者の腕の場所、したがってどこで光の平面５４が遮られているかを識別する。故に、システム５０は、作業者６０が、適切な部品を選択するために手を適切な収納箱３８に置いていることを検証することができる。収納箱３８はまた、垂直方向に互いの上方に重ね合わされ得る。

[0021]システム５０はまた、赤色光、および上記で論じられたように、適切な部品が選択されたことを示すための緑色光を含むライト組立体６４も含む。さらに、ラック５６は、各収納箱５８近くに配置されたストリップ３８などの反射ストリップを含むことができ、システム５０は、反射テープからの反射をもたらして適切な収納箱を作業者６０に対して識別するために、レーザ３６などのプロジェクタを含むことができる。

[0022]システム５０が、作業者の手が光の平面５４のどこに挿入されたかを把握することを可能にする技術は、Ｌｕｍｉｏ、Ｉｎｃなどからの仮想キーボード技術に見出すことができる。Ｌｕｍｉｏは、テーブルなどのインターフェース表面上に配置され、キーボードのパターンを表面上に投射するためのレーザダイオードを含む仮想キーボードを開発した。キーボードなどのテンプレートは、特別に設計された極めて効率的なホログラフィック光学素子を赤色ダイオードレーザで照らすことによって生成される。テンプレートは、ユーザに対する基準としてのみ働き、検出工程には含まれない。固定された環境では、テンプレートは、インターフェース表面上に印刷され得る。

[0023]赤外線レーザダイオードは、平面の赤外線照明をテンプレートすぐ上方のインターフェース表面に平行に投射する。光は、ユーザには見えず、表面の数ミリメートル上方に漂っている。ヒトの指が平坦な光線を貫通したとき、作業者の指からの反射が、カメラによって検出される。センサモジュールが、光の平面が遮られている場所に対して、どのキーストロークが投射されたテンプレート内で押されたかの表示をもたらす。言い換えれば、ユーザがインターフェース表面上のキー位置に触れたとき、光は、キー位置近傍のこの表面から反射され、センサモジュールに向かって方向付けられる。

[0024]インターフェース表面との相互作用から反射された光は、赤外線フィルタを通され、センサモジュール内のＣＭＯＳ画像センサ上に撮像される。仮想インターフェース処理コアなどのセンサモジュール内に埋め込まれたカスタムハードウエアが、反射された光の場所のリアルタイムの判定を行う。センサモジュール内のマイクロコントローラは、センサ処理コアからの光の閃光に対応する位置情報を受け取り、イベントを解釈し、これらを適切なインターフェースを通して外部デバイスに伝達する。処理コアは、複数の反射イベントを同時に追跡することができ、複数のキーストロークおよび重複するカーソル制御入力の両方を支持することができる。

[0025]三次元視覚エラー検出システムに対する第３の代替策は、ＩＲ光の短パルスの放射から、光景からのその反射の受け取りまでの飛行時間を判定することである。これは、物体が部品取上げゾーンに入るまたはそこから出るときを検出することができるリアルタイムの距離画像を構築するために使用され得る。解像度を増大させるため、現在の製品では１６０×１２４画素に制限される距離画像を、従来のカメラからの画像と組み合わせることができる。飛行時間型の距離測定器（ｒａｎｇｅｒ）は、より解像度の高い立体視覚システムのための背景デシメーションフィルタとして使用され得る。

[0026]図３は、飛行時間型放射パルスを使用して、作業者がどの場所から部品を選択するかを検出する、本発明の別の実施形態によるエラー検出視覚システム７０の平面図である。システム１０と同じ要素であるシステム７０内の要素は、同じ参照番号によって識別される。システム７０は、赤外線の光線パルスを収納箱１８に向かって放射する赤外線レーザ７２を含み、光線パルスの反射は、検出器７４によって受け取られる。光線パルスがレーザ７２から放射され、検出器７４によって受け取られるのにかかる時間に基づいて、作業者の手の場所を判定して、作業者１６がどの収納箱１８から部品を選択しているかを把握する。コントローラ７６は、レーザ７２からのパルスの放射および検出器７４から受け取った画像を制御するものであり、デシメーションフィルタとして飛行時間型の距離測定器を含むことができる。

[0027]三次元立体視覚システムが、各種の収納箱からの部品の取上げを目に見える空間内のどのような場所でも監視できることが、当業者には理解されるであろう。単一の平面内に投射される立体照明を用いるシステムは、ほぼ平面的な構成で積み重ねられたラックまたは収納箱に主により良好に適合される。

[0028]本発明の表示サブシステムの機能は、主に作業者に対してどの部品を取り上げるべきかを示すが、追加的に、複数ステップの組立てシーケンスにおける組立ての現状、またはエラープルーフ化システムの相互作用設定の一部としてなどの他の有用な情報を表示することができる。配設接続された指示灯を回避することが望ましい。この総合システムの主な利点の１つは、収納箱と物理的に接続しない遠隔感知および指示機能を有するという柔軟性である。これは、組立て工程を人間工学的に、または組立てステーション間の作業負荷の釣り合いに合わせて調整するために、収納箱を容易に移設することを可能にする。この目的に適合する表示をもたらすために、エラー検出視覚システムは、プロジェクタを使用して部品それ自体または部品に隣接する目標物上に可視光を光らせる。そのような目標物の反射特性は、インジケータの効果性を高めるように選択され得る。ＤＬＰプロジェクタおよびレーザプロジェクタを含めて、市販のいくつかの汎用の表示技術が本用途に適している。これらは、インジケータの光マーキングを投射するだけでなく、情報テキストまたは画像を、部品のラックに隣接して配置された目標スクリーン上に投射することができるように、ＰＣタイプのコンピュータにインターフェース接続され得る。インジケータ機能に十分な簡単なレーザプロジェクタは、安価なレーザダイオード（レーザポインタに一般的に使用されるものなど）を用いて小さい皿形／傾斜鏡として構築され得る。

[0029]本発明は、部品取上げゾーンを容易に画定するための方法を含むことができる。１つの方法は、部品が、明確な視覚マーキングを有する収納箱内に提示されている場合に適用可能である。カメラシステムは、次いで、収納箱の場所およびその内容物を機械視覚によって自動的に識別することができる。これがなければ、部品の識別は、システムをトレーニングモードに入れ、手ぶりで収納箱の場所を大まかに示すことによって行われることが可能であり、その後、キーボード上のタイピング、マウスまたは他のポインティングデバイスによる部品リストからの選択、バーコードリーダ、またはＲＦＩＤリーダを使用するなど、任意の適切なコンピュータインターフェース技術によって、関連付けられた部品が入力され得る。部品取上げゾーンはまた、ラックのカメラ画像をコンピュータスクリーン上に表示し、マウスまたは他のポインティングデバイスに基づくグラフィカルインターフェースで画象をクリックすることによっても識別され得る。そのようなオペレーションは、エラー検出システムを設定するときのみに必要であるため、そのような表示デバイスおよびインターフェースデバイスは、トレーニング中にシステムに接続されるだけになり得る。この接続は、標準的なＰＣポート、ブルートゥース無線などの既存の有線または無線のいくつかの技術のうち任意の１つによって達成されてよく、個々のＰＣ付属装置の代わりにラップトップまたはタブレットＰＣに接続することによって設けられ得ることを理解されたい。ウェブベースの伝導率もまた使用され得る。

[0030]本発明のカメラ、投射および処理要素は、小型の安価なモジュールにパッケージ化されることが意図される。このモジュールは、作業者の動きまたは収納箱および部品の柔軟な移設を妨害しないような方法で各々の組立てステーションにおいて装着され得る。モジュールは、デバイスネットワークを介してマスターのエラープルーフ化システムとインターフェース接続し、この場合モジュール状態は、より高機能なメッセージングネットワークのためにバイナリビット配列を介して伝達される。メッセージングインターフェースは、ステーション番号、そのステーションで処理されるスタイルおよびオプション、ならびにこれらのスタイルに関連付けられた部品番号を参照する部品割り当てマトリクスを含むエラープルーフ化サーバとやりとりを行う。標準的なロジックが、基本的なエラープルーフ化システムのオペレーション、およびステーションにおける車両に対する組立ての要件に基づいて、取り上げられた部品のモジュール確認の双方向状態を伝達するモジュールネットワークメッセージを伴うライン状態通知を制御する。モジュールプログラミング機能は、そのモジュールステーションに合わせてこの部品割り当てマトリクスを更新するメッセージをサーバに提供し、部品および収納箱との直感的関連付けをもたらす。この能力は、システムの柔軟性を大きく向上させるが、その理由は、エラープルーフ化システムの再プログラミングが、部品および収納箱が工程を設定または最適化するために移動されるときに自動的に行われるためである。

[0031]前述の考察は、本発明の例示的な実施形態を開示し、説明するにすぎない。当業者は、そのような考察および添付の図および特許請求の範囲から、さまざまな変更、改変、および変形が、特許請求の範囲で定義された本発明の趣旨および範囲から逸脱することなく加えられ得ることを容易に認識するであろう。

１０、５０、７０ エラー検出視覚システム
１２、１４ ビデオカメラ
１６、６０ 作業者
１８、５８ 収納箱
２０、５６ ラック
２２ 車両
２６、６６ コントローラ
２８ 緑色光
３０ ライト組立体
３２ 赤色光
３４ スピーカ
３６ レーザ
３８ テープ、ストリップ
５２ 光源
５４ 光線
６２ カメラ
７２ 赤外線レーザ
７４、７６ 検出器

Claims (7)

1. 作業者が、組み立てられる適切な部品を選択しているかどうかを無線で判定するためのエラー検出システムにおいて、
   いくつかの異なる部品を異なる場所に中に保持する提示デバイスと、
   前記適切な部品が選択されているかを判定するために、１つまたは複数の光線を前記提示デバイスに向かって投射し、前記提示デバイスから戻る、前記作業者が前記提示デバイスから部品を選択するときの前記作業者の場所を示す光信号を受け取るための視覚サブシステムとを備え、
   前記視覚サブシステムは、光の平面を前記提示デバイスの前方に投射するための光源、及び、前記光の平面が作業者の腕または手によって遮られた領域を検出するためのカメラを含み、前記カメラは前記光の平面から離れた位置にあり、前記光の平面に対して傾斜して向けられ、
   前記視覚サブシステムは部品が前記作業者によって前記提示デバイスから実際に取り出されたか否かの監視を続け、適切な場所から部品が取り出された場合に前記視覚サブシステムは前記適切な部品が選択されたと判定し、不適切な場所から部品が取り出された場合に前記視覚サブシステムは不適切な部品が選択されたと判定し、前記提示デバイスから部品が取り出されなかった場合に前記視覚サブシステムは部品が選択されていないと判定し、適切な部品または不適切な部品の選択は、前記視覚サブシステムからマスターのエラープルーフ化システムに伝えられ、
   前記視覚サブシステムは、前記視覚サブシステムをトレーニングモードに入れて、手ぶりで前記異なる部品の各々に関する場所を示すことにより、前記提示デバイス内の前記いくつかの異なる部品の場所を判定する、システム。
2. 請求項１に記載のシステムにおいて、
   前記視覚サブシステムは、前記部品が選択されている場所を判定するために、前記作業者が前記提示デバイスから部品を選択するときに前記作業者のビデオ画像を撮影するビデオカメラの立体対を含む、システム。
3. 請求項２に掲載のシステムにおいて、
   前記視覚サブシステムは、前記作業者の手または腕の場所を三角測量によって判定する、システム。
4. 請求項２に記載のシステムにおいて、
   前記視覚サブシステムは、前記カメラによって受け取られた前記画像から背景を取り除くために背景デシメーションフィルタを使用する、システム。
5. 請求項１に記載のシステムにおいて、
   前記提示デバイスは、部品を保持するための複数の収納箱を含むラックである、システム。
6. 請求項５に記載のシステムにおいて、
   前記ラックは、各々の収納箱の近位に反射ストリップを含み、前記視覚サブシステムは、選択される前記適切な部品を含む前記収納箱の近位の前記反射ストリップに光線を投射するレーザを含む、システム。
7. 請求項１に記載のシステムにおいて、
   前記作業者が前記適切な部品を選択しているかどうかを前記作業者に示すインジケータをさらに備えた、システム。

Images