JP6449263B2 - 自動的に作動する機械を保護する装置および方法 - Google Patents

Description

本発明は、自動的に作動する機械がその中に配置されている監視区域を保護するための装置であって、その監視区域を監視するためのカメラシステムを有し、その監視区域内に少なくとも１つの保護区域を画成するための構成ユニットを有し、および安全関連機能を起動させるための分析ユニットを有する装置に関するものである。

本発明はさらに、自動的に作動する機械がその中に配置されている監視区域を保護するための対応する方法に関するものである。

かなりの速度で動く最新の産業用ロボットの場合、一般的に、衝突は、ロボットと、それによって処理されているワークピースの両方に対して著しい損傷を生じさせる。このことは、コストのかかる製造停止期間を生じさせる可能性がある。また、自動的に作動するロボットとやり取りしている人の安全性は、優先順位が最も高い。

最新の産業用ロボット、および可動機械要素を有する他の機械の場合、その動きは、人および他の物体を危険にさらすため、その可動機械要素と異物との衝突は、保護ユニットによって防がなければならない。このためには、一般に、好ましくない接触が起きる前に、その機械を停止状態にすることで十分である。

従来、自動的に作動する機械の周りの危険区域は、防護フェンスや保護ドアの形態の機械的バリアを用いて、または、光バリア、光グリッドおよびレーザスキャナを用いて保護されている。光バリア、光グリッドおよびレーザスキャナは、多くの場合、最初に述べた機械的バリアとともに用いられている。人が保護ドアを開け、または、光グリッドまたは光バリアを遮断するとすぐにシャットダウン信号が生成され、その信号を用いて、機械の危険な動作運動が停止されるか、または、機械が安全な状態にされる。

しかし、そのような保護ユニットの設置は極めて複雑であり、また、保護ユニットは、危険な機械の周りに大きなスペースを必要とする。さらに、そのような保護ユニットは、機械の異なる作動状況に対して、危険な作業区域の安全保護を適応することが重要である場合には、あまり適応性がない。

具体的には、光グリッド、光バリア等の光電センサ、または、反射光センサの場合、機械または設備の好ましくないシャットダウンが起きる可能性がある。安全技術に関して、実際には害がないであろう極端に小さな部分または干渉光でさえも、シャットダウン信号を起動する。このことは、安全技術の観点から害のない状況においても、シャットダウンが生じるため、機械および設備の可用性の不必要な制限をしばしばもたらす。

そのため、光グリッド、光バリアまたは反射光センサの場合の干渉物体および干渉光を除去する試みがなされてきた。一つの公知の技術は、発光体がビット符号化光信号を放射し、それが受光器によって復号されて、目標値と比較される。反射光センサの場合は、とりわけ、偏光が利用される。その結果、ミラーまたは明るい物体もビーム遮断として検出される。

さらなる公知の技術は、特許文献１によって知られている。特許文献１は、ビーム軸のビーム遮断の発生に関する所定数の複数の走査サイクルを分析して、物体判断信号を生成する光グリッドを開示している。これは、過渡的干渉を抑えるのに用いられる。昆虫、花粉、木屑およびおがくず等のより小さな問題のない干渉物体は、いわゆる複合分析によって抑制することができる。これは、干渉物体が一時的に生じるだけであると推定されるため、所定時間内の保護区域またはその一部の干渉を許容する時間フィルタに相当する。この場合、このときに「実際の」侵害も検出されることは不利であり、すなわち、実際には、これは、反応時間の延長を、およびそれに伴ってより大きな安全距離を生じさせる。さらに、これは、干渉物体が一時的に発生するだけではなく、より長時間、存在することも確実にあるという点で、より困難になる。この場合、時間フィルタは、光電センサも侵害を認識し、それに応じてシャットダウン信号を生成する可能性があるため役に立たない。

前述の欠点を避けるために、以前から、カメラシステムおよび適当な画像処理を用いて、自動的に作動する機械の危険な作業区域の保護を実施するための努力がなされてきた。そのようなシステムは、「ＳａｆｅｔｙＥＹＥ（登録商標）」という名称で、本出願人によって販売されている。そのようなカメラシステムの特徴は、一般的なカメラとは対照的に、誤作動が生じた場合でも、危険を引き起こす機械または設備の安全状態が確保されなければならないということである。また、カメラシステムの利用には、個々のラインまたは表面の代わりに容積を保護することができるという利点がある。このようなカメラシステムは、具体的には、３次元保護区域を四方八方から仮想的に監視することを可能にする。したがって、安全性をさらに向上させること、および継続的に監視することが可能である。

特許文献２は、危険な作業区域の画像を周期的に供給する少なくとも２つのカメラを有するそのようなシステムを開示している。それらのカメラの画像は、少なくとも２つのアルゴリズム的に異なる方法を用いて解析され、２つの方法のうちの少なくとも一方が、既定の保護区域内で異物を検出した場合には、機械の危険な作業動作が停止されるか、または、安全な状態にされる。２つの解析法の各々は、カメラの画像から３次元情報の項目を生成し、その結果、既定の保護区域内の物体の位置を、方法を用いて確認することができる。

そのような方法および装置に対する重要な要望は、どのような場合でも複雑である画像処理は、機械の安全性に対する関連する規格、特に、ＥＮ ＩＳＯ １３８４９−１、ＩＥＣ ６１５０８、ＥＮ ＩＳＯ １３８５５およびＩＥＣ ６１４９６についてフェイルセーフであるように実施しなければならないということであり、その結果、このような装置を実際に、危険な機械を保護するのに用いることもできる。その装置自体の故障が、機械の保護が失われるという結果をもたらす可能性はない。そのため、この意味でのフェイルセーフは、ＩＥＣ ６１５０８による少なくともＳＩＬ ２および／またはＥＮ ＩＳＯ １３８４９によるパフォーマンスレベルＰＬ（ｄ）に達する装置であると見なされる。特許文献２および対応する装置によって公知である方法は、これを実現することができ、および既にそれ自体が実用化されていることが明らかになっている。

最後に述べたカメラベースのセキュリティシステムにおいて、仮想保護区域は、通常、機械の周りに画成される。そのカメラシステムは、そのような保護区域内に異物が進入したか否かを検出し、その結果、その機械または設備の電源をオフにするか、または、安全な状態にする。

それでもなお、それらのシステムには、危険を引き起こす機械または設備の動作が、たまに明らかな理由なしに停止され、それによって、製造設備のシャットダウンおよび製造機能停止が生じるという問題も存在する。これは、例えば、仮想保護区域内に進入する非常に小さな部材は、異物として検出され、そのため、安全関連機能が起動されるためである可能性がある。これは、特に、自動車産業において見られる、非常に短いサイクル時間および長い連結製造ラインの場合には好ましくない。

特許文献３は、このようなカメラベースの安全システムおよび関連する方法を提案しており、この場合、安全性は、最適化された画像処理によって向上されることになる。対象物取得のために、現在のカメラ画像の画像特徴が、格納されている基準背景の基準画像特徴と比較される。前述した基準背景は、このシステムにおいては、学習段階またはいわゆるティーチイン手順で参照しなければならない。

提案された方法によれば、有効な基準背景は、両コンピュータユニットにおける基準背景のチェック時に、その基準背景内には、同じ基準画像特徴を有する隣接するゾーンはないという結果が対応して得られた場合にのみもたらされる。したがって、このティーチイン手順は、比較的単調で煩雑である可能性がある。後の保護区域の画像取得中に、カメラ画像の画像特徴は、セーフティクリティカルな物体と非セーフティクリティカルな物体とに区別される。セーフティクリティカルな物体は、オペレータ、好ましくは、オペレータの腕を含む。非セーフティクリティカルな物体は、例えば、機械または設備の周囲の静止物体、特に、それによって処理される部材によっても形成される。

画像特徴と基準背景との比較が、一致する結果を生じない場合、セーフティクリティカルな物体が保護ゾーン内に位置していることは、この場合、除外することができないため、安全上の理由のために、作動手段も作動が停止される。したがって、クリティカルではないが、基準背景内に撮像されない可能性がある非常に小さな部材も、このシステムの場合、機械または設備の好ましくないシャットダウンを生じさせるであろう。そのため、機械または設備の好ましくない制限という上述した問題も、この方法によって部分的に解決されるだけである。

独国実用新案出願公開第２０２ １２ ７６９ Ｕ１号明細書 欧州特許第１ ５４３ ２７０ Ｂ１号明細書 独国特許出願公開第１０２ ５１ ５８４ Ａ１号明細書

以上のような背景の下で、本発明の目的は、冒頭に述べたタイプの装置および方法において、従来技術と比較して、好ましくないシャットダウンを生じることがより少なく、そのため、機械および設備の可用性の向上に寄与するが、そのような用途に必要なエラーに対する安全保障を確保することのできる装置および方法を提供することである。

本発明の第一の態様によれば、この目的は、冒頭に述べたタイプの装置において、カメラシステムは、保護区域のカメラ画像を供給し、その分析ユニットは、異物が保護区域内に存在しているか、または保護区域に進入しているか否かを分析し、分析ユニットはさらに、保護区域内に存在しているか、または保護区域に進入している異物を、カメラ画像の分析によって分類し、溶接火花の場合の一つ以上の特徴的特性に基づいて、その異物が溶接火花であるか否かを判断するように構成され、および分析ユニットは、その異物が溶接火花であると認識されていない場合に、安全関連機能を起動するように構成されている。

本発明のさらなる態様によれば、この目的は、冒頭に述べたタイプの方法において、以下のステップ、すなわち、
・カメラシステムを用いて、監視区域を監視するステップと、
・監視区域内に、少なくとも１つの保護区域を画成するステップと、
・保護区域のカメラシステムのカメラ画像を分析して、異物が保護区域内に存在しているか、または、保護区域に進入したか否かを検出するステップと、
・カメラ画像の分析によって異物を分類し、溶接火花の一つ以上の特徴的特性に基づいて、その異物が溶接火花であるか否かを判断するステップと、
・その異物が溶接火花であると認識されていない場合に、安全関連機能を起動するステップと、
を有する方法によって実現される。

特に、前記新規な方法および前記新規な装置によれば、プログラムコードが格納され、該プログラムコードがその装置の制御ユニット内で実行される場合に、上述した方法を実行するように設計されているデータ記憶媒体を用いて実施されることが好ましい。したがって、その構成ユニットおよび分析ユニットは、この好適な実施形態において、その装置の制御ユニット内で実行されるソフトウェアモジュールの形態で実装される。

前記新規な装置および前記新規な方法は、自動車工学において、何よりもシェル構造および車体構造の分野において、ロボット設備を監視するのに特に適している。この自動車製造の分野は、一般に、高度に自動化されており、および対応する溶接工具を用いて、ロボットによって、非常にさまざまな溶接タスクが実行されることを特徴としている。いわゆるスポット溶接手順では、溶接工具の摩耗により、火花が繰り返し飛ぶ。溶接火花は、溶接点から、個々の火花として、または、火花群としてあらゆる方向に飛ぶ。上述したタイプのカメラベースの安全システムでは、過渡的干渉とも呼ばれるこのような溶接火花は、好ましくないシャットダウンを生じさせ、そのため、機械の可用性を制限することになるであろう。

しかし、本発明の発明者は、そのような溶接火花を、その特有の特徴に基づいて、比較的容易に検出することができ、そのため、システムの安全性に対して制限を生じることなく、除外することができることを認識した。

従来技術によって知られているカメラベースの安全システムでは、典型的には、どの物体が、保護区域の侵害を引き起こしたかは識別されない。このことは、間違った分類を除外することができず、人が危険な区域内に位置していても、その間違った分類が、機械または設備の危険な動作が停止されないという結果をもたらすため、非常に困難でもあり、また、安全技術の観点では問題がある。

しかし、本発明は、逆の方向を選択した。すなわち、まず、認識したすべての物体は、保護区域の侵害を示す。その結果、これらの物体は、すべて異物として認識され、それらが安全に関係する異物または溶接火花であるか否かに関するその特性に基づいて識別される。最悪の場合、これは、間違ったシャットダウンが抑制されないという結果をもたらす可能性がある。必須条件は、異物が、認識すべき物体（例えば、人）とは明確に区別される特有の特徴を有しているということだけである。

しかし、本発明者は、そのような区別は、溶接火花の場合に、全体的に可能であることを認識した。溶接火花は、カメラ画像の分析によって明確に検出可能である、顕著な特徴を有している。特に、人または他の危険な機械部分または干渉物体と比較して、溶接火花は、特徴的な形状および輝度または特徴的な輝度曲線を有している。溶接火花は、一般に、カメラ画像では明るい光跡として見え、そのことは、高速の溶接火花とカメラセンサの慣性とに関連している。そのため、溶接火花の速度に関する推測と、その飛行方向は、そのような溶接火花の光跡の形状から導き出すことができる。材料の強度の加熱により、溶接火花には、可視波長範囲において劇的な増光があり、そのことは、カメラ画像における背景と明確に区別することができる。特に、その周囲を高度に動的に撮像することができるカメラ技術を用いた場合、特に輝度の定量的推測が可能である。そのため、十分な信頼性を伴う、装置の分析ユニットにおけるカメラ画像の統計的分析に基づいて、検出された異物が溶接火花であるか否かを確認することができる。本発明によれば、異物が溶接火花であると認識されていないか、または、十分な信頼性を伴って認識されていないときは、どのような場合であっても、安全関連機能を起動するように構成されている。安全関連機能は、この場合、機械のシャットダウンを生じさせるか、または、機械を安全な状態にする処理手順として理解されたい。カメラ画像は、２次元および３次元画像データとすることができる。

したがって、本発明による装置および本発明による方法は、システムの安全性を損なうことなく、溶接中の干渉の影響に関する公差を増加させる。溶接火花は、カメラ画像の分析によって明確に認識して抑制することができる。このことは、特に、保護すべき、対応する溶接工具を有するロボットの場合に、好ましくない間違ったシャットダウンを低減することによって機械の可用性を向上させる。

したがって、上述した目的は完全に達成される。

一つの好適な実施形態において、その装置は、分析ユニットにより、カメラ画像内の空間領域で溶接火花が検出されている場合、それらの領域を置換するか、または補正するように構成される画像補正ユニットをさらに有している。

２Ｄ画像データの場合、上述した空間領域は、平坦な領域であると理解すべきである。この実施形態は、分析ユニットにより、溶接火花の特有の特徴に基づいて、その溶接火花として認識されている異物を除外し、それらの溶接火花を、後の処理ステップにおいて、もはや異物の一部ではなく、安全関連機能の起動を生じさせることができないと既に認識されている画像データと置き換えるというアイデアに基づいている。したがって、検出された溶接火花は、カメラ画像からおおよそ消去される。このことは、画素ごとに実行することができ、または、検出された溶接火花の周りの画素領域全体に対して実行することができる。画像補正ユニットは、好ましくは、供給されたカメラ画像の生画像データに基づいてすぐに、この画像補正または画像置換手順を実行するように構成されている。

その結果、異物が仮想保護区域内に位置しているか否かを判断する後の処理ステップのために、溶接火花は、もはや目に見えなくなっているか、または、カメラ画像中に存在していない。このことには、貴重な計算時間がもはや浪費されないという利点がある。それに伴って、後の処理ステップでは、このようなカメラベースの安全システムに用いられ、およびこのような（溶接火花かそうでないかの）分類を用いない、異物を認識するための典型的な検出アルゴリズムを用いることができる。

しかし、本発明の装置を用いて、逆のアプローチも実施できること、すなわち、分析ユニットが、まず、後の処理ステップにおいて、保護区域の侵害を分類し、その後、保護区域の侵害が、溶接火花によって引き起こされたか否かだけを検出するように構成されることは明らかである。

さらなる実施形態では、画像補正ユニットは、時間的に先行するカメラ画像の画像データと置換されるように空間領域を置き換えるように構成されている。

これは、少しの計算努力を要する比較的シンプルなオプションである。分析ユニットにより、カメラ画像のうちの一つで溶接火花が検出されるとすぐに、対応する画像画素が、画像補正ユニットによって、先行するカメラ画像の画像画素と置換される。このことも、画素ごとに、または、画像画素の群全体に対して実行することもできる。他の方法で対応する画像画素を置換するのに用いられる基準画像を格納することは、この実施形態では必要ない。さらに、この実施形態には、時間的に先行するカメラ画像の画像画素と、対応する画像画素との置換時に、安全性がさらに向上されるという利点がある。具体的には、異物または同様の異物が、置換された画像画素中に再び生じた場合、それに伴って、溶接火花として認識された異物がおそらく溶接火花ではないが、安全関連部分であるという可能性が高まる。最も好ましいケースでは、カメラ位置の空間的変化は起きないため、画像領域は、画素ごとに直接的に先行する画像と置換することができる。このようにして、監視区域内に位置するさらなる可視物体が除去されることがなくなる。この処理手順は、好ましくは、すべての利用可能なカメラ画像内で実行され、その結果、溶接火花の測定だけではなく、間違った人為的な測定もなくなる可能性がある。

さらなる実施形態では、分析ユニットは、カメラ画像の個々の画素のグレースケール値を分析して、それをグレースケール閾値と比較して、それに基づいて、異物が溶接火花であるか否かを判断するように構成されている。

そのような溶接火花の熱の結果として生じる強い輝度は、高いグレースケール値により、カメラ画像内で目立つ。溶接火花は、カメラ画像内で最大のグレースケール値を有する大きくて明るいスポットからなる少数の画素を生成する。それらのグレースケール値は、典型的には、人の体の一部または他の安全関連部分がカメラ画像上に生成する値を超えている。個々の画素のグレースケール値を、典型的には溶接火花の場合のグレースケール閾値と比較することにより、溶接火花は、比較的正確に他の物体と区別することができる。

さらなる実施形態によれば、分析ユニットは、少なくとも一つのカメラ画像に基づいて、異物の速度を分析して、それを速度閾値と比較し、それに基づいて、その異物が溶接火花であるか否かを判断するように構成されている。

高速の溶接火花は、明確な認識特徴である。人または機械部分は、著しく遅い速度で動き、カメラ画像内で記録サイクルごとに少数の画素のみをカバーする。検出された異物が、典型的には溶接火花の場合の最高速度を超えている場合、それは、比較的明白に溶接火花であると識別することができる。

カメラ画像から異物の速度を判断することは、さまざまな方法で実行することができる。これは、分析ユニット内で、時間的に連続するカメラ画像を互いに比較することによって実行される。この場合、どの経路で異物が一つのカメラ画像から他方のカメラ画像へカバーしたかが測定される。同時に、２つのカメラ画像の記録間の時間間隔は既知であるため、異物の速度はそれから計算することができる。しかし、これは、異物を個々のカメラ画像間で明確に追跡できることを要する。しかし、このことは、溶接火花の場合には問題があることが分かっている。異なる時点で記録されたカメラ画像内の同一の溶接火花の直接的指摘は比較的複雑である。これには複数の理由がある。一方において、飛行速度が速い可能性があり、一つの画像内でしか溶接火花が生じない記録の時間間隔は十分に離れている可能性がある。他方では、火花は不安定である可能性があり、次の記録時に複数の物体に分かれている可能性があり、そのため、明確な指摘はもはや可能ではない。他方において、このような出現、具体的には、溶接火花が、一つの画像内だけではなく、時間的に連続する画像内でも認識可能であるという出現は、特徴認識機能として用いてもよい。

しかし、一つの好適な実施形態では、分析ユニットは、カメラシステムの照明時間と、異物の検出距離と、その異物がカメラ画像内で占める画素の数とに基づいて、異物の速度を判断するように構成されている。

そのため、異物の速度の判断は、好ましくは、一つのカメラ画像だけに基づいて判断してもよい。溶接火花の場合、特に、カメラ画像内に生じた光跡の形状は、その速度に関する推測を与える。具体的には、溶接火花の光跡の長さは、この場合、ある役割を果たす。カメラ画像内に撮像される光跡が長ければ長いほど、溶接火花は、より急速に移動する。カメラシステムの照明時間は、その光跡の長さにも影響を及ぼす。さらなる影響変数は、カメラシステムの光学系からの溶接火花の距離である。それらの影響変数が分かっている場合、溶接火花の速度は、確実に推定することができる。

さらなる実施形態では、分析ユニットは、少なくとも一つのカメラ画像内で、検出された異物の画像領域内のグレースケール値の空間的分布を判断して、それに基づいて、異物が溶接火花であるか否かを判断するように構成されている。

グレースケールの分布は、本願明細書では、カメラ画像内のグレースケールの空間的または２Ｄ平面分布として、すなわち、個々の互いに隣接する画素のグレースケール値の比較として理解されたい。したがって、分析ユニットは、上述したグレースケール閾値よりも大きい画素のグレースケール値を、隣接する画素のグレースケール値と比較するように設計することができる。溶接火花は、典型的には、溶接火花の中心が最大であり、外側で減少する、カメラ画像の特徴的な輝度曲線を有している。この輝度曲線が、そのカメラが「遅延挙動」を表示する記録システムを担うことになる。好ましくは、本出願に用いられるようなＣＭＯＳカメラの画素は、複数のトランジスタに加えて、電荷を蓄えて、それらを読取動作中に放出するコンデンサで構成されている。このコンポーネントは、時間遅延効果をもたらす。短期間の光現象は、すぐには画素上に撮像されないが、遅延挙動を有している。このため、動いている溶接火花の場合、光跡は、その記録中に観測される。画素の構成により、それらの尾を引く現象がある程度起きる。そのため、提案した方法は、同様の一時的特性を有するカメラシステムに伝達することができる。

したがって、カメラ画像内のこのような光跡は、溶接火花の特徴となる。溶接火花は、通常、記録時にはっきりした曲線をたどる。グレースケール値の勾配および正確な輪郭方向は、輝度差によって、背景から判断することができる。輝度値のほぼ指数関数的な減少が、光跡に沿って観測することができる。隣接する画素のグレースケール値を分析することにより、このような特徴的なグレースケール値の勾配であるか否かを、およびそれに伴って、異物が溶接火花であるか否かを比較的正確に確認することができる。

また、分析ユニットは、好ましくは、グレースケール値の空間的分布から、異物のサイズおよび／または形状を推定するように構成されている。

グレースケール値に基づいて、異物の大まかな輪郭を比較的良好に画定することができる。分析ユニットが、溶接火花の典型的なサイズを有するかん状形状であると判断された場合、その異物は溶接火花として識別され、安全関連機能は起動されない。

さらなる好適な実施形態では、分析ユニットはさらに、グレースケール値の空間的分布から、異物の移動方向および／または元の位置を推定するように構成されている。

これは、上述した理由により、溶接火花の場合、カメラ画像内に生じたその光跡に基づいて、比較的良好に可能である。溶接火花のカメラ画像内に生じる光跡は、典型的には、飛行方向、すなわち、その前端の画像領域において最も明るく見え、そこから、その飛行方向とは逆に進んで連続的に減少する。そのため、溶接火花の光跡を描く、隣接する画像画素の指数関数的なグレースケール値の勾配曲線は、その飛行方向に関する比較的良好な推測をもたらす。溶接火花の発端、およびその元の位置も、飛行方向から推定することができる。したがって、分析ユニットは、例えば、異物を検出し、それに対して、グレースケール値の勾配曲線に基づいて、溶接火花として具体的な所定の発端位置が割り当てられるように構成することもできる。例えば、グレースケール値の勾配曲線から、異物が溶接工具からの直接的なその発端を有していることを推定することができる場合、それが溶接火花であるとより確実に断定することができる。

分析ユニットは、好ましくは、複数またはすべての上述した特有の特徴に基づいて、溶接火花または他の異物への分類を実行することは明らかである。これらの特徴的な機能がより多く分析ユニットの分析に組み込まれれば組込まれるほど、それから、検出された異物が溶接火花であるか否かを、より確実に断定することができるであろう。

さらなる実施形態では、分析ユニットは、グレースケール値の空間的分布に基づくスケルトン化によって、異物の輪郭を判断するように構成される。この場合、前記スケルトン化を生じさせるために、グレースケール閾値よりも大きいグレースケール値を有する隣接する画素からなるチェーンが、少なくとも一つのカメラ画像内で判断される。

このようなスケルトン化は、特に、カメラ画像内の溶接火花またはその輪郭によって生成された光跡を再構成するのに適している。この場合、最高のグレースケール値を有する画素からなるチェーンまたは連結部が構成される。このチェーンは、スケルトンとも呼ばれる。溶接火花の光跡の再構成のためのこのようなスケルトン化は、特に、カメラ画像内の光跡の形状を取得した後、上述したように、溶接火花の光跡によってカバーされた画素を、背景を示す基準画像からの先行する画像の画素と置換するのに用いられる。スケルトン化の間、溶接火花の光跡は、画像処理において段階的に走査される。このため、好ましくは、始動画素が最初に判断される。例えば、上述したグレースケール閾値よりも大きな最高のグレースケール値を有する画素を、始動画素として用いることができる。この始動画素から始めて、８つすべての隣接する画素が、そのグレースケール値に関してチェックされ、それらの中で最高のグレースケール値を有する画素が順に選択される。

したがって、スケルトンは、所定の最大長に達するまで（第一の終了基準）または、光跡がもはや輝度／グレースケール値に関して画像背景と違わなくなるまで、画素ごとに繰り返し結合される。その結果、光跡に沿った個々の画素のチェーン（スケルトン）は、溶接火花の光跡の明るさの中心から始まることとなる。その結果、分析ユニットは、スケルトンからの異物の長さを計算することができ、およびこの長さに基づいて、その異物が溶接火花であるか否かを判断することができる。そして、スケルトン化の結果は、異物または溶接火花の運動方向を判断するのにも用いることができる。

さらなる実施形態では、分析ユニットは、画素のグレースケール値を、スケルトン化のためのグループにまとめるように構成されている。

これは、特に、スケルトン化の間の収差を避けるために用いられる。グレースケール画像における局所的な不連続性によってスケルトンの大略的曲線を失わないように、ロバストな方法を用いて輪郭を見つけるべきである。そのため、スケルトンの段階的構成は、個々の画素のグレースケール値を比較するのではなく、グレースケール値を画素グループにまとめることが有利である。このようにして、特に、ノイズの影響を低減することができる。分析ユニットは、好ましくは、この目的のために、その都度、３つの画素のグレースケール値を、一つの画素グループにまとめる。そして、分析ユニットは、合計で最高のグレースケール値か、または、平均値で最高のグレースケール値を有する３つの画素からなるグループを用いて、一つの画素によってスケルトンを拡張する。このことを、以下の図面に基づいて、さらに説明する。

さらなる実施形態では、分析ユニットは、時間的に連続する画像を互いに比較するように構成されている。

分析ユニットは、この場合、好ましくは、異物が検出されている、取得したカメラ画像の画像領域を、少なくとも一つの時間的に先行するカメラ画像における対応する画像領域と比較して、異物の位置が、先行するカメラ画像の対応する画像領域内でも特定されているか否かを判断するように構成されている。

既に述べたように、溶接火花の特徴的な特性の一つは、その速い速度である。そのことから、溶接火花の検出に対して、先行する記録の同じ画像区域において火花が既に検出されているか否かも明白であることを導き出すことができる。そうでない場合、火花は、その後、最高速度を超え、それは人または機械ではない。しかし、溶接火花と同様の物体が既に前の画像内において位置が特定されている場合には、それが別の関連する物体である可能性があることを排除することは不可能である。そのため、時間的に連続する画像の比較は、それが溶接火花であるか否かに関する分類の信頼性をさらに高めるのに役に立つ。

一つの好適な実施形態では、カメラシステムは、異物の空間的位置を示す距離値を判断するように構成されているマルチチャネル冗長のマルチ接眼レンズカメラシステムであり、この場合、その距離値は、ランタイム測定法により、および／または２つの同時カメラ画像の立体的比較によって判断される。

このようなカメラシステムは、特許文献２に記載されており、その開示の内容全体は、参照によって本願明細書に組み込まれるものとする。このようなカメラシステムは、ＳａｆｅｔｙＥＹＥ（登録商標）という名称で、本出願人によって販売されている。

ランタイム測定法では、信号のランタイム、特に、異物までの、および異物から戻ってくる光信号が測定される。異物までの距離は、その信号の既知の伝播速度から判断することができる。ランタイム測定法は、距離情報に関する項目を得るための、および３次元画像分析を可能にするための非常にコスト効率の良い選択肢である。

距離情報に関する項目を判断するための立体的方法は、それらの方法が、いわゆる視差に基づいて、物体までの距離を判断し、それにより、わずかに異なる視野角の結果として、少なくとも２つのカメラ画像を生じさせるという点で、人の眼の機能と同様である。この実施形態が、三眼式方法および装置も含むことは明らかである。すなわち、この実施形態は、厳密に２つのカメラまたは２つのカメラ画像を使用することに限定しない。立体的方法を用いた監視区域の３次元監視は、冗長システムが単一誤り信頼性に関して有利であるため、特に、好適な用途に対して適している。立体的システムは、複数設けられたカメラまたは画像記録ユニットを最適に利用することができる。

上述した実施形態が、特許請求の範囲で定義されている装置に関連しているだけではなく、保護下にある方法にも関連していることは明らかである。したがって、新規な方法は、新規な装置と同一または同様の実施形態を有している。

また、上述した特徴および以下で説明する特徴が、本発明の範囲から逸脱することなく、それぞれ指定された組合せだけではなく、その他の組合せまたは単独でも利用可能であることも明らかである。

本発明の実施形態は、図面に図示されており、以下の説明において詳細に説明されている。

本発明の実施形態による装置の単純化した図を示す。 前記単純化した図をブロック図で示す。 装置の好適な適用を説明するための概要を示す。 装置によって生成されて分析されるカメラ画像の模式図を示す。 装置によって生成されて分析されるカメラ画像の模式図を示す。 装置に用いることができるカメラシステムの斜視図を下からの対角線上で示す。 カメラ画像内で溶接火花によって生成された光跡の図を示す。 ２つの溶接火花のカメラ画像のグレースケール値の分析を示す。 装置内で実施可能なスケルトン化方法を示す模式図を示す。 第一の実施形態に従って、本発明による方法を説明するための単純化したフローチャートを示す。 第二の実施形態に従って、本発明による方法を説明するための単純化したフローチャートを示す。

本発明の装置の好適な実施形態の全体が、図１および図２の参照符号１０によって特定されている。

装置１０は、空間的区域または監視区域１４を監視するように設計されている少なくとも一つのカメラシステム１２を含み、その区域内には、自動的に作動する設備または機械、ここではロボット１６が配置されている。カメラシステム１２は、この目的のために、監視区域１４に対して向けられている。

カメラシステム１２は、好ましくは、少なくとも２つの画像記録ユニット１８，２０を、さらに好ましくは、第３の画像記録ユニット２２を有する多チャンネルの冗長的なマルチ接眼レンズカメラシステムとして具体化されている。画像記録ユニット１８，２０，２２は、完全に独立した機能カメラとすることができる。この場合、好ましくは、ＣＭＯＳまたはＣＣＤセンサが備えられているカメラがある。具体的には、画像記録ユニット１８，２０，２２は、反射屈折カメラ、すなわち、その光軸の延長に位置する死角の周りにリング状の視野を有するように、湾曲したミラーを撮像素子として用いるカメラとすることができる。

カメラ１８，２０，２２は、互いにわずかにオフセットされている、保護すべき監視区域１４の２つまたは３つの画像を供給する。互いに関連し、および三角法の関係を利用した、カメラ１８，２０，２２のオフセットの結果として、カメラシステム１２から監視区域１４内の物体までの距離を、カメラ画像に基づいて判断することができる。この種の好適なカメラシステムは、特許文献２に記載されており、それは冒頭で述べられている。他の実施形態では、カメラシステム１２はランタイムカメラを含むことができる。これは、一方において、監視すべき区域の２Ｄ画像を供給するカメラとして理解すべきである。さらに、そのカメラは、ランタイム測定から得られる距離情報に関する項目を供給する。また、カメラシステム１２は、３Ｄスキャナとして機能するように、および／または保護すべき監視区域１４の３Ｄ画像を生成できるようにする別のテクノロジーを利用するように設計することもできる。

さらに、他の実施形態では、マルチ１Ｄおよび／または２Ｄセンサは、ペアでおよび／または全体として３Ｄセンサユニットを構成することができ、それは、監視区域１４の所要の３Ｄ画像を供給する。したがって、装置１０に対してステレオカメラシステム１２を利用することが、不可欠ではないが好適である。

カメラシステム１２に、制御部２４が接続されている。接続は、好ましくは、バス２６を介して実行される。あるいは、空間的に遠く離れた制御部２４の代わりに、この目的のために、共有ハウジング内で、画像記録ユニットまたはカメラ１８，２０，２２と制御部２４を一体化すること、または、別のアナログまたはディジタルインタフェースを用いることも可能である。空間的に離間されている制御部２４を有する、この場合に図示されている構成には、モジュールシステム、例えば、個々のコンポーネントの軽量化、個別の交換性等の利点がある。

制御部２４は、好ましくは、分析ユニット２８を有している。この分析ユニット２８は、カメラシステム１２によって記録されたカメラ画像を分析し、および危険な状況においては、ロボット１６のシャットダウンを生じさせる安全関連機能、好ましくは、シャットダウン信号を起動するように構成されている。また、制御部２４は、画像補正ユニット３０も有しており、その機能については、以下で説明する。

分析ユニット２８と画像補正ユニット３０は、ソフトウェアおよびハードウェアにも基づく独立したユニットとして実装することができる。あるいは、それに加えて、それら２つのユニット２８，３０は、制御部２４の内部で、ソフトウェアまたはハードウェアに基づく一つの共有ユニットで実装することもできる。

図１および図２に図示されている、カメラシステム１２と、制御部２４と、機械１６との間の接続は、それぞれ、有線接続または無線接続として具体化することができる。一つの好適な例示的実施形態では、制御部２４は、そこにソフトウェアがインストールされて、分析ユニット２８および画像補正ユニット３０を実装する、従来のコンピュータである。

図１の参照符号３２は、必要に応じて、監視区域１４を照らすために設けることができる光源を特定している。本発明のいくつかの実施形態では、光源３２は、光信号を生成するのに用いることができ、そのランタイムから、監視区域１４内の物体までの距離を判断することができる。しかし、好適な実施形態では、光源３２は、監視区域を照らすためだけに用いられている。監視区域１４の３Ｄの取得は、好ましくは、上述したように、立体的画像記録によって実行される。

さらに、図１および図２は、この場合、構成ユニット３４とも呼ばれる入力モジュール３４も模式的に示している。構成ユニット３４は、装置１０、具体的には、カメラシステム１２の据付および構成に用いることができる。後に詳細に説明するように、それは、特に、少なくとも一つの仮想保護区域３６（図３を参照）の設定および構成するために用いられる。構成ユニットまたは入力モジュール３４は、装置１０上の専用入力パネルとして適応させることができる。

あるいは、それに加えて、それは、ソフトウェアがインストールされ、装置１０の据付および構成のために適している従来のコンピュータによって実施することもできる。分析ユニット２８および画像補正ユニット３０さらに構成ユニット３４を含む制御部２４は、２つの独立した従来のコンピュータとして実施することもできる。あるいは、それに加えて、制御部２４および構成ユニット３４は、１つのコンピュータによる複合形態で実施することもできる。

さらに、装置１０は、バスまたは別の通信媒体を介して互いに接続されている複数の制御部２４または分析ユニット２８を含むこともできることにも留意すべきである。さらに、カメラシステム１２の信号およびデータ処理能力の一部が、制御部２４または分析ユニット２８内に収容されることが可能である。例えば、カメラ１８，２０，２２の立体画像に基づく物体の位置の判断は、分析ユニット２８も実装しているコンピュータで実行することができる。また、カメラシステム１２の個別のカメラまたは画像補正ユニット１８，２０，２２は、必ずしも単一のハウジング内に収容される必要はない。むしろ、カメラシステム１２は、本発明の意図においては、カメラシステム１２を可能な限りコンパクトに実装することが好ましいため、複数のアセンブリおよび／またはハウジングに分散させることもできる。

既に述べたように、個々のカメラ画像の分析は、分析ユニット２８で実行される。この分析ユニット２８は、具体的には、異物（foreign object）が仮想保護区域３６内に存在しているか否か、または、保護区域３６に進入したか否かを分析する。このような異物が、分析ユニット２８によって認識された場合、その分析ユニットは、それに伴って、いわゆるＯＳＳＤ（Optical Safety Switching Device）信号３８を生成する。

この信号は、好ましくは、安全性制御部４０へ伝えられて、その結果、機械１６がシャットダウンされるか、または、その機械が安全状態にされる。さらに、緊急オフボタン４２をこの安全性制御部４０に接続することができ、それにより、オペレータが、この緊急オフボタン４２を作動させることによって、手動で機械１６をシャットダウンさせることを可能にしている。また、緊急オフボタン４２は、保護ドアとすることもでき、そのドアが開いたときに、機械１６がシャットダウンされる。

安全性制御部４０は、好ましくは、リレーまたは安全装置を含んでいる。安全性制御部４０を用いることにより、監視する機械１６の駆動を、それ自体が既知の方法でシャットダウンさせることができる。また、安全性制御部４０は、例えば、フェイルセーフＰＬＣ（programmable logic controller）の形態で実施することもできる。この場合、分析ユニット２８または制御部２４は、安全なフィールドバス、例えば、Ｐｉｌｚ ＧｍｂＨ＆Ｃｏ．，ＧｅｒｍａｎｙのいわゆるＳａｆｅｔｙ Ｂｕｓ（登録商標）を介して安全性制御部４０に接続されていることが好ましい。安全性制御部４０は、例えば、Ｐｉｌｚ ＧｍｂＨ＆Ｃｏ．，ＧｅｒｍａｎｙのＰＳＳ ３０００である。

このＯＳＳＤ信号を生成するために、分析ユニット２８は、さまざまな画像処理方法によって、カメラ１８，２０，２２によって供給されたカメラ画像を分析する。まず、この目的のために、いわゆる画像前処理が分析ユニット２８で実行される。用途により、ここで、それ自体既知である方法、例えば、ＦＰＮ（Fixed Pattern Noise）補正が、記録されたカメラ画像を調整するために実行される。さらに、記録されたカメラ画像は、ベース輝度レベル等に関して互いに適応される。その後、監視区域１４内の異物を検出するために、カメラ画像の実際の分析が、例えば、２つの異なる情景解析法（scene analysis）を用いて実行される。この情景解析法では、分析ユニット２８は、領域セグメント化、すなわち、比較すべき個々の領域へのカメラ画像の分割を含む、輪郭ベースの画像分析を実行することができる。その場合、好ましくは、基準画像と著しく異なる画像領域のみが分析される。分析ユニット２８は、情景解析の結果に基づいて、保護区域の侵害が存在するか否か、すなわち、物体が、監視区域１４に容認できないほど進入しているか否かを分析する。この分析またはチェックは、必ずしも監視区域１４全体に対して実行しなくてもよい。好ましくは、その分析は、監視区域１４の一部の領域に対してだけ実行される。

この目的のために、構成ユニットまたは入力モジュール３４を用いて、３次元保護区域３６が、監視区域１４内に画成される（図３を参照）。この保護区域３６は、好ましくは、機械１６の周囲全体に画成される。保護区域３６の形状およびサイズと、機械１６からの保護区域３６の距離は、必須要件により個別に設定してもよい。これは、好ましくは、ソフトウェアで支援された方法で手動または自動的に実行される。当然のことながら複数の保護区域３６は、機械１６の周りに構成してもよい。例えば、さらに外側の警告区域（図示せず）を追加的に構成してもよい。このような場合、分析ユニット２８は、その警告区域内での異物の検出時に、警告信号だけを出力するように構成され、それにより、例えば、警告音または目で見える警告信号が生成される。しかし、分析ユニット２８は、保護区域３６内での異物の検出時に、シャットダウン信号を生成し、それによって、上で定義した方法で、機械１６のシャットダウンを生じさせ、または、機械１６を安全な状態にする。

図５は、ＳａｆｅｔｙＥＹＥ（登録商標）という名称で、本出願人によって販売されているカメラシステム１２のセンサユニットの好適な実施形態を示す。既に説明したように、全体のシステムは、典型的には、図１および図２に図示されているように、カメラシステム１２に加えて、分析ユニット２８および安全性制御部４０も含んでいる。

この実施形態によれば、カメラシステム１２は、実質的に平らなプレートの形態で具体化されているシステム本体４４を有している。このプレート４４は、ここでは、略菱形の設置面積を有している。３つの画像記録ユニット１８，２０，２２が、システム本体４４の４つの「角部」のうちの３つに配置されている。取付部が参照数字４６で特定されており、それを用いて、カメラシステムを壁、マスト等（ここでは図示せず）に固定することができる。取付部４６は、ここでは、システム本体４４の、互いに直交している少なくとも２つの軸周りの旋回を可能にする複数の旋回関節部４８，５０を有する取付アームである。システム本体４４は、それに対して直交している第３の回転軸周りに旋回してもよい。しかし、関連する旋回関節部は、図５では隠れている。そのため、画像記録ユニット１８，２０，２２は、監視すべき監視区域１４へ比較的容易に向けることができる。３つの画像記録ユニット１８，２０，２２は、システム本体４４上で三角形上に広がっている。そのため、それによって生成されたカメラ画像は、互いにわずかにオフセットされる。

画像記録ユニット１８，２０または１８，２２は、その都度、ペアを構成し、この場合、画像記録ユニット１８，２０の互いからの距離と、画像記録ユニット１８，２２の互いからの距離は、この実施形態では、全く等しく、かつ不変である。これら２つの距離は、それぞれ、画像記録ユニット１８，２０および１８，２２の立体的分析のためのベース幅を構成している。原理的には、画像記録ユニット２０，２２はさらに、独立した立体的分析のためのペアとしても用いることができるであろう。２つの立体的画像記録ユニットのペア１８，２０および１８，２２は、共通の直線に沿って配置されていないため、単一のカメラのペアには見えない物体は、例えば、他の物体による影の結果として、監視区域１４内で検出される可能性もある。さらに、３つの画像記録ユニット１８，２０，２２を用いて、監視区域内の任意の物体までの距離は確実に判断することができる。２つの画像記録ユニットだけを用いた場合、ベース幅まで並行に延びている細長い輪郭までの距離は、場合により判断できない可能性がある。

本発明による装置は、特に、溶接工具または溶接ロボットの監視に特化されている。このような溶接ロボットの場合、溶接工具の摩耗により、複数の溶接火花が生じ、それらは、溶接点から外側のあらゆる方向へ伝播する。上述したタイプの既知のカメラシステムでは、それらの溶接火花は異物として認識され、その結果、機械１６の好ましくないシャットダウンが起きる。このことは、避けなければならない、生産設備の好ましくない停止、およびそれに伴う生産の停止を生じる。

本発明による装置１０は、カメラ画像内の溶接火花の巧みな認識と、それに対応するそれらの溶接火花のカメラ画像からの除去とによって、そのような好ましくない停止を回避する。この処理手順は、本発明に従って、分析ユニット２８によって実行される。分析ユニット２８は、少なくとも一つの保護区域３６内に存在するか、または、保護区域３６に進入する異物５３を、カメラ画像の分析によって分類し、溶接火花の場合の一つ以上の特徴的特性に基づいて、それが溶接火花であるか、または、この場合、別の種類の異物であるかを判断するように構成されている。この分類に基づいて、分析ユニット２８は、検出した異物が溶接火花として認識されていない場合にだけ、安全関連機能（例えば、シャットダウン信号）を起動する。

溶接火花が、分析ユニット２８による物体認識の方法を用いて検出することができる特有の特徴を有していることは既に説明した。

溶接火花の特有の特徴は、その速度、カメラ画像内でのそのサイズ、カメラ画像内でのそのデザインおよび形状、溶接火花がカメラ画像内で生成する輝度またはグレースケール値、およびカメラ画像内で生じるその空間的輝度またはグレースケール値の曲線を含む。そのため、分析ユニット２８は、好ましくは、溶接火花の場合のそれらの特徴、または、それらの特徴的な特性の組合せに基づいて、上述した分類を実行するように構成されている。

その速度は、さまざまな方法で分析ユニット２８によって測定することができる。一方において、これは、２つの時間的に連続するカメラ画像の比較によって実行することができる。この場合、速度は、分析ユニットにより、例えば、どの経路で異物が一つのカメラ画像から、時間的に連続するカメラ画像へカバーされたかの単一画素の比較によって測定される。正確な距離測定は、上述した立体的分析法に基づいて実行することができる。そして、比較された２つのカメラ画像間の既知の時間間隔を用いて、異物の速度を計算することができる。しかし、本出願人の実験では、一連の複数のカメラ画像にわたる個々の溶接火花の追跡は、その高速のため、比較的困難である。そのため、一つの好適な実施形態では、このような溶接火花の速度は、以下のように、分析ユニット２８によって判断される。好ましくは、カメラシステム１２に用いられるＣＭＯＳセンサの慣性のため、溶接火花５２は、個々のカメラ画像では光跡のように見える。

このような溶接火花５２は、光跡５４がカメラ画像内に生じている状態で、図６に実施例として示されている。このような光跡５４の様子は、溶接火花５２の速度を判断するために分析ユニット２８で用いることができる推測を可能にする。溶接火花の形状および長さは、具体的には、一方において、その速度に依存し、他方においては、カメラセンサの照明時間に依存する。その飛行速度が速ければ速いほど、およびセンサの照明時間が長ければ長いほど、光跡５４も長くなる。溶接火花とカメラシステム１２との間の距離は、溶接火花５２の速度を判断するために考慮されるさらなる要因である。したがって、分析ユニット２８は、好ましくは、カメラシステム１２の照明時間と、溶接火花の検出距離と、溶接火花の光跡５４の長さとに基づいて、溶接火花５２の速度を判断するように構成されている。

したがって、上述した２つの方法のうちどちらが、カメラ画像から異物の速度を判断するのに用いられるかとは無関係に、異物が溶接火花５２であるか否かを明確に判断することができる。これは、好ましくは、分析ユニット２８において、判断された速度と、速度の閾値とを比較することによって実行される。速度の閾値は、この場合、好ましくは、溶接火花５２だけではなく、安全関連異物、または、機械の部分または人体の一部によっても超えられる可能性があるように定義される。

あるいは、上述した速度確認に関しては、溶接火花および他の安全関連異物への分類を、第３の方法で判断してもよい。分析ユニット２８は、異物の検出時に、その異物が検出された画像領域と、時間的に先行するカメラ画像内の対応する画像領域とを比較するように構成することもできる。時間的に先行するカメラ画像内の対応する画像領域内で、そのような異物が認識されない場合、異物の速度は、高い確率で、定義された速度閾値を超えており、そのことから、その異物が溶接火花５２であると断定することができる。

そのような２つの時間的に連続するカメラ画像６２，６２’を図４に模式的に示す。図４ｂに模式的に図示されているカメラ画像６２’は、この場合、図４ａに模式的に図示されているカメラ画像６２に時間的に続いている。模式的に図示された状況において、分析ユニット２８は、第１のカメラ画像６２内で、２つの異物５３を検出している。時間的に連続するカメラ画像６２’（図４ｂを参照）内の対応する画像領域の比較に基づいて、異物５３は、この画像内では、検出点でも検出可能であることが分かっている。上述した論理によれば、それらの異物は、その後、異物５８を取り囲む矩形６０によって図４ｂに示されている、安全関連異物５８として分類される。しかし、その画像領域の上部のさらに左側に見える、カメラ画像６２’内の異物５３は、先行するカメラ画像６２内では検出されていない。上述した論理によれば、これは、それらの物体５３が、速度閾値を超えている溶接火花５２であることを示している。

このような溶接火花５２をカメラ画像内に生じさせる、典型的に非常に高い輝度またはグレースケール値の結果として、そのサイズは、そのカメラ画像内の背景から明確に範囲を定めることができるため、シンプルな方法で判断してもよい。したがって、分析ユニット２８は、異物５３のサイズを判断して、そのように判断されたサイズを、サイズの閾値と比較するように構成することもできる。判断されたサイズがこのサイズ閾値以下である場合、そのサイズは、そのことから、検出された異物５３が溶接火花５２に違いないと判断することもできる。

さらなる特徴は、このような溶接火花５２の形状である。図６において明らかなように、溶接火花は、典型的には、カメラ画像内では棒状（rod-shaped）の形（formation）を有している。これもまた、識別されたサイズとともに、検出された異物５３が溶接火花５２であるか、または、安全関連異物５８であることを示す識別物である。

溶接火花５２の高熱のため、溶接火花は、カメラ画像内で非常に高いグレースケール値を有している。溶接火花５２の識別のために、識別された異物のグレースケール値を、画素ごとに、または、画素群（例えば、画素群のグレースケール値の合計、または、画素群のグレースケール値の算術平均）で、典型的には、他の異物によって超えられることのないグレースケール閾値と比較してもよい。

溶接火花５２の認識にとって良いインジケータであることが分かっている、さらなる特徴は、それがカメラ画像内に生成する、その特徴的な空間グレースケール値曲線である。図６において明らかなように、溶接火花５２は、溶接火花５２の中心から生じて、その飛行方向の反対側にあるはっきりしたグレースケール値の低下を生じている。特定の画像領域の移動は、時間的に遡れば遡るほど、結果として生じる溶接火花の光跡５４のグレースケール値は、より元の背景に近づくことになる。

図７は、２つの溶接火花が生じた画像領域の空間的グレースケール値分布の定量分析を示す。２つの溶接火花のグレースケール値の曲線は、本願明細書では、それぞれ参照数字５６および５６’で特定されている。グレースケール値の曲線５６，５６’は、本願明細書では、「山の尾根」にそって略指数関数的なグレースケール値の低下を有する一種の山の尾根として見える。したがって、分析ユニット２８は、異物５３が検出された画像領域内の空間的グレースケール値の曲線を検討するように、および典型的には溶接火花５２の場合に、そのような指数関数的なグレースケール値の低下が検出された場合に、安全関連機能を抑えるように、すなわち、その機能を起動しないように構成することもできる。換言すれば、分析ユニット２８は、グレースケール値の勾配に隣接する画像画素を分析し、それらを、典型的には溶接火花５２の場合のグレースケール値の勾配範囲と比較するように構成される。

また、溶接火花５２の飛行方向は、グレースケール値の勾配に基づいて、比較的正確に判断することができる。この飛行方向は、異物５３の上述した分類にも用いることができる。具体的には、異物５３の発端は、その飛行方向から推測してもよい。分析ユニット２８には、ティーチイン手順中に、例えば、溶接火花５２が、典型的には、所定の局所的発端から、具体的には、溶接工具の位置から生じていることを学習させることができる。

溶接火花の輪郭および位置合わせまたは飛行方向は、好ましくは、分析ユニット２８内で、スケルトン化方法に基づいて判断される。このようなスケルトン化方法の原理を図８に模式的に示す。この場合、溶接火花の光跡５４が段階的に走査されて、いわゆるスケルトンを生成する。好ましくは、最高のグレースケール値を有する始点画素６４から始めて、隣接する画素のグレースケール値は、８つのサーチ方向でチェックされる。この目的のために、複数の画素、好ましくは、３つの画素のグレースケール値が、合計値または平均値としてまとめられて、３つの画素の残りの７つのグループと比較される。この組合せは、グレースケール画像における局所的な不連続性が、スケルトン化において誤差を生じないため、この方法のロバスト性を実質的に向上させる。このようにして、最大グレースケール値を有する隣接する画像画素のチェーン６６が結果として生じる。光跡５４の大略的な基本方向６８が分かるとすぐに、図８の右側の部分に模式的に示されているように、サーチ領域を３つの方向に限定することができる。そのうちの３つのグループが、最高のグレースケール値、または、最高のグレースケール平均値を有する、それぞれの基本方向６８は、さらに一つの画素だけチェーン６６を延ばすのに用いられる。したがって、スケルトンは、最大長に達するまで、または、光跡５４がもはや輝度に関して背景と違わなくなるまで、画素ごとに繰り返しまとめてもよい。

上述したスケルトン化は、溶接火花５２の形状およびデザインを再構成するためだけではなく、カメラ画像内で溶接火花５２によってカバーされている領域または画素を、基準画像の画像データまたは画素と、または、先行するカメラ画像の画素と置換するための、画像補正ユニット３４内でのさらなる方法ステップで用いることもできる。カメラ位置の空間的変化が起きない場合、溶接火花５２によってカバーされていた画素と、前の画像との画素ごとの置換は、好適な処理手順である。

この置換または画像補正は、好ましくは、画像補正ユニット３４によって実行される。画像補正ユニット３４は、カメラシステム１２に接続されたコンピュータ内に、例えば、ソフトウェアとして実装される。上述したスケルトン化を、この画像補正ユニット３４によっても実行できることは明らかである。画像補正ユニット３４は、好ましくは、前に決定されたスケルトンからの画像画素だけではなく、スケルトンに空間的に隣接する画像画素、すなわち、すべての隣接する明るい領域も置換する。このことは、例えば、いわゆる「領域拡張」法によって画素ごとに正確に範囲を定めることができる。この置換処理手順は、好ましくは、画像補正ユニット３４によって、利用可能なすべてのカメラ画像内で実行され、その結果、最終的に、溶接火花５２は、もはやどのカメラ画像内にも見られなくなる。

画像補正ユニット３４は、特に好ましくは、カメラ画像の生画像データを既に用いている。換言すれば、溶接火花は、比較的初期の処理ステップにおいて既に取り除かれている。分析ユニット２８によって実行される、その中で異物５３が保護区域３６内に位置しているか否かが分析される画像処理の下流の処理ステップでは、溶接火花５２は、もはや存在していない。このことには、下流の分析プロセスはもはや、上述した溶接火花の検討を含まなくてもよく、そのため、計算時間を節約することができるという効果がある。しかし、ここでは、このような画像補正は確実に必要ではないということを言及すべきである。また、カメラ画像内に溶接火花５２を残しておくこと（すなわち、それらの溶接火花を、他のカメラ画像の画素と置換しないこと）も可能であり、この場合、分析ユニット２８は、検出された異物５３が溶接火花５２であるか否かを後で下流の処理ステップで分析する。

したがって、これは、本発明による２つの異なる実施形態をもたらし、それらは、図９および図１０に模式的に図示されている。

図９に示す本発明による方法の第１の実施形態では、まず、方法ステップＳ１０において、監視区域１４のカメラ画像６２が取得される。方法ステップＳ１２では、それらのカメラ画像（生画像素材）が、異物５３のために直ちに分析され、上述した溶接火花５２の特徴的な特性の１つ以上に基づいて、異物５３が溶接火花５２であるか否かが判断される。この分析は、好ましくは、保護区域３６内に存在している異物だけではなく、最初のカメラ画像からもすべての溶接火花５２を既に取り除くように、監視区域１４全体で実行される。したがって、このようにして認識された溶接火花５２は、その後、方法ステップＳ１４において、上述した方法で、溶接火花をカバーするか、または、それらをカメラ画像から削除するように、基準画像からの画像データまたは時間的に先行するカメラ画像と置換される。その結果、方法ステップＳ１６では、監視区域１４内の少なくとも一つの保護区域３６は、仮想保護区域として定義される。そして、方法ステップＳ１８では、異物５３が保護区域３６内に位置しているか否かが分析される。その分類は、既に第１の処理ステップ（方法ステップＳ１２）で行われているため、この場合、もはや安全関連異物５８と溶接火花５２を区別する必要はない。方法ステップＳ２０では、先行する方法ステップＳ１８において、保護区域３６内で異物５３が検出された場合に、安全関連機能が起動される。

あるいは、それに加えて、溶接火花５２は、カメラ画像６２内に残すこともでき、それは、下流の処理ステップにおいて、保護区域３６内で検出された物体５３が、溶接火花５２であるか、または、安全関連異物５８であるかが分析される。

この本発明による方法の第２の実施形態は、図１０に模式的に図示されている。この場合、第１の方法ステップＳ３０では、第１の変形例と同様に、監視区域１４のカメラ画像が生成される。方法ステップＳ３２では、少なくとも一つの仮想保護区域３６が監視区域１４内に画成される。方法ステップＳ３４では、カメラシステム１２のカメラ画像が分析される。この場合、保護区域３６の画像領域を分析して、異物５３がその保護区域内に存在しているか、または、その保護区域に進入しているか否かを検出するだけで十分である。方法ステップＳ３６では、方法ステップＳ３４で検出された異物５３の分類が、溶接火花５２の場合の上述した特徴的な特性に基づいて実行されて、異物５３が溶接火花５２であるか否かが判断される。保護区域３６内で検出された異物５３が溶接火花５２として認識されない場合には、方法ステップＳ３８において、安全関連機能が起動される。

Claims (14)

1. 自動的に作動する機械（１６）がその中に配置されている監視区域（１４）を保護するための装置であって、
   前記監視区域（１４）を監視するためのカメラシステム（１２）と、前記監視区域（１４）内に少なくとも１つの保護区域（３６）を画成するための構成ユニット（３４）と、安全関連機能を起動させるための分析ユニット（２８）とを有し、
   前記カメラシステム（１２）は、前記保護区域（３６）のカメラ画像を供給し、および前記分析ユニット（２８）は、異物（５３）が前記保護区域（３６）内に存在しているか、または前記保護区域（３６）に進入しているか否かを分析し、前記分析ユニット（２８）はさらに、前記保護区域（３６）内に存在しているか、または前記保護区域（３６）に進入している異物（５３）を、前記カメラ画像の分析によって分類し、溶接火花（５２）の場合の一つ以上の特徴的特性に基づいて、前記異物（５３）が溶接火花（５２）であるか否かを判断するように構成され、
   前記分析ユニット（２８）は、前記異物（５３）が溶接火花（５２）であると認識されていない場合に、前記安全関連機能を起動するように構成される装置。
2. 前記分析ユニット（２８）によって、溶接火花（５２）が前記カメラ画像内の空間的領域内で既に検出されている場合、それらの領域を置換するか、または補正するように構成される画像補正ユニット（３０）を有する、請求項１に記載の装置。
3. 前記画像補正ユニット（３０）は、置換すべき前記空間的領域を、時間的に先行するカメラ画像の画像データと置換するように構成される、請求項２に記載の装置。
4. 前記分析ユニット（２８）は、前記カメラ画像の個々の画素のグレースケール値を分析し、それらのグレースケール値をグレースケール閾値と比較して、それに基づいて、前記異物（５３）が溶接火花（５２）であるか否かを判断するように構成される、請求項１〜請求項３のいずれか一項に記載の装置。
5. 前記分析ユニット（２８）は、前記カメラ画像のうちの少なくとも一つに基づいて、前記異物（５３）の速度を分析し、それを速度閾値と比較して、それに基づいて、前記異物（５３）が溶接火花（５２）であるか否かを判断するように構成される、請求項１〜請求項４のいずれか一項に記載の装置。
6. 前記分析ユニット（２８）は、前記カメラシステム（１２）の照明時間と、前記異物（５３）の検出距離と、前記異物（５３）が前記カメラ画像内で占める画素の数とに基づいて、前記異物（５３）の速度を判断するように構成される、請求項５に記載の装置。
7. 前記分析ユニット（２８）は、前記カメラ画像のうちの少なくとも一つにおいて、検出された異物（５３）の画像領域内のグレースケール値の空間的分布（５６，５６’）を判断し、それに基づいて、前記異物（５３）が溶接火花（５２）であるか否かを判断するように構成される、請求項１〜請求項６のいずれか一項に記載の装置。
8. 前記分析ユニット（２８）はさらに、前記グレースケール値の前記空間的分布（５６，５６’）から前記異物（５３）のサイズおよび／または形状を推測するように構成される、請求項７に記載の装置。
9. 前記分析ユニット（２８）はさらに、前記グレースケール値の空間的分布（５６，５６’）から前記異物（５３）の運動方向および／または元の位置を推測するように構成される、請求項７に記載の装置。
10. 前記分析ユニット（２８）は、前記グレースケール値の空間的分布（５６，５６’）に基づいているスケルトン化によって、前記異物（５３）の輪郭を判断するように構成され、前記スケルトン化を生じさせるために、グレースケール閾値よりも大きなグレースケール値を有する隣接する画素からなるチェーン（６６）が、少なくとも一つのカメラ画像内で決定される、請求項７〜請求項９のいずれか一項に記載の装置。
11. 前記分析ユニット（２８）は、隣接する画素のグレースケール値を、前記スケルトン化を生じさせるためのグループにまとめるように構成される、請求項１０に記載の装置。
12. 前記分析ユニット（２８）は、時間的に連続するカメラ画像（６２，６２’）を互いに比較するように構成される、請求項１〜請求項１１のいずれか一項に記載の装置。
13. 自動的に作動する機械（１６）がその中に配置されている監視区域（１４）を保護する方法であって、以下のステップ、すなわち、
    カメラシステム（１２）を用いて前記監視区域（１４）を監視するステップと、
    前記監視区域（１４）内に、少なくとも１つの保護区域（３６）を画成するステップと、
    前記保護区域（３６）の前記カメラシステム（１２）によって与えられたカメラ画像を分析して、異物（５３）が前記保護区域（３６）内に存在しているか、または、前記保護区域（３６）に進入したか否かを検出するステップと、
    前記カメラ画像の分析によって前記異物（５３）を分類し、溶接火花（５２）の一つ以上の特徴的特性に基づいて、前記異物（５３）が溶接火花（５２）であるか否かを判断するステップと、
    前記異物（５３）が溶接火花（５２）であると認識されていない場合に、安全関連機能を起動するステップと、
    を有する方法。
14. 請求項１〜請求項１２のいずれか一項に記載の装置の制御ユニット内でプログラムコードが実行されたときに、請求項１３に記載の各ステップを含む方法を実行するように設計されている前記プログラムコードが格納されているデータ記憶媒体。

Images