JP6333741B2 - 自動機械の危険な作業区域の安全を守るための方法および装置 - Google Patents

Description

本発明は、自動機械の危険な作業区域の安全を守るための方法および装置に関するものである。より具体的には、本発明は、作業区域に立ち入っている人に対する危険性を回避するために、作業区域の現時点での３次元画像を記録してそれを評価する方法および装置に関するものである。

従来、自動機械の危険な区域は、防護フェンスや保護ドアの形態の機械的バリアによって、または光バリア、光グリッドもしくはレーザスキャナを用いて封鎖される。人が保護ドアを開けたり、または、光グリッドもしくは光バリアを遮断するとすぐに、スイッチオフ信号が生成されて、機械の危険な運転動作を停止させるのに用いられる。

しかし、そのような保護装置の設置はかなり複雑であり、保護装置は、危険な機械の周りに大きなスペースを必要とする。加えて、そのような保護装置は、機械の異なる作動状況に対する危険な作業区域の安全防護対策の適応に関しては、ほとんど適応性がない。

それらの欠点を避けるために、以前からしばらくの間、カメラシステムおよび適切な画像処理を用いて、自動機械の危険な作業区域の安全を守る努力がなされてきた。

特許文献１は、危険な作業区域の画像を周期的に生成する少なくとも２つのカメラを有するそのようなシステムを開示している。カメラからの画像は、少なくとも２つのアルゴリズム的に異なる方法を用いて解析され、そして、２つの方法のうちの少なくとも一方が、既定の保護ゾーン内で異物を検出した場合には、機械の危険な運転動作が停止される。２つの解析法の各々は、カメラの画像から３次元情報を生成し、その結果、既定の保護ゾーン内の物体の位置を、方法を用いて判断することができる。

そのような方法および装置のための大きな課題は、そのような装置を、危険な機械の安全保護対策のために実際に使用できるようにするために、どのようにしても既に複雑になっている画像処理が、関連する機械の安全基準、具体的には、ＥＮ ９５４−１（既に失効）、ＥＮ ＩＳＯ １３８４９−１およびＩＥＣ ６１５０８の観点からフェイルセーフでなければならないということである。その装置自体の故障が、機械の安全防護対策の喪失をもたらしてはならない。そのため、以下においては、ＥＮ ９５４−１による少なくともカテゴリー３、ＩＥＣ ６１５０８によるＳＩＬ２および／またはＥＮ ＩＳＯ １３８４９によるパフォーマンスレベルＰＬ（ｄ）を実現する装置がフェイルセーフであると見なされている。

特許文献１および対応する装置によって公知である方法は、これを実現することができ、および既にそれ自体が実用化されていることが明らかになっている。しかし、公知の装置は、これまでに、危険な機械の動きに基づいてそれを減速させるか、または停止させるために、異物が既定の保護ゾーン内に位置しているか否かのみを検出することが既にできているが、人間および機械のすぐ近くでの人間と機械の相互作用、および作動状況の変化に対するおよび／または異物の種類に基づく柔軟な適応は、公知の装置の場合、容易に可能ではない。

そのため、特に、ロボットの危険な作業区域内での人間とロボットの連携（人とロボットの相互作用）を可能にするために、公知の方法および対応する装置をさらに発展させる要求がある。例えば、ロボットの機械加工プロセスを現場でモニタするために、または、ワークピースをロボットと同時に、または、交互に機械加工するために、ロボットが作動している間、ロボットの基本的に危険な作業区域内に人が留まることができるようにすることが望ましい。それでもやはり、ロボットの運転動作によって、決して人が怪我をしないようにしなければならない。

特許文献２は、ロボットの危険な作業区域の安全を守るための方法および装置を提案しており、この場合、作業区域の３次元画像が生成されて、運動学的人体モデルが、作業区域内の人に割り当てられる。３次元画像は、作業区域の実際の状態が、作業区域の所望の状態と異なっているか否かを判断するために解析され、その場合、運動学的人体モデルを用いて、人の所望の位置が考慮される。この方法および対応する装置は、人間とロボットの連携を可能にするように意図されている。しかし、所望の／実際の比較のため、ロボットの作業区域内の人は、運動学的人体モデルにおける所望の状態に正確に対応する方法で動かなければならない。新たな作動状況に対する適応は、その都度、新たなモデリングを必要とするため、対応するモデリングは複雑であるように思われ、どのような場合であっても、柔軟性を制限する。

また、特許文献２は、ＥＮ ９５４−１のカテゴリー３による単一のフェイルセーフを有するスキャナをセンサユニットとして利用することを提案しているが、センサユニットの機能の周期的または連続的なチェックも提案されており、およびそのチェック段階中のロボットの動きは、信頼性の高い方法を用いて、例えば、ロボットシステムの軸方向位置を冗長的に検出および評価することによってモニタリングされるように意図されている。しかし、特許文献２は、３次元画像の評価および基本的なモデリングが、危険な作業区域の安全を守るのに必要なフェイルセーフをもたらすことができるという指摘は少しも含んでいない。

特許文献３は、人とロボットの間の相互作用のための同様の装置および対応する方法を開示しており、ここでは、モデルベースのアプローチも提案されている。記載されている方法は、非常に計算が集中して複雑であると思われるため、意図する目的のために必要なフェイルセーフおよび反応速度を、今のコンピュータ性能で達成できるか否かは疑わしい。

特許文献４は、物体を検出して追跡するための方法について記載している。特許文献５は、工業環境中の人を監視するための方法について記載している。どちらの場合にも、可能な応用分野として、人と機械の相互作用が提案されている。しかし、この意図する目的に必要なフェイルセーフをもたらす方法はない。

特許文献６は、機械の危険な作業区域の安全を守るための装置について記載しており、装置は、一方において、高度なフェイルセーフとともに、人が作業区域に入ったことを検出する光グリッドを備えている。また、装置は、光グリッドの背後で、作業区域を水平面内で走査するレーザスキャナも備えている。レーザスキャナは、検出した物体の位置を測定するようにデザインされている。光グリッドとレーザスキャナは、光グリッドが遮断されていて、その場合に、レーザスキャナが、危険がより少ないと分類されている作業区域のセクション内の異物を検出しない場合に、機械が停止されるように結合される。

欧州特許出願公開第１ ５４３ ２７０ Ｂ１号明細書 独国特許出願公開第１０ ２００７ ００７ ５７６ Ａ１号明細書 独国特許出願公開第１０ ２００５ ００３ ８２７ Ａ１号明細書 独国特許出願公開第１０ ２００９ ０３１ ８０４ Ａ１号明細書 独国特許出願公開第１０ ２００６ ０４８ １６６ Ａ１号明細書 独国特許出願公開第２０ ２００４ ０２０ ８６３ Ｕ１号明細書 国際特許出願公開第２００８／０１４９０９ Ａ１号明細書 国際特許出願公開第２００７／０７９８８３号明細書

このような背景の下で、本発明の目的は、実行可能な最もシンプルで最も有効な方法で、このような用途に必要な機械の安全防護対策と、保証される所要のフェイルセーフを伴って、自動機械の危険な作業区域内に人が機動的に留まることを可能にする方法および装置を提供することである。

本発明の第１の態様によれば、前記目的は、自動機械の危険な作業区域の安全を守るための方法であって、作業区域のそれぞれの現時点での３次元画像を所定の時間間隔で生成する少なくとも１つのセンサユニットを設けるステップと、作業区域内に少なくとも１つの保護ゾーンを画成するステップと、保護ゾーン内で異物が検出された場合に、それぞれの現時点での３次元画像と、画成された保護ゾーンとに基づいて第１の信号を生成するフェイルセーフ異物検出器を用いて、保護ゾーンを周期的に監視するステップであって、第１の信号が、保護ゾーン内での異物の位置を示す位置情報に関する第１の項目を含むステップと、分類器を用いて、保護ゾーン内の異物を周期的に分類するステップであって、分類器は、異物が人として識別された場合に、第２の信号を生成し、機械は、第１の信号と、少なくとも第２の信号とに基づいて作動されるステップと、人トラッカーを用いて、一連のそれぞれの現時点での３次元画像に関して、識別された人を追跡するステップであって、人トラッカーは、各新たな３次元画像の後に、保護ゾーン内での識別された人の現在の位置を示す位置情報に関する第２の項目を判断するステップと、位置情報に関する第１の項目と第２の項目を比較するステップであって、位置情報に関する第１の項目による異物の位置と、位置情報に関する第２の項目による識別された人の位置とが互いに異なる場合に、機械が停止されるステップと、を備える方法によって達成される。

本発明の別の態様によれば、この目的は、自動機械の危険な作業区域の安全を守るための装置であって、作業区域のそれぞれの現時点での３次元画像を所定の時間間隔で生成する少なくとも１つのセンサユニットを備え、作業区域内に少なくとも１つの保護ゾーンを画成するための構成ユニットを備え、およびフェイルセーフ異物検出器と、分類器と、人トラッカーと、比較器と、出力段とを有する評価ユニットを備え、異物検出器は、異物が保護ゾーン内にある場合に、それぞれの現時点での３次元画像と、画成された保護ゾーンとに基づいて、第１の信号を周期的に生成するようにデザインされ、第１の信号は、保護ゾーン内での異物の位置を示す位置情報に関する第１の項目を備え、分類器は、異物が人として識別された場合に、第２の信号を周期的に生成するようにデザインされ、人トラッカーは、一連のそれぞれの現時点での３次元画像に関して識別された人を追跡し、および各新たな３次元画像の後に、保護ゾーン内での識別された人の現在の位置を示す位置情報に関する第２の項目を判断するようにデザインされ、比較器は、位置情報に関する第１の項目と第２の項目を比較して、それに基づいて第３の信号を生成するようにデザインされ、および出力段は、第２の信号に基づいて、および第３の信号に基づいて機械を停止させるための制御信号を生成するようにデザインされ、制御信号は、位置情報に関する第１の項目による異物の位置と、位置情報に関する第２の項目による識別された人の位置とが互いに異なる場合に、機械を停止させるようにデザインされる装置によって達成される。

プログラムコードが評価ユニット上で実行された場合に、前記方法を実行するようにデザインされたプログラムコードを有するコンピュータ・プログラムを用いて、本発明の方法および本発明の装置を実施することが特に有利である。したがって、異物検出器、分類器、人トラッカーおよび比較器は、評価ユニット内で自動的に実行されるソフトウェアモジュールの形態で、好適な実施形態が実施される。

本発明の方法および本発明の装置は、安全を守るべき作業区域内の規定の保護ゾーン内に異物がある場合はいつでも、所定の第１の信号を生成するフェイルセーフ異物検出器を用いる。好適な実施形態において、異物とは、この意味では、画成された保護ゾーン内の何らかの人および物体である。したがって、これらの実施形態において、画成された保護ゾーンは、異物の検出が起きないように、「空」でなければならない。しかし、他の実施形態においては、保護ゾーン、例えば、開閉器室または工場建屋の支柱を画成した場合に既に存在している特定の物体が、保護ゾーン内の既知の物体として容認されることが想定され、その結果、保護ゾーンを画成した際に、保護ゾーン内にまだ存在していない人や物体のみが異物として検出される。これらの場合、異物検出器は、例えば、異物は、比較のために用いられる参照画像内に存在していないという事実から異物を識別することができる。

好適な実施形態において、異物検出器は、保護ゾーン内の異物の存在および位置を検出して判断することができるだけである。しかし、特に、検出した異物が人であるか、機械のためのワークピースであるか、または別の物体であるかを判断するために、その個々の特性に関してより正確に検出した異物を分類することはできない。他方においては、異物検出器は、前記定義に関してフェイルセーフである。

一つの好適な実施形態において、異物検出器は、冒頭で述べた特許文献１に記載されているように、多様な冗長性を用いた２つの３次元解析法を用いて実施される。好適な実施形態においては、２つの異なる情景解析法が使われ、それぞれ、ステレオカメラシステムからの画像ペアを評価するのに用いられる。別の実施形態においては、ステレオカメラシステムからの画像ペアのための３次元画像評価法を、スキャナおよび／または３次元飛行時間カメラの飛行時間測定法と組合せることができる。また、欠陥検出器も、保護ゾーン内で検出された異物の場合のフェイルセーフ位置情報の項目を生成する他のセンサユニットおよび／またはセンサユニットの組合せによって実施してもよい。

また、本発明の方法および本発明の装置は、分類器および人トラッカーを用いる。分類器は、保護ゾーン内の検出した異物が人であるか否かを判断することができる。人トラッカーは、所定の時間間隔で記録された一連の３次元画像に関して、識別した人の位置を追跡するため、各現時点での３次元画像の場合の識別した人の位置を判断することができる。人トラッカーは、「その」位置判断のための人の識別を前提とするため、位置情報に関する第２の項目は、位置情報に関する第１の項目と異なっていてもよい。

これはまさに、本発明の一部の態様が機能するところである。これは、その後、比較器が、取得した位置情報の項目を比較するためであり、すなわち、比較器は、識別されていない異物のためのフェイルセーフ的な方法で判断された位置情報と、識別されている人のさらなる位置情報を比較する。後者は、フェイルセーフ的な方法で判断された異物の位置と、位置情報に関する第２の項目が異なる位置を示している場合には、機械が既に停止されるため、必ずしもフェイルセーフ位置情報の形態である必要はない。換言すれば、フェイルセーフ異物検出器は、とりわけ、フェイルセーフ基準を用いて、位置情報に関する第２の項目を確認する本発明の方法および本発明の装置において用いられる。そして、比較に基づいて、位置情報に関する第２の項目を判断する際の不良は、危険な機械が安全状態に変化していることをもたらすため、比較のために、分類器および人トラッカー自体がフェイルセーフではない場合でも、人の位置情報に関する第２の項目もまたフェイルセーフである。

画成された保護ゾーン内の異物の検出と、その位置のフェイルセーフ判断は、実際にはただでさえ困難な作業である。しかし、既に識別されている人に対するフェイルセーフ分類および位置判断は、演算能力に対して、より高い要求を強いるが、フェイルセーフ的実施は、少なくともこれまでのところ公知にはなっていない。しかし、フェイルセーフ的異物検出と、好ましくはフェイルセーフではない分類および人の追跡とを組合せることにより、本発明の装置および本発明の方法は、上述した目的を達成することができる。

人と機械との間の現時点での距離が、人に対する差し迫った危険を常に排除していれば、人の追跡は、人が作業区域内にいる場合であっても、危険な機械の運転動作を可能にすることができる。例えば、ロボットは、多くの場合、非常に大きな作業区域を必要とするが、ロボットは、一定の時間、作業区域全体の一部分内のみにあるため、異物検出器と、場合により非フェイルセーフの人トラッカーとの本発明の組合せは、フェイルセーフ的であり、かつ全体的により柔軟である連携を可能にする。この場合、実際の実施のための努力およびコストは、すべてのサブコンポーネントにおいてフェイルセーフ的である実施よりも低い。したがって、上述した目的が完全に達成される。

さらに、本発明の方法および本発明の装置には、計算が集中する分類器および人トラッカーを、追加的なフェイルセーフ手段を要することなく実施することができるという利点があり、このことは、本発明の方法および本発明の装置の反応時間に有利な影響を及ぼす。

本発明の好適な改良形態において、分類器が異物を人として識別しない場合は、機械が停止され、この場合、機械は、分類器が、異物を人として識別した場合には、運転を継続するようになっている。

すなわち、この改良形態において、分類器は、異物が人として識別されない場合、安全上の理由から機械のどのような停止にも直接的に影響を与える。しかし、他の改良形態では、分類器は、分類器が異物を人として識別した場合であっても、他の理由で機械が停止される場合があってもよい。このことは、ここでの好適な改良形態と相反しているが、むしろ場合によっては後者を補完している。ここでの改良形態による機械の停止は、使用する人トラッカーは人の識別を必要とするため、人が保護ゾーン内に入った場合でも、フェイルセーフ動作を確実にすることを容易にする。分類器が異物を人として識別しない場合は、安全上の理由から容認されることが意図されていない間違った検出を引き起こす可能性がある。あるいは、検出した異物が、人ではなく、例えば、保護ゾーン内に落下した物体である可能性がある。そのような事例もまた、作業区域内のオペレータの安全性を脅かす可能性があるため、本発明の方法および対応する装置によって容認されることは意図されていない。

例えば、識別されていない異物が、位置情報に関する第１のまたは第２の項目の判断を誤らせたり、ロボットの動きが、識別されていない異物のためだけに危険な状況を生じさせたりすることが想定されるであろう。そのため、この改良形態は、単純な方法で、機械の作業区域内でのオペレータの保護を改善することに貢献している。このことは、特に、異物が既に人として識別されていたが、現時点での３次元画像を受取った後には、もはや人として識別されないとき、例えば、人が物体を作業区域内に運んで、それをそこに置くときに機械が停止される場合に当てはまる。

さらなる改良形態において、分類器は、選択された複数の人を特徴付ける個人データを含む個人データベースを有し、この場合、機械は、個人データを利用して、分類器が異物を、選択された人のうちの一人として識別する時のみ動作する。

この改良形態においては、分類器が、保護ゾーン内の異物が実際に人であるか否かを検出するだけではなく、分類器は、異物が規定の、既知の人であるか否かも検出することができる。この改良形態は、例えば、許可されているメンテナンス係またはオペレータ、または未許可の人が保護ゾーンに入ったか否かに基づいて、機械の動きを制御することを可能にする。例えば、この改良形態は、未知のおよび／または未許可の人の立ち入りが、光および／または音響による警報信号によって示されて、未知の人を危険にさらすことを避けるために、機械が停止されている間に、習熟した機械オペレータがワークフローを設定することを容易にすることができる。

この改良形態は、複数の空間的に互い違いの保護ゾーンが作業区域内に画成されているさらなる改良形態と有利に組合せることができる。その場合、外側の保護ゾーンは、警告またはアラーム信号を起動するのに用いることができ、それに対して、機械は、運転し続けることができ、未知の人が内側の保護ゾーンに入ったときにのみ停止される。このようにして互い違いになっている保護ゾーンを、他の有利な改良形態において、具体的には、外側の保護ゾーン内の人の立ち入りが、機械の停止をもたらすことが意図されておらず、単に運転動作の減速を意図するものであり、内側の保護ゾーンへの立ち入り時にのみ停止される場合にも用いることができることは当然である。

さらなる改良形態において、分類器は、複数の選択された部品を特徴付ける部品データを含む部品データベースを有し、機械は、分類器が、部品データを用いて保護ゾーンに入ることのできる部品として異物を識別した場合に、運転が続行される。

この改良形態は、機械を停止させる必要なく、有利なミューティングおよび／またはブランキングを、すなわち、ワークピース、または、機械の通常のワークフロー中に必要な他の部品の供給を可能にする。改良形態は、それ自体が既に利点をもたらすが、分類器が異物を人として識別しない場合に機械が停止される上述した改良形態と組合せることも可能である。これらの改良形態が組み合わされたとき、人として識別されていない異物が、選択された部品のうちの１つである場合には、選択された部品として異物が識別されることが機械の停止をもたらさないことは当然である。

いくつかの実施形態において、部品は、いわゆるテンプレートマッチングを用いて識別される。この場合、選択された部品の画像および／または画像の特性が、対応する画像および／または検出された異物の特徴と比較される。十分なアイデンティティがある場合、部品は、識別されたと見なされる。

さらなる改良形態において、分類器は、識別された人の体の一部の位置を判断するのに用いられる身体部分検出器を備えている。

この改良形態において、分類器は、人を全体として識別することができるだけではない。分類器は、個々の身体部分、具体的には、手足（腕、脚および／または手）を識別することも可能である。識別された身体部分は、そのようにして、例えば、人が、その腕を機械の方向に延ばしているか否かを検出するために、識別された人に関する位置分解能を向上させることを可能にする。

好適な実施形態において、向上した位置分解能は、人と機械との間の容認可能な最小距離を判断および監視するのに有利に用いられる。したがって、この改良形態は、機械の周りの「セーフティカバー」を最小限にするのに役に立つ。このことは、人と機械の直接的な連携を容易にする。この場合、身体部分の位置は、検出された異物の位置とも一致していなければならないため、身体部分検出器は、分類器および人トラッカーと同じように、異物検出のフェイルセーフの利点から恩恵を受ける。

さらなる改良形態において、分類器および／または人トラッカーは、非フェイルセーフ的デザインを有している。

この改良形態において、分類器および／または人トラッカーそれ自体は、上述した適用のために、方法および装置全体によって満たされなければならないフェイルセーフ性に課された要件を満たしていない。例えば、分類器および／または人トラッカーは、それぞれ、それ自体は、方法および装置全体がそれらの要件を満たしている場合であっても、ＳＩＬ２および／またはＰＬ（ｄ）による要件を満たしていない。改良形態は、処理速度に関して速く、および反応時間が短い比較的コスト効率のよい実施を可能にする。改良形態は、特に、上述した本発明の方法および本発明の装置の利点から恩恵を受ける。

さらなる改良形態において、分類器は、異物検出器が、保護ゾーン内の異物を検出するまで非作動状態になっている。

この改良形態において、異物検出器は、分類器および人トラッカーを始動および実施するためのある種の要因をもたらす。分類器および人トラッカーは、保護ゾーン内に異物がない限り作動されない。改良形態には、安全を守るために必要な場合にのみ、分類器および人トラッカーのための高い演算能力が呼び出されるという利点がある。保護ゾーン内に異物がない限り、その演算能力は、他の目的、例えば、より高い分解能およびそれに応じたより高い位置精度を伴う異物検出器を作動させるために有利に用いることができる。

また、この改良形態には、分類器は、異物の既知の位置によってすぐに始動することができ、そのことが、分類器における複雑な探索アルゴリズムをなくすという利点がある。このことは、全体的に必要な演算能力の最小限化および分類器／人トラッカーの検出速度の向上に寄与する。

しかし、代替的な改良形態においては、可能な限り早く人を検出するために、および場合によっては、保護ゾーンへのアクセスを「可能」にするために、保護ゾーン内で、まだ異物が検出されていない場合に、分類器および場合により人トラッカーを作動させることも想定されている。

さらなる改良形態においては、機械への最小距離が規定されており、この場合、機械は、保護ゾーン内で識別された人が、最小距離よりも機械に近づいている場合に停止される。

この改良形態は、機械を停止させるための絶対的評価基準を規定することにより、安全防護対策を改善している。本発明の方法および対応する装置の結果として、人が保護ゾーン内にいる場合でも、この改良形態では、機械に対する最小安全距離が常に適合されていることが保証されている。好適な実施形態において、識別された人と機械との間のそれぞれの現時点での距離は、現時点での機械位置に基づいて判断される。そのため、好ましくは、評価ユニットは、機械の現時点での位置を示すフェイルセーフデータを受取る。

いくつかの実施形態において、フェイルセーフ機械位置は、フェイルセーフ機械制御装置によって生成してもよい。他の実施形態においては、現時点での機械位置は、好ましくはフェイルセーフカメラベースの機械位置検出器を用いて判断することができ、その動作の方法は、例えば、異物検出器の場合と一致している。カメラベースの機械位置の実施例は、特許文献７に記載されている。改良形態は、人と機械の密接な相互作用を可能にすることに寄与する。

さらなる改良形態において、最小距離は、機械の動きに基づいて変更される。

この改良形態において、最小距離は、動作経路、動作速度および／または他のパラメータ、例えば、機械の移動質量に基づいて、適応的に調節される。この改良形態は、非常に柔軟で状況依存の安全防護対策に対してさらに密接な人と機械の相互作用を可能にする。

さらなる改良形態において、機械は、第２の信号が存在する場合、減速しておよび／または変更済みの動作経路で作動される。

保護ゾーン内の異物が人として識別された場合、第２の信号は分類器によって生成される。この改良形態に従って、人の識別は、作業区域内での人の存在に適応した方法で、機械を作動することになる。この安全防護対策が施された機械は、自動化された動きを全体的に停止させることなく、保護ゾーン内の人の存在に反応する。改良形態は、機械の作業動作の不必要な停止が避けられるため、生産性の向上に寄与する。同時に、この改良形態は、人を守るための危険な作業区域の所望の安全防護対策に都合が良い。

上述した特徴および以下にさらに説明されている特徴は、本発明の範囲を逸脱することなく、それぞれ述べられている組合せだけではなく、他の組合せまたは単独でも用いることができることは当然である。

本発明の実施形態は図面に図示されており、以下の記述において詳細に説明される。

本発明の装置のセンサユニットおよび評価ユニットの単純化した概略図を示す。 上からの平面図で、本発明の装置の実施形態の概略図を示す。 本発明の方法の実施形態を説明するためのフローチャートを示す。

図１および図２において、本発明の装置の好適な実施形態は、その全体が参照数字１０で示されている。

装置１０は、自動機械の危険な作業区域の現時点での３次元画像を所定の時間間隔で生成するようにデザインされた少なくとも１つのセンサユニット１２を備えている。好適な実施形態において、センサユニット１２は、少なくとも第１のカメラ１４と、第２のカメラ１６とを有するステレオカメラシステムである。カメラ１４、１６は、安全を守るべき作業区域の２つの画像を生成し、それらの画像は、互いにわずかにオフセットされている。カメラ１４、１６間の（既知の）オフセットのため、および三角法の関係を用いて、センサユニット１２と、作業区域内の物体との間の距離を、カメラ画像を用いて測定することができる。好適なセンサユニットは、参照によって本願明細書に組み込まれる特許文献１に記載されている。

他の実施形態において、センサユニット１２は、飛行時間カメラを備えていてもよい。これは、一方においては、監視すべき区域の２次元画像を生成するカメラを意味するものと理解されたい。また、カメラは、飛行時間測定法によって得られる距離情報を生成する。さらに、センサユニット１２は、３Ｄスキャナの形態であってもよく、および／または安全を守るべき作業区域の３次元画像を生成することを可能にする別の方法を用いてもよい。

装置１０は、センサユニット１２ａ、１２ｂ、１２ｃおよび１２ｄに関して図２に示すように、複数のセンサユニット１２を備えていてもよい。さらに、複数の１次元および／または２次元センサが、ペアでおよび／または全体として、作業区域の所要の３次元画像を生成する３Ｄセンサユニットを構成してもよい。したがって、好適ではあるが、本発明の装置のセンサユニットとしてステレオカメラシステムを用いることは必ずしも必要ではない。

装置１０は、機械制御装置２０に結合されている評価ユニット１８も備えている。機械制御装置２０は、図２にロボット２２として模式的に図示されている自動機械を制御する。本発明の装置１０と本発明の方法は、特に、ロボット２２の危険な作業区域２４の安全を守るのに適している。しかし、方法および装置は、ロボットの安全防護対策に限定されず、原則として、他の機械の危険な作業区域の安全を守ることに、例えば、自動輸送および運搬セクション、クレーン、吊り上げ機械、プレス機械、マシニングセンタ等の安全を守るためにも用いてもよい。

また、装置１０は、追加的なセンサユニット１２’、例えば、いわゆるＲＦＩＤタグ２５を検出して評価するのに用いることができるＲＦＩＤ読取装置をさらに備えてもよい。有利で実施形態において、このようなＲＦＩＤタグは、新たなワークプロセスを設定するために、メンテナンスまたは検査作業を実行するために、および／または例えば、他の人と機械の相互作用の一部として、自動機械の危険な作業区域２４内に留まることが許可されているオペレータ３４を識別するのに用いることができる。

図１に示すように、装置１０は、バス２６または他の通信媒体を介して互いに接続されている複数の評価ユニット１８、１８’を備えてもよい。

さらに、センサユニット１２の信号およびデータ処理出力の一部は、評価ユニット１８に収容されることが可能である。例えば、物体の位置を、評価ユニット１８も実装しているコンピュータ内のカメラ１４、１６からのステレオ画像を用いて判断することができ、その結果、本発明でいうセンサユニット１２は、必ずしも、評価ユニットと物理的に離れているハウジング内に収容される必要はない。むしろ、本発明に関するセンサユニットは、可能な限りコンパクトな方法でセンサユニットを実施することが好適ではあるが、複数のサブアセンブリおよび／またはハウジングに分散させることも可能である。

参照数字２８は、ロボット２２の作業区域２４内に保護ゾーン３０を画成するのに用いることができる構成ユニットを示す。このような構成ユニット２８の好適な実施例は、特許文献８に開示されており、かかる文献は参照によって本願明細書に組み込まれる。

構成ユニットは、ユーザが、それによって構成ツールを用いて作業区域２４の３次元画像内に仮想保護ゾーンを生成することができるＰＣであってもよい。構成ツールは、生成された保護ゾーンに基づいて、評価ユニット１８が利用できる３Ｄ保護ゾーンのデータを生成する。評価ユニット１８は、提供された保護ゾーンのデータに基づいて、作業区域２４のどの部分が、本発明に関する保護ゾーンとして画成されたかを「知る」ことになる。

ユーザは、作業区域２４内に複数の保護ゾーンを画成することが可能である。複数の保護ゾーンは、例えば、ロボット２２の周りに、外側警告ゾーンおよび内側スイッチオフ区域を画成するために、外側から内側に交互に配置してもよい。また、例えば、ロボット２２への自由なアクセスの安全を守るために、異なる高さおよび／または異なる位置に仮想保護ゾーンを画成することも可能である。仮想保護ゾーンは、防護フェンスまたは壁３２等の物理的バリアと組合せてもよい。

参照数字３４は、ロボット２２に近づいて、保護ゾーン内に入る（第１の）人を示す。人３４は、以下で、図３を用いて詳細に説明する本発明の装置および本発明の方法を用いて識別される。

本発明の方法および本発明の装置は、例として図２に参照数字３４’で示されているように、保護ゾーン３０内への複数の人の立ち入りを検出することができる。第１の人３４が立ち入った場合と同じ方法が、第２の人３４’が保護ゾーン３０内に立ち入った場合に行われる。好適には、ロボット２２の速度は、第１の人３４が保護ゾーン３０内に立ち入るとすぐに減速され、ロボット２２は、減速して作動を継続する。

ロボット２２の位置と人３４の位置が所定の時間間隔で繰り返し判断されて、人３４とロボット２２が互いに近づき過ぎていないか否かを判断するために、チェックが実行される。ここでは、ロボット２２の周りの（図２に白色で図示されている）区域３６は、人３４がロボット２２に対して常に順守しなければならない最小距離３８を表している。人３４が、最小距離３８がアンダーシュートされるほどまでロボット２２に近づいた場合、このことが、評価ユニット１８を用いて検出される。この場合、評価ユニット１８は制御信号を生成し、そのため、機械制御装置２０は、ロボット２２の作業動作を直ちに停止させる。

このようにして、区域３６は、ロボット２２がその中で動き、および好適な実施形態において人３４が立ち入ることができない、ある種の最小保護シートを、ロボット２２の緊急停止を生じることなく画成している。

一方で、ロボット２２は、人３４が、作業区域２４、特に保護ゾーン３０内に留まっている場合でも、減速して作動することができる。保護シート３６のサイズは、ロボット２２（より一般的には機械）の動作速度および／または方向に基づいて決められる。この目的のために、評価ユニットは、機械制御装置２０からフェイルセーフデータを受取り、そのデータは、現時点の速度および／または方向を表す。

第１の人３４が既に保護ゾーン３０に立ち入った後に、第２の人３４’が保護ゾーン３０に立ち入った場合は、人３４、３４’からの最小距離３８がともに順守されている限り、ロボット２２の作業動作には変化はない。その人達がともに保護ゾーン３０から出た場合、このことが、センサユニット１２を用いて評価ユニット１８により検出される。評価ユニット１８は、機械制御装置２０のための対応する制御信号を生成する。好適な実施形態において、ロボット２２は、その後、以前は必要であった手動による確認を要することなく、その作業動作を高速で続ける。

本発明の方法の一つの好適な実施形態を、図３を参照して以下に説明する。図３による方法は、図２の装置１０を用いて実行される。

ステップ５０に従って、本発明の方法は、現時点での３次元画像に基づいて、保護ゾーン３０内で検出されたすべての物体に関連する位置情報を含む信号５１を生成する異物検出器を用いる。既に上述したように、異物検出器５０は、それを用いてフェイルセーフ物体検出および位置測定が可能である、特許文献１による２つのそれぞれ異なる冗長な３次元情景解析法を備えている。異物検出器５０が、保護ゾーン３０で異物３４を検出しない場合、方法は、ステップ５２に従って開始点に戻り、すなわち、新たな３次元画像を用いる新たな監視サイクルが始まる。

しかし、異物検出器５０によって、保護ゾーン３０内で異物が検出された場合、ステップ５４に従って分類器が始動する。分類器５４は、検出された異物３４が人であるか否かをチェックする。

このとき分類器５４は、データベース５６、５８を利用することができる。この実施形態において、データベース５６は、選択された規定の人を特徴付ける個人データを格納している。

この実施形態において、ロボット２２の作業動作は、選択された人のうちの１人が保護ゾーン３０に立ち入らない限り許可されている。異物が実際には人であるが、前記人が既知の人ではなく、または、選択された人達に属していない場合には、ロボット２２の作業動作が停止される。あるいは、または加えて、警告またはアラーム信号を生成することができる。

この実施形態において、データベース５８は、複数の選択された部品５９を特徴付ける部品データを含んでいる。部品５９は、例えば、機械加工のために、保護ゾーン３０内に供給しなければならないワークピースである。

異物３４が（既知の）人であるか否かを判断するために、ステップ６０に従ってチェックが実行される。人でない場合、検出された異物が、選択された部品５９であるか否かを判断するために、ステップ６２に従ってチェックが実行される。そうである場合は、検出された異物は、選択された部品として識別され、保護ゾーン３０内でのその存在が許容される。その後新たな監視サイクルを始めるために開始点に戻る。しかし、検出された異物が選択された部品ではない場合は、ステップ６４に従って、ロボット２２の緊急停止が行われる。

検出された異物が（既知の）人である場合、ステップ６６に従って人トラッカー(person tracker)が始動され、その人トラッカーは、一連のそれぞれの現時点での３次元画像を用いて、識別された人を追跡する。人トラッカー６６は、保護ゾーン３０内での、識別された人の現時点の位置を表す位置情報６７に関する項目を生成する。

分類器５４および人トラッカー６６は、例えば、すでに述べた（それぞれ、さらなる複数の参照を含む）特許文献５および／または特許文献４に記載されている方法を用いて実施してもよい。それら２つの文書の開示は、参照によって本願明細書に組み込まれる。

いくつかの実施形態においては、人を識別して追跡するために、複数の異なる方法を用いてもよいが、これは、フェイルセーフを実施するためではなく、単に、検出速度を向上させ、および誤警報を減らすために用いられる。そのため、分類器５４および人トラッカー６６は、関連する機械安全性基準に関しては非フェイルセーフ的である。例えば、分類器５４および人トラッカー６６は、ＳＩＬ２および／またはＰＬ（ｄ）による要件を満たしていない。これは、詳細な故障解析の後は、人の識別と、特に、識別された人の場合の位置測定とが正しいという十分な可能性を除外できないことを意味する。

異物検出器５０からの位置情報の第１の項目と、人トラッカー６６からの位置情報の第２の項目とが、それぞれ同一の位置を示しているか否かを判断するために、ステップ６８に従って、チェックが実行される。そうである場合、非フェイルセーフ的な方法で判断された識別された人の位置が、フェイルセーフ的な方法で判断された異物検出器５０の位置によって確認される。その結果として、人トラッカー６６によって判断された人の位置は、さらにフェイルセーフ的位置情報として処理することができる。対照的に、ステップ６８における比較により、それらの位置が同一ではないことが判明した場合は、ステップ６４に従って、ロボット２２の緊急停止が実行される。

位置情報は、好ましくは、それぞれの判断された位置を示す比較特性を用いて比較することができる。例えば、保護ゾーン３０の床上の識別された人の位置は、保護ゾーン３０の床上の検出済みの異物の対応する位置と比較することができる。あるいは、または加えて、異物の、および識別された人３４の垂直方向および水平方向の軸の位置を互いに比較することができる。

次いで、身体部分の検出と、識別された人の個々の身体部分の位置を表す位置情報の追加的な項目の判断とが、ステップ７０に従って実行される。具体的には、広げた腕／手および／または伸ばされた脚の位置が、身体部分検出器７０を用いて測定される。適切な方法は、既に述べられて、そこで引用されている特許文献４に記載されている。

そして、場合により、彼の身体部分の位置を考慮して、識別された人が、ロボット２２に関する最小距離３８を順守しているか否かを判断するために、ステップ７２に従ってチェックが実行される。そうでない場合、さらに、直ちに緊急停止６４が実行される。そうである場合、ステップ７４に従って、ロボット２２は動作を続け、方法は新たな監視サイクルを一貫して行うために開始点に戻る。動作７４は、減速して実行することができる。さらに、ロボット２２の動作経路は、識別された人の位置に基づいて変更してもよい。評価ユニット１８は、機械制御装置２０のための対応する制御信号を生成する。

分類器５４、人トラッカー６６および身体部分検出器７０は、図３によるフローチャートにおいて、別々のステップまたはブロックとして図示されている。これらのステップは、装置１０の評価ユニット１８、１８’で実行されるコンピュータプログラムを一緒に構成するソフトウェアモジュールである。したがって、少なくとも信号、例えば、第１の信号５１、第２の信号６５と、人トラッカー６６からの位置情報６７は、コンピュータプログラムの実行中に生成されるディジタルデータである。

このように、本発明は、機械の危険な作業動作の安全を守るのに用いられ、それに応じて、複雑な方法それ自体では対応することができない高度な要件に対応しなければならない安全性指向のシステムで、特に人の識別および追跡等の複雑な方法を用いるための新たなアプローチについて記載している。新たなアプローチのため、複雑な方法における不具合または故障は、危険な状況を生じさせない。

本発明の方法および本発明の装置のフェイルセーフは、既に実証されている原理に、具体的には、フェイルセーフ的異物検出と、検出された異物のためのフェイルセーフ的位置測定とに基づいている。しかし、新たなアプローチのため、これまでは、安全性の理由から従わなければならなかった人と機械との間の固い境界を、人と機械との間の柔軟な相互作用を可能にするためにこじ開けることができる。機械、具体的にはロボットの動作シーケンスおよび速度は、人の識別および位置確認に基づいて動的に変更することができ、およびそれぞれの作動状況に適応させることができる。したがって、「開けた」生産システムを実施することができる。

分類器および人トラッカーは、アクティブな動作原理に従った作動を、すなわち、異物検出器のフェイルセーフ位置を用いて、人を周期的に認識および確認しなければならない。さもなければ、機械は安全状態に移行される。それは、本発明の範囲内では緊急停止と呼ばれている。

２人の人が（互いに近づいて）保護ゾーンに一緒に入ってくる場合、および／または２つの物体を分けることができない状態で、人が物体を保護ゾーン内に持って来る場合、２つの物体は、１つの物体として扱われる。このことは、特に２つの物体を、それらの位置に関して互いに区別することができないため、安全性に関しては容認可能である。２人の人が離れているため、または、一方の人が物体を下に置いたために、それらの物体が分かれている場合は、別々の物体は、個々の物体として検出される。好ましくは、異物検出器５０が保護ゾーン３０全体を監視するため、図３に関連して説明したように、必要に応じて緊急停止がすぐに実施される。

身体部分検出器７０を用いる好適な実施形態において、好ましくは、身体部分検出器からの位置情報を用いて追加的なプロージビリティチェックが実行される。プロージビリティチェックが不一致を示した場合、緊急停止がさらに行われる。あるいは、段階的な対応、例えば、まず最初に警告信号の生成を行ってもよい。さらに、その対応は、十分に短いサイクル時間で、間違った警報の割合を減らすために、次のサイクルにおけるプロージビリティチェックが、位置情報のマッチングをもたらすか否かによって実行してもよい。

Claims (14)

1. 自動機械（２２）の危険な作業区域（２４）の安全を守るための方法であって、
   前記作業区域（２４）の現時点での３次元画像を所定の時間間隔で生成する少なくとも１つのセンサユニット（１２）を設けるステップと、
   前記作業区域（２４）内に少なくとも１つの保護ゾーン（３０）を画成するステップと、
   前記保護ゾーン（３０）内で異物（３４）が検出された場合に、前記３次元画像と、前記画成された保護ゾーン（３０）とに基づいて第１の信号（５１）を生成する、フェイルセーフな方法で検出するように設計された異物検出器（５０）を用いて、前記保護ゾーン（３０）を周期的にモニタリングするステップであって、前記第１の信号（５１）が、前記保護ゾーン（３０）内での前記異物（３４）の位置を示す位置情報に関する第１の項目を含むステップと、
   分類器（５４）を用いて、前記保護ゾーン（３０）内の前記異物（３４）を周期的に分類するステップであって、前記分類器（５４）は、前記異物（３４）が人として識別された場合に、第２の信号（６５）を生成し、前記自動機械（２２）は、前記第１の信号および少なくとも前記第２の信号（５１、６５）に基づいて作動されるステップと、
   非フェイルセーフな方法で設計された人トラッカーアルゴリズム（６６）を用いて、一連の前記３次元画像にわたって、識別された人（３４）を追跡するステップであって、前記人トラッカーアルゴリズム（６６）は、各新たな３次元画像の後に、前記保護ゾーン（３０）内での前記識別された人（３４）の現在の位置を示す位置情報に関する第２の項目（６７）を判断するステップと、
   前記異物検出器（５０）からの位置情報に関する前記第１の項目と、前記人トラッカーアルゴリズム（６６）からの位置情報に関する前記第２の項目とが同じ位置を示しているか判定するために、位置情報に関する前記第１の項目と前記第２の項目とを比較するステップとを含み、
   前記第１の項目による前記異物（３４）の位置と、前記第２の項目による前記識別された人の位置とが互いに異なる場合に、前記自動機械（２２）が停止される、方法。
2. 前記自動機械（２２）は、前記分類器（５４）が前記異物（３４）を人として識別しない場合にも停止され、前記自動機械は、前記分類器（５４）が前記異物（３４）を人として識別した場合に、動作を続けるようになっている、請求項１に記載の方法。
3. 前記分類器（５４）は、複数の選択された人を特徴付ける個人データを含む個人データベース（５６）を有し、前記自動機械（２２）は、前記分類器（５４）が前記異物を、前記個人データを用いて、前記選択された人のうちの一人として識別した場合にのみ作動するようになっている、請求項２に記載の方法。
4. 前記分類器（５４）は、ＲＦＩＤタグを読み取るのに用いられるＲＦＩＤ読取装置を備える、請求項２または請求項３に記載の方法。
5. 前記分類器（５４）は、複数の選択された部品を特徴付ける部品データを含む部品データベース（５８）をさらに備え、前記自動機械（２２）は、前記分類器（５４）が前記異物を、前記部品データを用いて、前記保護ゾーン（３０）に入れるようになっている部品として識別した場合に動作が継続される、請求項１〜請求項４のいずれか１項に記載の方法。
6. 前記分類器（５４）は、前記識別された人（３４）の体の一部の位置を判断するのに用いられる身体部分検出器（７０）を備える、請求項１〜請求項５のいずれか１項に記載の方法。
7. 前記分類器（５４）は、非フェイルセーフな方法で設計されている、請求項１〜請求項６のいずれか１項に記載の方法。
8. 前記分類器（５４）は、前記異物検出器（５０）が、前記保護ゾーン（３０）内の異物を検出するまで作動不能になっている、請求項１〜請求項７のいずれか１項に記載の方法。
9. 前記分類器（５４）は、前記異物検出器（５０）が、前記保護ゾーン（３０）内の異物を検出する前に既に作動可能になっている、請求項１〜請求項７のいずれか１項に記載の方法。
10. 前記自動機械（２２）への最小距離（３８）が規定され、前記自動機械（２２）は、前記保護ゾーン（３０）内の前記識別された人（３４）が、前記最小距離（３８）よりも前記自動機械（２２）に近づいた場合に停止される、請求項１〜請求項９のいずれか１項に記載の方法。
11. 前記最小距離（３８）は、現時点での機械の動きによって変更される、請求項１０に記載の方法。
12. 前記自動機械（２２）は、前記第２の信号（６５）が存在する場合、減速しておよび／または変更済みの動作経路で作動される、請求項１〜請求項１１のいずれか１項に記載の方法。
13. 自動機械（２２）の危険な作業区域（２４）の安全を守るための装置であって、
    前記作業区域（２４）の現時点での３次元画像を所定の時間間隔で生成する少なくとも１つのセンサユニット（１２）と、
    前記作業区域（２４）内に少なくとも１つの保護ゾーン（３０）を画成するための構成ユニット（２８）と、および
    異物検出器（５０）と、分類器（５４）と、人トラッカー（６６）と、比較器（６８）と、出力段（１９）とを有する評価ユニット（１８）とを備え、
    前記異物検出器（５０）は、異物が前記画成された保護ゾーン（３０）内にある場合に、それぞれの前記３次元画像と、前記保護ゾーン（３０）とに基づいてフェイルセーフな方法で、第１の信号（５１）を周期的に生成するように設計され、
    前記第１の信号（５１）は、前記保護ゾーン（３０）内での前記異物の位置を示す位置情報に関する第１の項目を含み、
    前記分類器（５４）は、前記異物が人（３４）として識別された場合に、第２の信号（６５）を周期的に生成するように設計され、
    前記人トラッカー（６６）は、一連の前記３次元画像にわたって識別された人（３４）を非フェイルセーフな方法で追跡し、および各新たな３次元画像の後に、前記保護ゾーン（３０）内での前記識別された人（３４）の現在の位置を示す位置情報（６７）に関する第２の項目を判断するように設計され、
    前記比較器（６８）は、前記異物検出器（５０）からの位置情報に関する前記第１の項目と、前記人トラッカーアルゴリズム（６６）からの位置情報に関する前記第２の項目とが同じ位置を示しているか判定するために、位置情報に関する前記第１の項目と前記第２の項目を比較して、それに基づいて第３の信号（６９）を生成するように設計され、
    前記出力段（１９）は、前記第２の信号および前記第３の信号に基づいて前記自動機械（２２）を停止させるための制御信号を生成するように設計され、
    前記制御信号は、位置情報に関する前記第１の項目による前記異物の位置と、位置情報に関する前記第２の項目による前記識別された人の位置とが互いに異なる場合に、前記自動機械（２２）を停止させるように設計されている装置。
14. 請求項１３記載の装置のための評価ユニット上でプログラムコードが実行される場合に、請求項１〜請求項１０のいずれか１項の方法ステップのすべてを有する方法を実行するようにデザインされた前記プログラムコードを格納するデータ記憶媒体。

Images