JP4990291B2 - 空間領域のモニタ装置およびそのモニタ装置を構成する方法 - Google Patents
空間領域のモニタ装置およびそのモニタ装置を構成する方法 Download PDFInfo
- Publication number
- JP4990291B2 JP4990291B2 JP2008546197A JP2008546197A JP4990291B2 JP 4990291 B2 JP4990291 B2 JP 4990291B2 JP 2008546197 A JP2008546197 A JP 2008546197A JP 2008546197 A JP2008546197 A JP 2008546197A JP 4990291 B2 JP4990291 B2 JP 4990291B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- monitor
- spatial region
- spatial
- monitoring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000012806 monitoring device Methods 0.000 title claims description 33
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000011156 evaluation Methods 0.000 claims description 30
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 description 11
- 230000001681 protective effect Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000011990 functional testing Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
- F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Safety Devices In Control Systems (AREA)
- Studio Devices (AREA)
Description
本発明はまた、対応するモニタ装置に関する。
複雑な機械および設備の場合には、このような予防のための費用が非常に高くなることがある。光障壁、光カーテンなどは、非常に正確に整列して設置しなければならない。しかも、それらは、光送信機と光受信機との間の直線領域しかモニタできず、その結果複雑な作業領域を全体的に保護するためには、複数の光障壁、光カーテンなどが必要とされる。さらに、機械的障壁および従来の光障壁、光カーテンなどは、限られた柔軟性しかなく、その結果変化する作業環境にモニタ空間および保護空間を適応させるには費用がかかる。
撮像ユニットを用いるさらなるモニタ装置は、下記特許文献4および5に開示されている。最初に述べた下記特許文献4は、三次元画像信号の組を生成してそれを対応する参照信号の組と比較するための立体画像評価を提案している。現在の情景の状況が参照モデルから外れていても、物体を検出することができる。下記特許文献5は、範囲情報が明るさの差を用いて決定される方法を提案している。
空間領域の画像を表示するためのディスプレイと、画像の複数のセットアップマーク(46,48,50)の位置に基づいて構成面を画定するための第1の構成要素と、なくとも1つの幾何学的要素を構成面に対して生成するための第2の構成要素であって、該第2の構成要素は、幾何学的要素を画像内に重畳するために設けられている第2の構成要素と、幾何学的要素の空間領域への変換を表すデータレコードを生成するための第3の構成要素と、データレコードを評価ユニットに転送するための通信インタフェースであって、該評価ユニットは、データレコードを用いることによって空間領域をモニタするために設計されている通信インタフェースとを備える。
本発明は、モニタされた空間領域の実像を、表示された画像にモニタ領域を画定するために用いる。好ましい実施形態では、空間領域の「フリーズした」実像、すなわち構成装置に記憶された実像が用いられる。このことは、構成装置が構成中に撮像ユニットに接続されることなく、モニタ領域を構成装置に構成することができるという利点がある。しかしながら、代わりに、少なくとも1つの撮像ユニットのライブ画像を用いることによって構成を行うことも可能である。
一方では、幾何学的要素を、空間領域の実像内または実像上に非常に簡単にグラフィックで表すことができ、かつ他方では、実空間領域内への明白な投影を表すことができるので、新規な手順は、簡単でかつ明確な構成を提供する。さらに、ユーザは、実際の機械または設備に関してモニタ領域の位置および範囲を非常によく評価することができる。
本発明の改良形態では、複数のセットアップマークは、画像に空間点を決定するために三次元画像が記録される前に、空間領域に載置される。
セットアップマークは、空間領域の画像内で明白かつ迅速に認識することができる画定された構造を有するパターンである。このようなセットアップマークを用いることは、空間点の自動決定を容易にし、ひいてはモニタ装置を構成する際の利便性が高まる。他方、画定されたセットアップマークを用いることは、空間点の決定および割り当ての誤差を防ぐことに役立つ。したがって、モニタ装置の構成は、さらに簡単かつ信頼できるものになる。
本改良形態は、(自動的に発行された)記号を用いて、画定されたセットアップマークの位置が構成装置によって検出されて受容されるかどうかをユーザが容易に検査することができるので、第1制御能力を含んでいる。さらに、構成が容易になり、かつ構成のために必要とされる時間が減少する。
本改良形態は、セットアップマークのない(再)構成が防止されるので、モニタ装置の意図的または非意図的な操作に対する保護を改良している。
さらなる改良形態では、共通の直線上に位置決めされない少なくとも3つの空間点が決定される。
本実施形態によって、その原点が例えばスイッチギヤキャビネットなどの物体上または下にあるユーザ座標システムを画定するのがより容易になる。このような場合には、座標システムの原点は、有利には、他の3つの空間点によって決定される構成面への第4空間点の投影上に載置される。本実施形態は、柔軟性を増し、かつ構成がさらに簡略になる。
好ましい例示的な実施形態では、構成面は、格子状の網目の形または同心円および/または放射状線(平面に関して画定される座標システムの原点から始まる)の形で、空間領域の表示された実像内に重畳される。さらに、撮像ユニットの視線、投影された影、および他の補助線が、モニタ領域を画定するために表示された画像内に重畳される場合が好ましい。このような「人工的な」補助要素を表示された実像内に重畳することは、モニタ空間の正確な画定を容易になり、かつ特にギャップレス保護を実施することに役立っている。
可変幾何学的要素を重畳することによって、モニタ領域をグラフィックで決定することができるが、このことは特に簡単でかつ便利である。このように、モニタ領域のセットアップも、迅速にかつ確実に検査することができる。
さらなる改良形態では、幾何学的要素は、構成面に垂直である側面を有する。
対照的に、構成面に対して斜角である幾何学的要素を決定することが基本的には可能である。しかしながら、垂直な幾何学的要素に対する制限は、モニタ空間が混乱することを防ぎ、よって機械または設備を保護する際の安全性が高まった一因となっている。
本改良形態では、幾何学的要素の配置はこのように決定され、モニタ装置は、多数の個々のモニタ空間のこの配置または組合せを用いることによって構成される。本実施形態は、一方ではユーザに高い柔軟性を提供し、他方では明確で、ひいては安全な構成を提供することに貢献する非常に簡単でかつ効率的な可能性である。
参照マークは、有利には、セットアップマークのパターンと区別される、空間領域内におけるよく画定されたパターンである。本実施形態を、少なくとも1つの撮像ユニットの整列およびその正しい機能を容易に検査するためにも用いることができる。
この情報は、ほんのわずかであっても、2つの空間的にずれている撮像ユニットの観察領域がずれた視角を常に有しているので、モニタ領域を確実に構成するには非常に役に立つ。しかしながら、危険な機械および設備を保護するために、含まれるすべての撮像ユニットが対応する空間領域を観察することができるように、モニタ領域を画定することが重要である。本実施形態は、立体視法を用いることによって三次元画像が生成される場合には特に有利である。しかしながら、本実施形態を、冗長性の理由でのみ、例えば2つ以上の撮像ユニットを用いる他のモニタ装置においても有利に用いることができる。
本改良形態では、モニタ装置が、幾何学的要素が画定された後に所望のように実際に応答するかどうかの実検査が行われる。本検査は、有利には、ライブ画像を用いて記録され、アーカイブされる。本改良形態は、機械および設備の保護において非常に重要である構成を文書化するための、非常に簡単かつ便利な可能性を提供している。
図1では、本発明によるモニタ装置の例示的な実施形態は、全体として参照符号10で表されている。モニタ装置10は、明細書においては、ロボット14の危険な作業領域12をモニタするために用いられる。これは、新規なモニタ装置の好ましい例示的な応用である。しかしながら、本発明はこれに限定されず、かつ本発明を他の機械および設備を保護するために用いることもできる。
モニタ装置10は、ここでは、簡略化のために以下ではカメラと呼ぶ2つの撮像ユニット16,18を備えている。本出願の特に好ましい実施形態では、モニタ装置は、ともに略正三角形にまたがる3つのカメラを備えている。カメラ16,18は、ロボット14およびその環境領域の三次元画像を記録するために用いられる。範囲情報は、好ましい実施形態では、全文が本明細書に組み込まれる上記特許文献1に記載されているような三次元情景分析法を用いて得られる。
カメラ16,18がモニタされた空間領域のグレースケールおよび/またはカラー画像を撮像する場合は好ましい。しかしながら、原理上、カメラ16,18は赤外線画像または他の波長域の画像も記録することができる。
評価ユニット20は、ロボット14の動作制御の一部であってもよい。しかしながら、該評価ユニットは、好ましくは、ロボット自体の安全関連モニタリングを取り扱う別体の評価ユニットである。ロボット14の動作制御(ここでは図示せず)は、別途実施される。
参照符号38は、以下では警告領域と呼ぶ第1モニタ領域を示している。参照符号40は、以下では保護または停止領域と呼ぶ第2モニタ領域を示している。
図2は、警告および保護領域38,40の頂部からの位置を示している。図示したように、2つの領域は、ロボット12の作業領域をほぼ半円形で取り囲んでいる。作業領域12の開いている部分を、例えば、機械的障壁(ここでは図示せず)によって保護することができる。モニタ領域38,40は、ロボット14の作業領域12を完全に取り囲んでもよい、または異なるコースを有してもよいのは言うまでもない。
参照符号52,54は、カメラ16,18の撮像領域36にも配置される2つの参照マークを表している。セットアップマークとは対照的に、これらの参照マーク52,54は、共通の撮像領域36に残される。モニタ装置10の作動中、該マークを、カメラ16,18の撮像領域32,34がずれたかどうかおよび/またはカメラ16,18の光学素子が汚れているかどうかを検査するために用いることができる。
以下では、図3、図4および図5を参照して、モニタ装置10を構成するための好ましい例示的な実施形態を説明する。同一参照記号は、前述のものと同じ要素を示している。
ステップ60によれば、カメラ16,18をまず設置し、ロボット14の作業領域12に対して整列させなければならない。好ましくは、2つのカメラは、まず機械的に大略的に整列される。これに「電子微調整」が続く、すなわち精密モニタ領域が電子的に選択される。次に、ステップ62によれば、構成装置24の評価ユニット20への接続がセットアップされる。ステップ64によれば、セットアップマーク46,48,50および参照マーク52,54は、2つのカメラ16,18の撮像領域36に載置される。ステップ66によれば、次に画像は、2つのカメラ16,18を用いて撮像され、構成装置24に転送される。画像30(例えば、立体画像処理から得られる補助範囲情報を有する)は、構成装置25のメモリ(ここでは図示せず)に記憶され、モニタ領域の簡単な構成についてディスプレイ28上に表示される。図3および図4は、さらに以下で説明する新規な方法の中間ステップにおける画像30’および30”を示している。
ステップ72によれば、構成面74は、次に3つのセットアップマーク46,48,50を選択することによって画定される。構成面74を、ここでは、空間領域のフリーズした実像上に重畳される格子状の網目によって象徴的に示す。
特に、本発明の好ましい例示的な実施形態によって、座標システムの原点を構成面上の第4セットアップマーク80の投影像に置くことができるようになる。セットアップマーク80は、ここでは、例えばスイッチギアキャビネット上に存在する。好ましい例示的な実施形態では、ユーザはまた、座標軸の方向を自由に選択することもできる。
本発明の好ましい例示的な実施形態では、ユーザは、幾何学的要素86,88を、実像30”内にマウスを用いてグラフィックで生成することができる。特に好ましい実施形態では、好適な幾何学的要素を選択してパラメタ化することができる準備された幾何学的要素のライブラリ(ここでは図示せず)がユーザに提供される。
図4による例示的な実施形態では、ユーザが、組み合わされて幾何学的要素の配置を形成する多数の幾何学的要素86,88を生成することができると規定されている。このように、複雑なモニタ領域を、比較的簡単な幾何学的要素86,88から容易に構成することができる。
個々の幾何学的要素86,88の決定が行われた場合には、ステップ92によれば、幾何学的要素86,88の位置が構成データレコードに記憶される。本工程では、各幾何学的要素86,88の構成面74bに対する相対位置が決定される。構成面74と実セットアップマーク46,48,50との間の画定された関係のため、仮想幾何学的要素(=モニタ領域)の位置と実際の空間座標との間には明白な関係がある。
ステップ94によれば、構成データレコードは、次にデータリンク29を経て評価ユニット20に転送される。
本工程は、モニタ装置10が作動している場合と同じようにしてカメラ16,18を用いて記録される。記録された画像は、構成装置24に転送される。評価ユニット20がモニタ領域の侵害を検出するとすぐに、対応する信号が構成装置24に送信される。構成装置24は、次に、関連する実像を記憶し、該実像を機能試験プロトコルにアーカイブする。
構成データレコードは、有利には、誤り保護の対策を用いることによって構成装置24から評価ユニット20まで転送される。これらには、次のステップのうち1つ以上が含まれている。
2.受信している評価ユニット20の明白な指定、
3.コマンドシーケンスの場合には、連続認証を保証するために接続番号を送信すること、
4.CRCなどのデータ保護の対策を用いてデータ表示および一貫性を保証すること、および
5.機密性を保証するために有用データを暗号化すること。
機密性:メッセージは、どの場合にもアドレスされた受信機によってのみ読み取り可能であるべきであり、この目的のために、暗号化が用いられること、
認証:システムを構成するユーザは、自らの認証を証明しなければならないこと、
データ一貫性:構成装置と評価ユニットとの間のデータ送信は、変化せずに受信機に到達すること、
信用性:メッセージは、送信者とされている者によって検証可能な形で作成されなければならない、すなわち送信者は、検証可能な形で自らを識別しなければならないこと、および
責任:メッセージの送信者は、自らが作成したメッセージの発信元であることを否定することはできない。すなわち、このことは、好ましくは好適な署名によって実施されること。
評価ユニット20が、それによって誤差を検出することができる冗長性をこのようにして提供するために、構成装置24においてユーザによるデータ入力を用いてモニタ領域の計算を繰り返す場合もまた好ましい。この目的のために、評価ユニット20は、評価ユニット20にデータリンク29を経て送信することができる、ユーザによる構成データ入力のみを必要とする。
Claims (13)
- 複数のセットアップマーク(46,48,50)が載置された空間領域(12)をモニタするためのモニタ装置(10)を構成する方法であって、
前記モニタ装置(10)は、前記空間領域(12)の画像(30)を生成する少なくとも1つの撮像ユニット(16,18)を備え、
前記空間領域(12)の前記画像(30)を記録し、表示するステップと、
前記画像(30)上の前記複数のセットアップマーク(46,48,50)の位置に基づいて構成面(74)を画定するステップと、
少なくとも1つの幾何学的要素(86,88)を前記構成面(74)に対して生成するステップであって、前記幾何学的要素(86,88)は前記画像(30)内に重畳されている、ステップと、
前記幾何学的要素(86,88)の前記空間領域(12)への変換を表すデータレコードを生成するステップと、
前記データレコードを前記モニタ装置(10)に転送するステップであって、前記モニタ装置(10)は、前記データレコードを用いて前記空間領域(12)をモニタするために設計されているステップとを備える、方法。 - 前記セットアップマーク(46,48,50)は、前記画像内で自動的に探され、記号(70)が付けられる、請求項1に記載の方法。
- 前記セットアップマーク(46,48,50)は、前記モニタ装置(10)が作動される前に除去される、請求項1または2に記載の方法。
- 第4セットアップマーク(80)がさらに載置され、それは前記構成面(74)の外部に表示される、請求項1〜3のいずれか1項に記載の方法。
- 前記構成面(74)は、前記表示された画像(30)内にグラフィックで重畳される、請求項1〜4のいずれか1項に記載の方法。
- 前記幾何学的要素(86,88)は、前記表示された画像(30)内にグラフィックで重畳される、請求項1〜5のいずれか1項に記載の方法。
- 前記幾何学的要素(86,88)は、前記構成面(74)に垂直である側面(90)を有する、請求項1〜6のいずれか1項に記載の方法。
- 前記幾何学的要素(86,88)は複数生成され、前記複数の幾何学的要素(86,88)は、互いに組み合わされる、請求項1〜7のいずれか1項に記載の方法。
- 前記撮像ユニット(16,18)の撮像領域(32,34)がずれたかどうかを検査するための複数の参照マーク(52,54)が、前記空間領域(12)に載置され、前記画像(30)とともに記録される、請求項1〜8のいずれか1項に記載の方法。
- 前記モニタ装置(10)は、互いに空間的にずれて配置され、前記空間領域(12)の第1および部分的にずれた第2画像(32,34)を生成する少なくとも第1および第2撮像ユニット(16,18)を備え、前記第1および第2画像(32,34)の共通の画像領域(36)は、前記画像(30)として表示される、請求項1〜9のいずれか1項に記載の方法。
- 前記データレコードは、前記幾何学的要素(86,88)に対応する前記空間領域(12)のモニタ領域(38,40)を画定し、物体(42)が前記空間領域のモニタ領域(38)に侵入すると、前記物体(42)のライブ画像は記録され、アーカイブされる、請求項1〜10のいずれか1項に記載の方法。
- コンピュータ上で実行され、請求項1〜11のいずれか1項に記載の方法を行うために設計されるプログラムコードを有するコンピュータプログラム。
- 複数のセットアップマーク(46,48,50)が載置された空間領域(12)をモニタするためのモニタ装置であって、
前記空間領域(12)の画像(30)を生成するための少なくとも1つの撮像ユニット(16,18)と、前記画像(30)に依存して制御機能を始動するための評価ユニット(20)と、かつ前記評価ユニット(20)を構成するための構成装置(24)とを備え、前記構成装置(24)は、
前記空間領域(12)の前記画像(30)を表示するためのディスプレイ(28)と、
前記画像(30)の前記複数のセットアップマーク(46,48,50)の位置に基づいて構成面(74)を画定するための第1の構成要素(72)と、
少なくとも1つの幾何学的要素(86,88)を前記構成面(74)に対して生成するための第2の構成要素(84)であって、前記第2の構成要素(84)は、前記幾何学的要素(86,88)を前記画像(30)内に重畳するために設けられている第2の構成要素と、
前記幾何学的要素(86,88)の前記空間領域(12)への変換を表すデータレコードを生成するための第3の構成要素(92)と、
前記データレコードを前記評価ユニット(20)に転送するための通信インタフェース(29)であって、前記評価ユニット(20)は、前記データレコードを用いることによって前記空間領域(12)をモニタするために設計されている、通信インタフェースとを備える、モニタ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005063217.3 | 2005-12-22 | ||
DE102005063217.3A DE102005063217C5 (de) | 2005-12-22 | 2005-12-22 | Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung |
PCT/EP2006/011963 WO2007079883A2 (de) | 2005-12-22 | 2006-12-13 | Verfahren zum konfigurieren einer überwachungseinrichtung zum überwachen eines raumbereichs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009521022A JP2009521022A (ja) | 2009-05-28 |
JP4990291B2 true JP4990291B2 (ja) | 2012-08-01 |
Family
ID=38134169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008546197A Active JP4990291B2 (ja) | 2005-12-22 | 2006-12-13 | 空間領域のモニタ装置およびそのモニタ装置を構成する方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9151446B2 (ja) |
EP (1) | EP1964063B1 (ja) |
JP (1) | JP4990291B2 (ja) |
CN (1) | CN101346744B (ja) |
DE (1) | DE102005063217C5 (ja) |
WO (1) | WO2007079883A2 (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006057605A1 (de) | 2006-11-24 | 2008-06-05 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs |
EP2023160B1 (de) * | 2007-08-02 | 2009-10-07 | Sick Ag | Dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder |
DE102007045528A1 (de) * | 2007-09-24 | 2009-04-23 | Siemens Ag | Medizinisches Diagnose- und/oder Therapiesystem und Verfahren zur Visualisierung von Überwachungsbereichen bei einem Medizinischen Diagnose- und/oder Therapiesystem |
EP2048557B1 (de) * | 2007-10-11 | 2013-03-27 | Sick Ag | Optoelektronischer Sensor und mobile Vorrichtung sowie Verfahren zur Konfiguration |
CN102099839B (zh) * | 2008-06-03 | 2013-09-25 | 赛德斯安全与自动化公司 | 对监控区域进行监控的安全装置和方法 |
DE102008033195B4 (de) * | 2008-07-15 | 2012-11-22 | Maschinenfabrik Berthold Hermle Ag | Bearbeitungszentrum mit einer Werkstücktransporteinrichtung und einem Werkstückbereitstellungsplatz mit opto-elektronischer Schutzeinrichtung |
US8300284B2 (en) | 2008-10-22 | 2012-10-30 | Omron Scientific Technologies, Inc. | Apparatus and method for pattern-based configuration of optical sensing systems |
DE102008062995A1 (de) | 2008-12-23 | 2010-06-24 | Sick Ag | 3D-Kamera zur Raumüberwachung |
DE102009010460B4 (de) | 2009-02-13 | 2010-11-25 | Pilz Gmbh & Co. Kg | Vorrichtung und Verfahren zum Bestimmen der Nachlaufzeit einer Maschine |
EP2275990B1 (de) * | 2009-07-06 | 2012-09-26 | Sick Ag | 3D-Sensor |
DE102009035755A1 (de) | 2009-07-24 | 2011-01-27 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Überwachen eines Raumbereichs |
DE102009050850B4 (de) | 2009-10-19 | 2019-01-03 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Überwachen von Schutz- und Standardbereichen |
FI124526B (fi) * | 2009-10-27 | 2014-09-30 | Sandvik Mining & Constr Oy | Järjestely kaivosajoneuvojen kulunvalvontaan |
DE102010009590A1 (de) * | 2010-02-26 | 2011-09-01 | Rheinisch-Westfälische Technische Hochschule Aachen | Sensorsystem und Verfahren zur Überwachung eines Raumes |
US20120123563A1 (en) * | 2010-11-17 | 2012-05-17 | Omron Scientific Technologies, Inc. | Method and Apparatus for Monitoring Zones |
DE102011050201A1 (de) * | 2011-05-07 | 2012-11-08 | Benedikt Hieronimi | System zur Auswertung von Identifikationsmarken, Identifikationsmarken und deren Verwendung |
DE102011052050A1 (de) | 2011-07-21 | 2013-01-24 | Sick Ag | 3D-Kamerasystem |
DE102012102236A1 (de) | 2012-03-16 | 2013-09-19 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine |
DE202012101965U1 (de) | 2012-05-30 | 2012-06-26 | Sick Ag | Stereokamera |
CN102721375B (zh) * | 2012-06-20 | 2015-02-11 | 北京航空航天大学 | 一种强反光金属结构件的在位测量中多次反光抑制方法 |
US9607113B1 (en) * | 2012-06-26 | 2017-03-28 | The Mathworks, Inc. | Linking of model elements to spatial elements |
ITRN20120036A1 (it) * | 2012-07-09 | 2014-01-10 | Wide Automation S R L | Sistema e procedimento di supervisione |
JP6123307B2 (ja) * | 2013-01-23 | 2017-05-10 | 株式会社デンソーウェーブ | ロボット周辺への物体の侵入を監視する監視システムおよび監視方法 |
EP2790040B1 (de) | 2013-04-08 | 2021-07-14 | Sick Ag | System und Verfahren zur Konfiguration eines Überwachungsbereiches einer optoelektronischen Überwachungseinrichtung |
DE102013104265A1 (de) * | 2013-04-26 | 2014-10-30 | Pilz Gmbh & Co. Kg | Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine |
EP2819109B1 (de) | 2013-06-28 | 2015-05-27 | Sick Ag | Optoelektronischen 3D-Sensor und Verfahren zum Erkennen von Objekten |
EP2818824B1 (de) | 2013-06-28 | 2015-09-16 | Sick Ag | Vorrichtung umfassend einen optoelektronischen 3D-Sensor und Verfahren zum Erkennen von Objekten |
US10360052B1 (en) | 2013-08-08 | 2019-07-23 | The Mathworks, Inc. | Automatic generation of models from detected hardware |
JP2015184039A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社日立ハイテクサイエンス | X線分析装置 |
US10198706B2 (en) * | 2015-07-31 | 2019-02-05 | Locus Robotics Corp. | Operator identification and performance tracking |
JP6601155B2 (ja) * | 2015-10-28 | 2019-11-06 | 株式会社デンソーウェーブ | ロボット制御システム |
US9855664B2 (en) * | 2015-11-25 | 2018-01-02 | Denso Wave Incorporated | Robot safety system |
EP3189947A1 (de) * | 2016-01-07 | 2017-07-12 | Sick Ag | Verfahren zum konfigurieren und zum betreiben einer überwachten automatisierten arbeitszelle und konfigurationsvorrichtung |
DE102016100445A1 (de) * | 2016-01-12 | 2017-07-13 | Pilz Gmbh & Co. Kg | Sicherheitseinrichtung und Verfahren zum Überwachen einer Maschine |
JP6704761B2 (ja) * | 2016-03-17 | 2020-06-03 | グローリー株式会社 | 監視カメラシステム |
EP3657455B1 (en) | 2016-06-22 | 2024-04-24 | Outsight | Methods and systems for detecting intrusions in a monitored volume |
US11000953B2 (en) * | 2016-08-17 | 2021-05-11 | Locus Robotics Corp. | Robot gamification for improvement of operator performance |
JP6822069B2 (ja) * | 2016-11-01 | 2021-01-27 | オムロン株式会社 | 監視システム、監視装置、および監視方法 |
EP3324209A1 (en) | 2016-11-18 | 2018-05-23 | Dibotics | Methods and systems for vehicle environment map generation and updating |
US11518051B2 (en) | 2017-02-07 | 2022-12-06 | Veo Robotics, Inc. | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
US11820025B2 (en) | 2017-02-07 | 2023-11-21 | Veo Robotics, Inc. | Safe motion planning for machinery operation |
CA3052961A1 (en) | 2017-02-07 | 2018-08-16 | Veo Robotics, Inc. | Workspace safety monitoring and equipment control |
US11541543B2 (en) | 2017-02-07 | 2023-01-03 | Veo Robotics, Inc. | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
JP6404985B1 (ja) * | 2017-04-07 | 2018-10-17 | ファナック株式会社 | 距離画像の異常を検出する撮像装置 |
JP6416980B1 (ja) | 2017-05-17 | 2018-10-31 | ファナック株式会社 | 監視領域を分割した空間領域を監視する監視装置 |
DE102018214439A1 (de) * | 2017-11-17 | 2019-05-23 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Absicherung eines Arbeitsbereiches eines Roboters während einer Benutzungsphase |
DE102018204508A1 (de) * | 2018-03-23 | 2019-09-26 | Kuka Deutschland Gmbh | Verfahren und System zum Betreiben eines Roboters |
EP3573021B1 (de) | 2018-05-22 | 2020-07-08 | Sick Ag | Visualisieren von 3d-bilddaten |
EP3572971B1 (de) * | 2018-05-22 | 2021-02-24 | Sick Ag | Absichern eines überwachungsbereichs mit mindestens einer maschine |
EP3578320B1 (de) | 2018-06-07 | 2021-09-15 | Sick Ag | Konfigurieren einer von einem 3d-sensor überwachten gefahrenstelle |
DE102018115176B3 (de) | 2018-06-25 | 2019-08-01 | Sick Ag | Stereokamera und Verfahren zum Ausrichten |
DE102018115233B3 (de) * | 2018-06-25 | 2019-07-18 | Sick Ag | Verfahren zum sicheren Übertragen von Bilddaten und sicherer optoelektronischer Sensor |
US11493908B2 (en) * | 2018-11-13 | 2022-11-08 | Rockwell Automation Technologies, Inc. | Industrial safety monitoring configuration using a digital twin |
EP4213123A1 (en) | 2020-09-14 | 2023-07-19 | Konica Minolta, Inc. | Safety monitoring device, safety monitoring method, and program |
AT524808B1 (de) * | 2021-03-04 | 2024-06-15 | Christian Norbert Neufeld Dr | Verfahren zur festlegung eines sicherheitsbereiches |
EP4098929A1 (de) * | 2021-06-02 | 2022-12-07 | Leuze electronic GmbH + Co. KG | Sensoranordnung und verfahren zum betrieb einer sensoranordnung |
EP4098928A1 (de) * | 2021-06-02 | 2022-12-07 | Leuze electronic GmbH + Co. KG | Sensoranordnung und verfahren zum betrieb einer sensoranordnung |
DE102022105018A1 (de) * | 2022-03-03 | 2023-09-07 | TRUMPF Werkzeugmaschinen SE + Co. KG | Verfahren und System zur Freigabe einer sicherheitskritischen Funktion einer Maschine |
SE2250812A1 (en) * | 2022-06-29 | 2023-12-30 | Flasheye Ab | Information carrier for providing information to a lidar sensor |
EP4307249A1 (de) | 2022-07-13 | 2024-01-17 | Siemens Aktiengesellschaft | Überwachungssystem mit einem personendetektor |
KR102590570B1 (ko) * | 2023-04-12 | 2023-10-17 | 박찬배 | 자동화 기계설비의 통합안전 시스템 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2806604B2 (ja) * | 1990-06-29 | 1998-09-30 | ファナック株式会社 | カメラの位置ずれ検出方法 |
US6195609B1 (en) * | 1993-09-07 | 2001-02-27 | Harold Robert Pilley | Method and system for the control and management of an airport |
DE4113992A1 (de) * | 1991-04-29 | 1992-11-05 | Ameling Walter | Verfahren zur automatischen dreidimensionalen ueberwachung von gefahrenraeumen |
JP3219182B2 (ja) * | 1995-01-30 | 2001-10-15 | 富士電機株式会社 | 監視制御装置におけるカメラ制御方法 |
JP3388087B2 (ja) | 1996-04-18 | 2003-03-17 | 松下電器産業株式会社 | 物体検出装置 |
JPH1040380A (ja) * | 1996-07-22 | 1998-02-13 | Sony Corp | マーク検査方法及び装置 |
US6009189A (en) * | 1996-08-16 | 1999-12-28 | Schaack; David F. | Apparatus and method for making accurate three-dimensional size measurements of inaccessible objects |
JPH10100415A (ja) * | 1996-10-02 | 1998-04-21 | Fuji Xerox Co Ltd | ノズルヘッド検査方法 |
DE19709799A1 (de) * | 1997-03-10 | 1998-09-17 | Bosch Gmbh Robert | Einrichtung zur Videoüberwachung einer Fläche |
DE59805342D1 (de) | 1997-10-30 | 2002-10-02 | Baldeweg Ag Dr | Verfahren und vorrichtung zur bearbeitung von bildobjekten |
DE19832974A1 (de) * | 1998-07-22 | 2000-01-27 | Siemens Ag | Vorrichtung und Verfahren zur Erstellung eines virtuellen Anlagenmodells |
US7411519B1 (en) * | 1999-05-14 | 2008-08-12 | Honeywell International Inc. | System and method for predicting and displaying wake vortex turbulence |
DE29911391U1 (de) * | 1999-06-30 | 1999-10-14 | Sick Ag | Optoelektronisches Überwachungssystem |
JP2001017422A (ja) * | 1999-07-08 | 2001-01-23 | Toshiba Iyo System Engineering Kk | 画像処理装置および画像処理装置用マーカー部材 |
DE19938639B4 (de) | 1999-08-14 | 2006-08-24 | Pilz Gmbh & Co. Kg | Vorrichtung zur Absicherung eines Gefahrenbereichs, insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine |
US6297844B1 (en) * | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
JP4393659B2 (ja) * | 2000-02-25 | 2010-01-06 | 富士重工業株式会社 | 車載用プレビューセンサの位置ずれ調整装置 |
WO2002035909A2 (en) | 2000-11-03 | 2002-05-10 | Siemens Corporate Research, Inc. | Video-supported planning and design with physical marker objects sign |
JP2003046911A (ja) * | 2001-05-22 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 監視記録装置及びその方法 |
EP1260934A3 (en) * | 2001-05-22 | 2004-04-14 | Matsushita Electric Industrial Co., Ltd. | Surveillance recording device and method |
DE10138960A1 (de) * | 2001-08-03 | 2003-02-27 | Pilz Gmbh & Co | Verfahren und Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs |
JP4877891B2 (ja) * | 2001-08-03 | 2012-02-15 | 株式会社トプコン | 校正用被写体 |
DE10224031B3 (de) | 2002-05-31 | 2004-01-29 | Leuze Lumiflex Gmbh + Co. Kg | Vorrichtung zur Überwachung eines Erfassungsbereiches an einem Arbeitsmittel |
JP3846382B2 (ja) * | 2002-08-27 | 2006-11-15 | 松下電工株式会社 | インターホンシステム |
US7400744B2 (en) | 2002-09-05 | 2008-07-15 | Cognex Technology And Investment Corporation | Stereo door sensor |
US7729511B2 (en) * | 2002-09-24 | 2010-06-01 | Pilz Gmbh & Co. Kg | Method and device for safeguarding a hazardous area |
ATE335958T1 (de) * | 2002-09-24 | 2006-09-15 | Pilz Gmbh & Co Kg | Verfahren und vorrichtung zum absichern eines gefahrenbereichs |
JP3975959B2 (ja) * | 2003-04-23 | 2007-09-12 | トヨタ自動車株式会社 | ロボット動作規制方法とその装置およびそれを備えたロボット |
US20050055568A1 (en) * | 2003-08-12 | 2005-03-10 | Agrawala Ashok K. | Method and system for providing physical security in an area of interest |
JP4393169B2 (ja) * | 2003-12-04 | 2010-01-06 | キヤノン株式会社 | 複合現実感提示方法および装置 |
DE102004018016A1 (de) * | 2004-04-14 | 2005-11-10 | Sick Ag | Verfahren zur Überwachung eines Überwachungsbereichs |
DE102004020998A1 (de) * | 2004-04-19 | 2005-11-03 | Pilz Gmbh & Co. Kg | Vorrichtung zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage |
US20060262876A1 (en) * | 2004-08-26 | 2006-11-23 | Ladue Christoph K | Wave matrix mechanics method & apparatus |
US20060173268A1 (en) * | 2005-01-28 | 2006-08-03 | General Electric Company | Methods and systems for controlling acquisition of images |
US7695871B2 (en) * | 2005-10-06 | 2010-04-13 | Synopsys, Inc. | Notched trim mask for phase shifting mask |
-
2005
- 2005-12-22 DE DE102005063217.3A patent/DE102005063217C5/de active Active
-
2006
- 2006-12-13 JP JP2008546197A patent/JP4990291B2/ja active Active
- 2006-12-13 EP EP06829542.7A patent/EP1964063B1/de active Active
- 2006-12-13 CN CN2006800485665A patent/CN101346744B/zh not_active Expired - Fee Related
- 2006-12-13 WO PCT/EP2006/011963 patent/WO2007079883A2/de active Application Filing
-
2008
- 2008-06-19 US US12/142,339 patent/US9151446B2/en active Active
-
2015
- 2015-09-10 US US14/849,890 patent/US9695980B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9695980B2 (en) | 2017-07-04 |
CN101346744A (zh) | 2009-01-14 |
DE102005063217B4 (de) | 2014-05-22 |
US9151446B2 (en) | 2015-10-06 |
WO2007079883A3 (de) | 2007-08-30 |
DE102005063217C5 (de) | 2022-08-18 |
EP1964063B1 (de) | 2018-03-21 |
WO2007079883A2 (de) | 2007-07-19 |
CN101346744B (zh) | 2012-10-10 |
EP1964063A2 (de) | 2008-09-03 |
US20150377413A1 (en) | 2015-12-31 |
US20090015663A1 (en) | 2009-01-15 |
DE102005063217A1 (de) | 2007-07-05 |
JP2009521022A (ja) | 2009-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4990291B2 (ja) | 空間領域のモニタ装置およびそのモニタ装置を構成する方法 | |
US9596451B2 (en) | Device for monitoring at least one three-dimensional safety area | |
JP5064513B2 (ja) | 3次元の空間領域を監視するための方法および装置 | |
US10969762B2 (en) | Configuring a hazard zone monitored by a 3D sensor | |
EP2048557B1 (de) | Optoelektronischer Sensor und mobile Vorrichtung sowie Verfahren zur Konfiguration | |
JP6736307B2 (ja) | 安全スキャナ、光学安全システム及び安全スキャナ用の設定支援装置 | |
CN105637435B (zh) | 用于验证针对可移动的机械单元的一个或多个安全容积的方法和装置 | |
JP6673717B2 (ja) | 光学安全システム | |
EP2023160B1 (de) | Dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder | |
JP5390813B2 (ja) | 空間情報表示装置及び支援装置 | |
JP5655134B2 (ja) | 3次元シーンにおけるテクスチャを生成する方法及び装置 | |
JP6367102B2 (ja) | 監視システム | |
US10436901B2 (en) | Optoelectronic sensor and method for detecting objects | |
US9292924B2 (en) | Method and device for monitoring a spatial region | |
JP2019144040A (ja) | センサを用いた物体監視装置 | |
US20220097238A1 (en) | Configuring a visualization device for a machine zone | |
JPWO2017199785A1 (ja) | 監視システムの設定方法及び監視システム | |
CN111052186B (zh) | 患者监测系统生成的模型的准确度的测量方法和设备 | |
US10663944B2 (en) | Machining systems comprising a machining facility and control methods | |
JP6454524B2 (ja) | エリア監視センサ | |
JP2024062402A (ja) | 建築確認検査支援システム、建築確認検査方法、プログラム | |
CN115980777A (zh) | 基于激光雷达的安全保护区域的防护方法及系统 | |
JP2021047157A (ja) | 物体検出装置、物体検出方法およびプログラム | |
CN112532916A (zh) | 用于执行安全功能的设备和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110519 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110818 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110825 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110909 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120405 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120501 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4990291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |