JP2024505816A - 被測定物に対するレーザレーダの現在の位置および/または向きを決定するための方法 - Google Patents
被測定物に対するレーザレーダの現在の位置および/または向きを決定するための方法 Download PDFInfo
- Publication number
- JP2024505816A JP2024505816A JP2023541906A JP2023541906A JP2024505816A JP 2024505816 A JP2024505816 A JP 2024505816A JP 2023541906 A JP2023541906 A JP 2023541906A JP 2023541906 A JP2023541906 A JP 2023541906A JP 2024505816 A JP2024505816 A JP 2024505816A
- Authority
- JP
- Japan
- Prior art keywords
- laser radar
- camera system
- camera
- orientation
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 claims abstract description 25
- 238000005259 measurement Methods 0.000 claims description 85
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000004441 surface measurement Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000003245 working effect Effects 0.000 description 2
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本開示は、コンピュータによって物体(2)に対するレーザレーダ(3)の現在の位置および/または向きを決定する方法を対象とする。レーザレーダには、カメラシステム(11、11’)が取り付けられている。本方法では、カメラシステムの位置は、物体の1つまたは複数の画像を取得することによって決定される。ターゲットとの固定された空間的関係を有する少なくとも3つの基準ターゲット(12)が、1つまたは複数の画像内で観測される。物体上の少なくとも3つの基準ターゲットの互いに対する相対的な空間的関係および/または位置は、記憶装置から取得される。カメラに対する基準ターゲットの位置は、少なくとも3つの基準ターゲットの互いに対する相対的な空間的関係、およびカメラ固定座標系に対して定義された前述の基準ターゲットに対する観測された空間方向を使用して計算される。さらに、カメラシステムとレーザレーダとの間の空間的関係は、記憶装置から取得される。レーザレーダに対する物体の空間的位置および/または向きは、カメラシステムに対する物体の位置および向きと、カメラシステムとレーザレーダとの間の空間的関係とを使用して計算される。
Description
本発明は、レーザレーダを含む測定システムを用いて被測定物に対する測定システムの現在の位置および/または向きを決定するための方法に関する。
レーザレーダは従来技術で知られており、コンピュータ制御された操縦可能なレーザビームによってXYZ座標を測定するための装置であってもよい。関心点までの距離は、例えば位相シフトなど、前述の点からの反射レーザビームの何らかの特性によって決定される。関心点への方向は、ビームステアリング機構、典型的には2つの垂直軸の周りで回転可能なミラーまたはプリズムの現在の向きから決定される。
図1に示すように、物体2上の点1のXYZ座標は、レーザレーダ3からの距離および方向情報から計算することができる。レーザレーダ本体5の上部には、ビーム6を点1に向け、範囲7を記録する操縦可能なミラーまたはプリズム4が示されている。点1のXYZ値は、本体5に対するミラーまたはプリズムの垂直角度8および水平角度9の読み取り値、ならびにレーザ距離計からの範囲または距離データから決定される。
レーザレーダは、LIDARまたはLADARとも呼ばれ、市販されており、産業、建築、土木工学および他の産業における物体および表面を非常に迅速に走査する、すなわち、多数の関心点を非常に迅速に測定するために一般に使用される。
レーザレーダは、典型的には、それらのレーザビームを広範囲の角度に向け、そのような角度を高精度で記録することができ、例えば直方体の内側を良好に網羅する。しかしながら、レーザレーダは、典型的には、直接の直線見通しに依存し、したがって、現在の位置から直接の直線見通しにない物体のいかなる部分も測定することができず、例えば、固定直方体の外面全体を網羅するために、レーザレーダを移動しなければならない。
レーザレーダのXYZデータは、装置本体の位置に対して相対的であってもよく、装置が既知の位置および向きから移動される場合、移動の前後に取得されたデータを共通の座標系に相関させるために、新しい位置および向きの正確な情報が必要である。
ロボットはまた、従来技術で知られており、本明細書では、機械的インターフェースを多数の位置および向きに移動することができるコンピュータ制御された機械的機構として理解され得る。移動される工具または他の装置を取り付けるために使用される前述の機械的インターフェースは、工具中心点(TCP)と呼ばれることが多い。直線運動若しくは回転運動またはこれらの組み合わせの手段を使用し、可変数の自由度でTCP運動を提供する様々なロボット実施形態が存在する。所与の時点におけるTCPの位置および向きは、通常、軸方向または直線運動の各々に割り当てられた一連のセンサまたはエンコーダからの同時読み取り値によって決定される。
図2に示すように、レーダ本体がロボット10によって物体2の周りを移動する場合、ロボット10を使用して、単一の位置から可能であるよりもその物体の大きな部分を測定することができることが有利である。ロボット搭載レーザレーダは、物体の任意の領域からXYZデータの一貫したセットを決定するために、レーザレーダからの情報をロボットコントローラからの情報と組み合わせることができる。残念なことに、ほとんどのロボットは、塗装、溶接、および組み立てなどの産業用の作業に十分な精度を有するが、特別で非常に高価なロボットのみが、該ロボットによって移動されるレーザレーダからのXYZデータの全体的な精度を著しく低下させないように十分に正確な移動情報を提供するために必要な精度を有する。高精度ロボットはまた、適度なサイズであり、自由度が制限され、生産ラインで遭遇する拡張された温度範囲で正確に動作することができず、頻繁なメンテナンスまたは較正を必要とする場合があり、これは生産環境では許容できない。
正確な測定のためにロボットによって移動されるレーザレーダを使用する場合、レーザレーダ自体を使用してその現在の位置および向きを決定することが一般的である。これは、通常、各ロボットが移動した後に、物体上または物体の周りの既知の位置で少なくとも3つの特徴(多くの場合、ツーリングボール)を測定することによって行われる。
しかしながら、この手法は、例えば自動車製造ラインおよび同様の用途の内部で使用される場合、欠点を有する。これらはサイクル時間が限られており、被測定物が有限の時間、典型的には30~90秒の間だけ静止していることを意味する。寸法監視を目的とした製造セルは、利用可能なサイクル時間中に物体上の可能な限り多くの特徴を測定する必要がある。したがって、各移動後のレーザレーダの現在の位置および向きを決定するためにレーザレーダを使用するプロセスは、レーザレーダの適用性を制限する。例えば、車体のアクセスが困難な領域内の単一の特徴、例えばスロットを測定するために、レーザレーダを専用の位置に移動し、次いで、レーザレーダの正確な位置を決定するためにツーリングボールなどの少なくとも3つの既知の特徴を測定し、次いでスロット自体を測定する必要があり得る。明らかに、時間の大部分は、所望の物体特徴を測定することではなく、準備プロセスステップにおいて失われる。これは、この課題がレーザレーダの適用性を著しく制限する完全な自動車車体など、複数のロボット移動を必要とする物体に特に関連する。
従来技術から、光スキャナなどのロボット搭載表面測定装置の位置および向きは、ナビゲーションフレーム内にスキャナをしっかりと取り付け、少なくとも3つの大きく分離されたターゲットが任意の方向から確実に見えるように、前述のフレーム上に多数のターゲットを埋め込むことによって非常に迅速に決定することができることが知られている。次に、フレームは、物体の座標系で動作する複数のカメラまたはカメラの対によって観測することができ、したがって、ナビゲーションフレームを観測することにより、スキャナの現在の位置および向きを決定することが可能になる。本明細書で説明したように動作するシステムは市販されており、上述したレーザレーダの課題を解決するために同じ手法が適合され得る。
しかしながら、そのような「ナビゲーションフレーム」の解決策は、スキャナがカメラによって任意の方向から観測され得るという利点を提供するが、スキャナの視野は固定されていて、真の全方向追跡の解決策を必要とするので、多くのターゲットおよび多くのカメラが通常、任意の向きに必要なカバレッジを確保するために必要とされるため、解決策は実装に費用がかかるものになる。一方、レーザレーダは操縦可能なレーザビームを有するので、より広い範囲の位置および向きが所与の特徴を測定するのに適しており、真に全方向性の解決策は必要とされない。
また、レーザレーダは、向きの関数として内部座標系にいくらかの変化を示すことが知られている。それらの仕様は、典型的には、所与の向きの範囲に対してのみ有効であり、それらの内部座標系は、例えば自動車製造セルにおけるアクセスに必要であり得るように、この範囲を超えるとオフセットを示すことができる。
物体の座標系に入る基準ターゲットを測定するためにレーザレーダ自体を使用する場合、物体の座標系を定義する基準ターゲットもこの潜在的にオフセットされた座標系で測定されるため、この影響はほとんど排除され、同じ位置から取得された後続のレーザレーダ測定値も同じ量だけオフセットされ、誤差が補償される。しかしながら、レーザレーダにナビゲーションフレーム法が適用された場合、この誤差は補償されず、精度が低下する。したがって、高速装置ナビゲーションのために既知の方法を適合させることは、レーザレーダに最適な結果を提供しない。
欧州特許第0607303号明細書は、少なくとも3つの基点と該基点を観測するカメラとを含む物体の相対的な位置および向きを、カメラの固定内部座標系に対して6自由度すべてで決定できることを示している。カメラは、基点の各々への空間方向を測定し、基点を含む物体の位置および向きを決定することができる。これは、基点が一線上にないこと、および基点の位置が互いに対して既知であること、すなわち、基点が所定のまたは既知のパターンにあることを必要とする。しかしながら、欧州特許第0607303号明細書は、レーザレーダを移動させるときに誤差をどのように補償することができるかを示していない。
上記の欠点を克服することが目的とする技術的課題である。特に、目的とする技術的課題は、物体の迅速かつ正確な空間測定を提供することである。目的とする技術的課題は、独立請求項の特徴によって解決される。
本発明の一態様は、物体に対するレーザレーダの現在の位置および/または向きを決定する方法を対象とする。本方法は、コンピュータによって実行されてもよい。レーザレーダには、カメラシステムが取り付けられている。本方法では、物体に対するカメラシステムの位置および/または向きは、物体に対して固定された空間的関係を有する少なくとも3つの基準ターゲットのうちの1つまたは複数の画像を取得することによって決定される。少なくとも3つの基準ターゲットの互いに対する相対的な空間的関係および/または位置は、記憶装置から取得される。カメラに対する基準ターゲットの位置および/または向きは、少なくとも3つの基準ターゲットの互いに対する相対的な空間関係、およびカメラから少なくとも3つの基準ターゲットの各々への観測された空間方向を使用して決定される。さらに、カメラシステムとレーザレーダとの間の空間的関係は、記憶装置から取得される。レーザレーダに対する物体の空間的位置および/または向きは、カメラシステムに対する物体の位置および/または向きと、カメラシステムとレーザレーダとの間の空間的関係とを使用して計算される。
それにより、レーザレーダを含む測定システムが物体に対するその位置を正確かつ迅速に決定することを可能にする方法が提供される。カメラシステムが物体に対するレーザレーダの現在の位置および/または向きの即時測定を提供するので、レーザレーダ(およびカメラシステム)を移動するロボットの不正確さが回避される。したがって、複数のロボット移動が必要とされる場合でも、ロボット搭載レーザレーダからの迅速であるが正確なXYZ測定を可能にするレーザレーダベースの測定システムが提供され、これまで適切でなかった用途でのレーザレーダの使用が可能になる。これにより、単純で安価なロボットの使用が可能になる。
少なくとも3つの基準ターゲットは一列に並んでいない。記憶装置は、例えば揮発性または不揮発性メモリを有する電子記憶装置であってもよい。記憶装置内のデータは、サーバから取得され得る。カメラシステムに対する基準ターゲットの位置および/または向きの計算は、カメラシステムの座標系であってもよい。カメラシステムとレーザレーダとの間の空間的関係の記憶装置は、上述と同じ記憶装置であってもよく、または、代替で異なる記憶装置であってもよい。
好ましい実施形態では、本方法は、ロボットによってカメラシステムを第1の位置から、第2の位置が現在位置である、第2の位置に移動するステップをさらに含む。
好ましい実施形態では、レーザレーダの現在の位置および/または向きは、ロボットによるカメラおよびレーザレーダの動きに応じて決定される。特に好ましい実施形態では、位置および/または向きは、移動が終了したという判定に応じて決定される。これにより、レーザレーダの現在の位置および/または向きが常に知られる。追加的または代替的に、位置は、ロボットによる移動中に決定される。
好ましい実施形態では、カメラシステムは、レーザレーダのビームステアリング機構に固定して取り付けられる。ビームステアリング機構は、特にミラーまたはプリズムである。例えば、カメラシステムは、ミラーの背面に取り付けられてもよい。カメラによる位置決定が行われるとき、ミラーは反転されてもよい。この実施形態では、カメラシステムの現在の位置および向きを決定することが簡単である。この場合、ミラー(またはプリズム)の向きは、レーザレーダの座標系とカメラシステムとの間の空間的関係に影響を及ぼす。空間的関係(例えば、変換行列)は、カメラシステムの位置オフセットおよびミラーの現在の向きから計算することができる。
好ましい実施形態では、カメラシステムは、カメラシステムとレーザレーダとの間の空間的関係が固定されるように、レーザレーダの本体に固定して取り付けられる。これは、カメラシステム座標系とレーザレーダ座標系との間の空間的関係が固定されていることを意味し得る。
好ましい実施形態では、少なくとも3つのターゲットが物体上にある。具体的には、少なくとも3つのターゲットは、物体に取り付けられ、物体の既知の特徴によって、すなわち物体の角によって画定される。
好ましい実施形態では、カメラシステムは、広角レンズカメラおよび/または異なる視野を有する2つ以上のカメラを備える。これにより、カメラシステムがターゲットを記録できるように、広い視野が提供される。
レーザレーダとカメラシステムとの間の前述の空間的関係を決定することは、カメラシステムとレーザレーダの両方で同じ点または特徴を測定し、両方のシステムを静止状態に保つことを伴う場合がある。これらの2つの測定システムの異なる性質のために、これは実現可能ではない場合があり、代わりに、互いに既知の空間的関係にある点または特徴を測定することができる。
好ましい実施形態では、記憶装置内のカメラシステムとレーザレーダとの間の空間的関係は、ロボットの1つまたは複数の意図された測定位置に対するカメラシステムとレーザレーダとの間の空間的関係を決定することによって生成され、その位置に対する空間的関係は、前述の意図された測定位置から後続の測定に使用することができる。これにより、例えば過剰な傾斜による内部レーザレーダ座標系の誤差が補償される。
本明細書で言及される空間的関係は、座標系変換、特に1つまたは複数の座標変換行列を指すことができる。例えば、カメラシステムとレーザレーダとの間の空間的関係が決定されると、カメラシステムからレーザレーダの座標への座標の変換を可能にする座標変換行列が決定され得る。
基準ターゲットは、測定システムによる正確な測定に適した任意の物理的実体または要素であり得る。
1つ以上またはすべてのターゲットは、基点を含むことができる。基点は、カメラベースの測定システムによる正確な測定に適した要素として定義される。基点は、基準点または測定点として使用するために、作成された画像に現れる撮像システムの視野内に配置された物体であってもよい。これは、物体の中または上に配置されてもよい。
したがって、ターゲットという用語は基点を含むが、いくつかのターゲットは基点ではない場合がある。ターゲットの例には、例えば、ツーリングボール、入れ子、スクライブラインなどが含まれる。基点の例には、例えば写真測量マーカおよび発光ダイオードが含まれる。
基点は、カメラベースの測定システムによる測定に適しているが、レーザレーダによる測定には適していない場合がある。物理的なターゲットは、一般に、レーザレーダによる測定に適しているが、カメラベースの測定システムによる測定には適していない場合がある。
好ましい実施形態では、基準ターゲットの少なくとも1つは、カメラシステムによって観測可能な少なくとも3つの基点と、レーザレーダによって測定可能な物理的要素とを備え、これらはすべて互いに対して既知の位置にある。例示的な実施形態では、少なくとも1つの物理的要素は、ツーリングボールであってもよい。これにより、カメラシステムは、基点を観測することによって基準ターゲットを迅速に測定することができ、レーザレーダは物理的要素を測定することができる。基点と物理的要素との間の関係は既知であるため、前述の基準ターゲットは、両方のシステムによる正確な測定に適しており、両方のシステムがツーリングボールの中心の位置を決定することを可能にする。
代替的な好ましい実施形態では、ターゲットのうちの少なくとも1つ、好ましくは少なくとも3つのターゲットは、基点を有する球形を含む。基点は、発光ダイオードまたは光学マーカであってもよい。基点は、球形の中心に配置されてもよく、カメラが一方の側から前述の少なくとも3つの基準ターゲットへの空間方向を決定することを可能にする。前述の基準ターゲットは、球面を走査することによってレーザレーダが中心を測定できるようにするために使用される。カメラで観測された基点の空間位置が、同様に観測された少なくとも2つの他の基準ターゲットに対して既知である場合、カメラシステムとレーザレーダとの間の空間的関係は、測定前に取得され得る。
好ましい実施形態では、基準ターゲットは、球状に搭載された基点がカメラシステムによって観測可能であるか、または同じサイズの物理的球形がレーザレーダによって測定可能である入れ子である。
本発明のさらなる態様は、上述のように物体の現在の位置および/または向きを決定するステップと、物体の1つまたは複数の物理的要素を測定するステップとを含む、物体の測定値を決定するための方法に関する。物理的要素は、物体に対するレーザレーダの空間的位置および/または向きが決定された後に測定されてもよい。
本発明のさらなる態様は、プログラムがコンピュータによって実行されると、コンピュータに上述の方法を実行させる命令を含むコンピュータプログラムに関する。
本発明のさらなる態様は、上述の方法を実行するための手段を備えるシステムに関する。好ましくは、システムは、カメラシステムと、カメラをレーザレーダに搭載するためのホルダとを備える。任意選択的に、システムはまた、レーザレーダを備える。
本発明の非限定的な実施形態は、単なる例として、添付の図面を参照して説明される。
図3は、カメラ11が、カメラがミラーまたはプリズム4と共に移動するように、レーザビーム用のステアリング機構に固定して搭載される一実施形態を示す。例えば、カメラ11は、ミラー4の背面に搭載されてもよい。図3はまた、被測定物2の上または周囲に配置された複数の基準ターゲット12を示す。物体2は、例えば、自動車車体の一部であってもよい。
図3のレーザレーダ3が移動されると、カメラ11は、移動前とは異なる位置および向きで基準ターゲット12を検出し、したがってカメラの正確な新しい位置および向きを計算することができる。カメラの固定内部座標系とレーザレーダの固定内部座標系との間の関係が事前に決定されていれば、レーザレーダの新しい位置および向きも物体の座標系との関係で計算することができ、したがって、基準ターゲットの連続的なレーザレーダ測定の時間を失うことなく、その後のすべてのレーザレーダ測定値を移動が行われる前と同じ座標系に変換することが可能である。
図3では、カメラの固定内部座標系とレーザレーダの座標系との間の関係は一定ではないが、カメラ、したがってその座標系がミラーまたはプリズム4と共に移動するので、関係は常に決定され得ることに留意されたい。したがって、電流関係は、レーザレーダの内部動作の一部と同様に、レーザレーダ3の本体に対するミラーまたはプリズムの垂直角度8および水平角度9を読み取ることによって常に決定することができる。
図4および図5は、カメラ11がレーザレーダ3の主固定体5に固定して搭載されている代替の実施形態を示す。カメラ22は、基準ターゲット12を観測する。
したがって、これらの実施形態では、各カメラの固定内部座標系とレーザレーダの座標系との間の関係は、レーザレーダミラーまたはプリズム4の動きとは無関係に一定である。いくつかの実施形態では、レーザレーダの内部座標系は、以下に説明するようにシフトすることができる。
図4では、基準ターゲットは、被測定物2の上または周囲に配置される。関連するすべてのレーザレーダの位置および向きについて、少なくとも3つの基準ターゲット12がカメラ11の視野内に確実にあるようにするために、図4に示すように、広角レンズを使用すること、および/または異なる視野を有するいくつかのカメラ11’を使用することが必要な場合がある。工場の製造セルでは、レーザレーダの位置を事前に計画することができ、カメラの数、それらの必要な位置決めおよび光学を必要に応じて構成することができる。
図5では、基準ターゲットは、明確な視野を確保すること、および/またはカメラに適切に近接し、利用可能なカメラ視野の最適化されたカバレッジを提供することによって所与のカメラの仕様の精度を最適化することなど、カメラ観測を最適化するために配置される。基準ターゲット12はまた、この実施形態では、矢印13によって示されるように、被測定物2に対して既知の位置に存在する必要があることに留意されたい。
本開示の要素は、カメラ11の固定内部座標系と、レーザ位置決めシステム本体5に固定されたレーザレーダの内部座標系との間の関係を決定することである。
カメラがレーダ本体5に固定されている場合、この関係は、カメラ11およびレーザレーダ3によって、一線上にない少なくとも3つの基準ターゲット12を測定することによって概念的に見出すことができる。しかしながら、実際には、カメラ11は、レーザレーダ3による正確な測定に適する基準ターゲット12の正確な測定に適していない可能性があるため、これは不可能であり得、逆もまた同様である。この難しさは、様々な方法で克服することができる。非常に高い再現性で球形を位置決めする入れ子が市販されている。特別な半球形ターゲットは、その中心に搭載されたカメラによる測定に適した基点を有することができるが、回転されると、レーザレーダ3による正確な測定のために少なくとも半球形が存在する。前述の入れ子に配置された場合、この位置合わせターゲットは、カメラとレーザレーダとの両方が同じ球形の中心点を高精度で測定することを可能にする。
代替で、欧州特許第0607303号明細書を参照すると、カメラ用のプロービング装置を導入して、レーザレーダ3による測定にも適するツーリングボールなどの物理的な基準ターゲットを調査することができる。
また、各システムに適した基準ターゲット12からなる事前較正された基準ターゲットを使用することができ、そこでは、例えば、レーザレーダによる測定に適したツーリングボールを、カメラによる測定に適した、一線上にない、少なくとも3つの基点に対して既知の位置に配置した。
カメラがレーザレーダ本体5に固定されておらず、むしろビームステアリングミラーまたはプリズム4と共に移動する場合、同じ原理が適用されるが、水平角度8および垂直角度9の現在の読み取り値も考慮する必要が加えられる。
これは、単一のレーザレーダ位置3から順次測定を実行すること、すなわち、最初にレーザレーダ3で測定し、次に、カメラ測定中に内部カメラ座標系とレーザレーダ座標系との間に単一の固定された関係があるように、カメラ11で測定を実行しながら、レーザレーダ3のビームステアリングをロックすることによって行うことができる。カメラ11は比較的広い視野を有するため、単一のカメラ位置から基準ターゲット12を測定することが可能になる。
これらの実施形態のすべてについて、レーザレーダの内部座標系と物体の座標系との間の関係を一度決定し、次いですべてのレーザレーダ位置に適用することができる。
或いは、レーザレーダが過度に傾いたときにその内部座標系にいくらかのシフトを示す可能性があることに留意して、レーザレーダの内部座標系と物体の座標系との間の関係は、意図されたレーザレーダ位置ごとに決定することができ、適切な関係は、各レーザレーダ位置における後続の物体測定に使用される。この決定は、例えばシステムの較正中に事前に行われてもよい。
本発明は、レーザレーダを含む測定システムを用いて被測定物に対する測定システムの現在の位置および/または向きを決定するための方法に関する。
レーザレーダは従来技術で知られており、コンピュータ制御された操縦可能なレーザビームによってXYZ座標を測定するための装置であってもよい。関心点までの距離は、例えば位相シフトなど、前述の点からの反射レーザビームの何らかの特性によって決定される。関心点への方向は、ビームステアリング機構、典型的には2つの垂直軸の周りで回転可能なミラーまたはプリズムの現在の向きから決定される。
図1に示すように、物体2上の点1のXYZ座標は、レーザレーダ3からの距離および方向情報から計算することができる。レーザレーダ本体5の上部には、ビーム6を点1に向け、範囲7を記録する操縦可能なミラーまたはプリズム4が示されている。点1のXYZ値は、本体5に対するミラーまたはプリズムの垂直角度8および水平角度9の読み取り値、ならびにレーザ距離計からの範囲または距離データから決定される。
レーザレーダは、LIDARまたはLADARとも呼ばれ、市販されており、産業、建築、土木工学および他の産業における物体および表面を非常に迅速に走査する、すなわち、多数の関心点を非常に迅速に測定するために一般に使用される。
レーザレーダは、典型的には、それらのレーザビームを広範囲の角度に向け、そのような角度を高精度で記録することができ、例えば直方体の内側を良好に網羅する。しかしながら、レーザレーダは、典型的には、直接の直線見通しに依存し、したがって、現在の位置から直接の直線見通しにない物体のいかなる部分も測定することができず、例えば、固定直方体の外面全体を網羅するために、レーザレーダを移動しなければならない。
レーザレーダのXYZデータは、装置本体の位置に対して相対的であってもよく、装置が既知の位置および向きから移動される場合、移動の前後に取得されたデータを共通の座標系に相関させるために、新しい位置および向きの正確な情報が必要である。
ロボットはまた、従来技術で知られており、本明細書では、機械的インターフェースを多数の位置および向きに移動することができるコンピュータ制御された機械的機構として理解され得る。移動される工具または他の装置を取り付けるために使用される前述の機械的インターフェースは、工具中心点(TCP)と呼ばれることが多い。直線運動若しくは回転運動またはこれらの組み合わせの手段を使用し、可変数の自由度でTCP運動を提供する様々なロボット実施形態が存在する。所与の時点におけるTCPの位置および向きは、通常、軸方向または直線運動の各々に割り当てられた一連のセンサまたはエンコーダからの同時読み取り値によって決定される。
図2に示すように、レーダ本体がロボット10によって物体2の周りを移動する場合、ロボット10を使用して、単一の位置から可能であるよりもその物体の大きな部分を測定することができることが有利である。ロボット搭載レーザレーダは、物体の任意の領域からXYZデータの一貫したセットを決定するために、レーザレーダからの情報をロボットコントローラからの情報と組み合わせることができる。残念なことに、ほとんどのロボットは、塗装、溶接、および組み立てなどの産業用の作業に十分な精度を有するが、特別で非常に高価なロボットのみが、該ロボットによって移動されるレーザレーダからのXYZデータの全体的な精度を著しく低下させないように十分に正確な移動情報を提供するために必要な精度を有する。高精度ロボットはまた、適度なサイズであり、自由度が制限され、生産ラインで遭遇する拡張された温度範囲で正確に動作することができず、頻繁なメンテナンスまたは較正を必要とする場合があり、これは生産環境では許容できない。
正確な測定のためにロボットによって移動されるレーザレーダを使用する場合、レーザレーダ自体を使用してその現在の位置および向きを決定することが一般的である。これは、通常、各ロボットが移動した後に、物体上または物体の周りの既知の位置で少なくとも3つの特徴(多くの場合、ツーリングボール)を測定することによって行われる。
しかしながら、この手法は、例えば自動車製造ラインおよび同様の用途の内部で使用される場合、欠点を有する。これらはサイクル時間が限られており、被測定物が有限の時間、典型的には30~90秒の間だけ静止していることを意味する。寸法監視を目的とした製造セルは、利用可能なサイクル時間中に物体上の可能な限り多くの特徴を測定する必要がある。したがって、各移動後のレーザレーダの現在の位置および向きを決定するためにレーザレーダを使用するプロセスは、レーザレーダの適用性を制限する。例えば、車体のアクセスが困難な領域内の単一の特徴、例えばスロットを測定するために、レーザレーダを専用の位置に移動し、次いで、レーザレーダの正確な位置を決定するためにツーリングボールなどの少なくとも3つの既知の特徴を測定し、次いでスロット自体を測定する必要があり得る。明らかに、時間の大部分は、所望の物体特徴を測定することではなく、準備プロセスステップにおいて失われる。これは、この課題がレーザレーダの適用性を著しく制限する完全な自動車車体など、複数のロボット移動を必要とする物体に特に関連する。
従来技術から、光スキャナなどのロボット搭載表面測定装置の位置および向きは、ナビゲーションフレーム内にスキャナをしっかりと取り付け、少なくとも3つの大きく分離されたターゲットが任意の方向から確実に見えるように、前述のフレーム上に多数のターゲットを埋め込むことによって非常に迅速に決定することができることが知られている。次に、フレームは、物体の座標系で動作する複数のカメラまたはカメラの対によって観測することができ、したがって、ナビゲーションフレームを観測することにより、スキャナの現在の位置および向きを決定することが可能になる。本明細書で説明したように動作するシステムは市販されており、上述したレーザレーダの課題を解決するために同じ手法が適合され得る。
しかしながら、そのような「ナビゲーションフレーム」の解決策は、スキャナがカメラによって任意の方向から観測され得るという利点を提供するが、スキャナの視野は固定されていて、真の全方向追跡の解決策を必要とするので、多くのターゲットおよび多くのカメラが通常、任意の向きに必要なカバレッジを確保するために必要とされるため、解決策は実装に費用がかかるものになる。一方、レーザレーダは操縦可能なレーザビームを有するので、より広い範囲の位置および向きが所与の特徴を測定するのに適しており、真に全方向性の解決策は必要とされない。
また、レーザレーダは、向きの関数として内部座標系にいくらかの変化を示すことが知られている。それらの仕様は、典型的には、所与の向きの範囲に対してのみ有効であり、それらの内部座標系は、例えば自動車製造セルにおけるアクセスに必要であり得るように、この範囲を超えるとオフセットを示すことができる。
物体の座標系に入る基準ターゲットを測定するためにレーザレーダ自体を使用する場合、物体の座標系を定義する基準ターゲットもこの潜在的にオフセットされた座標系で測定されるため、この影響はほとんど排除され、同じ位置から取得された後続のレーザレーダ測定値も同じ量だけオフセットされ、誤差が補償される。しかしながら、レーザレーダにナビゲーションフレーム法が適用された場合、この誤差は補償されず、精度が低下する。したがって、高速装置ナビゲーションのために既知の方法を適合させることは、レーザレーダに最適な結果を提供しない。
米国特許出願公開第2014/0211999号明細書は、レーザトラッカ、画像検出ユニット、および接触検知ツールを備えた測定システムを示している。接触検知ツールは、6つの発光ダイオードと1つのリフレクタを有する。画像検出ユニットは、発光ダイオードを用いて接触感知ツールの正確な向きを6自由度で決定し、レーザトラッカは、リフレクタまでの距離を測定する。上述および後述のレーザレーダの代わりに、米国特許出願公開第2014/0211999号明細書はレーザトラッカを示している。
欧州特許第0607303号明細書は、少なくとも3つの基点と該基点を観測するカメラとを含む物体の相対的な位置および向きを、カメラの固定内部座標系に対して6自由度すべてで決定できることを示している。カメラは、基点の各々への空間方向を測定し、基点を含む物体の位置および向きを決定することができる。これは、基点が一線上にないこと、および基点の位置が互いに対して既知であること、すなわち、基点が所定のまたは既知のパターンにあることを必要とする。しかしながら、欧州特許第0607303号明細書は、レーザレーダを移動させるときに誤差をどのように補償することができるかを示していない。
欧州特許第0607303号明細書は、少なくとも3つの基点と該基点を観測するカメラとを含む物体の相対的な位置および向きを、カメラの固定内部座標系に対して6自由度すべてで決定できることを示している。カメラは、基点の各々への空間方向を測定し、基点を含む物体の位置および向きを決定することができる。これは、基点が一線上にないこと、および基点の位置が互いに対して既知であること、すなわち、基点が所定のまたは既知のパターンにあることを必要とする。しかしながら、欧州特許第0607303号明細書は、レーザレーダを移動させるときに誤差をどのように補償することができるかを示していない。
上記の欠点を克服することが目的とする技術的課題である。特に、目的とする技術的課題は、物体の迅速かつ正確な空間測定を提供することである。目的とする技術的課題は、独立請求項の特徴によって解決される。
本発明の一態様は、物体に対するレーザレーダの現在の位置および/または向きを決定する方法を対象とする。本方法は、コンピュータによって実行されてもよい。レーザレーダには、カメラシステムが取り付けられている。本方法では、物体に対するカメラシステムの位置および向きは、物体に対して固定された空間的関係を有する少なくとも3つの基準ターゲットのうちの1つまたは複数の画像を取得することによって決定される。少なくとも3つの基準ターゲットは画像内で検出される。少なくとも3つの基準ターゲットの互いに対する相対的な空間的関係は、記憶装置から取得される。カメラに対する少なくとも3つの基準ターゲットの位置および向きは、少なくとも3つの基準ターゲットの互いに対する相対的な空間関係、およびカメラから少なくとも3つの基準ターゲットの各々への検出された空間方向を使用して計算される。さらに、カメラシステムとレーザレーダとの間の空間的関係は、記憶装置から取得される。レーザレーダに対する物体の空間的位置および向きは、カメラシステムに対する物体の位置および向きと、カメラシステムとレーザレーダとの間の空間的関係とを使用して計算される。物体はレーザレーダで走査される。
それにより、レーザレーダを含む測定システムが物体に対するその位置を正確かつ迅速に決定することを可能にする方法が提供される。カメラシステムが物体に対するレーザレーダの現在の位置および/または向きの即時測定を提供するので、レーザレーダ(およびカメラシステム)を移動するロボットの不正確さが回避される。したがって、複数のロボット移動が必要とされる場合でも、ロボット搭載レーザレーダからの迅速であるが正確なXYZ測定を可能にするレーザレーダベースの測定システムが提供され、これまで適切でなかった用途でのレーザレーダの使用が可能になる。これにより、単純で安価なロボットの使用が可能になる。
少なくとも3つの基準ターゲットは一列に並んでいない。記憶装置は、例えば揮発性または不揮発性メモリを有する電子記憶装置であってもよい。記憶装置内のデータは、サーバから取得され得る。カメラシステムに対する基準ターゲットの位置および/または向きの計算は、カメラシステムの座標系であってもよい。カメラシステムとレーザレーダとの間の空間的関係の記憶装置は、上述と同じ記憶装置であってもよく、または、代替で異なる記憶装置であってもよい。
好ましい実施形態では、本方法は、ロボットによってカメラシステムを第1の位置から、第2の位置が現在位置である、第2の位置に移動するステップをさらに含む。
好ましい実施形態では、レーザレーダの現在の位置および/または向きは、ロボットによるカメラおよびレーザレーダの動きに応じて決定される。特に好ましい実施形態では、位置および/または向きは、移動が終了したという判定に応じて決定される。これにより、レーザレーダの現在の位置および/または向きが常に知られる。追加的または代替的に、位置は、ロボットによる移動中に決定される。
好ましい実施形態では、カメラシステムは、レーザレーダのビームステアリング機構に固定して取り付けられる。ビームステアリング機構は、特にミラーまたはプリズムである。例えば、カメラシステムは、ミラーの背面に取り付けられてもよい。カメラによる位置決定が行われるとき、ミラーは反転されてもよい。この実施形態では、カメラシステムの現在の位置および向きを決定することが簡単である。この場合、ミラー(またはプリズム)の向きは、レーザレーダの座標系とカメラシステムとの間の空間的関係に影響を及ぼす。空間的関係(例えば、変換行列)は、カメラシステムの位置オフセットおよびミラーの現在の向きから計算することができる。
好ましい実施形態では、カメラシステムは、カメラシステムとレーザレーダとの間の空間的関係が固定されるように、レーザレーダの本体に固定して取り付けられる。これは、カメラシステム座標系とレーザレーダ座標系との間の空間的関係が固定されていることを意味し得る。
好ましい実施形態では、少なくとも3つのターゲットが物体上にある。具体的には、少なくとも3つのターゲットは、物体に取り付けられ、物体の既知の特徴によって、すなわち物体の角によって画定される。
好ましい実施形態では、カメラシステムは、広角レンズカメラおよび/または異なる視野を有する2つ以上のカメラを備える。これにより、カメラシステムがターゲットを記録できるように、広い視野が提供される。
レーザレーダとカメラシステムとの間の前述の空間的関係を決定することは、カメラシステムとレーザレーダの両方で同じ点または特徴を測定し、両方のシステムを静止状態に保つことを伴う場合がある。これらの2つの測定システムの異なる性質のために、これは実現可能ではない場合があり、代わりに、互いに既知の空間的関係にある点または特徴を測定することができる。
好ましい実施形態では、記憶装置内のカメラシステムとレーザレーダとの間の空間的関係は、ロボットの1つまたは複数の意図された測定位置に対するカメラシステムとレーザレーダとの間の空間的関係を決定することによって生成され、その位置に対する空間的関係は、前述の意図された測定位置から後続の測定に使用することができる。これにより、例えば過剰な傾斜による内部レーザレーダ座標系の誤差が補償される。
本明細書で言及される空間的関係は、座標系変換、特に1つまたは複数の座標変換行列を指すことができる。例えば、カメラシステムとレーザレーダとの間の空間的関係が決定されると、カメラシステムからレーザレーダの座標への座標の変換を可能にする座標変換行列が決定され得る。
基準ターゲットは、測定システムによる正確な測定に適した任意の物理的実体または要素であり得る。
1つ以上またはすべてのターゲットは、基点を含むことができる。基点は、カメラベースの測定システムによる正確な測定に適した要素として定義される。基点は、基準点または測定点として使用するために、作成された画像に現れる撮像システムの視野内に配置された物体であってもよい。これは、物体の中または上に配置されてもよい。
したがって、ターゲットという用語は基点を含むが、いくつかのターゲットは基点ではない場合がある。ターゲットの例には、例えば、ツーリングボール、入れ子、スクライブラインなどが含まれる。基点の例には、例えば写真測量マーカおよび発光ダイオードが含まれる。
基点は、カメラベースの測定システムによる測定に適しているが、レーザレーダによる測定には適していない場合がある。物理的なターゲットは、一般に、レーザレーダによる測定に適しているが、カメラベースの測定システムによる測定には適していない場合がある。
好ましい実施形態では、基準ターゲットの少なくとも1つは、カメラシステムによって観測可能な少なくとも3つの基点と、レーザレーダによって測定可能な物理的要素とを備え、これらはすべて互いに対して既知の位置にある。例示的な実施形態では、少なくとも1つの物理的要素は、ツーリングボールであってもよい。これにより、カメラシステムは、基点を観測することによって基準ターゲットを迅速に測定することができ、レーザレーダは物理的要素を測定することができる。基点と物理的要素との間の関係は既知であるため、前述の基準ターゲットは、両方のシステムによる正確な測定に適しており、両方のシステムがツーリングボールの中心の位置を決定することを可能にする。
代替的な好ましい実施形態では、ターゲットのうちの少なくとも1つ、好ましくは少なくとも3つのターゲットは、基点を有する球形を含む。基点は、発光ダイオードまたは光学マーカであってもよい。基点は、球形の中心に配置されてもよく、カメラが一方の側から前述の少なくとも3つの基準ターゲットへの空間方向を決定することを可能にする。前述の基準ターゲットは、球面を走査することによってレーザレーダが中心を測定できるようにするために使用される。カメラで観測された基点の空間位置が、同様に観測された少なくとも2つの他の基準ターゲットに対して既知である場合、カメラシステムとレーザレーダとの間の空間的関係は、測定前に取得され得る。
好ましい実施形態では、基準ターゲットは、球状に搭載された基点がカメラシステムによって観測可能であるか、または同じサイズの物理的球形がレーザレーダによって測定可能である入れ子である。
本発明のさらなる態様は、上述のように物体の現在の位置および/または向きを決定するステップと、物体の1つまたは複数の物理的要素を測定するステップとを含む、物体の測定値を決定するための方法に関する。物理的要素は、物体に対するレーザレーダの空間的位置および/または向きが決定された後に測定されてもよい。
本発明のさらなる態様は、プログラムがコンピュータによって実行されると、コンピュータに上述の方法を実行させる命令を含むコンピュータプログラムに関する。
本発明のさらなる態様は、上述の方法を実行するための手段を備えるシステムに関する。好ましくは、システムは、カメラシステムと、カメラをレーザレーダに搭載するためのホルダとを備える。任意選択的に、システムはまた、レーザレーダを備える。
本発明の非限定的な実施形態は、単なる例として、添付の図面を参照して説明される。
図3は、カメラ11が、カメラがミラーまたはプリズム4と共に移動するように、レーザビーム用のステアリング機構に固定して搭載される一実施形態を示す。例えば、カメラ11は、ミラー4の背面に搭載されてもよい。図3はまた、被測定物2の上または周囲に配置された複数の基準ターゲット12を示す。物体2は、例えば、自動車車体の一部であってもよい。
図3のレーザレーダ3が移動されると、カメラ11は、移動前とは異なる位置および向きで基準ターゲット12を検出し、したがってカメラの正確な新しい位置および向きを計算することができる。カメラの固定内部座標系とレーザレーダの固定内部座標系との間の関係が事前に決定されていれば、レーザレーダの新しい位置および向きも物体の座標系との関係で計算することができ、したがって、基準ターゲットの連続的なレーザレーダ測定の時間を失うことなく、その後のすべてのレーザレーダ測定値を移動が行われる前と同じ座標系に変換することが可能である。
図3では、カメラの固定内部座標系とレーザレーダの座標系との間の関係は一定ではないが、カメラ、したがってその座標系がミラーまたはプリズム4と共に移動するので、関係は常に決定され得ることに留意されたい。したがって、電流関係は、レーザレーダの内部動作の一部と同様に、レーザレーダ3の本体に対するミラーまたはプリズムの垂直角度8および水平角度9を読み取ることによって常に決定することができる。
図4および図5は、カメラ11がレーザレーダ3の主固定体5に固定して搭載されている代替の実施形態を示す。カメラ22は、基準ターゲット12を観測する。
したがって、これらの実施形態では、各カメラの固定内部座標系とレーザレーダの座標系との間の関係は、レーザレーダミラーまたはプリズム4の動きとは無関係に一定である。いくつかの実施形態では、レーザレーダの内部座標系は、以下に説明するようにシフトすることができる。
図4では、基準ターゲットは、被測定物2の上または周囲に配置される。関連するすべてのレーザレーダの位置および向きについて、少なくとも3つの基準ターゲット12がカメラ11の視野内に確実にあるようにするために、図4に示すように、広角レンズを使用すること、および/または異なる視野を有するいくつかのカメラ11’を使用することが必要な場合がある。工場の製造セルでは、レーザレーダの位置を事前に計画することができ、カメラの数、それらの必要な位置決めおよび光学を必要に応じて構成することができる。
図5では、基準ターゲットは、明確な視野を確保すること、および/またはカメラに適切に近接し、利用可能なカメラ視野の最適化されたカバレッジを提供することによって所与のカメラの仕様の精度を最適化することなど、カメラ観測を最適化するために配置される。基準ターゲット12はまた、この実施形態では、矢印13によって示されるように、被測定物2に対して既知の位置に存在する必要があることに留意されたい。
本開示の要素は、カメラ11の固定内部座標系と、レーザ位置決めシステム本体5に固定されたレーザレーダの内部座標系との間の関係を決定することである。
カメラがレーダ本体5に固定されている場合、この関係は、カメラ11およびレーザレーダ3によって、一線上にない少なくとも3つの基準ターゲット12を測定することによって概念的に見出すことができる。しかしながら、実際には、カメラ11は、レーザレーダ3による正確な測定に適する基準ターゲット12の正確な測定に適していない可能性があるため、これは不可能であり得、逆もまた同様である。この難しさは、様々な方法で克服することができる。非常に高い再現性で球形を位置決めする入れ子が市販されている。特別な半球形ターゲットは、その中心に搭載されたカメラによる測定に適した基点を有することができるが、回転されると、レーザレーダ3による正確な測定のために少なくとも半球形が存在する。前述の入れ子に配置された場合、この位置合わせターゲットは、カメラとレーザレーダとの両方が同じ球形の中心点を高精度で測定することを可能にする。
代替で、欧州特許第0607303号明細書を参照すると、カメラ用のプロービング装置を導入して、レーザレーダ3による測定にも適するツーリングボールなどの物理的な基準ターゲットを調査することができる。
また、各システムに適した基準ターゲット12からなる事前較正された基準ターゲットを使用することができ、そこでは、例えば、レーザレーダによる測定に適したツーリングボールを、カメラによる測定に適した、一線上にない、少なくとも3つの基点に対して既知の位置に配置した。
カメラがレーザレーダ本体5に固定されておらず、むしろビームステアリングミラーまたはプリズム4と共に移動する場合、同じ原理が適用されるが、水平角度8および垂直角度9の現在の読み取り値も考慮する必要が加えられる。
これは、単一のレーザレーダ位置3から順次測定を実行すること、すなわち、最初にレーザレーダ3で測定し、次に、カメラ測定中に内部カメラ座標系とレーザレーダ座標系との間に単一の固定された関係があるように、カメラ11で測定を実行しながら、レーザレーダ3のビームステアリングをロックすることによって行うことができる。カメラ11は比較的広い視野を有するため、単一のカメラ位置から基準ターゲット12を測定することが可能になる。
これらの実施形態のすべてについて、レーザレーダの内部座標系と物体の座標系との間の関係を一度決定し、次いですべてのレーザレーダ位置に適用することができる。
或いは、レーザレーダが過度に傾いたときにその内部座標系にいくらかのシフトを示す可能性があることに留意して、レーザレーダの内部座標系と物体の座標系との間の関係は、意図されたレーザレーダ位置ごとに決定することができ、適切な関係は、各レーザレーダ位置における後続の物体測定に使用される。この決定は、例えばシステムの較正中に事前に行われてもよい。
Claims (17)
- レーザレーダ(3)に対する物体(2)の現在の位置および/または向きを決定するための方法であって、カメラシステム(11、11’)が、前記レーザレーダに取り付けられており、
前記カメラシステムに対する前記物体の前記位置および/または向きを、
前記カメラシステムの前記物体の1つまたは複数の画像を取得することと、
前記1つまたは複数の画像内の前記物体に対して固定された空間的関係を有する少なくとも3つの基準ターゲット(12)を観測することと、
前記物体上の前記少なくとも3つの基準ターゲットの互いに対する前記位置および/または相対的な空間的関係を記憶装置から取得することと、
前記少なくとも3つの基準ターゲットの互いに対する前記位置および/または相対的な空間的関係と、前記観測された少なくとも3つの基準ターゲットとを使用することによって、前記カメラシステムに対する前記3つの基準ターゲットの前記位置および/または向きを計算することと
によって決定するステップと、
前記カメラシステムと前記レーザレーダとの間の空間的関係を記憶装置から取得するステップと、
前記カメラシステムに対する前記物体の前記位置および/または向き、ならびに前記カメラシステムと前記レーザレーダとの間の前記空間的関係を使用することによって、前記レーザレーダに対する前記物体の空間的位置および/または向きを計算するステップと、
を含む、方法。 - ロボットによって前記カメラシステムを第1の位置から第2の位置に移動するステップをさらに含み、前記第2の位置が前記現在の位置である、請求項1に記載の方法。
- レーザレーダの前記現在の位置および/または向きが、前記ロボットによる前記カメラおよびレーザレーダの動きに反応して、特に前記動きが終了したという判定に反応して決定される、請求項2に記載の方法。
- 前記カメラシステムに対する前記3つの基準ターゲットの方向を計算し、前記3つの基準ターゲットに対する前記カメラシステムの位置および/または向きを計算するために前記計算された方向を使用する、ステップをさらに含む、請求項1から3のいずれか一項に記載の方法。
- 前記カメラシステム(11)が、前記レーザレーダのビームステアリング機構、特にミラーに固定して取り付けられる、請求項1から4のいずれか一項に記載の方法。
- 前記カメラシステムが、前記カメラシステムと前記レーザレーダとの間の前記空間的関係が固定されるように、前記レーザレーダ(3)の本体(5)に固定して搭載される、請求項1から5のいずれか一項に記載の方法。
- 前記少なくとも3つのターゲット(12)が前記物体(2)上にある、請求項1から6のいずれか一項に記載の方法。
- 前記少なくとも3つのターゲット(3)が、前記物体(2)に取り付けられるか、または前記物体の特徴によって画定される、請求項7に記載の方法。
- 前記カメラシステム(11)が、広角レンズカメラおよび/または異なる視野を有する2つ以上のカメラを備える、請求項1から8のいずれか一項に記載の方法。
- 前記記憶装置内の前記カメラシステム(11)と前記レーザレーダ(3)との間の前記空間的関係が、意図された測定位置に対する前記空間的関係が前記意図された測定位置からの後続の物体測定に使用され得るように、前記物体の実際の測定の前に前記ロボットの1つまたは複数の意図された測定位置に対する前記カメラシステムと前記レーザレーダとの間の前記空間的関係を決定することによって生成される、請求項1から9のいずれか一項に記載の方法。
- 前記基準ターゲット(12)の少なくとも1つが、互いに対して既知の位置にある、前記カメラシステム(11)によって観測可能な少なくとも3つの基点と前記レーザレーダによって測定可能な1つの物理的要素とを備える、請求項1から10のいずれか一項に記載の方法。
- ターゲットのうちの少なくとも1つ、好ましくは少なくとも3つのターゲットが、中心に基点が配置された球形を備え、前記カメラシステム(11)が前記基準ターゲットを観測することを可能にし、前記レーザレーダが前記球形の表面を走査することによって前記基準ターゲットを測定することを可能にし、好ましくは、前記ターゲットの位置が、前記カメラシステムで観測可能であり、前記ターゲットと一線上にない少なくとも2つの他のターゲットに対して既知である必要があることに留意する、請求項1から11のいずれか一項に記載の方法。
- 前記基準ターゲットが入れ子であり、球形に搭載された基点が前記カメラシステムによって観測可能であるか、または同じサイズの物理的球形が前記レーザレーダによって測定可能である、請求項1から12のいずれか一項に記載の方法。
- 物体の測定値を決定するための方法であって、
請求項1から13のいずれか一項に記載のレーザ位置決めシステムの現在の位置および/または向きを決定するステップと、
前記物体の物理的要素を測定するステップと、
を含む、方法。 - プログラムがコンピュータによって実行されると、前記コンピュータに請求項1から14のいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム。
- 請求項1から14のいずれか一項に記載の方法を実行するための計算手段を備えるシステム。
- カメラシステムと、前記カメラシステム(11)をレーザレーダ(3)に搭載するためのホルダとを備える請求項16に記載のシステムであって、前記システムが、好ましくは前記レーザレーダを備えるシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21151216.5 | 2021-01-12 | ||
EP21151216.5A EP4027103A1 (en) | 2021-01-12 | 2021-01-12 | Method for determining a current position and/or orientation of a laser radar relative to an object to be measured |
PCT/EP2021/087853 WO2022152572A1 (en) | 2021-01-12 | 2021-12-30 | Method for determining a current position and/or orientation of a laser radar relative to an object to be measured |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024505816A true JP2024505816A (ja) | 2024-02-08 |
Family
ID=74180947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023541906A Pending JP2024505816A (ja) | 2021-01-12 | 2021-12-30 | 被測定物に対するレーザレーダの現在の位置および/または向きを決定するための方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240069178A1 (ja) |
EP (2) | EP4027103A1 (ja) |
JP (1) | JP2024505816A (ja) |
KR (1) | KR20230158467A (ja) |
CN (1) | CN117043543A (ja) |
CA (1) | CA3208276A1 (ja) |
WO (1) | WO2022152572A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NO301999B1 (no) * | 1995-10-12 | 1998-01-05 | Metronor As | Kombinasjon av laser tracker og kamerabasert koordinatmåling |
EP2557391A1 (de) * | 2011-08-12 | 2013-02-13 | Leica Geosystems AG | Messgerät zur Bestimmung der räumlichen Lage eines Messhilfsinstruments |
US11619481B2 (en) * | 2018-08-13 | 2023-04-04 | Faro Technologies, Inc. | Coordinate measuring device |
-
2021
- 2021-01-12 EP EP21151216.5A patent/EP4027103A1/en active Pending
- 2021-12-30 EP EP21847520.0A patent/EP4278211A1/en active Pending
- 2021-12-30 WO PCT/EP2021/087853 patent/WO2022152572A1/en active Application Filing
- 2021-12-30 KR KR1020237027299A patent/KR20230158467A/ko unknown
- 2021-12-30 US US18/260,734 patent/US20240069178A1/en active Pending
- 2021-12-30 CN CN202180090392.3A patent/CN117043543A/zh active Pending
- 2021-12-30 CA CA3208276A patent/CA3208276A1/en active Pending
- 2021-12-30 JP JP2023541906A patent/JP2024505816A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240069178A1 (en) | 2024-02-29 |
EP4027103A1 (en) | 2022-07-13 |
CA3208276A1 (en) | 2022-07-21 |
KR20230158467A (ko) | 2023-11-20 |
CN117043543A (zh) | 2023-11-10 |
EP4278211A1 (en) | 2023-11-22 |
WO2022152572A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110834322B (zh) | 具有辅助测量位置坐标确定系统的机器人系统 | |
US6067165A (en) | Position calibrating method for optical measuring apparatus | |
US7576836B2 (en) | Camera based six degree-of-freedom target measuring and target tracking device | |
EP3619498B1 (en) | Triangulation scanner having flat geometry and projecting uncoded spots | |
US7576847B2 (en) | Camera based six degree-of-freedom target measuring and target tracking device with rotatable mirror | |
CN103697824B (zh) | 用于坐标测量机的测头的系统标定方法 | |
JP5442457B2 (ja) | 位置の突き止め | |
JP2779242B2 (ja) | 光電子工学式角度測定システム | |
US9188430B2 (en) | Compensation of a structured light scanner that is tracked in six degrees-of-freedom | |
JP3070953B2 (ja) | 空間座標の逐点式測定方法及びシステム | |
US7145647B2 (en) | Measurement of spatial coordinates | |
US7324217B2 (en) | Device and method for measuring components | |
US20140132729A1 (en) | Method and apparatus for camera-based 3d flaw tracking system | |
US20110317879A1 (en) | Measurement of Positional Information for a Robot Arm | |
Boochs et al. | Increasing the accuracy of untaught robot positions by means of a multi-camera system | |
CN111707189A (zh) | 基于双目视觉的激光位移传感器光束方向标定方法 | |
EP3693697B1 (en) | Method for calibrating a 3d measurement arrangement and 3d measurement arrangement | |
US20200408914A1 (en) | Static six degree-of-freedom probe | |
JP2024505816A (ja) | 被測定物に対するレーザレーダの現在の位置および/または向きを決定するための方法 | |
US20230204340A1 (en) | Metrology system with position and orientation tracking utilizing light beams | |
Schütze et al. | Optopose-a multi-camera system for fast and precise determination of position and orientation for moving effector | |
Boochs et al. | A flexible multi-camera system for precise tracking of moving effectors | |
Kyle et al. | Robot calibration by optical methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20230831 |