JP6337677B2 - 3D measuring device - Google Patents
3D measuring device Download PDFInfo
- Publication number
- JP6337677B2 JP6337677B2 JP2014155876A JP2014155876A JP6337677B2 JP 6337677 B2 JP6337677 B2 JP 6337677B2 JP 2014155876 A JP2014155876 A JP 2014155876A JP 2014155876 A JP2014155876 A JP 2014155876A JP 6337677 B2 JP6337677 B2 JP 6337677B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- spot image
- reference spot
- measured
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000001427 coherent effect Effects 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 14
- 238000005259 measurement Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000001154 acute effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、基準面に複数の参照スポットを生成し、この参照スポットを撮像手段で取得することで、基準面の手前に現れる被測定物体を検知する三次元測定装置に関する。 The present invention relates to a three-dimensional measurement apparatus that detects a measurement object that appears in front of a reference plane by generating a plurality of reference spots on a reference plane and acquiring the reference spots with an imaging unit.
特許文献１に、コヒーレント光源を使用して被測定物体を検知する三次元測定装置に関する発明が記載されている。 Patent Document 1 describes an invention relating to a three-dimensional measuring apparatus that detects an object to be measured using a coherent light source.
特許文献１に記載された三次元測定装置は、コヒーレント光源から生成されたランダムスペックルパターンが照明領域に照射され、照明領域からの光応答が画像化ユニットで検知される。被測定物体が照明領域に移動したときに得られるパターン画像と、被測定物体が存在していないときのランダムスペックルパターンの参照画像とでスペックルパターンのずれを検出し、三次元測量法を利用して、被測定物体の三次元マップを構築する、というものである。 In the three-dimensional measuring apparatus described in Patent Document 1, a random speckle pattern generated from a coherent light source is irradiated onto an illumination area, and an optical response from the illumination area is detected by an imaging unit. Detects speckle pattern deviation between the pattern image obtained when the measured object moves to the illumination area and the reference image of the random speckle pattern when the measured object does not exist. This is used to construct a three-dimensional map of the object to be measured.
特許文献１に記載された三次元測定装置は、スペックルパターンがランダムに形成され、被測定物体が存在してスペックルパターンがずれたときは、参照画像で設定されていたランダムパターンの特徴の相対ずれを検出するものとなっている。 In the three-dimensional measuring apparatus described in Patent Document 1, when a speckle pattern is randomly formed and the object to be measured exists and the speckle pattern deviates, the characteristics of the random pattern set in the reference image The relative deviation is detected.
この方法は、ランダムに配置された多数のスペックルパターンの相対位置関係を予め把握し、それぞれのスペックルパターンがどのように位置ずれしたかを相関アルゴリズムを使用して演算することが必要である。そのため、演算量が多くなり、ＣＰＵの負担が増大し、応答速度を速くするのに限界がある。 In this method, it is necessary to grasp in advance the relative positional relationship of a large number of randomly arranged speckle patterns and calculate how each speckle pattern is displaced using a correlation algorithm. . Therefore, the amount of calculation increases, the burden on the CPU increases, and there is a limit to increasing the response speed.
本発明は上記従来の課題を解決するものであり、被測定物体を精度良く検知でき、しかも演算量が比較的少なくＣＰＵなどの負担を軽減できる三次元測定装置を提供することを目的としている。 SUMMARY OF THE INVENTION An object of the present invention is to provide a three-dimensional measuring apparatus that can accurately detect an object to be measured and that has a relatively small amount of calculation and can reduce the burden on a CPU and the like.
本発明は、コヒーレント光を基準面に照射して複数の参照スポットを形成する光照射部材と、参照スポット像を含む画像を取得する撮像部材と、判別部とが設けられており、
前記基準面では、複数の参照スポットが基準パターン上で規則的に配列し、被測定物体が前記光照射部材と前記基準面との間に位置したときに、前記基準パターン上に位置していた参照スポットが、被測定物体の表面に移動し、
参照スポットが被測定物体の表面に移動する際に、前記画像の連続する２つのフレームの間で参照スポット像が移動する距離は、移動後の参照スポット像と基準パターン上の他の参照スポット像との距離よりも短くなるように、撮像条件が、前記撮像部材の焦点距離（ｆ）、前記光照射部材と前記撮像部材との基線長（Ｂ）、フレームレート（ν）、前記基準パターンでの参照スポット像の最短ピッチ（ｄ）、ならびに前記基準面から垂直な方向での被測定物体の寸法または移動量、に基づいて決められており、
前記判別部では、前記画像上で参照スポット像が移動したら、移動後の参照スポット像が、基準パターン上に位置していた複数の参照スポット像のうちの最も距離が短いものから移動したと判定し、これにより被測定物体の存在が判別されることを特徴とするものである。
The present invention is provided with a light irradiation member that irradiates a reference surface with coherent light to form a plurality of reference spots, an imaging member that acquires an image including a reference spot image , and a determination unit.
In the reference plane, arranged regularly in a plurality of reference spots on the reference pattern, when the object to be measured is positioned between the light irradiation member and the reference surface, is located on the reference pattern The reference spot moved to the surface of the measured object,
When the reference spot moves to the surface of the object to be measured, the distance that the reference spot image moves between two consecutive frames of the image is the reference spot image after movement and another reference spot image on the reference pattern. The imaging conditions are the focal length (f) of the imaging member, the baseline length (B) of the light irradiation member and the imaging member, the frame rate (ν), and the reference pattern Of the reference spot image of (d), and the dimension or movement amount of the object to be measured in a direction perpendicular to the reference plane,
When the reference spot image moves on the image, the determination unit determines that the moved reference spot image has moved from the shortest of the plurality of reference spot images located on the standard pattern. Thus, the presence of the object to be measured is discriminated.
本発明の三次元測定装置は、規則的に配列する複数の参照スポットを使用し、画像上でいずれかの参照スポット像の位置に変化が生じたときに、基準パターンにおいて最も近くに存在していた参照スポット像が移動元であると判定する。この判定では、少ない演算量で被測定物体を検知することができる。 The three-dimensional measuring apparatus of the present invention uses a plurality of regularly arranged reference spots, and when the position of any of the reference spot images changes on the image, the three-dimensional measuring apparatus exists closest to the reference pattern. It is determined that the reference spot image is the movement source. In this determination, the object to be measured can be detected with a small amount of calculation.
例えば、後に説明する数１０を使用することで、被測定物の形状と寸法の少なくとも一方を求めることができ、後に説明する数１１を使用することで、被測定物の移動量を求めることができる。 For example, it is possible to obtain at least one of the shape and dimensions of the object to be measured by using Equation 10 described later, and to obtain the movement amount of the object to be measured by using Equation 11 described later. it can.
本発明の三次元測定装置では、それぞれの参照スポットは、前記光照射部材から延びる照射線上に位置し、前記撮像部材による撮像方向が、それぞれの前記照射線と所定角を有して対向しており、前記基準パターンに位置していた参照スポットが被測定物体の表面に移動したときに、画像上に現れる参照スポット像が、前記照射線に対応するエピポーラ線上を移動するものとして構成できる。 In the three-dimensional measuring apparatus of the present invention, each reference spot is located on an irradiation line extending from the light irradiation member, and an imaging direction by the imaging member is opposed to each irradiation line with a predetermined angle. The reference spot image appearing on the image when the reference spot located in the reference pattern moves to the surface of the object to be measured can be configured to move on the epipolar line corresponding to the irradiation line.
この場合に、前記基準パターンでは、複数の参照スポットが、互いに直交する行方向と列方向の双方に一定のピッチで配列しており、前記エピポーラ線は前記行方向と前記列方向の双方に対して所定の角度を成すように、基準パターンでの参照スポットの配列方向が決められていることが好ましい。 In this case, in the standard pattern, a plurality of reference spots are arranged at a constant pitch in both the row direction and the column direction orthogonal to each other, and the epipolar line is in both the row direction and the column direction. It is preferable that the arrangement direction of the reference spots in the standard pattern is determined so as to form a predetermined angle.
上記のように、エピポーラ線を行方向と列方向に対して所定の角度を成す向きに設定すると、エピポーラ線に沿う方向で隣り合う参照スポット像のピッチを長く確保でき、参照スポット像の移動量が比較的長くても、基準パターンのどの位置から移動してきたかを判別しやすくなる。 As described above, when the epipolar line is set in a direction that forms a predetermined angle with respect to the row direction and the column direction, the pitch of the reference spot images adjacent in the direction along the epipolar line can be secured long, and the movement amount of the reference spot image Even if is relatively long, it is easy to determine from which position in the reference pattern the movement has been made.
本発明は、基準パターンにおいて参照スポットが規則的な配列となるように配置されており、被測定対象物が存在して画像上で参照スポット像が移動したときに、移動後の参照スポットが基準パターンにおいて最短距離の位置に存在していた参照スポット像から移動したものと判断する。これにより、比較的負担の少ない演算処理で、被測定物体を高精度に検知することができる。 In the present invention, the reference spots are arranged in a regular pattern in the standard pattern, and when the object to be measured exists and the reference spot image moves on the image, the reference spot after the movement is the standard. It is determined that the pattern has moved from the reference spot image existing at the shortest distance in the pattern. As a result, the object to be measured can be detected with high accuracy by a calculation process with relatively little burden.
本発明は、画像上で、複数の参照スポット像のどれが移動したかを把握することで、被測定物体の形状と寸法を判別できる。また、画像上で、複数の参照スポット像のどれが移動したかを把握することで、被測定物体の移動を判別できる。 The present invention can determine the shape and size of the object to be measured by grasping which of the plurality of reference spot images has moved on the image. Further, by grasping which of the plurality of reference spot images has moved on the image, the movement of the measured object can be determined.
図１と図２に示す三次元測定装置１は、基準面２と、この基準面２に対向する光照射部材１０ならびに撮像部材２０を有している。 The three-dimensional measuring apparatus 1 shown in FIGS. 1 and 2 includes a reference surface 2, a light irradiation member 10 and an imaging member 20 facing the reference surface 2.
図１と図２に示す基準面２は平面であるが、基準面２は凹凸を有するものであってもよい。 Although the reference surface 2 shown in FIGS. 1 and 2 is a flat surface, the reference surface 2 may be uneven.
図１と図２には、基準座標としてＸ−Ｙ−Ｚ座標が示されている。Ｘ−Ｙ面は基準面２と平行な面であり、Ｘ−Ｚ面は基準面１と垂直な平面である。 1 and 2 show XYZ coordinates as reference coordinates. The XY plane is a plane parallel to the reference plane 2, and the XZ plane is a plane perpendicular to the reference plane 1.
光照射部材１０は、コヒーレント光源であるレーザ光源１１と、レーザー光源から発せられる発散光束１４ａを平行光束１４ｂに変換するコリメートレンズ１２と、コリメートレンズ１２で変換された平行光束１４ｂが通過する透過型のホログラム素子１３とを有している。レーザ光源１１は、人が目視できない近赤外線の波長領域のレーザ光を発する。あるいは、可視光のレーザ光を発するものであってもよい。 The light irradiation member 10 includes a laser light source 11 that is a coherent light source, a collimator lens 12 that converts a divergent light beam 14a emitted from the laser light source into a parallel light beam 14b, and a transmission type through which the parallel light beam 14b converted by the collimator lens 12 passes. Hologram element 13. The laser light source 11 emits laser light in the near infrared wavelength region that cannot be seen by humans. Alternatively, visible laser light may be emitted.
ホログラム素子１３は位相型の回折格子であり、平行光束１４ｂが回折されて、所定の発散角度を有する照射光束１４ｃが形成され、照射光束１４ｃが基準面２に与えられる。照射光束１４ｃが基準面２に照射されると、基準面２に複数の基準参照スポット３１が投影される。複数の基準参照スポット３１は、前記レーザ光がホログラム素子１３で回折されて形成されるものであり、図４に示す例では、基準面２に小丸形状の基準参照スポット３１が形成されている。基準参照スポット３１の形状は小丸に限られるものではなく、任意の形状を選択できる。 The hologram element 13 is a phase type diffraction grating, and the parallel light beam 14 b is diffracted to form an irradiation light beam 14 c having a predetermined divergence angle, and the irradiation light beam 14 c is given to the reference surface 2. When the irradiation light beam 14 c is irradiated onto the reference plane 2, a plurality of reference reference spots 31 are projected on the reference plane 2. The plurality of reference reference spots 31 are formed by diffracting the laser beam by the hologram element 13. In the example shown in FIG. 4, the reference reference spot 31 having a small round shape is formed on the reference surface 2. The shape of the reference reference spot 31 is not limited to a small circle, and an arbitrary shape can be selected.
図４に示すように、平面である基準面２に形成されている基準参照スポット３１が、規則的な投影パターンに従って配列されて、基準パターン３０が形成される。ここでの「規則的」とは、いずれか１つの基準参照スポット３１に着目したときに、その基準参照スポット３１とそれぞれの方向で隣接する基準参照スポット３１との方向ならびに距離の相対関係が、他の全ての基準参照スポット３１において同じである関係を意味している。 As shown in FIG. 4, the reference reference spots 31 formed on the reference surface 2 that is a plane are arranged according to a regular projection pattern to form a reference pattern 30. Here, “regular” means that when any one of the reference reference spots 31 is focused, the relative relationship between the direction and the distance between the reference reference spot 31 and the reference reference spot 31 adjacent in each direction is as follows. This means a relationship that is the same in all other reference reference spots 31.
図４に示す基準パターン３０では、基準参照スポット３１が行方向と列方向へ一定のピッチで並ぶ正方格子状に配列している。行方向と列方向は、Ｘ−Ｙ方向に対して傾いた状態で基準参照スポット３１が照射されている。 In the standard pattern 30 shown in FIG. 4, standard reference spots 31 are arranged in a square lattice pattern arranged at a constant pitch in the row direction and the column direction. In the row direction and the column direction, the reference reference spot 31 is irradiated in a state inclined with respect to the XY direction.
図２には、光照射部材１０から基準面２に向けて照射される照射光束１４ｃの照射基準線Ｏａが示されている。照射基準線Ｏａは、レーザ光源１１とコリメートレンズ１２ならびにホログラム素子１３の光軸に一致している。照射基準線ＯａはＸ−Ｚ平面と平行な面内に位置しており、図２の平面図に示すように、照射基準線Ｏａは基準面２からの垂直線Ｈに対して９０度未満の角度θを有して配置されている。 FIG. 2 shows an irradiation reference line Oa of the irradiation light beam 14c irradiated from the light irradiation member 10 toward the reference plane 2. The irradiation reference line Oa coincides with the optical axes of the laser light source 11, the collimating lens 12 and the hologram element 13. The irradiation reference line Oa is located in a plane parallel to the XZ plane, and the irradiation reference line Oa is less than 90 degrees with respect to the vertical line H from the reference plane 2 as shown in the plan view of FIG. They are arranged with an angle θ.
ホログラム素子１３から基準面２に延びる照射光束１４ｃの内部には、それぞれの基準参照スポット３１に個別に対応する照射線１５が含まれている。ホログラム素子１３の回折現象で生成された複数の基準参照スポット３１は、それぞれの照射線１５と基準面２との交点に生成される。照射光束１４ｃは発散光であるため、厳密には個々の照射線１５が拡散角を有しているが、光照射部材１０と基準面２との距離を十分に長く確保することで、図２に示すように、照射線１５を互いにほぼ平行な配置関係として表すことができる。 Inside the irradiation light beam 14c extending from the hologram element 13 to the reference plane 2, irradiation lines 15 corresponding to the respective reference reference spots 31 are included. A plurality of standard reference spots 31 generated by the diffraction phenomenon of the hologram element 13 are generated at the intersections of the respective irradiation lines 15 and the standard surface 2. Strictly speaking, each irradiation line 15 has a diffusion angle because the irradiation light beam 14c is divergent light. However, by ensuring a sufficiently long distance between the light irradiation member 10 and the reference surface 2, FIG. As shown in FIG. 5, the irradiation lines 15 can be expressed as an arrangement relationship substantially parallel to each other.
図１では、光照射部材１０と基準面２との間に被測定物体５が入り込んだ状態が示されている。図１では被測定物体５が人の手である。被測定物体５が入り込むと、その表面に参照スポットが投影される。本明細書では、被測定物体５の表面に投影された参照スポットを移動参照スポット３２と呼んでいる。図２に示すように、移動参照スポット３２は、個々の照射線１５と被測定物体５の表面との交点に生成される。 In FIG. 1, a state in which the object to be measured 5 enters between the light irradiation member 10 and the reference surface 2 is shown. In FIG. 1, the measured object 5 is a human hand. When the measurement object 5 enters, a reference spot is projected on the surface. In this specification, the reference spot projected on the surface of the object to be measured 5 is called a moving reference spot 32. As shown in FIG. 2, the moving reference spot 32 is generated at the intersection of each irradiation line 15 and the surface of the measured object 5.
図１と図２に示すように、撮像部材２０はビデオカメラ２１を有している。図２には、ビデオカメラ２１の撮像基準線Ｏｂが示されている。撮像基準線Ｏｂはビデオカメラ２１の撮像視野の中心線であり、カメラレンズの光軸に一致している。撮像基準線Ｏｂは、Ｘ−Ｚ面と平行な面内に位置し、この面内において、撮像基準線Ｏｂは垂直線Ｈと平行に配置されている。その結果、照射基準線Ｏａと撮像基準線Ｏｂとが、Ｘ−Ｚ面と平行な面内で、角度θを有して対向している。図２に示す実施の形態では角度θは鋭角である。なお、前記角度θを有していれば、照射基準線Ｏａが垂直線Ｈと平行であってもよいし、照射基準線Ｏａと撮像基準線Ｏｂの双方が垂直線Ｈと非平行であってもよい。また角度θは鋭角に限られるものではない。 As shown in FIGS. 1 and 2, the imaging member 20 has a video camera 21. FIG. 2 shows the imaging reference line Ob of the video camera 21. The imaging reference line Ob is the center line of the imaging field of view of the video camera 21, and coincides with the optical axis of the camera lens. The imaging reference line Ob is located in a plane parallel to the XZ plane, and the imaging reference line Ob is arranged in parallel to the vertical line H in this plane. As a result, the irradiation reference line Oa and the imaging reference line Ob face each other with an angle θ in a plane parallel to the XZ plane. In the embodiment shown in FIG. 2, the angle θ is an acute angle. As long as the angle θ is included, the irradiation reference line Oa may be parallel to the vertical line H, or both the irradiation reference line Oa and the imaging reference line Ob are not parallel to the vertical line H. Also good. Further, the angle θ is not limited to an acute angle.
図３には、ビデオカメラ２１で撮像された画像２１ａが示されている。画像２１ａには基準参照スポット像３１ａと移動参照スポット像３２ａが映し出されている。ここでの基準参照スポット像３１ａと移動参照スポット像３２ａは、基準参照スポット３１の反射光を取得した像と、移動参照スポット３２の反射光を取得した像を意味している。 FIG. 3 shows an image 21 a captured by the video camera 21. In the image 21a, a standard reference spot image 31a and a moving reference spot image 32a are projected. Here, the reference reference spot image 31a and the moving reference spot image 32a mean an image obtained from the reflected light of the reference reference spot 31 and an image obtained from the reflected light from the moving reference spot 32.
照射基準線Ｏａと撮像基準線Ｏｂとが所定の角度θ（θは鋭角に限られない）で対向している結果、画像２１ａにおいては、移動参照スポット像３２ａが基準参照スポット像３１ａから延びるエピポーラ線Ｅ上に位置する。エピポーラ線Ｅは、画像２１ａにおいて、基準参照スポット像３１ａとその基準参照スポット像３１ａが移動した移動参照スポット像３２ａとを結ぶ仮想の直線である。 As a result of the irradiation reference line Oa and the imaging reference line Ob facing each other at a predetermined angle θ (θ is not limited to an acute angle), in the image 21a, the moving reference spot image 32a extends from the reference reference spot image 31a. Located on line E. The epipolar line E is a virtual straight line connecting the standard reference spot image 31a and the moving reference spot image 32a to which the standard reference spot image 31a has moved in the image 21a.
図２に示すように、撮像部材２０では、ビデオカメラ２１で取得された画像が、フレーム（コマ）毎にフレームメモリ２２に蓄積される。フレームメモリ２２には複数のフレーム分の画像が蓄積され、新たなフレームの画像が入力されると、最も古いフレームの画像が廃棄される。 As shown in FIG. 2, in the imaging member 20, images acquired by the video camera 21 are accumulated in the frame memory 22 for each frame (frame). A plurality of frames of images are stored in the frame memory 22, and when a new frame image is input, the oldest frame image is discarded.
フレームメモリ２２に蓄積された画像２１ａはフレーム毎に画像分析部２３に送られて画像が分析され、分析結果が判別部２４に送られる。 The image 21 a stored in the frame memory 22 is sent to the image analysis unit 23 for each frame, the image is analyzed, and the analysis result is sent to the determination unit 24.
次に、前記三次元測定装置１の測定動作について説明する。
三次元測定装置１では、基準面２に基準参照スポット３１が投影されている状態で、ビデオカメラ２１で画像が取得される。その画像は、１フレーム毎にフレームメモリ２２に蓄積され、画像分析部２３では、前後のフレームの画像を比較してどの参照スポットが移動したかが分析される。
Next, the measuring operation of the three-dimensional measuring apparatus 1 will be described.
In the three-dimensional measuring apparatus 1, an image is acquired by the video camera 21 in a state where the reference reference spot 31 is projected on the reference plane 2. The image is accumulated in the frame memory 22 for each frame, and the image analysis unit 23 analyzes which reference spot has moved by comparing the images of the previous and subsequent frames.
図５は、フレーム毎に取得される画像２１ａを説明するものであるが、この図には、互いに直交する横軸ｕと縦軸ｖが付加されている。横軸ｕは、図４に示す基準面２におけるＸ軸に対応し、縦軸ｖは基準面２におけるＹ軸に対応している。画像２１ａにおいて参照スポットが移動するエピポーラ線Ｅは、照射基準線Ｏａと撮像基準線Ｏｂとの対向状態により決まるもので、必ずしも横軸ｕや縦軸ｖと平行になるものではないが、図２と図５に示す実施の形態では、説明の都合上、参照スポットが移動するエピポーラ線Ｅが、横軸ｕ（Ｘ軸）と平行となるように設定されている。 FIG. 5 illustrates an image 21a acquired for each frame. In this figure, a horizontal axis u and a vertical axis v which are orthogonal to each other are added. The horizontal axis u corresponds to the X axis on the reference plane 2 shown in FIG. 4, and the vertical axis v corresponds to the Y axis on the reference plane 2. The epipolar line E on which the reference spot moves in the image 21a is determined by the opposed state of the irradiation reference line Oa and the imaging reference line Ob, and is not necessarily parallel to the horizontal axis u or the vertical axis v. In the embodiment shown in FIG. 5, the epipolar line E to which the reference spot moves is set to be parallel to the horizontal axis u (X axis) for the sake of explanation.
図５には、図４に示す基準参照スポット３１の反射像である基準参照スポット像３１ａが白抜きの小丸で示されている。基準パターン３０の照射領域に被測定物体５が存在していないときに取得される第１フレームの画像２１ａでは、複数の基準参照スポット像３１ａが、正方格子状に規則的に配列した基準パターン像３０ａを構成している。 In FIG. 5, a standard reference spot image 31a, which is a reflection image of the standard reference spot 31 shown in FIG. In the first frame image 21a acquired when the measurement object 5 does not exist in the irradiation region of the reference pattern 30, a plurality of reference reference spot images 31a are regularly arranged in a square lattice pattern. 30a.
第１フレームに続く第２フレームの画像２１ａが取得されたときに、被測定物体５が存在してその表面に移動参照スポット３２が照射されていると、画像２１ａに移動参照スポット像３２ａが現れる。この移動参照スポット３２ａは元の基準参照スポット像３１ａ上を通るエピポーラ線Ｅ上に位置する。図５では、第２フレームの画像２１ａに現れた移動参照スポット像３２ａが黒で塗られた小丸で示されている。 When the image 21a of the second frame following the first frame is acquired, the moving reference spot image 32a appears in the image 21a if the measured object 5 exists and the moving reference spot 32 is irradiated on the surface thereof. . This moving reference spot 32a is located on an epipolar line E passing through the original standard reference spot image 31a. In FIG. 5, the moving reference spot image 32a appearing in the image 21a of the second frame is indicated by a small circle painted in black.
また、既に基準パターン３０の照射領域に存在している人の手などの被測定物体５が、前記照射領域内で動いたときは、移動参照スポット像３２ａが、その移動参照スポット像３２ａの元の位置を通過するエピポーラ線Ｅ上を移動する。 Further, when the measured object 5 such as a human hand already existing in the irradiation area of the standard pattern 30 moves in the irradiation area, the moving reference spot image 32a is the original of the moving reference spot image 32a. It moves on the epipolar line E passing through the position.
図５に示すように、この三次元測定装置１では、第１フレームの画像２１ａで規則的に配置された基準参照スポット３１ａが動いておらず、次の第２フレームの画像２１ａに移動参照スポット像３２ａが現れたときに、第１フレームの基準参照スポット像３１ａと第２のフレームの測定対象となる移動参照スポット像３２ａとの間のエピポーラ線Ｅ上での移動距離Ｌ１が、第１フレームで既に取得されていた複数の基準参照スポット像３１ａのうちの移動元でない基準参照スポット像３１ａと測定対象である移動参照スポット像３２ａとの最短距離Ｌ２よりも短くなるように（Ｌ１＜Ｌ２となるように）撮像条件が決められている。 As shown in FIG. 5, in the three-dimensional measuring apparatus 1, the reference reference spot 31a regularly arranged in the first frame image 21a does not move, and the moving reference spot appears in the next second frame image 21a. When the image 32a appears, the moving distance L1 on the epipolar line E between the reference reference spot image 31a of the first frame and the moving reference spot image 32a to be measured in the second frame is the first frame. The reference reference spot image 31a that is not the movement source among the plurality of reference reference spot images 31a that have already been acquired in step S3 is shorter than the shortest distance L2 between the reference reference spot image 31a that is the measurement target and the movement reference spot image 32a that is the measurement target (L1 <L2 The imaging conditions are determined.
また、照射領域内に既に存在する被測定物体５が照射領域内で移動するときも、フレーム間で移動した測定対象となる移動参照スポット像３２ａのエピポーラ線Ｅ上での移動距離Ｌ１が、先のフレームの複数の移動参照スポット像３２ａのうちの移動元でない他の移動参照スポット像３２ａと測定対象となる移動参照スポット像３２ａとの最短距離Ｌ２よりも短くなるように（Ｌ１＜Ｌ２となるように）撮像条件が決められている。 Further, even when the measured object 5 that already exists in the irradiation region moves within the irradiation region, the movement distance L1 on the epipolar line E of the moving reference spot image 32a that is the measurement target moved between the frames is determined as follows. Among the plurality of moving reference spot images 32a in the frame, the moving reference spot image 32a that is not the moving source and the moving reference spot image 32a to be measured are shorter than the shortest distance L2 (L1 <L2). Like) imaging conditions are determined.
前記条件（Ｌ１＜Ｌ２）は、撮像部材２０の焦点距離（ｆ）、光照射部材１０と撮像部材１０との基線長（Ｂ）、フレームレート（ν）、基準参照スポット３１の最短ピッチ（ｄ）、ならびに基準面２から垂直な方向での被測定物体５の寸法または移動量に依存する。ここで、被測定物体５は通常は人の手であり、その大きさと移動速度、ならびに基準面２に対するＺ方向の操作位置を予め予測できる。そのため、撮像部材２０の焦点距離（ｆ）、光照射部材１０と撮像部材２０との基線長（Ｂ）、フレームレート（ν）、基準参照スポット３１の最短ピッチ（ｄ）を調整することで、前記条件（Ｌ１＜Ｌ２）を満たすことが可能である。 The conditions (L1 <L2) include the focal length (f) of the imaging member 20, the baseline length (B) between the light irradiation member 10 and the imaging member 10, the frame rate (ν), and the shortest pitch (d ) As well as the size or amount of movement of the measured object 5 in the direction perpendicular to the reference plane 2. Here, the object to be measured 5 is usually a human hand, and its size and moving speed, and the operation position in the Z direction with respect to the reference plane 2 can be predicted in advance. Therefore, by adjusting the focal length (f) of the imaging member 20, the baseline length (B) between the light irradiation member 10 and the imaging member 20, the frame rate (ν), and the shortest pitch (d) of the reference reference spot 31, The condition (L1 <L2) can be satisfied.
前記条件（Ｌ１＜Ｌ２）が満たされていると、基準面２の手前に被測定物体５が存在して移動参照スポット像３２ａが現れたときに、その直前のフレームで得られた画像２１ａの複数の基準参照スポット像３１ａのうち、移動参照スポット像３２ａから最も近い位置にある基準参照スポット像３１ａを、その移動参照スポット像３２ａの移動元であると特定することができる。 When the condition (L1 <L2) is satisfied, when the measured object 5 exists in front of the reference plane 2 and the moving reference spot image 32a appears, the image 21a obtained in the immediately preceding frame is displayed. Of the plurality of reference reference spot images 31a, the reference reference spot image 31a located closest to the moving reference spot image 32a can be specified as the movement source of the moving reference spot image 32a.
同様に、既に基準面２の手前に位置する被測定物体５が移動し、移動参照スポット像３２ａが移動したときにも、その直前のフレームで得られた画像２１ａの複数の移動参照スポット像３２ａのうち、対象となる移動参照スポット像３２ａから最も近い位置にある移動参照スポット像３２ａを、その移動参照スポット像３２ａの移動元であると特定することができる。 Similarly, even when the measured object 5 already positioned in front of the reference plane 2 moves and the moving reference spot image 32a moves, a plurality of moving reference spot images 32a of the image 21a obtained in the immediately preceding frame are moved. Among them, the movement reference spot image 32a located closest to the target movement reference spot image 32a can be specified as the movement source of the movement reference spot image 32a.
画像２１ａ上で規則的に配列する基準参照スポット像３１ａと移動参照スポット像３２ａには、それぞれが区別できるように予め識別記号が付されている。この識別符号は座標点を表す番号などである。移動参照スポット像３２ａは、移動すると座標点が変るため、識別符号が変化し、対応する移動参照スポット像３２ａの識別符号がフレーム間で相違してしまう。ただし、判別部２４では、移動後の移動参照スポット像３２ａから最も近い距離に存在していた基準参照スポット像３１ａまたは移動参照スポット像３２ａの識別記号が、移動した参照スポット像３２ａのものであると特定することが可能になる。 The reference reference spot image 31a and the moving reference spot image 32a regularly arranged on the image 21a are preliminarily provided with identification symbols so that they can be distinguished from each other. This identification code is a number representing a coordinate point. Since the coordinate point of the moving reference spot image 32a changes when it moves, the identification code changes, and the identification code of the corresponding moving reference spot image 32a differs between frames. However, in the discriminating unit 24, the identification symbol of the reference reference spot image 31a or the moving reference spot image 32a existing at the closest distance from the moved moving reference spot image 32a is that of the moved reference spot image 32a. It becomes possible to specify.
多数の基準参照スポット像３１ａまたは移動参照スポット像３２ａのうちの移動した参照スポットを特定することで、被測定物体５の形状や、被測定物体５がどの方向へ移動しているかなどを、判別部２４で判別できるようになる。 By identifying the moved reference spot among the many reference reference spot images 31a or the moving reference spot images 32a, it is possible to determine the shape of the object to be measured 5 and the direction in which the object to be measured 5 is moving. The unit 24 can discriminate.
この特定方法は、ランダムに配列した参照スポットを使用した従来例に比べて演算処理を軽減できる。さらに、画像上でエピポーラ線Ｅを特定できなくても、移動元の基準参照スポット像３１ａを特定できるため、被測定物体５の位置や移動を測定する演算処理を容易に行うことができる。 This identification method can reduce the arithmetic processing as compared with the conventional example using the reference spots arranged at random. Furthermore, even if the epipolar line E cannot be identified on the image, the reference reference spot image 31a as the movement source can be identified, so that the arithmetic processing for measuring the position and movement of the measured object 5 can be easily performed.
図５に示す実施の形態では、照射線１５に相当しているエピポーラ線Ｅがｕ軸方向に延びているが、基準パターン像３０ａの行方向と列方向は、ｕ軸とｖ軸と平行になっていない。すなわちエピポーラ線Ｅは、行方向ならびに列方向に角度を有して延びている。基準パターン像３０ａとエピポーラ線Ｅとの関係がこのように設定されていると、前記条件（Ｌ１＜Ｌ２）を、さらに設定しやすくなる。 In the embodiment shown in FIG. 5, the epipolar line E corresponding to the irradiation line 15 extends in the u-axis direction, but the row direction and the column direction of the reference pattern image 30a are parallel to the u-axis and the v-axis. is not. That is, the epipolar line E extends at an angle in the row direction and the column direction. When the relationship between the reference pattern image 30a and the epipolar line E is set in this way, the condition (L1 <L2) can be set more easily.
図６（Ａ）は、エピポーラ線Ｅと、基準パターン像３０ａの行方向とが一致している例を示し、図６（Ｂ）は、エピポーラ線Ｅが、行方向と列方向に対して４５度の角度に延びている例を示している。図６（Ａ）では、基準参照スポット像３１ａとその次のフレームで得られた移動参照スポット像３２ａとの距離が（ｄ／２）を超えないように前後のフレームの取得時間を設定しないと、移動参照スポット像３２ａがどの基準参照スポット像３１ａから移動したのかが解らなくなる。（ｄ）は基準参照スポット像３１ａの配列ピッチである。 6A shows an example in which the epipolar line E matches the row direction of the reference pattern image 30a. FIG. 6B shows that the epipolar line E is 45 in the row direction and the column direction. An example extending at an angle of degrees is shown. In FIG. 6A, the acquisition time of the previous and subsequent frames must be set so that the distance between the reference reference spot image 31a and the moving reference spot image 32a obtained in the next frame does not exceed (d / 2). The reference reference spot image 31a from which the moving reference spot image 32a has moved cannot be understood. (D) is the arrangement pitch of the standard reference spot images 31a.
これに対し、図６（Ｂ）では、移動参照スポット像３２ａと基準参照スポット像３１ａとの距離が（ｄ／２）を超えたとしても、最短距離に有った基準参照スポット像３１ａを移動元であると特定することができる。 On the other hand, in FIG. 6B, even if the distance between the moving reference spot image 32a and the standard reference spot image 31a exceeds (d / 2), the standard reference spot image 31a at the shortest distance is moved. Can be identified as original.
よって、エピポーラ線Ｅの方向を、行方向と列方向に対して４５度±β（βは４５度未満）の角度に設定しておくことで、フレームレートが低くても、移動参照スポット像３２ａの最短距離に有った基準参照スポット像３１ａを移動元である、と特定できるようになる。 Therefore, by setting the direction of the epipolar line E to an angle of 45 ° ± β (β is less than 45 °) with respect to the row direction and the column direction, even if the frame rate is low, the moving reference spot image 32a. The reference reference spot image 31a having the shortest distance can be specified as the movement source.
図５に示す例のように、移動参照スポット像３２ａが現れたときに、または移動参照スポット像３２ａが移動したときに、その移動参照スポット像３２ａが、移動元の基準参照スポット像３１ａを中心とした一辺の長さが（ｄ）である四角形領域３５の内部に位置するようにフレームレートやその他の撮像条件を設定すれば、移動参照スポット像３２ａから最短に位置していた基準参照スポット像３１ａを移動元であると特定することが可能である。 As in the example shown in FIG. 5, when the moving reference spot image 32a appears or when the moving reference spot image 32a moves, the moving reference spot image 32a is centered on the reference reference spot image 31a that is the movement source. If the frame rate and other imaging conditions are set so as to be located inside the quadrangular area 35 having a side length of (d), the reference reference spot image located at the shortest distance from the moving reference spot image 32a. It is possible to specify 31a as the movement source.
次に、前記条件（Ｌ１＜Ｌ２）を成立させるためのパラメータを説明する。
図５に示すように、基準パターン像３０ａ上では基準参照スポット像３１ａが正方格子状に配列しており、行方向と列方向での基準参照スポット像３１ａのピッチがｄである。エピポーラ線Ｅの向きはｕ軸と平行であり、エピポーラ線Ｅと行方向の成す角度はΦである。Φは、−（π／４）＜Φ≦（π／４）である。
Next, parameters for satisfying the condition (L1 <L2) will be described.
As shown in FIG. 5, the standard reference spot images 31a are arranged in a square lattice pattern on the standard pattern image 30a, and the pitch of the standard reference spot images 31a in the row direction and the column direction is d. The direction of the epipolar line E is parallel to the u axis, and the angle formed by the epipolar line E and the row direction is Φ. Φ is − (π / 4) <Φ ≦ (π / 4).
以下では、ｉ行でｊ列に位置する基準参照スポット像３１ａを識別記号α＝（ｉ，ｊ）で表し、行方向においてその前後に位置する基準参照スポット像３１ａの識別記号をそれぞれ、α＋＝（ｉ，ｊ＋１）、α−＝（ｉ，ｊ−１）で表している。 Hereinafter, the reference reference spot image 31a located in the i-th row and the j-th column is represented by an identification symbol α = (i, j), and the identification symbols of the reference reference spot images 31a located before and after the row direction in the row direction are respectively α +. = (I, j + 1), α − = (i, j−1).
時刻ｔ＝ｔｋ−１のフレームにおけるα＝（ｉ，ｊ）の基準参照スポット像３１ａの座標を以下の数１とすると、α＋＝（ｉ，ｊ＋１）とα−＝（ｉ，ｊ−１）の基準参照スポット像３１ａは、まとめてα±として、以下の数２で表すことができる。 Assuming that the coordinates of the reference reference spot image 31a of α = (i, j) in the frame at time t = tk −1 are expressed by the following equation 1, α + = (i, j + 1) and α − = (i, j− The standard reference spot image 31a of 1) can be expressed by the following formula 2 as α ± collectively.
次のフレーム取得時刻ｔ＝ｔｋ＝ｔｋ−１＋Δｔにおけるα＝（ｉ，ｊ）の基準参照スポット像３１ａの座標は、ｍ´α（ｔｋ）＝（ｕ´α（ｔｋ），ｖ´α（ｔｋ））である。ｕ´α（ｔｋ）とｖ´α（ｔｋ）は、以下の数３で表される。 The coordinates of the reference reference spot image 31a of α = (i, j) at the next frame acquisition time t = t k = t k−1 + Δt are m ′ α (t k ) = (u ′ α (t k ), v ′ α (t k )). u ′ α (t k ) and v ′ α (t k ) are expressed by Equation 3 below.
数３におけるＺα（ｔｋ−１），Ｚα（ｔｋ）は、それぞれ、時刻ｔｋ−１ならびにｔｋにおけるα＝（ｉ，ｊ）の基準参照スポット像３１ａのｕ−ｖ−Ｚの三次元座標上のＺ成分である。なお、ｕ−ｖ座標は画像座標であり、Ｚは世界座標(空間座標)のＺ成分である。すなわちｕ−ｖとＺは別々の座標系である。ｆはビデオカメラ２１の焦点距離であり、Ｂは光照射部材１０と撮像部材２０との基線長である。また、ΔＺα（ｔｋ）＝Ｚα（ｔｋ）−Ｚα（ｔｋ−１）であり、Δｕ’α（ｔｋ）＝ｕ’α（ｔｋ）−ｕ’α（ｔｋ−１）である。 Z α (t k−1 ) and Z α (t k ) in Equation 3 are uvZ of the reference reference spot image 31a of α = (i, j) at time t k−1 and t k , respectively. The Z component on the three-dimensional coordinates. The uv coordinates are image coordinates, and Z is a Z component of world coordinates (space coordinates). That is, uv and Z are separate coordinate systems. f is a focal length of the video camera 21, and B is a baseline length between the light irradiation member 10 and the imaging member 20. ΔZ α (t k ) = Z α (t k ) −Z α (t k−1 ), and Δu ′ α (t k ) = u ′ α (t k ) −u ′ α (t k− 1 ).
図５に示す距離Ｌ１，Ｌ２は、以下の数４で定義でき、さらに数５に整理できる。 The distances L1 and L2 shown in FIG. 5 can be defined by the following formula 4 and further organized by the formula 5.
ここで、Ｌ１＜Ｌ２となる条件を探すと、数５から、ｖ´α（ｔｋ）に対して以下の数６の条件が導かれる。 Here, when a condition that satisfies L1 <L2 is searched, the following Expression 6 is derived from Expression 5 for v ′ α (t k ).
また、図３を用いてΔＺα（ｔｋ）に対する条件式を求めると、２ｆＢｃｏｓΦ−Ｚα（ｔｋ−１）ｄ＞０の場合には、以下の数７となる。 Further, when a conditional expression for ΔZ α (t k ) is obtained with reference to FIG. 3, in the case of 2fBcosΦ−Z α (t k−1 ) d> 0, the following Expression 7 is obtained.
２ｆＢｃｏｓΦ−Ｚα（ｔｋ−１）ｄ＜０のときは、視差が以下の数８を満たすため、ΔＺα（ｔｋ）の上限がなくなり、数９となる。 When 2fB cos Φ−Z α (t k−1 ) d <0, since the parallax satisfies the following formula 8, the upper limit of ΔZ α (t k ) is eliminated and the formula 9 is obtained.
被測定物体５が存在しているときのＺ成分の範囲をＺｍｉｎ≦Ｚ≦Ｚｍａｘとすると、Ｚ＝Ｚｍｉｎのときに数７は最も厳しい条件を与え、以下の数１０となる。 Assuming that the range of the Z component when the measured object 5 exists is Z min ≦ Z ≦ Z max , Equation 7 gives the most severe condition when Z = Z min , and Equation 10 below.
以上から、焦点距離（ｆ）、基線長（Ｂ）、基準パターン３０ａの配列ピッチ（ｄ）と角度（Φ）ならびに、基準参照スポット像３１ａのＺ方向の移動最短距離（Ｚｍｉｎ）を調整することで、条件（Ｌ１＜Ｌ２）を実現できる。数１０で、条件（Ｌ１＜Ｌ２）を実現することで、どの基準参照スポット像３１ａが動いたかを知ることができ、その結果、被測定物５の寸法と形状とを把握することができる。 From the above, the focal length (f), the base line length (B), the arrangement pitch (d) and the angle (Φ) of the standard pattern 30a, and the shortest movement distance (Z min ) in the Z direction of the standard reference spot image 31a are adjusted. Thus, the condition (L1 <L2) can be realized. By realizing the condition (L1 <L2) in Expression 10, it is possible to know which reference reference spot image 31a has moved, and as a result, it is possible to grasp the size and shape of the DUT 5.
なお、被測定物５が既に基準パターン３０の照射領域に有り、
フレーム間で被測定物５が移動する場合には、
ΔＺα（ｔｋ）の代わりに、被測定物体５のＺ方向の移動速度であるΔＶα（ｔｋ）＝ΔＺα（ｔｋ）／Δｔを用いて数１０を書き換えると、以下の数１１となる。数１１のνはフレームレートであり、Δｔ＝１／νである。
In addition, the DUT 5 is already in the irradiation area of the reference pattern 30,
When the DUT 5 moves between frames,
Instead of ΔZ α (t k), the rewrite number 10 using ΔV α (t k) = ΔZ α (t k) / Δt is the moving speed of the Z-direction of the object to be measured 5, following Expression 11 It becomes. In Equation 11, ν is a frame rate, and Δt = 1 / ν.
以上から、焦点距離（ｆ）、基線長（Ｂ）フレームレート（ν）、基準パターン３０ａの配列ピッチ（ｄ）と角度（Φ）ならびに、基準参照スポット像３１ａのＺ方向の移動最短距離（Ｚｍｉｎ）を調整することで、条件（Ｌ１＜Ｌ２）を実現可能な操作対象の動作速度を定義することができる。数１１で、条件（Ｌ１＜Ｌ２）を実現することで、被測定物５の移動量を把握できる。 From the above, the focal length (f), the baseline length (B), the frame rate (ν), the arrangement pitch (d) and the angle (Φ) of the standard pattern 30a, and the minimum movement distance (Z in the Z direction of the standard reference spot image 31a) By adjusting ( min ), it is possible to define the operation speed of the operation target that can realize the condition (L1 <L2). By realizing the condition (L1 <L2) in Equation 11, the amount of movement of the DUT 5 can be grasped.
前記実施の形態では
、基準参照スポット像３１ａと移動参照スポット像３２ａとの距離Ｌ１を算出して、最も近い距離に存在していた基準参照スポット３１ａと移動参照スポット像３２ａとを関連付けている。しかし、本発明は、基準参照スポット像３１ａおよび移動参照スポット像３２ａの座標を比較することで距離を算出するのではなく、距離の算出手法を変えても良い。具体的には各スポット像の座標変換を行った後に比較を行っても良い。
In the embodiment, the distance L1 between the reference reference spot image 31a and the moving reference spot image 32a is calculated, and the reference reference spot 31a and the moving reference spot image 32a that existed at the closest distance are associated with each other. However, in the present invention, the distance calculation method may be changed instead of calculating the distance by comparing the coordinates of the reference reference spot image 31a and the moving reference spot image 32a. Specifically, the comparison may be performed after coordinate conversion of each spot image.
例えば、光照射部材１０から照射されるスポット像を片方の画像とみなすことで、撮像部材２０とのステレオ系として考えることができる。この場合には、光照射部材１０から出射されるスポット像と撮像部材２０内のスポット像の間の変換を表す射影変換行列を定義することができるため、射影変換を行ってスポット像を整列させた後に距離を算出することができる。 For example, it can be considered as a stereo system with the imaging member 20 by regarding the spot image irradiated from the light irradiation member 10 as one image. In this case, a projective transformation matrix that represents the transformation between the spot image emitted from the light irradiating member 10 and the spot image in the imaging member 20 can be defined. Therefore, the projective transformation is performed to align the spot images. After that, the distance can be calculated.
ここでの射影変換行列とは、ステレオ画像間の点の変換行列を意味している。レーザー・カメラ系も、レーザーの投光パターンを片方の画像とみなすことでステレオ系と考えることができるため、投光パターンとカメラ画像内のレーザー点の間の変換を表す射影変換行列を定義することができる。 Here, the projective transformation matrix means a transformation matrix of points between stereo images. Since the laser camera system can also be considered as a stereo system by regarding the laser projection pattern as one image, a projective transformation matrix representing the transformation between the projection pattern and the laser points in the camera image is defined. be able to.
その際には、各フレームで用いる射影変換行列は、前フレームで求めた射影変換行列を、前後フレーム両方のスポット像に対して用いるものとする。 In this case, as the projection transformation matrix used in each frame, the projection transformation matrix obtained in the previous frame is used for the spot images of both the previous and subsequent frames.
前後フレームで共通の射影変換行列を用いる理由は、それぞれのフレームで求めた射影変換行列を用いてそれぞれのスポット像を変換したとすると、変換先の基準参照スポット像３１ａが同一であるため、両方のフレームのスポット像が重なることになる。射影変換行列を求める際に、基準参照スポット像３１ａと移動参照スポット像３２ａとが正しく対応付けされていれば問題ないが、対応付けができていない際には変換後のスポット像が行または列ごとずれて重なってしまう。この場合は、フレーム間のスポット像の対応付けは最も近い距離のものを対応付ける最近傍探索というよりも、基準参照スポット像３１ａの対応付けの問題になってしまう。 The reason why a common projection transformation matrix is used in the preceding and following frames is that if the respective spot images are transformed using the projection transformation matrix obtained in each frame, the reference reference spot image 31a of the transformation destination is the same. The spot images of the frames overlap. When obtaining the projective transformation matrix, there is no problem if the reference reference spot image 31a and the moving reference spot image 32a are correctly associated with each other, but when the correspondence is not established, the converted spot image is a row or column. They will overlap each other and overlap. In this case, associating the spot images between frames becomes a problem of associating the reference reference spot images 31a rather than the nearest neighbor search for associating the closest distance image.
なお、射影変換は各スポット像を全て含む画像全体に対して一回行うか、または画像を分割し、その分割されたそれぞれの領域で射影変換行列を行い、結果を組み合わせる、のいずれかを選択すれば良い。 Note that the projective transformation is either performed once for the entire image including all the spot images, or the image is divided, the projection transformation matrix is performed on each of the divided areas, and the result is combined. Just do it.
射影変換を用いた演算プロセスは以下の通りである。
仮想画像上のα番目の格子点座標を（ｕα，ｖα）、カメラ画像上の対応する格子点座標を（ｕ´α，ｖ´α）、カメラ画像座標を仮想画像に変換する射影変換行列を以下の数１２とすると、変換式は数１３で与えられる。数１３でのｓはスカラーである。
The calculation process using projective transformation is as follows.
The alpha-th grid point coordinates on the virtual image (u α, v α), the corresponding grid point coordinates on the camera image (u'α, v'α), the projective transformation for converting the camera image coordinates in the virtual image Assuming that the matrix is the following Expression 12, the conversion formula is given by Expression 13. In Equation 13, s is a scalar.
射影変換行列Ｈの自由度は８であり、４つ以上の仮想画像とカメラ画像上の格子点の組があれば、最小二乗法によりＨを求めることができる。 The degree of freedom of the projective transformation matrix H is 8, and if there are a set of four or more virtual images and lattice points on the camera image, H can be obtained by the method of least squares.
数１５のように定義すると、β≧４の場合に、ｈを数１６のように求めることができる。ここでＷ＋はＷの疑似逆行列を表す。 If defined as Equation 15, h can be obtained as Equation 16 when β ≧ 4. Here, W + represents a pseudo inverse matrix of W.
この射影変換行列を使用する手法は、被測定物が既にレーザーの照射範囲にあり、フレーム間で被測定物が移動する場合でも同様に計算できる。 The method using the projective transformation matrix can be similarly calculated even when the object to be measured is already in the laser irradiation range and the object to be measured moves between frames.
１ 三次元測定装置
２ 基準面
５ 被測定物体
１０ 光照射部材
１１ レーザ光源
１２ コリメートレンズ
１３ ホログラム素子
１５ 照射線
２０ 撮像部材
２１ ビデオカメラ
３０ 基準パターン
３０ａ 基準パターン像
３１ 基準参照スポット
３１ａ 基準参照スポット像
３２ 移動参照スポット
３２ａ 基準スポット像
Ｅ エピポーラ線
Ｏａ 照射基準線
Ｏｂ 撮像基準線
DESCRIPTION OF SYMBOLS 1 Three-dimensional measuring apparatus 2 Reference | standard surface 5 Object 10 Light irradiation member 11 Laser light source 12 Collimating lens 13 Hologram element 15 Irradiation line 20 Imaging member 21 Video camera 30 Reference pattern 30a Reference pattern image 31 Reference reference spot 31a Reference reference spot image 32 Moving reference spot 32a Reference spot image E Epipolar line Oa Irradiation reference line Ob Imaging reference line
Claims (5)
前記基準面では、複数の参照スポットが基準パターン上で規則的に配列し、被測定物体が前記光照射部材と前記基準面との間に位置したときに、前記基準パターン上に位置していた参照スポットが、被測定物体の表面に移動し、
参照スポットが被測定物体の表面に移動する際に、前記画像の連続する２つのフレームの間で参照スポット像が移動する距離は、移動後の参照スポット像と基準パターン上の他の参照スポット像との距離よりも短くなるように、撮像条件が、前記撮像部材の焦点距離（ｆ）、前記光照射部材と前記撮像部材との基線長（Ｂ）、フレームレート（ν）、前記基準パターンでの参照スポット像の最短ピッチ（ｄ）、ならびに前記基準面から垂直な方向での被測定物体の寸法または移動量、に基づいて決められており、
前記判別部では、前記画像上で参照スポット像が移動したら、移動後の参照スポット像が、基準パターン上に位置していた複数の参照スポット像のうちの最も距離が短いものから移動したと判定し、これにより被測定物体の存在が判別されることを特徴とする三次元測定装置。 A light irradiation member that irradiates the reference surface with coherent light to form a plurality of reference spots, an imaging member that acquires an image including a reference spot image , and a determination unit are provided,
In the reference plane, arranged regularly in a plurality of reference spots on the reference pattern, when the object to be measured is positioned between the light irradiation member and the reference surface, is located on the reference pattern The reference spot moved to the surface of the measured object,
When the reference spot moves to the surface of the object to be measured, the distance that the reference spot image moves between two consecutive frames of the image is the reference spot image after movement and another reference spot image on the reference pattern. The imaging conditions are the focal length (f) of the imaging member, the baseline length (B) of the light irradiation member and the imaging member, the frame rate (ν), and the reference pattern Of the reference spot image of (d), and the dimension or movement amount of the object to be measured in a direction perpendicular to the reference plane,
When the reference spot image moves on the image, the determination unit determines that the moved reference spot image has moved from the shortest of the plurality of reference spot images located on the standard pattern. Thus, the three-dimensional measuring apparatus is characterized in that the presence of the object to be measured is determined.
前記基準パターンに位置していた参照スポットが被測定物体の表面に移動したときに、画像上に現れる参照スポット像が、前記照射線に対応するエピポーラ線上を移動する請求項１ないし３のいずれかに記載の三次元測定装置。 Each reference spot is located on an irradiation line extending from the light irradiation member, and an imaging direction by the imaging member is opposed to each irradiation line with a predetermined angle,
When the reference spot located in the reference pattern is moved on the surface of the object to be measured, the reference spot image appearing on the image, any one of claims 1 to 3 to move the epipolar line corresponding to the radiation The three-dimensional measuring apparatus described in 1.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014155876A JP6337677B2 (en) | 2014-07-31 | 2014-07-31 | 3D measuring device |
| PCT/JP2015/070782 WO2016017489A1 (en) | 2014-07-31 | 2015-07-22 | Three-dimensional measurement apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014155876A JP6337677B2 (en) | 2014-07-31 | 2014-07-31 | 3D measuring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016033463A JP2016033463A (en) | 2016-03-10 |
| JP6337677B2 true JP6337677B2 (en) | 2018-06-06 |
Family
ID=55217390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014155876A Active JP6337677B2 (en) | 2014-07-31 | 2014-07-31 | 3D measuring device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6337677B2 (en) |
| WO (1) | WO2016017489A1 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2725207B2 (en) * | 1989-07-11 | 1998-03-11 | オムロン株式会社 | Position measuring device |
| JP3689720B2 (en) * | 2000-10-16 | 2005-08-31 | 住友大阪セメント株式会社 | 3D shape measuring device |
| JP3677444B2 (en) * | 2000-10-16 | 2005-08-03 | 住友大阪セメント株式会社 | 3D shape measuring device |
| JP3782815B2 (en) * | 2004-02-04 | 2006-06-07 | 住友大阪セメント株式会社 | Respiratory analyzer |
-
2014
- 2014-07-31 JP JP2014155876A patent/JP6337677B2/en active Active
-
2015
- 2015-07-22 WO PCT/JP2015/070782 patent/WO2016017489A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016017489A1 (en) | 2016-02-04 |
| JP2016033463A (en) | 2016-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6876776B2 (en) | Distance sensor | |
| JP4290733B2 (en) | Three-dimensional shape measuring method and apparatus | |
| JP7133554B2 (en) | Range sensor with adjustable focus image sensor | |
| JP6484071B2 (en) | Object detection device | |
| US20160328854A1 (en) | Distance sensor | |
| JP6484072B2 (en) | Object detection device | |
| EP2568253B1 (en) | Structured-light measuring method and system | |
| KR101925028B1 (en) | Apparatus and method of generating depth image | |
| JP2020531849A5 (en) | ||
| US20130279753A1 (en) | Distance-Varying Illumination and Imaging Techniques for Depth Mapping | |
| US10648789B2 (en) | Method for monitoring linear dimensions of three-dimensional objects | |
| JP2006505784A (en) | Ranging device | |
| US10181085B2 (en) | Augmented object detection using structured light | |
| JP4568800B2 (en) | Droplet state measuring apparatus and camera calibration method in the apparatus | |
| CN109391758A (en) | Sample in sample retainer is imaged | |
| JP2022532725A (en) | Mapping of 3D depth map data onto a 2D image | |
| JP6337677B2 (en) | 3D measuring device | |
| JP6388806B2 (en) | Projection image generation apparatus, projection image generation program, and projection image generation method | |
| JP6436349B2 (en) | Object detection device | |
| JP2006308452A (en) | Method and apparatus for measuring three-dimensional shape | |
| JP2010060420A (en) | Surface shape and/or film thickness measuring method and its system | |
| JP2014085257A (en) | Information acquisition device and object detection device | |
| JP2017015456A (en) | Measurement system and measurement method | |
| JP2014085282A (en) | Information acquisition device and object detection device | |
| JP2016180645A (en) | Non-contact surface shape measurement device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6337677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |