WO2020075213A1 - 計測装置、計測方法および顕微鏡システム - Google Patents

計測装置、計測方法および顕微鏡システム Download PDF

Info

Publication number
WO2020075213A1
WO2020075213A1 PCT/JP2018/037497 JP2018037497W WO2020075213A1 WO 2020075213 A1 WO2020075213 A1 WO 2020075213A1 JP 2018037497 W JP2018037497 W JP 2018037497W WO 2020075213 A1 WO2020075213 A1 WO 2020075213A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
subject
image
imaging unit
rotation angle
Prior art date
Application number
PCT/JP2018/037497
Other languages
English (en)
French (fr)
Inventor
隼一 古賀
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/037497 priority Critical patent/WO2020075213A1/ja
Priority to CN201880098344.7A priority patent/CN112805607A/zh
Priority to JP2020551070A priority patent/JPWO2020075213A1/ja
Publication of WO2020075213A1 publication Critical patent/WO2020075213A1/ja
Priority to US17/174,484 priority patent/US20210183092A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a measuring device, a measuring method, and a microscope system.
  • the objective optical system is generally a telecentric optical system, and when measuring a three-dimensional shape by the above method, a low-magnification lens used for wide-field observation has a wide focusing range. Therefore, there is an inconvenience that the height cannot be accurately measured.
  • the present invention aims to provide a measuring device, a measuring method, and a microscope system capable of measuring height dimensions with a wide field of view and with high accuracy by using a telecentric optical system.
  • an imaging unit that includes an optical system that is telecentric on at least the object side and that captures an image of a subject, and the imaging unit and the subject relative to each other around an axis that intersects the optical axis of the optical system.
  • a rotation moving unit that rotates, an angle detecting unit that detects a rotation angle by the rotation moving unit, the two images acquired by the imaging unit before and after the rotation movement by the rotation moving unit, and the angle detecting unit.
  • a calculation unit that calculates the height dimension of the subject based on the rotation angle detected by.
  • the subject and the image capturing unit are arranged at a predetermined relative position, the image of the subject is acquired by the image capturing unit, and then the rotation of the rotation moving unit causes the rotation of the axis line intersecting the optical axis of the optical system.
  • the subject and the image pickup unit are relatively rotated, and the rotation angle detection unit detects the rotation angle.
  • the image of the subject is acquired by the imaging unit at the relative position after rotation.
  • the calculation unit calculates the height dimension of the subject based on the two images acquired before and after the rotational movement and the rotation angle.
  • each position of the subject in the two-dimensional direction orthogonal to the optical axis can be measured by the imaging unit, and the height dimension of each position of the subject can be calculated by the above method, and the telecentric optical system is used.
  • the height dimension can be measured with a wide field of view and with high accuracy.
  • the subject may be fixed on the optical axis, and the rotational movement unit may rotationally move the imaging unit around the axis.
  • the subject can be fixed on the optical axis, the imaging unit can be rotationally moved by the rotational movement unit, and two images and the rotational angle can be acquired.
  • the imaging unit may be fixed at a position where the subject is arranged on the optical axis, and the rotation moving unit may rotate and move the subject around the axis.
  • the subject can be arranged on the optical axis of the fixed image pickup unit, and the subject can be rotationally moved by the rotation moving unit to obtain two images and the rotation angle.
  • the calculation unit may specify the coordinates of the same point of interest on the two images in two directions orthogonal to the optical axis by a matching process.
  • the calculation unit can perform the matching process to specify the two-dimensional coordinates orthogonal to the optical axis of the point of interest that is common on the two images. Then, the height of the subject at the target point can be calculated based on the two-dimensional coordinates, and as a result, the three-dimensional coordinates of the target point can be obtained.
  • the calculation unit calculates the height dimension for each of the plurality of pairs of images with different rotation angles, and the statistical value of the calculated plurality of height dimensions is used as the height dimension of the subject. It may be calculated. With this configuration, the measurement accuracy of the height dimension of the subject can be improved.
  • the target point is specified by the image matching process, the texture of the image changes due to the change of the rotation angle, which causes an error in the matching process.However, multiple height dimensions are calculated and the statistical value is calculated. The height measurement enables robust measurement.
  • the calculation unit may calculate three-dimensional coordinate values of a plurality of identical points of interest on the two images.
  • a plurality of three-dimensional point groups can be acquired, and the three-dimensional shape of the subject can be measured.
  • the calculation unit may generate three-dimensional shape information using the three-dimensional coordinate values.
  • the calculating unit may calculate the three-dimensional coordinate values for each of the plurality of pairs of images having different rotation angles, and integrate the calculated three-dimensional coordinate values.
  • the detailed shape of the subject may not be acquired depending on the angle of the imaging unit with respect to the three-dimensional subject, but it cannot be acquired by changing the rotation angle between the imaging unit and the subject by the rotation moving unit. You will be able to get the shape. Therefore, by integrating the three-dimensional coordinate values calculated using a plurality of pairs of images, it is possible to acquire a three-dimensional point group with few omissions.
  • the calculation unit uses the rotation angle detected by the angle detection unit to align the three-dimensional coordinate values when integrating the calculated three-dimensional coordinate values. You can go. With this configuration, it is possible to perform highly accurate alignment of the acquired three-dimensional point cloud.
  • a display unit that displays a plurality of the same points of interest for which the three-dimensional coordinate values have been calculated
  • the calculation unit may include the two images each time the image capturing unit acquires the two images.
  • the three-dimensional coordinate value may be calculated.
  • At least a first rotation angle around an axis intersecting an optical axis of the optical system is provided with an imaging unit that includes a telecentric optical system on the object side and acquires an image of the subject.
  • an imaging unit Arranged to acquire the first image by the imaging unit, arrange the imaging unit and the subject at the second rotation angle around the axis line to acquire the second image by the imaging unit, and acquire by the imaging unit It is a measuring method which calculates the height dimension of the subject based on the 1st image and the 2nd image which were made, and the difference of the 1st rotation angle and the 2nd rotation angle.
  • Another aspect of the present invention is a stage on which a subject is mounted, an imaging unit that includes an objective optical system that is telecentric on at least the object side, and an axis line that intersects the optical axis of the objective optical system.
  • a rotation moving unit that relatively rotationally moves the imaging unit and the stage around, and a microscope including an angle detection unit that detects a rotation angle between the imaging unit and the stage by the rotation moving unit, and the rotation.
  • An image processing device that calculates the height dimension of the subject based on the two images acquired by the imaging unit before and after the rotational movement by the moving unit and the rotation angle detected by the angle detection unit. It is a microscope system provided with.
  • the present invention it is possible to measure the height dimension with a wide field of view and high accuracy by using the telecentric optical system.
  • FIG. 2 is a block diagram showing an image processing device provided in the microscope system of FIG. 1. It is a figure explaining the height measurement of a to-be-photographed object using the microscope system of FIG. 6 is a flowchart illustrating a measuring method using the microscope system of FIG. 1. It is a figure explaining the state which set the microscope to the eucentric in the measuring method of FIG. It is a figure which shows an example of the 1st image acquired by the imaging part in the measuring method of FIG.
  • the microscope system 1 includes a microscope 2 and an image processing device 3.
  • the microscope 2 includes a stage 4 on which a subject A is mounted, an image pickup unit 5 which is arranged above the stage 4 downward and acquires an image of the subject A, the image pickup unit 5, and the stage 4.
  • a rotation moving unit 6 for relatively rotating and moving, and an angle detection unit 7 for detecting a rotation angle by the rotation moving unit 6 are provided.
  • the imaging unit 5 includes at least an objective optical system (optical system) 8 that is telecentric on the object side, and an imaging optical system 9 including an imaging device (not shown) that captures light from the subject A condensed by the objective optical system 8. I have it.
  • the rotation moving unit 6 includes an arm 10 on which the image pickup unit 5 is mounted, and rotates the arm 10 around an axis (y axis) orthogonal to the optical axis (z axis) of the objective optical system 8 as shown in FIG. By doing so, the imaging unit 5 is rotationally moved with respect to the stage 4.
  • the angle detector 7 is, for example, an encoder.
  • the image processing device 3 is connected to the image pickup unit 5 and the angle detection unit 7, and the two images acquired by the image pickup unit 5 before and after the rotational movement by the rotational movement unit 6 and the rotation angle detected by the angle detection unit 7. Based on and, the height dimension of the subject A is calculated. More specifically, as shown in FIG. 3, the image processing apparatus 3 acquires the rotation angle sent from the image acquisition unit 11 that acquires the image sent from the imaging unit 5 and the angle detection unit 7.
  • a data acquisition unit 13 including an angle acquisition unit 12, a storage unit 14 that stores the image and the rotation angle acquired by the data acquisition unit 13 in association with each other, and the image and the rotation angle acquired by the data acquisition unit 13.
  • On the monitor 16 an image processing unit 15 that performs image processing based on the previously acquired image and rotation angle stored in the storage unit 14, a monitor (display unit) 16 that displays the image,
  • a measurement point designating section 17 for designating a measurement point is provided.
  • the storage unit 14 is a memory
  • the data acquisition unit 13 and the image processing unit 15 are processors
  • the measurement point designation unit 17 is an input device such as a mouse or a keyboard that moves a cursor on the monitor 16.
  • the image processing unit 15 template-matches the coordinates of the measurement point on the other image corresponding to the measurement point designated by the measurement point designation unit 17 on one image with the information of the peripheral pixels of the designated measurement point.
  • a stereo matching processing unit 18 that is specified by using an inter-image matching technique, and a calculation unit 19 that calculates the height of the subject A at the measurement point based on the specified coordinates and the difference between the rotation angles. Is equipped with.
  • the two images are acquired before and after the arm 10 is rotated about the y-axis as shown in FIGS. 1 and 2, so that the y-coordinates of the corresponding pixels in both images are It is the same. Therefore, the stereo matching processing unit 18 may perform the matching processing only with the same y coordinate. Further, in order to stabilize the matching process between the images accompanied by the deformation, the matching process may be performed using a known technique such as the Affine-SIFT algorithm.
  • the calculation unit 19 calculates the height of the subject A at the measurement point (point of interest) using the arithmetic expression of the following expression (1).
  • the coordinates of the measurement point P2 in the second image (second image) acquired by the imaging unit 5 are (x2, y2).
  • the height dimension of the measurement point P1 to be measured is z1.
  • step S1 the subject A is mounted on the stage 4 (step S1), and shown in FIG. As described above, the position of the stage 4 in the height direction is set to be eucentric (step S2).
  • eucentric means a state in which the subject A is imaged in the center of the image even when the image pickup unit 5 including the telecentric objective optical system 8 rotates with respect to the subject A, and the focus is maintained.
  • the stage 4 includes a mechanism for adjusting the position of the stage 4 in the z direction according to the height of the subject A. Further, the position of the imaging unit 5 in the z direction is also adjusted so that the entire subject A is included within the depth of focus of the objective optical system 8.
  • step S3 the counter n is set to the initial value (step S3), the rotation moving unit 6 is operated, and the arm 10 is rotated about the y axis (step S4).
  • the encoder that is the angle detector 7 detects the rotation angle ⁇ (step S5), and it is determined whether the detected rotation angle ⁇ is a predetermined angle ⁇ n (step S6).
  • step S7 When the angle becomes a predetermined angle ⁇ n, the image pickup unit 5 is operated to acquire an image (step S7).
  • the acquired image and the rotation angle ⁇ n are transmitted to the image processing device 3 (step S8).
  • the image acquisition unit 11 and the angle acquisition unit 12 of the image processing device 3 receive the image and the rotation angle ⁇ n, and the counter n is incremented (step S9). It is determined whether or not the counter n is greater than 2 (step S10), and when it is 2 or less, the process from step S4 is repeated.
  • the image processing device 3 displays the sent first image on the monitor 16 (step S11), and the observer operates the measurement point designating unit 17 to monitor.
  • the cursor is moved on the first image displayed on 16 to specify the measurement point P1 at which the height dimension z1 is to be measured (step S12).
  • the coordinates (x1, y1) of the measurement point P1 in the first image are set.
  • the stereo matching processing unit 18 searches for and specifies the measurement point P2 corresponding to the measurement point P1 specified in the first image in the second image by the stereo matching process. As a result, the coordinates (x2, y2) of the measurement point P2 in the second image are set.
  • the x-coordinates x1 and x2 and the rotation angles ⁇ 1 and ⁇ 2 of the two set measurement points P1 and P2 are sent to the calculation unit 19, so that the height dimension z1 of the measurement point P1 can be accurately calculated using the equation (1). It can be calculated (step S13).
  • the tilt operation of arranging the optical axis of the image pickup unit 5 having the telecentric objective optical system 8 at different tilt angles with respect to the subject A is performed. By performing this, parallax is generated, and there is an advantage that the height dimension z1 of the measurement point P1 can be accurately calculated by stereo measurement from the acquired two images and the difference ⁇ between the rotation angles ⁇ 1 and ⁇ 2.
  • the observer define a reference plane in addition to the measurement points.
  • a reference plane in addition to the measurement points.
  • FIG. 7 and FIG. 8 when measuring the height dimension z1 of the electronic component (subject) 21 arranged on the substrate 20, at least three measurement points Q1, Q2, not shown, on the surface of the substrate 20 are shown. After specifying Q3 and measuring the three-dimensional coordinate value to determine the plane on which the substrate 20 exists, the three-dimensional coordinate value of the measurement point P1 is measured and the distance of the measurement point P1 from the determined plane in the three-dimensional space.
  • the height dimension z1 may be measured based on
  • the telecentric objective optical system 8 forms an image of parallel projection
  • the pixel pitch and the lens magnification of the image pickup device of the image pickup optical system 9 are known, the xy coordinates on the image are converted into the scale of the real space. be able to. Thereby, the three-dimensional coordinate value and the height dimension of the measurement point can be obtained on the scale of the real space.
  • the present invention is not limited to this. It may be calculated using two or more pairs of images. For example, as shown in FIG. 9, the first to third three images are acquired at three positions of the rotation angles ⁇ 1, ⁇ 2, ⁇ 3 of the arm 10, and a pair of the first image and the second image is acquired. , And the height of each of the first image and the third image is calculated by the equation (1) using two pairs of images, and the height dimension z1 is calculated by statistical processing such as arithmetic mean or median. May be calculated. In this example, the determination of the counter n in FIG. 5 (step S10) is n> 3? Is displayed.
  • a pair of images of 0 ° and 20 ° and a pair of images of 0 ° and 40 ° may be used.
  • the texture of the image changes, which causes an error in the stereo matching process.
  • robustness can be obtained. It is possible to measure various heights. Robustness can be improved by increasing the number of data.
  • the statistical value may be calculated by adding a weight based on the difference in brightness value between the images of the measurement points P1 and P2 specified by the stereo matching process.
  • evaluation values of a plurality of stereo matchings may be integrated to calculate one stable height dimension z1.
  • the height may be measured as the measurement point P1.
  • the contrast of the local area in the first image is referred to, and areas where the contrast is less than or equal to a predetermined threshold are excluded from measurement targets. To do. Thereby, as shown in FIG. 10, it is possible to generate a three-dimensional point group of the entire field of view of the imaging unit 5.
  • the side surface of the subject A parallel to the optical axis of the objective optical system 8 is not included in the first image. Therefore, as shown in FIG. 8, the same procedure is applied to the three-dimensional point cloud at the viewpoint of the second image from the second image and the third image acquired by changing the angle of the optical axis with respect to the subject A. And the 3D point cloud at the viewpoint of the first image.
  • a known ICP algorithm or the like is used for alignment between the three-dimensional point groups for integration.
  • a three-dimensional point cloud that is missing from the viewpoint of the first image can also be obtained.
  • the robustness can be improved by integrating the measurement points common to the plurality of three-dimensional point groups by using the statistical values.
  • the stage 4 carrying the subject A may be provided with a mechanism for rotating it around an axis extending in the vertical direction.
  • the rotation angle of the stage 4 may be separately detected by an encoder (not shown). Further, by using the rotation angle of the stage 4, the rotation angle ⁇ of the arm 10 and the z position adjusted by the setting of the eucentric as the initial value of the ICP algorithm, etc., the three-dimensional point group can be aligned with high accuracy. You can
  • the calculation unit 19 may interpolate the three-dimensional point group including a textureless region where the three-dimensional point group could not be finally acquired by known mesh processing or the like to generate a final three-dimensional image. .
  • the observer can easily grasp the appearance of the entire subject A and measure the shape of the subject A at an arbitrary cross section.
  • the three-dimensional shape is measured after acquiring the image and the rotation angle ⁇ from all viewpoints, but the three-dimensional shape is measured every time the image and the rotation angle ⁇ are acquired as in the known SLAM technique.
  • the point cloud may be constructed, integrated, and displayed on the monitor 16.
  • the rotation angle ⁇ detected by the encoder that is the angle detection unit 7 coincides with a preset angle, and the image is displayed. Then, the rotation angle ⁇ may be acquired, and the three-dimensional point group may be calculated in real time and displayed on the monitor 16.
  • the observer may acquire the image and the rotation angle ⁇ at predetermined time intervals according to the operation of tilting the arm 10 or rotating the stage 4, and generate the three-dimensional point cloud. Thereby, the observer can easily grasp the position of the viewpoint for which the acquisition of the three-dimensional point group is insufficient.
  • the arm 10 and the stage 4 are driven by the motor in response to the operation of the operation unit (not shown) by the observer.
  • An electrically driven rotary moving unit 6 that drives may be employed.
  • Microscope system (measurement device) 2 microscope 3 image processing device 4 stage 5 imaging unit 6 rotation moving unit 7 angle detection unit 8 objective optical system (optical system) 16 Monitor (display) 19 calculator 21 electronic component (subject) A Subject P1, P2, P3 Measurement points (attention points) z1 Height dimension ⁇ , ⁇ 3 Rotation angle ⁇ 1 First rotation angle (rotation angle) ⁇ 2 Second rotation angle (rotation angle) ⁇ difference

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

少なくとも物体側がテレセントリックである光学系（８）を備え被写体（Ａ）の画像を取得する撮像部（５）と、光学系（８）の光軸に交差する軸線回りに撮像部（５）と被写体（Ａ）とを相対的に回転移動させる回転移動部（６）と、回転移動部（６）による回転角度を検出する角度検出部（７）と、回転移動部（６）による回転移動前後において撮像部（５）により取得された２枚の画像と、角度検出部（７）により検出された回転角度とに基づいて、被写体（Ａ）の高さ寸法を算出する算出部とを備える計測装置（１）である。

Description

計測装置、計測方法および顕微鏡システム
　本発明は、計測装置、計測方法および顕微鏡システムに関するものである。
　物体と撮像部との光軸方向の距離を変化させて、撮像部により取得された画像上において合焦した位置の高さ寸法を計測する顕微鏡システムが知られている（例えば、特許文献１参照。）。
特許第５７３０６９６号公報
　しかしながら、特許文献１の顕微鏡システムでは、対物光学系が一般にテレセントリック光学系であり、上記方法により３次元形状計測する場合には、特に広視野観察に用いられる低倍率のレンズでは合焦範囲が広いために、高さを精度よく計測することができないという不都合がある。
　本発明は、テレセントリック光学系を用いて、広視野かつ高精度に高さ寸法を計測することができる計測装置、計測方法および顕微鏡システムを提供することを目的としている。
　本発明の一態様は、少なくとも物体側がテレセントリックである光学系を備え被写体の画像を取得する撮像部と、前記光学系の光軸に交差する軸線回りに前記撮像部と前記被写体とを相対的に回転移動させる回転移動部と、該回転移動部による回転角度を検出する角度検出部と、前記回転移動部による回転移動前後において前記撮像部により取得された２枚の前記画像と、前記角度検出部により検出された前記回転角度とに基づいて、前記被写体の高さ寸法を算出する算出部とを備える計測装置である。
　本態様によれば、被写体と撮像部とを所定の相対位置に配置して、撮像部により被写体の画像を取得し、その後、回転移動部の作動により、光学系の光軸に交差する軸線回りに、被写体と撮像部とを相対的に回転移動させ、回転角度検出部により回転角度を検出する。そして、回転後の相対位置において、撮像部により被写体の画像を取得する。これにより、算出部によって、回転移動前後に取得された２枚の画像と回転角度とに基づいて、被写体の高さ寸法が算出される。
　すなわち、撮像部により光軸に直交する２次元方向の被写体の各位置を計測することができるとともに、上記方法によって、被写体の各位置の高さ寸法を算出することができ、テレセントリック光学系を用いて、広視野かつ高精度に高さ寸法を計測することができる。
　上記態様においては、前記被写体が前記光軸上に固定され、前記回転移動部が、前記軸線回りに前記撮像部を回転移動させてもよい。
　この構成により、被写体を光軸上に固定し、回転移動部によって撮像部を回転移動させ、２枚の画像と回転角度とを取得することができる。
　また、上記態様においては、前記撮像部が、前記光軸上に前記被写体を配置する位置に固定され、前記回転移動部が、前記軸線回りに前記被写体を回転移動させてもよい。
　この構成により、固定された撮像部の光軸上に被写体を配置し、回転移動部によって被写体を回転移動させ、２枚の画像と回転角度とを取得することができる。
　また、上記態様においては、前記算出部が、２枚の前記画像上の同一注目点の前記光軸に直交する２方向の座標をマッチング処理により特定してもよい。
　この構成により、算出部がマッチング処理を行うことにより、２枚の画像上に共通する注目点の光軸に直交する２次元座標を特定できる。そして、この２次元座標に基づいて、当該注目点における被写体の高さを算出することができ、結果として、注目点の３次元座標を得ることができる。
　また、上記態様においては、前記算出部が、前記回転角度の異なる複数対の前記画像についてそれぞれ高さ寸法を算出し、算出された複数の高さ寸法の統計値を前記被写体の高さ寸法として算出してもよい。
　この構成により、被写体の高さ寸法の計測精度を向上することができる。画像のマッチング処理により注目点を特定する場合には、回転角度の変化によって画像のテクスチャが変化するためにマッチング処理の誤差の要因となるが、複数の高さ寸法を算出してその統計値を高さ寸法とすることにより、ロバストな計測を行うことができる。
　また、上記態様においては、前記算出部が、２枚の前記画像上の複数の同一注目点の３次元座標値を算出してもよい。
　この構成により、複数の３次元点群を取得することができ、被写体の３次元形状を計測することができる。
　また、上記態様においては、前記算出部が、前記３次元座標値を用いて３次元形状情報を生成してもよい。
　この構成により、取得された３次元座標値を用いて、３次元画像情報を生成し、被写体を種々の方向から観察し、被写体の任意の断面を形状計測することが可能となる。
　また、上記態様においては、前記算出部が、前記回転角度の異なる複数対の前記画像についてそれぞれ前記３次元座標値を算出し、算出された前記３次元座標値を統合してもよい。
　この構成により、３次元被写体に対する撮像部の角度によっては、被写体の詳細な形状を取得できない場合があるが、回転移動部によって撮像部と被写体との回転角度を変更することにより、取得できなかった形状を取得できるようになる。このため、複数対の画像を用いて算出された３次元座標値を統合することにより、欠落の少ない３次元点群を取得することができる。
　また、上記態様においては、前記算出部は、算出された前記３次元座標値を統合する際に、前記角度検出部により検出された前記回転角度を用いて前記３次元座標値間の位置合わせを行ってもよい。
　この構成により、取得された３次元点群の高精度な位置合わせを行うことができる。
　また、上記態様においては、前記３次元座標値が算出された複数の前記同一注目点を表示する表示部を備え、前記算出部が、前記撮像部により２枚の前記画像が取得される都度に、前記３次元座標値を算出してもよい。
　この構成により、算出部により注目点の３次元座標値が算出されると、取得された３次元点群が表示部にリアルタイムに表示される。これにより観察者が、さらに撮影を必要とする光軸方向を迅速に把握することができる。
　また、本発明の他の態様は、少なくとも物体側がテレセントリックである光学系を備え被写体の画像を取得する撮像部と前記被写体とを前記光学系の光軸に交差する軸線回りの第１回転角度に配置して前記撮像部により第１画像を取得し、前記撮像部と前記被写体とを前記軸線回りの第２回転角度に配置して前記撮像部により第２画像を取得し、前記撮像部により取得された前記第１画像および前記第２画像と、前記第１回転角度と前記第２回転角度との差分とに基づいて、前記被写体の高さ寸法を算出する計測方法である。
　また、本発明の他の態様は、被写体を搭載するステージと、少なくとも物体側がテレセントリックである対物光学系を備え前記被写体の画像を取得する撮像部と、前記対物光学系の光軸に交差する軸線回りに前記撮像部と前記ステージとを相対的に回転移動させる回転移動部と、該回転移動部による前記撮像部と前記ステージとの回転角度を検出する角度検出部とを備える顕微鏡と、前記回転移動部による回転移動前後において前記撮像部により取得された２枚の前記画像と、前記角度検出部により検出された前記回転角度とに基づいて、前記被写体の高さ寸法を算出する画像処理装置とを備える顕微鏡システムである。
　本発明によれば、テレセントリック光学系を用いて、広視野かつ高精度に高さ寸法を計測することができるという効果を奏する。
本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図１の顕微鏡システムにおける顕微鏡のアームをｙ軸回りに回転させた状態を示す模式図である。 図１の顕微鏡システムに備えられる画像処理装置を示すブロック図である。 図１の顕微鏡システムを用いた被写体の高さ計測を説明する図である。 図１の顕微鏡システムを用いた計測方法を説明するフローチャートである。 図５の計測方法において、顕微鏡をユーセントリックに設定した状態を説明する図である。 図５の計測方法において撮像部により取得された第１の画像の一例を示す図である。 図５の計測方法において撮像部により取得された第２の画像の一例を示す図である。 図４の高さ計測の変形例を説明する図である。 図１の顕微鏡システムを用いた計測方法の変形例により取得された３次元点群を説明する模式図である。
　本発明の一実施形態に係る顕微鏡システム（計測装置）１および計測方法について、図面を参照して以下に説明する。
　本実施形態に係る顕微鏡システム１は、図１に示されるように、顕微鏡２と画像処理装置３とを備えている。
　顕微鏡２は、図１に示されるように、被写体Ａを搭載するステージ４と、ステージ４の上方に下向きに配置され被写体Ａの画像を取得する撮像部５と、撮像部５とステージ４とを相対的に回転移動させる回転移動部６と、回転移動部６による回転角度を検出する角度検出部７とを備えている。
　撮像部５は、少なくとも物体側がテレセントリックである対物光学系（光学系）８と、対物光学系８により集光された被写体Ａからの光を撮影する図示しない撮像素子を含む撮像光学系９とを備えている。
　回転移動部６は、撮像部５を搭載するアーム１０を備え、図２に示されるように、対物光学系８の光軸（ｚ軸）に直交する軸線（ｙ軸）回りにアーム１０を回転させることにより、ステージ４に対して撮像部５を回転移動させる。
　角度検出部７は、例えば、エンコーダである。
　画像処理装置３は、撮像部５および角度検出部７に接続され、回転移動部６による回転移動前後において撮像部５により取得された２枚の画像と、角度検出部７により検出された回転角度とに基づいて、被写体Ａの高さ寸法を算出する。
　さらに具体的には、画像処理装置３は、図３に示されるように、撮像部５から送られてきた画像を取得する画像取得部１１と角度検出部７から送られてきた回転角度を取得する角度取得部１２とを備えるデータ取得部１３と、データ取得部１３により取得された画像および回転角度を対応づけて記憶する記憶部１４と、データ取得部１３により取得された画像および回転角度と、記憶部１４に記憶されている１つ前に取得された画像および回転角度とに基づいて画像処理を行う画像処理部１５と、画像を表示するモニタ（表示部）１６と、モニタ１６上において計測点を指定する計測点指定部１７とを備えている。
　記憶部１４はメモリであり、データ取得部１３および画像処理部１５はプロセッサであり、計測点指定部１７は、モニタ１６上においてカーソルを移動させるマウス、キーボード等の入力装置である。
　画像処理部１５は、一方の画像において計測点指定部１７により指定された計測点に対応する他方の画像上の計測点の座標を、指定された計測点の周辺画素の情報を用いたテンプレートマッチングに代表される画像間マッチング技術を利用して特定するステレオマッチング処理部１８と、特定された座標と回転角度の差分とに基づいて当該計測点における被写体Ａの高さを算出する算出部１９とを備えている。
　本実施形態においては、２つの画像は、図１および図２に示されるように、アーム１０をｙ軸回りに回転させた前後において取得されているため、両画像において対応する画素のｙ座標は同一である。したがって、ステレオマッチング処理部１８は同一のｙ座標のみでマッチング処理を行えばよい。また、変形を伴う画像間のマッチング処理の安定化のために、Ａｆｆｉｎｅ－ＳＩＦＴアルゴリズム等の公知技術を用いてマッチング処理を行ってもよい。
　算出部１９は、下式（１）の演算式を用いて、計測点（注目点）における被写体Ａの高さを算出する。
　説明を簡単にするために、図４に示されるように、アーム１０の角度（第１回転角度、回転角度）β＝β１＝０°として、対物光学系８の光軸が鉛直方向に配置されている状態で撮像部５により取得された第１の画像（第１画像）における計測点Ｐ１の座標を（ｘ１，ｙ１）とし、アーム１０の角度（第２回転角度、回転角度）β＝β２として、撮像部５により取得された第２の画像（第２画像）における計測点Ｐ２の座標を（ｘ２，ｙ２）とする。また、測定すべき計測点Ｐ１の高さ寸法をｚ１とする。この場合、角度の差分ΔβはΔβ＝β２－β１である。
　　　　　　ｚ１＝（ｘ１ｃｏｓΔβ－ｘ２）／ｓｉｎΔβ　　　（１）
　このように構成された本実施形態に係る顕微鏡システム１を用いた計測方法について、図５のフローチャートを参照しながら説明する。
　本実施形態に係る顕微鏡システム１を用いて被写体Ａの高さを計測するには、まず、図１に示されるように、ステージ４に被写体Ａを搭載し（ステップＳ１）、図６に示されるように、ステージ４の高さ方向位置をユーセントリックに設定する（ステップＳ２）。
　ここで、ユーセントリックとは、テレセントリックな対物光学系８を含む撮像部５が被写体Ａに対して回転しても被写体Ａが画像中央に撮像される状態であり、フォーカスも維持される場合を意味する。
　ユーセントリックにするために、ステージ４は、ステージ４のｚ方向位置を被写体Ａの高さに応じて調整する機構を備える。また、被写体Ａ全体が対物光学系８の焦点深度内に含まれるように、撮像部５のｚ方向位置も調節しておく。
　次に、カウンタｎを初期値に設定し（ステップＳ３）、回転移動部６を作動させて、アーム１０をｙ軸回りに回転させる（ステップＳ４）。角度検出部７であるエンコーダにより回転角度βを検出し（ステップＳ５）、検出された回転角度βが所定の角度βｎであるか否かが判定される（ステップＳ６）。
　所定の角度βｎとなった場合には、撮像部５を作動させて画像を取得する（ステップＳ７）。取得された画像および回転角度βｎが画像処理装置３に送信される（ステップＳ８）。そして、画像処理装置３の画像取得部１１および角度取得部１２によって画像および回転角度βｎを受信し、カウンタｎがインクリメントされる（ステップＳ９）。カウンタｎが２より大きいか否かが判定され（ステップＳ１０）、２以下である場合には、ステップＳ４からの工程が繰り返される。
　カウンタｎが２より大きい場合には、画像処理装置３は、送られてきた第１の画像をモニタ１６に表示し（ステップＳ１１）、観察者は、計測点指定部１７を操作して、モニタ１６に表示された第１の画像上においてカーソルを移動させ、高さ寸法ｚ１を計測したい計測点Ｐ１を指定する（ステップＳ１２）。これにより、第１の画像における計測点Ｐ１の座標（ｘ１，ｙ１）が設定される。
　計測点Ｐ１が指定されると、ステレオマッチング処理部１８が、第１の画像において指定された計測点Ｐ１に対応する計測点Ｐ２をステレオマッチング処理により第２の画像内において探索して特定する。これにより、第２の画像における計測点Ｐ２の座標（ｘ２，ｙ２）が設定される。
　設定された２つの計測点Ｐ１，Ｐ２のｘ座標ｘ１，ｘ２および回転角度β１，β２が算出部１９に送られることにより、式（１）を用いて計測点Ｐ１の高さ寸法ｚ１を精度よく算出することができる（ステップＳ１３）。
　このように、本実施形態に係る顕微鏡システム１および計測方法によれば、テレセントリックな対物光学系８を有する撮像部５の光軸を、被写体Ａに対する傾斜角度を異ならせて配置する、チルト操作を行うことにより視差を発生させ、取得された２枚の画像と回転角度β１，β２の差分Δβとからステレオ計測によって計測点Ｐ１の高さ寸法ｚ１を精度よく算出することができるという利点がある。
　なお、本実施形態においては、計測点に加え基準平面を観察者が定義することが好ましい。例えば、図７および図８において、基板２０上に配置される電子部品（被写体）２１の高さ寸法ｚ１を計測する場合に、基板２０の表面において図示しない少なくとも３点の計測点Ｑ１，Ｑ２，Ｑ３を指定し３次元座標値を計測して基板２０が存在する平面を決定した後に、計測点Ｐ１の３次元座標値を計測し、決定された３次元空間上の平面から計測点Ｐ１の距離に基づいて高さ寸法ｚ１を計測することにしてもよい。
　また、テレセントリックな対物光学系８は平行投影の像を結ぶことから、撮像光学系９の撮像素子の画素ピッチとレンズ倍率が既知であれば、画像上のｘｙ座標を実空間のスケールに換算することができる。これにより、計測点の３次元座標値および高さ寸法を実空間のスケールで求めることができる。
　また、本実施形態においては、アーム１０の回転角度β１，β２において取得された一対２枚の画像を用いて高さ寸法ｚ１を算出する場合を例示したが、これに限定されるものではなく、２対以上の画像を用いて算出してもよい。
　例えば、図９に示されるように、アーム１０の回転角度β１，β２，β３の３箇所において第１から第３の３枚の画像を取得し、第１の画像と第２の画像とのペア、および第１の画像と第３の画像とのペアの２対の画像を用いて式（１）により、それぞれ高さを算出し、加算平均あるいは中央値等の統計的処理により高さ寸法ｚ１を算出することにしてもよい。この例では、図５のカウンタｎの判定（ステップＳ１０）は、ｎ＞３？の表示である。
　さらに具体的には、β１＝０°、β２＝２０°、β３＝４０°としたときに、０°と２０°の画像のペアと、０°と４０°の画像のペアを用いてもよい。
　被写体Ａに対する光軸の角度を変化させることで、画像のテクスチャが変化し、ステレオマッチング処理における誤差の要因となるが、複数の高さの統計処理により高さ寸法ｚ１を算出することにより、ロバストな高さ計測を行うことができる。データの数を増やすことによりロバスト性を向上することができる。
　また、２０°と４０°の画像のペアを用いることもできる。この場合、β１＝０°からβ２＝２０°だけｙ軸回りに回転したｚ座標方向の高さが求められるため、β１＝０°の場合のｚ座標方向の高さに変換するためにｃｏｓ２０°を乗算すればよい。
　また、ステレオマッチング処理により特定された計測点Ｐ１，Ｐ２の画像間の輝度値の相違に基づく重みを加えて統計値を算出してもよい。または公知のマルチベースラインステレオ処理のように、複数のステレオマッチングの評価値を統合して１つの安定した高さ寸法ｚ１を算出してもよい。
　また、本実施形態においては、計測点指定部１７により指定した計測点Ｐ１について高さを計測したが、これに代えて、β１＝０°で取得された第１の画像上の全ての画素を計測点Ｐ１として高さを計測することにしてもよい。ただし、ステレオマッチング処理が原理的にできないテクスチャレスの領域は高さ計測ができないため、第１の画像内の局所領域のコントラストを参照し、コントラストが所定の閾値以下の領域については計測対象から除外する。
　これにより、図１０に示されるように、撮像部５の視野全体の３次元点群を生成することができる。
　ここで、第１の画像では観察できない遮蔽領域（オクルージョン）が存在する。例えば、対物光学系８の光軸に平行な被写体Ａの側面は、第１の画像に含まれない。そこで、図８に示されるように、被写体Ａに対する光軸の角度を異ならせて取得された第２の画像および第３の画像から第２の画像の視点での３次元点群を同様の手順で生成し、第１の画像の視点での３次元点群と統合する。
　統合のための３次元点群間の位置合わせには、公知のＩＣＰアルゴリズム等を用いる。
　これにより、第１の画像の視点では欠落してしまう３次元点群も得られる。また、複数の３次元点群間で共通する計測点については、統計値により統合することによりロバスト性を向上することができる。
　同様にして他の視点でも３次元点群を得ることにより、被写体Ａ全体の欠落の少ない３次元点群を生成することができる。
　アーム１０を一方向に傾斜させるだけでは全周囲の視点の撮影ができないので、被写体Ａを搭載するステージ４が、鉛直方向に延びる軸線回りに回転させる機構を備えていてもよい。ステージ４の回転角度も図示しないエンコーダにより別途検出すればよい。また、ステージ４の回転角度とアーム１０の回転角度βおよびユーセントリックの設定で調整したｚ位置をＩＣＰアルゴリズムの初期値等に利用することにより、３次元点群の高精度な位置合わせを行うことができる。
　そして、算出部１９は、最後に３次元点群が取得できなかったテクスチャレス領域等も含め３次元点群に対する公知のメッシュ処理等により補間を施し、最終的な３次元画像を生成すればよい。３次元画像を生成することにより、観察者は簡易に被写体Ａ全体の外観を把握し、被写体Ａの任意の断面での形状計測等を行うことが可能となる。
　また、上記実施形態においては、全ての視点での画像および回転角度βを取得した後に３次元形状を測定したが、公知のＳＬＡＭ技術のように、画像および回転角度βの取得の都度、３次元点群を構築し、統合し、モニタ１６に表示することにしてもよい。観察者が、アーム１０を傾斜させたり、ステージ４を回転させたりする操作に合わせて、角度検出部７であるエンコーダにより検出された回転角度βが予め設定された角度に一致した時点で、画像および回転角度βを取得し、３次元点群をリアルタイムに算出してモニタ１６に表示すればよい。
　あるいは、観察者が、アーム１０を傾斜させたり、ステージ４を回転させたりする操作に合わせて、所定の時間間隔で画像および回転角度βを取得し、３次元点群を生成してもよい。これにより、観察者は、３次元点群の取得が不十分な視点の位置を容易に把握することができる。
　また、本実施形態においては、観察者がアーム１０を手動で動作させる場合について例示したが、これに代えて、観察者による図示しない操作部の操作に応じて、アーム１０およびステージ４をモータによって駆動する電動式の回転移動部６を採用してもよい。
　１　顕微鏡システム（計測装置）
　２　顕微鏡
　３　画像処理装置
　４　ステージ
　５　撮像部
　６　回転移動部
　７　角度検出部
　８　対物光学系（光学系）
　１６　モニタ（表示部）
　１９　算出部
　２１　電子部品（被写体）
　Ａ　被写体
　Ｐ１，Ｐ２，Ｐ３　計測点（注目点）
　ｚ１　高さ寸法
　β，β３　回転角度
　β１　第１回転角度（回転角度）
　β２　第２回転角度（回転角度）
　Δβ　差分

Claims (12)

  1. 　少なくとも物体側がテレセントリックである光学系を備え被写体の画像を取得する撮像部と、
    　前記光学系の光軸に交差する軸線回りに前記撮像部と前記被写体とを相対的に回転移動させる回転移動部と、
    　該回転移動部による回転角度を検出する角度検出部と、
    　前記回転移動部による回転移動前後において前記撮像部により取得された２枚の前記画像と、前記角度検出部により検出された前記回転角度とに基づいて、前記被写体の高さ寸法を算出する算出部とを備える計測装置。
  2. 　前記被写体が前記光軸上に固定され、
    　前記回転移動部が、前記軸線回りに前記撮像部を回転移動させる請求項１に記載の計測装置。
  3. 　前記撮像部が、前記光軸上に前記被写体を配置する位置に固定され、
    　前記回転移動部が、前記軸線回りに前記被写体を回転移動させる請求項１に記載の計測装置。
  4. 　前記算出部が、２枚の前記画像上の同一注目点の前記光軸に直交する２方向の座標をマッチング処理により特定する請求項１から請求項３のいずれかに記載の計測装置。
  5. 　前記算出部が、前記回転角度の異なる複数対の前記画像についてそれぞれ高さ寸法を算出し、算出された複数の高さ寸法の統計値を前記被写体の高さ寸法として算出する請求項１から請求項４のいずれかに記載の計測装置。
  6. 　前記算出部が、２枚の前記画像上の複数の同一注目点の３次元座標値を算出する請求項１に記載の計測装置。
  7. 　前記算出部が、前記３次元座標値を用いて３次元形状情報を生成する請求項６に記載の計測装置。
  8. 　前記算出部が、前記回転角度の異なる複数対の前記画像についてそれぞれ前記３次元座標値を算出し、算出された前記３次元座標値を統合する請求項６または請求項７に記載の計測装置。
  9. 　前記算出部は、算出された前記３次元座標値を統合する際に、前記角度検出部により検出された前記回転角度を用いて前記３次元座標値間の位置合わせを行う請求項８に記載の計測装置。
  10. 　前記３次元座標値が算出された複数の前記同一注目点を表示する表示部を備え、
    　前記算出部が、前記撮像部により２枚の前記画像が取得される都度に、前記３次元座標値を算出する請求項８に記載の計測装置。
  11. 　少なくとも物体側がテレセントリックである光学系を備え被写体の画像を取得する撮像部と前記被写体とを前記光学系の光軸に交差する軸線回りの第１回転角度に配置して前記撮像部により第１画像を取得し、
    　前記撮像部と前記被写体とを前記軸線回りの第２回転角度に配置して前記撮像部により第２画像を取得し、
    　前記撮像部により取得された前記第１画像および前記第２画像と、前記第１回転角度と前記第２回転角度との差分とに基づいて、前記被写体の高さ寸法を算出する計測方法。
  12. 　被写体を搭載するステージと、
    　少なくとも物体側がテレセントリックである対物光学系を備え前記被写体の画像を取得する撮像部と、
    　前記対物光学系の光軸に交差する軸線回りに前記撮像部と前記ステージとを相対的に回転移動させる回転移動部と、
    　該回転移動部による前記撮像部と前記ステージとの回転角度を検出する角度検出部とを備える顕微鏡と、
    　前記回転移動部による回転移動前後において前記撮像部により取得された２枚の前記画像と、前記角度検出部により検出された前記回転角度とに基づいて、前記被写体の高さ寸法を算出する画像処理装置とを備える顕微鏡システム。
PCT/JP2018/037497 2018-10-09 2018-10-09 計測装置、計測方法および顕微鏡システム WO2020075213A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/037497 WO2020075213A1 (ja) 2018-10-09 2018-10-09 計測装置、計測方法および顕微鏡システム
CN201880098344.7A CN112805607A (zh) 2018-10-09 2018-10-09 计测装置、计测方法和显微镜系统
JP2020551070A JPWO2020075213A1 (ja) 2018-10-09 2018-10-09 計測装置、計測方法および顕微鏡システム
US17/174,484 US20210183092A1 (en) 2018-10-09 2021-02-12 Measuring apparatus, measuring method and microscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037497 WO2020075213A1 (ja) 2018-10-09 2018-10-09 計測装置、計測方法および顕微鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/174,484 Continuation US20210183092A1 (en) 2018-10-09 2021-02-12 Measuring apparatus, measuring method and microscope system

Publications (1)

Publication Number Publication Date
WO2020075213A1 true WO2020075213A1 (ja) 2020-04-16

Family

ID=70164119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037497 WO2020075213A1 (ja) 2018-10-09 2018-10-09 計測装置、計測方法および顕微鏡システム

Country Status (4)

Country Link
US (1) US20210183092A1 (ja)
JP (1) JPWO2020075213A1 (ja)
CN (1) CN112805607A (ja)
WO (1) WO2020075213A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102611537B1 (ko) * 2021-06-04 2023-12-08 한국전자통신연구원 초고품질의 디지털 데이터 생성 방법 및 장치
CN113834428B (zh) * 2021-07-29 2024-05-14 阿里巴巴达摩院(杭州)科技有限公司 金属体厚度识别方法、系统、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60201792A (ja) * 1984-03-26 1985-10-12 Omron Tateisi Electronics Co 立体視方法
JPH0518722A (ja) * 1991-07-10 1993-01-26 Mitsubishi Electric Corp 線状体の３次元形状計測装置およびその方法
JP2000039307A (ja) * 1998-07-22 2000-02-08 Hitachi Ltd 半導体検査装置
JP2003035517A (ja) * 2001-07-23 2003-02-07 Toei Denki Kogyo Kk ２次元レーザ変位センサによるリードピンピッチ・平面度検査装置
WO2014196010A1 (ja) * 2013-06-03 2014-12-11 ヤマハ発動機株式会社 外観検査装置
JP2015102442A (ja) * 2013-11-26 2015-06-04 レーザーテック株式会社 検査装置、及び検査方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072898A (en) * 1998-01-16 2000-06-06 Beaty; Elwin M. Method and apparatus for three dimensional inspection of electronic components
CN100585615C (zh) * 2004-07-29 2010-01-27 新加坡科技研究局 检测系统
JP5216294B2 (ja) * 2007-02-20 2013-06-19 東芝Ｉｔコントロールシステム株式会社 Ｘ線透視検査装置及びｘ線透視検査方法
US8760510B2 (en) * 2008-11-26 2014-06-24 Robert T. Aloe Apparatus and methods for three-dimensional imaging using a static light screen
JP5580164B2 (ja) * 2010-10-18 2014-08-27 株式会社トプコン 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2012112694A (ja) * 2010-11-22 2012-06-14 Toshiba Corp 突き合わせ溶接部の溶接品質評価装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60201792A (ja) * 1984-03-26 1985-10-12 Omron Tateisi Electronics Co 立体視方法
JPH0518722A (ja) * 1991-07-10 1993-01-26 Mitsubishi Electric Corp 線状体の３次元形状計測装置およびその方法
JP2000039307A (ja) * 1998-07-22 2000-02-08 Hitachi Ltd 半導体検査装置
JP2003035517A (ja) * 2001-07-23 2003-02-07 Toei Denki Kogyo Kk ２次元レーザ変位センサによるリードピンピッチ・平面度検査装置
WO2014196010A1 (ja) * 2013-06-03 2014-12-11 ヤマハ発動機株式会社 外観検査装置
JP2015102442A (ja) * 2013-11-26 2015-06-04 レーザーテック株式会社 検査装置、及び検査方法

Also Published As

Publication number Publication date
US20210183092A1 (en) 2021-06-17
CN112805607A (zh) 2021-05-14
JPWO2020075213A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
US9965870B2 (en) Camera calibration method using a calibration target
Khoshelham Accuracy analysis of kinect depth data
Orghidan et al. Camera calibration using two or three vanishing points
JP6596433B2 (ja) ２つのカメラからの曲線の集合の構造化光整合
EP3217355A1 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
CN103959012A (zh) 6自由度位置和取向确定
WO2011079258A1 (en) System and method for runtime determination of camera miscalibration
JP2009053147A (ja) ３次元計測方法および３次元計測装置
JPWO2015132981A1 (ja) 位置測定装置及び位置測定方法
US12067083B2 (en) Detecting displacements and/or defects in a point cloud using cluster-based cloud-to-cloud comparison
JP7353757B2 (ja) アーチファクトを測定するための方法
Xu et al. 3D multi-directional sensor with pyramid mirror and structured light
US20210183092A1 (en) Measuring apparatus, measuring method and microscope system
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
JP2008275366A (ja) ステレオ３次元計測システム
EP3989169A1 (en) Hybrid photogrammetry
WO2008075632A1 (ja) 複眼測距装置の検査方法および検査装置並びにそれに用いるチャート
Siddique et al. 3d object localization using 2d estimates for computer vision applications
Percoco et al. Image analysis for 3D micro-features: A new hybrid measurement method
JP6425406B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2003065737A (ja) 表面形状測定装置及びその方法、並びに表面状態図化装置
Li et al. Triangulation-based edge measurement using polyview optics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936298

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551070

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936298

Country of ref document: EP

Kind code of ref document: A1