WO2009088053A1 - 測定装置および方法、並びに、プログラム - Google Patents

測定装置および方法、並びに、プログラム Download PDF

Info

Publication number
WO2009088053A1
WO2009088053A1 PCT/JP2009/050168 JP2009050168W WO2009088053A1 WO 2009088053 A1 WO2009088053 A1 WO 2009088053A1 JP 2009050168 W JP2009050168 W JP 2009050168W WO 2009088053 A1 WO2009088053 A1 WO 2009088053A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
image
representative point
representative
coordinates
Prior art date
Application number
PCT/JP2009/050168
Other languages
English (en)
French (fr)
Inventor
Isao Kimura
Atsushi Takeuchi
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP09701312.2A priority Critical patent/EP2233882B1/en
Priority to CN200980104578.9A priority patent/CN101939616B/zh
Priority to JP2009548956A priority patent/JP5311143B2/ja
Publication of WO2009088053A1 publication Critical patent/WO2009088053A1/ja
Priority to US12/832,539 priority patent/US9846027B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Definitions

  • the present invention relates to a measuring apparatus, method, and program, and more particularly, to a measuring apparatus, method, and program capable of measuring a distance between two points that do not fall within one shooting range.
  • the present invention has been made in view of such a situation, and makes it easy to measure the distance between two points that do not fall within one imaging range.
  • the measuring apparatus is the measuring apparatus that measures the distance between the start point and the end point using a plurality of images taken while moving the shooting range of the measurement object, and the start point is set.
  • the coordinates of the start point in the image and the coordinates of the end point in the image in which the end point is set are calculated and stored in the storage unit; and the coordinates different from the start point in the image in which the start point is set.
  • the representative point is set at the position, the coordinates of the representative point and the feature amount of the neighboring image are stored, and in each image until the end point after the image where the start point is set is set immediately before
  • the set representative point is searched, a new representative point is set at a position of a coordinate different from the detected coordinates of the representative point, and the new representative point coordinate and the feature amount of the image in the vicinity are set.
  • the representative point is searched using the representative point searching means for searching the representative point and storing the detected coordinates of the representative point in the storage unit, and the stored coordinates of the starting point, the representative point, and the end point.
  • the vector calculation means for calculating the vector between each two points above, the start point and the end point
  • a distance calculating means for calculating the distance between.
  • the measurement method is the measurement method for measuring the distance between the start point and the end point using a plurality of images taken while moving the shooting range of the measurement object, wherein the start point is set.
  • a starting point coordinate acquisition step for acquiring the coordinates of the starting point in the obtained image, and a representative point different from the starting point in the image in which the starting point is set, and the set coordinates of the representative point and the feature amount of the nearby image Based on the first representative point setting step to be acquired and the feature amount of the image in the vicinity of the representative point set immediately before in each image until the end point after the image where the start point is set is set.
  • the representative point searching step for searching for the representative point and acquiring the coordinates of the representative point set immediately before, and a new previous position at a coordinate position different from the coordinates of the representative point detected by the representative point searching step.
  • a second representative point setting step for setting a representative point and acquiring the coordinates of the new representative point and the feature amount of the neighboring image; and acquiring the end point coordinate for acquiring the end point coordinate in the image where the end point is set.
  • a vector calculation step for calculating a vector between each of the two points on the same image connecting the representative point and the end point in the image in which the end point is set, and adding all the calculated vectors
  • a program according to one aspect of the present invention is a program that causes a computer to execute a process of measuring a distance between two points of a start point and an end point using a plurality of images shot while moving a shooting range of a measurement object.
  • In the first representative point setting step for acquiring the feature amount of the image and each image until the end point after the image where the start point is set is set, the image of the image in the vicinity of the representative point set immediately before is set.
  • a representative point searching step for searching for the representative point based on a feature amount and obtaining the coordinates of the representative point set immediately before, and the representative point detected by the representative point searching step
  • a second representative point setting step for setting a new representative point at a position of a coordinate different from the coordinates, and acquiring the new representative point coordinate and a feature quantity of a nearby image, and an image in which the end point is set
  • the end point coordinate acquisition step for acquiring the coordinates of the end point in FIG. 5 is the same from the start point to the representative point in the image in which the start point is set using the acquired start point, the representative point, and the end point coordinate.
  • the coordinates of the start point in the image where the start point is set are stored, and in the image where the start point is set, a representative point different from the start point is set, and the coordinates of the set representative point are set
  • the feature amount of the neighboring image is stored, and in the image until the end point after the image where the start point is set is set, the feature amount of the image near the representative point set immediately before is used.
  • a representative point is searched, the coordinates of the detected representative point are stored, a new representative point is set, the coordinates of the new representative point and the feature amount of a nearby image are stored, and the end point is
  • the coordinates of the end point in the set image are stored, and using the stored coordinates of the start point, the representative point, and the end point, any two points of the start point, the representative point, and the end point
  • a vector between the two connected points is calculated for each image, and based on the vector from the start point to the end point obtained by adding all the calculated vectors, the distance between the start point and the end point is Calculated.
  • FIG. 1 is a diagram showing an embodiment of a measurement system to which the present invention is applied.
  • the measurement system 1 in FIG. 1 can measure the distance between two points of a measurement object placed on a stage 33 of a microscope 11 constituted by, for example, a standard observation microscope different from the measurement microscope.
  • the camera head 12 is mounted on the microscope 11 so that the imaging surface of the image sensor 21 is substantially parallel to the imaging surface formed by the optical system of the microscope 11, and the interface circuit 23 of the camera head 12 is
  • the camera control unit 13 is connected to the interface circuit 41 via the camera interface cable 14.
  • the revolver 35 of the microscope 11 and an interface (not shown) for providing information on the entire microscope 11 and a CPU (Central Processing Unit) 47 of the camera control unit 13 are connected to each other via a cable 15.
  • CPU Central Processing Unit
  • the camera head 12 includes, for example, an image sensor 21 configured by a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), an A / D (Analog / Digital) converter 22, and an interface circuit 23. Configured.
  • the camera control unit 13 includes an interface circuit 41, an image processing circuit 42, a designated position address calculation circuit 43, a representative point setting circuit 44, a representative point search circuit 45, such as a mouse, a touch panel, or a key switch.
  • the interface unit 46, the CPU 47, the storage circuit 48, the measurement result notification circuit 49, and a display element 50 including, for example, an LCD (Liquid Crystal Display) are included.
  • the CPU 47 implements a function including the vector calculation unit 61, the distance calculation unit 62, and the control unit 63 by executing a predetermined control program.
  • the light emitted from the illumination device 31 of the microscope 11 is applied to the measurement object on the stage 33 through the condenser lens 32 and the like.
  • the illuminated measurement object is imaged on the imaging surface of the imaging device 21 of the camera head 12 by the objective lens 34 and an imaging optical system (not shown) in the lens barrel unit 36.
  • the image of the measurement object is converted into an electric photographing signal by the image pickup device 21, and further converted into a digital photographing signal by the A / D conversion device 22, and the camera is connected via the interface circuit 23 and the camera interface cable 14. It is transferred to the control unit 13.
  • the digital photographing signal transferred to the camera control unit 13 is received by the interface circuit 41 and supplied to the image processing circuit 42.
  • the image processing circuit 42 performs predetermined image processing on the digital photographing signal under the control of the control unit 63 to generate a digital image signal. For example, when the camera head 12 is color-compatible, the image processing circuit 42 performs pixel interpolation processing so that each pixel has three data of red, green, and blue, or between red, green, and blue data. Color balance processing.
  • the image processing circuit 42 performs, for example, pixel defect correction processing, filter processing, contour enhancement processing, and the like as necessary.
  • the image processing circuit 42 supplies the generated digital image signal to the designated position address calculation circuit 43, the representative point setting circuit 44, the representative point search circuit 45, and the display element 50.
  • the display element 50 displays an image based on the digital image signal supplied from the image processing circuit 42.
  • an image based on a digital image signal is also simply referred to as an image.
  • the above photographing process and display process are repeatedly executed at a predetermined frame rate, and a plurality of images photographed by the camera head 12 are displayed on the display element 50 of the camera control unit 13.
  • the stage 33 of the microscope 11 has a horizontal direction (x direction, a direction perpendicular to the paper surface of FIG. 1 (direction penetrating from the top to the bottom of the paper surface)) and a front-rear direction (y direction, paper surface of FIG. 1). Left and right) and up and down (z direction, up and down on the page of FIG. 1). Then, by moving the stage 33 left and right, the imaging range of the measurement object on the stage 33 by the camera head 12 moves in the horizontal direction (x direction), and by moving the stage 33 back and forth, the stage by the camera head 12 The imaging range of the measurement object on 33 is moved in the vertical direction (y direction).
  • the user moves the stage 33 of the microscope 11 while viewing the image displayed on the display element 50.
  • the starting point of the distance to be measured is set via the user interface unit 46. Then, when information indicating the position of the starting point set by the user is supplied from the user interface unit 46 to the control unit 63, this measurement process is started.
  • start point Ps when the start point Ps is set when the image G1 of FIG. 4 is displayed on the display element 50 and information indicating the position of the start point Ps is supplied from the user interface unit 46 to the control unit 63, this measurement process is performed. Is started. In FIG. 4 and FIGS. 5 to 7 described later, only the range of the image captured by the camera head 12 and displayed on the display element 50 is shown. These are described for assisting the explanation, are not actually taken, and are different from the displayed images.
  • step S1 the specified position address calculation circuit 43 calculates the coordinates of the start point in the coordinate system in the currently acquired image and stores them. Specifically, the control unit 63 of the CPU 47 supplies information indicating the position of the start point set by the user to the designated position address calculation circuit 43. The designated position address calculation circuit 43 calculates the coordinates of the start point in the image in which the start point is set, and stores it in the storage circuit 48.
  • step S2 the representative point setting circuit 44 sets a representative point in the image in which the start point is set based on the control of the control unit 63. For example, in the image in which the start point is set, a pixel that is located at a position different from the start point, has a maximum predetermined feature value, and is easily identified from other pixels is set as a representative point. Note that, as the feature amount used for setting the representative point, for example, contrast or edge intensity obtained from each pixel or its adjacent pixels, color information, and the like are used.
  • the distance from the four sides of the image G1 is a distance d (unit is pixel) or more.
  • a representative point is set from the pixels in the central portion Rc that is the range.
  • the distance d is calculated by the following equation (1).
  • the maximum moving speed of the stage indicates the maximum value of the moving distance per second of the stage 33 assumed in the standard usage method.
  • ⁇ indicates a margin rate, and is set to 1.1, for example. That is, the distance d is a value obtained by multiplying the maximum value (assumed value) of the distance that the pixel moves between one frame by the margin rate by moving the stage 33. Therefore, for example, as shown in FIG. 4, by setting the representative point Pr1 in the central portion Rc of the image G1, the possibility that the representative point Pr1 protrudes from the image of the next frame can be reduced. .
  • the pixel pitch of the image sensor 21 used in the expression (1) is a value uniquely determined by the camera to be used.
  • the frame rate of the camera head 12 is set in the camera control unit 13 by, for example, communication with the camera head 12 or user settings.
  • the representative point setting circuit 44 acquires the coordinates of the representative point and the feature amount of the nearby image.
  • the representative point setting circuit 44 stores the coordinates of the representative point Pr1 in the storage circuit 48 and is within a predetermined range (for example, 5 ⁇ 5 pixels) centered on the representative point Pr1.
  • the pixel value is acquired as a feature amount of an image near the representative point Pr1 and stored in the storage circuit 48.
  • the feature amount of the pixel in the vicinity of the representative point is not limited to the pixel value. For example, a value obtained by performing various types of filter processing and image conversion processing on the pixel in the vicinity of the representative point. You may make it use.
  • step S4 the control unit 63 determines whether an end point has been set. If it is determined that the end point is not set, the process proceeds to step S5.
  • step S5 the control unit 63 determines whether a new image with a changed imaging range is acquired. If it is determined that a new image has not been acquired, the process returns to step S4 until it is determined in step S4 that an end point has been set or a new image has been acquired in step S5. The processes in steps S4 and S5 are repeatedly executed.
  • step S5 if it is determined in step S5 that a new image with a changed imaging range has been acquired, the process proceeds to step S6.
  • step S6 the representative point search circuit 45 searches for the representative point set immediately before in the new image under the control of the control unit 63. Specifically, the representative point search circuit 45 reads the feature amount of the image in the vicinity of the representative point set immediately before, which is stored in the storage circuit 48. The representative point search circuit 45 uses a technique such as pattern matching to search for a region in the new image that has the maximum similarity to the read feature value and is equal to or greater than a predetermined threshold. That is, the representative point search circuit 45 searches for a region similar to an image in the vicinity of the representative point in the image in which the representative point is set in the new image.
  • step S7 the representative point search circuit 45 determines whether a representative point has been found.
  • the representative point search circuit 45 detects a region in the new image that has the maximum similarity with the feature quantity of the image near the representative point and is equal to or larger than a predetermined threshold, and the representative point search circuit 45 If the position can be specified, it is determined that a representative point has been found, and the process proceeds to step S8.
  • step S8 the control unit 63 determines whether it is necessary to set a new representative point. For example, as shown in FIG. 5, the representative point search circuit 45 needs to set a new representative point when the representative point Pr1 is detected at the end Re that is outside the center portion Rc of the image G2. The process proceeds to step S9.
  • step S9 the camera control unit 13 stores the coordinates of the representative point in the new image.
  • the representative point search circuit 45 causes the storage circuit 48 to store the coordinates of the representative point Pr1 in the image G2.
  • step S10 the representative point setting circuit 44 sets a new representative point based on the control of the control unit 63.
  • the representative point setting circuit 44 sets a new representative point Pr2 in the central portion Rc of the image G2 by the same process as in step S2.
  • step S 3 the coordinates of the newly set representative point and the feature amount of the nearby image are stored in the storage circuit 48.
  • the new image the representative point set immediately before is searched, and after the coordinates of the detected representative point are stored, the new representative point is set, and the newly set representative point coordinates
  • new representative points are set for new images.
  • steps S3 to S10 are repeatedly executed until it is determined in step S4 that the end point has been set or in step S7 it is determined that no representative point has been found.
  • step S8 for example, when the representative point search circuit 45 detects the representative point Pr1 in the central portion Rc of the newly acquired image G2, the control unit 63 determines that setting of a new representative point is not necessary.
  • the process of steps S9 and S10 is not performed, the process returns to step S4, and the processes after step S4 are executed. That is, when a representative point exists in the central portion Rc, a new representative point is not set, and the representative point detected by the representative point search circuit 45 is continuously used. As a result, the processing time can be shortened, and the storage capacity necessary for storing the coordinates of the representative points can be reduced.
  • the process in step S8 is not necessarily required, and the process in step S8 may be omitted if the processing time is not increased.
  • step S7 If it is determined in step S7 that the representative point has not been found in the newly acquired image, for example, the representative point protrudes from the image, or a new image is displayed in step S6 due to the influence of noise or the like.
  • step S11 the process proceeds to step S11 when the similarity with the feature amount of the image in the vicinity of the representative point is maximized and an area with a predetermined threshold value or more is not found.
  • step S11 the measurement result notification circuit 49 notifies the measurement failure based on the control of the control unit 63.
  • the measurement result notification circuit 49 notifies that the distance measurement has failed by displaying a predetermined message or image on the display element 50 or lighting or blinking a lamp (not shown). Thereafter, the measurement process ends.
  • step S4 After setting the starting point of the distance to be measured, the user moves the stage 33 of the microscope 11 while viewing the image displayed on the display element 50, and sets the end point of the distance to be measured via the user interface unit 46. Set the coordinates.
  • step S4 When information indicating the position of the end point set by the user is supplied from the user interface unit 46 to the control unit 63, it is determined in step S4 that the end point has been set, and the process proceeds to step S12.
  • the representative point Pr2 is set in the image G2 in FIG. 5, the representative point Pr2 is detected in the end portion Re in the image G3 in FIG. 6, and a new representative point Pr3 is set.
  • the image G4 of FIG. 7 a case where the representative point Pr3 is detected in the end portion Re, the representative point Pr4 is newly detected, and then the end point Pe is set will be described as an example.
  • step S12 the representative point set immediately before is detected by the representative point search circuit 45 in the image in which the end point is set, and the coordinates thereof are stored.
  • step S12 the coordinates of the end point are calculated and stored in the storage circuit 48 by the same processing as in step S1.
  • step S13 the vector calculation unit 61 stores the start point stored in the storage circuit 48 and the coordinates of the representative point set when the start point is set, the representative point searched for and detected on the same image, and a new one on the image.
  • the vector between each two points is calculated using the coordinates of the representative point set to, and the coordinates of the representative point and the end point searched and detected when the end point is set.
  • the number of times is the same as the number of images.
  • a vector between the representative point detected by the search and the newly set representative point is calculated.
  • the vector v1 (X1, Y1) from the start point Ps to the representative point Pr1 is obtained by subtracting the coordinates of the start point Ps from the coordinates of the representative point Pr1 in the image G1 in FIG.
  • the vector v2 (X2, Y2) from the representative point Pr1 to the representative point Pr2 is obtained, and the image G3 in FIG.
  • the vector v3 (X3, Y3) from the representative point Pr2 to the representative point Pr3 is obtained by subtracting the coordinates of the representative point Pr2 from the coordinates of the representative point Pr3 in FIG.
  • the vector v4 (X4, Y4) from the representative point Pr3 to the representative point Pr4 is obtained by subtracting the coordinates of the point Pr3, and the representative point Pr4 is obtained by subtracting the coordinates of the representative point Pr4 from the coordinates of the end point Pe in the image G4.
  • a vector v5 (X5, Y5) from to the end point Pe is obtained.
  • step S14 the distance calculation unit 62 obtains the distance between the start point and the end point.
  • the distance between the start point and the end point can be calculated by calculating the sum of each vector from the start point to the end point, and all the vectors calculated in step S13 are added to the vector from the start point to the end point. Is required.
  • the vector Vse from the start point Ps to the end point Pe is obtained by adding the vectors v1 to v5. Therefore, the distance Di (unit: pixel) on the image between the start point Ps and the end point Pe is obtained by the following equation (2).
  • the distance Da (unit: mm) between the start point Ps and the end point Pe on the actual measurement object is obtained by the following equation (3).
  • the distance calculation unit 62 acquires the magnification of the objective lens 34 used for photographing the measurement target object by acquiring the set position of the revolver 35 via the cable 15, for example. Note that the user may set the magnification of the objective lens 34 used for photographing the measurement object in the distance calculation unit 62.
  • the camera control unit 13 is caused to specify a range corresponding to 1 mm in the image photographed by the camera head 12 and learn how many pixels correspond to 1 mm, and the value (unit: pixels / mm) (
  • the actual distance Da may be calculated by the following equation (4) using a calibration value).
  • step S15 the measurement result notification circuit 49 notifies the measurement result under the control of the control unit 63.
  • the measurement result notification circuit 49 causes the display element 50 to display the measured distance between the start point and the end point. Thereafter, the measurement process ends.
  • step S8 is omitted and the start point is set.
  • a new representative point may always be set for each frame in the image until the end point after the image is set. In this case, the processing time and the capacity required for storing the coordinates of the representative point increase, but the possibility that the representative point protrudes from the image and the measurement fails can be reduced.
  • the CPU 47 can acquire the operation state of the microscope 11 such as movement information of the stage 33 via the cable 15. Therefore, for example, in step S8 described above, the control unit 63 acquires the movement information of the stage 33 from the microscope 11, and a new representative point is set based on the change amount of the imaging range accompanying the movement of the stage 33. It is also possible to determine whether or not it is necessary.
  • the position for setting the representative point such as the center pixel of each image may be fixed in advance.
  • the time required for the representative point setting process can be shortened.
  • the representative point may be set to a pixel with low contrast or edge strength, and the possibility of erroneous detection of the representative point is increased in the search process.
  • the imaging range of the measurement object is moved by moving the stage 33 of the microscope 11
  • the camera head 12 is moved in a direction parallel to the upper surface of the stage 33.
  • the photographing range can be moved.
  • the measurement system 1 calculates a vector between two points that do not fall within one shooting range. Is possible. Accordingly, it is possible to obtain the positional relationship between three or more points that do not fall within one shooting range, for example, the shape of a figure (eg, a circle) determined by a plurality of points, the angle between two sides, etc. It is also possible to make measurements.
  • the present invention optically enlarges or reduces the measurement object, for example. It can be applied to an apparatus or system that measures the distance between two points set on a moving image obtained by photographing a measurement object.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • system means an overall apparatus configured by a plurality of apparatuses and means.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明は、１つの撮影範囲内に収まらない２点間の距離の測定を簡単に行うことができる測定装置および方法、並びに、プログラムに関する。 始点が設定された画像について、指定位置アドレス算出回路４３は始点の座標を記憶し、代表点設定回路４４は代表点を設定し、その座標および近傍の画像の特徴量を記憶する。以後の終点が設定されるまでの画像において、代表点探索回路４５は直前画像の代表点を探索し、その座標を記憶し、代表点設定回路４４は新たな代表点を設定し、その座標および近傍の画像の特徴量を記憶する。指定位置アドレス算出回路４３は終点が設定された画像上の終点の座標を記憶する。ベクトル算出部６１は、始点、代表点および終点を設定順に接続した各２点間のベクトルを算出し、距離算出部６２は、始点から終点までのベクトルの大きさに基づいて、始点と終点の間の距離を算出する。本発明は、例えば、顕微鏡を用いた測定システムに適用できる。

Description

測定装置および方法、並びに、プログラム
　本発明は、測定装置および方法、プログラムに関し、特に、１つの撮影範囲内に収まらない２点間の距離を測定することが可能な測定装置および方法、並びに、プログラムに関する。
　従来、デジタルカメラなどの撮像装置のうち、顕微鏡に接続可能なものの中には、撮影したデジタル画像上において２点間の距離の測定を行えるものがある。しかしながら、そのような撮像装置では、同じ撮影視野の範囲（以下、撮影範囲とも称する）内に存在する２点間の距離しか測定できないため、１つの撮影範囲内に収まらない２点間の距離の測定には、従来、測定顕微鏡や距離計測装置などの専用の装置が用いられていた（例えば、特許文献１参照）。
特許第３６５２０１４号公報
　しかしながら、そのような専用の装置は高価であるため、例えば、測定顕微鏡以外の顕微鏡において、１つの撮影範囲内に収まらない２点間の距離の測定を簡単に行えるようにすることが望まれていた。
　本発明は、このような状況を鑑みてなされたものであり、１つの撮影範囲内に収まらない２点間の距離の測定を簡単に行えるようにするものである。
　本発明の一側面の測定装置は、測定対象物の撮影範囲を移動させながら撮影した複数の画像を用いて始点と終点との２点間の距離を測定する測定装置において、前記始点が設定された画像における前記始点の座標、および、前記終点が設定された画像における前記終点の座標を算出し、記憶部に記憶させる座標算出手段と、前記始点が設定された画像において前記始点とは異なる座標の位置に代表点を設定し、前記代表点の座標および近傍の画像の特徴量を記憶するとともに、前記始点が設定された画像より後の前記終点が設定されるまでの各画像において、直前に設定された前記代表点が探索され、検出された前記代表点の座標と異なる座標の位置に新たな前記代表点を設定し、新たな前記代表点の座標および近傍の画像の特徴量を前記記憶部に記憶させる代表点設定手段と、前記始点が設定された画像より後の前記終点が設定されるまでの各画像において、直前に設定された前記代表点の近傍の画像の特徴量に基づいて前記代表点を探索し、検出した前記代表点の座標を前記記憶部に記憶させる代表点探索手段と、記憶されている前記始点、前記代表点および前記終点の座標を用いて、前記始点が設定された画像での前記始点から前記代表点まで、同一画像で異なる位置に設定された前記代表点間、および、前記終点が設定された画像での前記代表点と前記終点を接続した同一画像上での各２点間のベクトルを算出するベクトル算出手段と、算出された前記ベクトルを全て加算することにより求められる前記始点から前記終点までのベクトルに基づいて、前記始点と前記終点の間の距離を算出する距離算出手段とを備える。
　本発明の一側面の測定方法は、測定対象物の撮影範囲を移動させながら撮影した複数の画像を用いて始点と終点との２点間の距離を測定する測定方法において、前記始点が設定された画像における前記始点の座標を取得する始点座標取得ステップと、前記始点が設定された画像において前記始点とは異なる代表点を設定し、設定した前記代表点の座標および近傍の画像の特徴量を取得する第１の代表点設定ステップと、前記始点が設定された画像より後の終点が設定されるまでの各画像において、直前に設定された前記代表点の近傍の画像の特徴量に基づいて前記代表点を探索し、直前に設定された代表点の座標を取得する代表点探索ステップと、前記代表点探索ステップにより検出した前記代表点の座標とは異なる座標の位置に新たな前記代表点を設定し、新たな前記代表点の座標および近傍の画像の特徴量を取得する第２の代表点設定ステップと、前記終点が設定された画像における前記終点の座標を取得する終点座標取得ステップと、取得された前記始点、前記代表点および前記終点の座標を用いて、前記始点が設定された画像での前記始点から前記代表点まで、同一画像で異なる位置に設定された前記代表点間、および、前記終点が設定された画像での前記代表点と前記終点を接続した同一画像上での各２点間のベクトルを算出するベクトル算出ステップと、算出された前記ベクトルを全て加算することにより求められる前記始点から前記終点までのベクトルに基づいて、前記始点と前記終点の間の距離を算出する距離算出ステップとを含む。
　本発明の一側面のプログラムは、測定対象物の撮影範囲を移動させながら撮影した複数の画像を用いて始点と終点との２点間の距離を測定する処理を、コンピュータに実行させるプログラムにおいて、前記始点が設定された画像における前記始点の座標を取得する始点座標取得ステップと、前記始点が設定された画像において前記始点とは異なる代表点を設定し、設定した前記代表点の座標および近傍の画像の特徴量を取得する第１の代表点設定ステップと、前記始点が設定された画像より後の終点が設定されるまでの各画像において、直前に設定された前記代表点の近傍の画像の特徴量に基づいて前記代表点を探索し、直前に設定された代表点の座標を取得する代表点探索ステップと、前記代表点探索ステップにより検出した前記代表点の座標とは異なる座標の位置に新たな前記代表点を設定し、新たな前記代表点の座標および近傍の画像の特徴量を取得する第２の代表点設定ステップと、前記終点が設定された画像における前記終点の座標を取得する終点座標取得ステップと、取得された前記始点、前記代表点および前記終点の座標を用いて、前記始点が設定された画像での前記始点から前記代表点まで、同一画像で異なる位置に設定された前記代表点間、および、前記終点が設定された画像での前記代表点と前記終点を接続した同一画像上での各２点間のベクトルを算出するベクトル算出ステップと、算出された前記ベクトルを全て加算することにより求められる前記始点から前記終点までのベクトルに基づいて、前記始点と前記終点の間の距離を算出する距離算出ステップとを含む処理をコンピュータに実行させる。
　本発明の一側面においては、始点が設定された画像における前記始点の座標が記憶され、前記始点が設定された画像において前記始点とは異なる代表点が設定され、設定された前記代表点の座標および近傍の画像の特徴量が記憶され、前記始点が設定された画像より後の終点が設定されるまでの画像において、直前に設定された前記代表点の近傍の画像の特徴量を用いて前記代表点が探索され、検出された前記代表点の座標が記憶されるとともに、新たな前記代表点が設定され、新たな前記代表点の座標および近傍の画像の特徴量が記憶され、前記終点が設定された画像における前記終点の座標が記憶され、記憶されている前記始点、前記代表点および前記終点の座標を用いて、前記始点、前記代表点および前記終点のいずれかの２つの点を接続した各２点間のベクトルが画像毎に算出され、算出された前記ベクトルを全て加算することにより求められる前記始点から前記終点までのベクトルに基づいて、前記始点と前記終点の間の距離が算出される。
　本発明の一側面によれば、１つの撮影範囲内に収まらない２点間の距離を測定することができる。
本発明を適用した測定システムの一実施の形態を示すブロック図である。 測定システムにより実行される測定処理を説明するためのフローチャートである。 測定システムにより実行される測定処理を説明するためのフローチャートである。 測定処理の具体例を説明するための図である。 測定処理の具体例を説明するための図である。 測定処理の具体例を説明するための図である。 測定処理の具体例を説明するための図である。 ２点間の距離の算出方法を説明するための図である。
符号の説明
　１　測定システム，　１１　顕微鏡，　１２　カメラヘッド，　１３　カメラコントロールユニット，　４２　画像処理回路，　４３　指定位置アドレス算出回路，　４４　代表点設定回路，　４５　代表点探索回路，　４７　CPU，　４８　記憶回路，　４９　測定結果通知回路，　５０　表示素子，　６１　ベクトル算出部，　６２　距離算出部，　６３　制御部
　以下、図面を参照して本発明を適用した実施の形態について説明する。
　図１は、本発明を適用した測定システムの一実施の形態を示す図である。図１の測定システム１は、例えば、測定顕微鏡とは異なる標準的な観察顕微鏡により構成される顕微鏡１１のステージ３３上に設置された測定対象物の２点間の距離を測定することが可能なシステムである。測定システム１において、カメラヘッド１２は、撮像素子２１の撮像面が顕微鏡１１の光学系で結像する結像面とほぼ平行になるように顕微鏡１１に装着され、カメラヘッド１２のインタフェース回路２３は、カメラインタフェースケーブル１４を介して、カメラコントロールユニット１３のインタフェース回路４１に接続されている。また、顕微鏡１１のレボルバ３５および顕微鏡１１全体の情報を提供するインタフェース（不図示）とカメラコントロールユニット１３のCPU（Central Processing Unit）４７とは、ケーブル１５を介して相互に接続されている。
　カメラヘッド１２は、例えば、CCD（Charge Coupled Devices）またはCMOS（Complementary Metal Oxide Semiconductor）などにより構成される撮像素子２１、A/D（Analog/Digital）変換素子２２、および、インタフェース回路２３を含むように構成される。カメラコントロールユニット１３は、インタフェース回路４１、画像処理回路４２、指定位置アドレス算出回路４３、代表点設定回路４４、代表点探索回路４５、例えば、マウス、タッチパネル、または、キースイッチ等により構成されるユーザインタフェース部４６、CPU４７、記憶回路４８、測定結果通知回路４９、および、例えば、LCD（Liquid Crystal Display）などにより構成される表示素子５０を含むように構成される。また、CPU４７は、所定の制御プログラムを実行することにより、ベクトル算出部６１、距離算出部６２、および、制御部６３を含む機能を実現する。
　ここで、測定システム１において、顕微鏡１１のステージ３３上に設置された測定対象物を撮影し、撮影した画像を表示する場合の処理について説明する。
　顕微鏡１１の照明装置３１から射出された光は、コンデンサレンズ３２等を介して、ステージ３３上の測定対象物に照射される。照明された測定対象物は、対物レンズ３４、および、鏡筒ユニット３６内の図示せぬ結像光学系により、カメラヘッド１２の撮像素子２１の撮像面上に、その像が結像する。測定対象物の像は、撮像素子２１により電気的な撮影信号に変換され、さらに、A/D変換素子２２により、デジタル撮影信号に変換され、インタフェース回路２３およびカメラインタフェースケーブル１４を介して、カメラコントロールユニット１３に転送される。
　カメラコントロールユニット１３に転送されたデジタル撮影信号は、インタフェース回路４１により受信され、画像処理回路４２に供給される。画像処理回路４２は、制御部６３の制御の基に、デジタル撮影信号に所定の画像処理を施し、デジタル画像信号を生成する。画像処理回路４２は、例えば、カメラヘッド１２がカラー対応である場合、個々の画素が赤、緑、青の３つのデータを持つように画素補間処理を行ったり、赤、緑、青のデータ間の色バランス処理を行ったりする。また、画像処理回路４２は、例えば、画素欠陥補正処理、フィルタ処理、輪郭強調処理等を必要に応じて行う。
　画像処理回路４２は、生成したデジタル画像信号を、指定位置アドレス算出回路４３、代表点設定回路４４、代表点探索回路４５、および、表示素子５０に供給する。表示素子５０は、画像処理回路４２から供給されるデジタル画像信号に基づく画像を表示する。なお、以下、デジタル画像信号に基づく画像を、単に画像とも称する。
　測定システム１においては、以上の撮影処理および表示処理が所定のフレームレートで繰り返し実行され、カメラヘッド１２により撮影された複数の画像が、カメラコントロールユニット１３の表示素子５０に表示される。
　なお、顕微鏡１１のステージ３３は、顕微鏡１１の左右方向（ｘ方向、図１の紙面に対して垂直な方向（紙面の上から下に突き抜ける方向））、前後方向（ｙ方向、図１の紙面上で左右方向）、および、上下方向（ｚ方向、図１の紙面上で上下方向）に動かすことができる。そして、ステージ３３を左右に動かすことにより、カメラヘッド１２によるステージ３３上の測定対象物の撮影範囲が横方向（ｘ方向）に移動し、ステージ３３を前後に動かすことにより、カメラヘッド１２によるステージ３３上の測定対象物の撮影範囲が縦方向（ｙ方向）に移動する。
　次に、図２および図３のフローチャートに従って、適宜、図４乃至図８を参照しながら、測定システム１により実行される測定処理について説明する。
　測定システム１により顕微鏡１１のステージ３３上の測定対象物の２点間の距離の測定を行う場合、ユーザは、表示素子５０に表示される画像を見ながら、顕微鏡１１のステージ３３を移動させ、ユーザインタフェース部４６を介して、測定したい距離の始点を設定する。そして、ユーザにより設定された始点の位置を示す情報が、ユーザインタフェース部４６から制御部６３に供給されたとき、この測定処理が開始される。
　例えば、表示素子５０に図４の画像Ｇ１が表示されているときに始点Ｐｓが設定され、始点Ｐｓの位置を示す情報が、ユーザインタフェース部４６から制御部６３に供給されたとき、この測定処理が開始される。なお、図４、および、後述する図５乃至図７においては、カメラヘッド１２により撮影され、表示素子５０に表示されている画像の範囲のみが示されており、画像内の点や斜線等は、説明を補助するために記載したものであって、実際に撮影されておらず、表示されている画像とは異なる。
　ステップＳ１において、指定位置アドレス算出回路４３によって、現在取得している画像における座標系で始点の座標を算出し、記憶させる。具体的には、CPU４７の制御部６３は、ユーザにより設定された始点の位置を示す情報を指定位置アドレス算出回路４３に供給する。指定位置アドレス算出回路４３は、始点が設定された画像における始点の座標を算出し、記憶回路４８に記憶させる。
　ステップＳ２において、代表点設定回路４４により、制御部６３の制御の基に、始点が設定された画像において、代表点を設定する。例えば、始点が設定された画像内において、始点とは異なる位置の画素であって、所定の特徴量が最大となり、他の画素との識別が容易な画素が代表点に設定される。なお、代表点の設定に用いられる特徴量には、例えば、各画素やその隣接画素から得られるコントラストまたはエッジの強度、色情報などが用いられる。
　また、顕微鏡１１のステージ３３の移動により、代表点が次のフレームの画像からはみ出す前に、例えば、図４に示されるように、画像Ｇ１の４辺から距離ｄ（単位はピクセル）以上離れた範囲である中央部Ｒｃ内の画素の中から代表点を設定するようにする。ここで、距離ｄは、以下の式（１）により算出される。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）において、ステージの最大移動速度は、標準的な使用方法において想定される、ステージ３３の１秒間の移動距離の最大値を示す。また、αは余裕率を示し、例えば、1.1に設定される。すなわち、距離ｄは、ステージ３３を移動させることにより、１フレーム間に画素が移動する距離の最大値（想定値）に余裕率を乗じた値となる。従って、例えば、図４に示されるように、画像Ｇ１の中央部Ｒｃ内において代表点Ｐｒ１を設定することにより、次のフレームの画像から代表点Ｐｒ１がはみ出してしまう可能性を低下させることができる。
　なお、式（１）で用いられる撮像素子２１の画素ピッチは、使用するカメラによって一意的に決定される値である。カメラヘッド１２のフレームレートは、例えば、カメラヘッド１２との間の通信、または、ユーザ設定などにより、カメラコントロールユニット１３に設定される。
　ステップＳ３において、代表点設定回路４４によって、代表点の座標および近傍の画像の特徴量を取得する。例えば、図４の例の場合、代表点設定回路４４は、代表点Ｐｒ１の座標を記憶回路４８に記憶させるとともに、代表点Ｐｒ１を中心とする所定の範囲内（例えば、５×５画素）の画素値を、代表点Ｐｒ１の近傍の画像の特徴量として取得し、記憶回路４８に記憶させる。なお、代表点の近傍の画素の特徴量は、画素値に限定されるものではなく、例えば、代表点の近傍の画素に対して各種のフィルタ処理や画像変換処理を施すことにより得られる値を用いるようにしてもよい。
　ステップＳ４において、制御部６３は、終点が設定されたかを判定する。終点が設定されていないと判定された場合、処理はステップＳ５に進む。
　ステップＳ５において、制御部６３は、撮像範囲が変わった新たな画像が取得されたかを判定する。新たな画像が取得されていないと判定された場合、処理はステップＳ４に戻り、ステップＳ４において、終点が設定されたと判定されるか、ステップＳ５において、新たな画像が取得されたと判定されるまで、ステップＳ４およびＳ５の処理が繰り返し実行される。
　一方、ステップＳ５において、撮像範囲が変わった新たな画像が取得されたと判定された場合、処理はステップＳ６に進む。
　ステップＳ６において、代表点探索回路４５により、制御部６３の制御の基に、新たな画像において、直前に設定された代表点を探索する。具体的には、代表点探索回路４５は、記憶回路４８に記憶されている、直前設定された代表点の近傍の画像の特徴量を読み出す。代表点探索回路４５は、パターンマッチングなどの手法を用いて、新たな画像において、読み出した特徴量との類似度が最大となり、かつ、所定の閾値以上となる領域を探索する。すなわち、代表点探索回路４５は、新たな画像において、代表点が設定された画像における代表点の近傍の画像と類似する領域の探索を行う。
　ステップＳ７において、代表点探索回路４５によって、代表点が見つかったかを判定する。代表点探索回路４５は、新たな画像において、代表点の近傍の画像の特徴量との類似度が最大となり、かつ、所定の閾値以上となる領域を検出し、直前に設定された代表点の位置を特定できた場合、代表点が見つかったと判定し、処理はステップＳ８に進む。
　ステップＳ８において、制御部６３は、新たな代表点の設定が必要であるかを判定する。例えば、代表点探索回路４５は、図５に示されるように、画像Ｇ２の中央部Ｒｃの外の範囲である端部Ｒｅにおいて代表点Ｐｒ１を検出した場合、新たな代表点の設定が必要であると判定し、処理はステップＳ９に進む。
　ステップＳ９において、カメラコントロールユニット１３は、新たな画像における代表点の座標を記憶する。例えば、代表点探索回路４５は、画像Ｇ２における代表点Ｐｒ１の座標を記憶回路４８に記憶させる。
　ステップＳ１０において、代表点設定回路４４は、制御部６３の制御の基に、新たな代表点を設定する。例えば、代表点設定回路４４は、ステップＳ２と同様の処理により、画像Ｇ２の中央部Ｒｃ内において、新たな代表点Ｐｒ２を設定する。
　その後、処理はステップＳ３に戻り、ステップＳ３において、新たに設定された代表点の座標および近傍の画像の特徴量が、記憶回路４８に記憶される。このように、新たな画像において、直前に設定された代表点が探索され、検出された代表点の座標が記憶された後、新たな代表点が設定され、新たに設定された代表点の座標および近傍の画像の特徴量が記憶されることにより、新たな画像に対して新たな代表点の設定が行われる。
　その後、ステップＳ４において、終点が設定されたと判定されるか、ステップＳ７において、代表点が見つからなかったと判定されるまで、ステップＳ３乃至Ｓ１０の処理が繰り返し実行される。
　一方、ステップＳ８において、制御部６３は、例えば、代表点探索回路４５により、新たに取得した画像Ｇ２の中央部Ｒｃにおいて代表点Ｐｒ１を検出した場合、新たな代表点の設定は必要でないと判定し、ステップＳ９およびＳ１０の処理は行われずに、処理はステップＳ４に戻り、ステップＳ４以降の処理が実行される。すなわち、代表点が中央部Ｒｃに存在する場合、代表点の新たな設定は行われず、代表点探索回路４５で検出した代表点が継続して使用される。これにより、処理時間を短縮できるとともに、代表点の座標の記憶に必要な記憶容量を削減することができる。なお、本発明では、ステップＳ８の処理が必ずしも必要ではなく、処理時間の増大をいとわなければ、このステップＳ８の処理を省略してもよい。
　また、ステップＳ７において、新たに取得した画像の中で代表点が見つからなかったと判定された場合、例えば、代表点が画像からはみ出してしまったり、ノイズなどの影響により、ステップＳ６において、新たな画像において、代表点の近傍の画像の特徴量との類似度が最大となり、かつ、所定の閾値以上となる領域が見つからなかった場合、処理はステップＳ１１に進む。
　ステップＳ１１において、測定結果通知回路４９は、制御部６３の制御の基に、測定の失敗を通知する。例えば、測定結果通知回路４９は、表示素子５０に所定のメッセージや画像を表示させたり、図示せぬランプを点灯または点滅させたりすることにより、距離の測定を失敗したことを通知する。その後、測定処理は終了する。
　ところで、ユーザは、測定したい距離の始点を設定した後、表示素子５０に表示される画像を見ながら、顕微鏡１１のステージ３３を移動させ、ユーザインタフェース部４６を介して、測定したい距離の終点の座標を設定する。そして、ユーザにより設定された終点の位置を示す情報が、ユーザインタフェース部４６から制御部６３に供給されたとき、ステップＳ４において、終点が設定されたと判定され、処理はステップＳ１２に進む。
　なお、以下、上述したように図５の画像Ｇ２において代表点Ｐｒ２が設定された後、図６の画像Ｇ３において、代表点Ｐｒ２が端部Ｒｅ内に検出され、新たに代表点Ｐｒ３が設定され、図７の画像Ｇ４において、代表点Ｐｒ３が端部Ｒｅ内に検出され、新たに代表点Ｐｒ４が検出された後、終点Ｐｅが設定された場合を例に挙げて説明する。
　ステップＳ１２において、終点が設定された画像において、代表点探索回路４５により直前に設定した代表点を検出し、その座標を記憶する。
　さらにステップＳ１２において、ステップＳ１と同様の処理により、終点の座標が算出され、記憶回路４８に記憶される。
　ステップＳ１３において、ベクトル算出部６１は、記憶回路４８に記憶されている始点と始点の設定時に設定された代表点の座標、同一画像上で探索して検出された代表点とその画像上で新たに設定された代表点の座標、および、終点の設定時に探索されて検出された代表点と終点の座標を用いて、各２点間のベクトルを算出する。もちろん、始点から終点が設定されるまでに直前に設定された代表点の探索と、新たに代表点を設定することを同一画像で行った画像が複数枚あれば、その画像の枚数と同じ回数探索して検出された代表点と新たに設定された代表点間のベクトルを算出する。
　ベクトルの算出については、例えば、図４の画像Ｇ１における代表点Ｐｒ１の座標から始点Ｐｓの座標を引くことにより、始点Ｐｓから代表点Ｐｒ１へのベクトルｖ１（Ｘ１，Ｙ１）が求められる。同様に、図５の画像Ｇ２における代表点Ｐｒ２の座標から代表点Ｐｒ１の座標を引くことにより、代表点Ｐｒ１から代表点Ｐｒ２へのベクトルｖ２（Ｘ２，Ｙ２）が求められ、図６の画像Ｇ３における代表点Ｐｒ３の座標から代表点Ｐｒ２の座標を引くことにより、代表点Ｐｒ２から代表点Ｐｒ３へのベクトルｖ３（Ｘ３，Ｙ３）が求められ、図７の画像Ｇ４における代表点Ｐｒ４の座標から代表点Ｐｒ３の座標を引くことにより、代表点Ｐｒ３から代表点Ｐｒ４へのベクトルｖ４（Ｘ４，Ｙ４）が求められ、画像Ｇ４における終点Ｐｅの座標から代表点Ｐｒ４の座標を引くことにより、代表点Ｐｒ４から終点Ｐｅへのベクトルｖ５（Ｘ５，Ｙ５）が求められる。
　ステップＳ１４において、距離算出部６２は、始点と終点の間の距離を求める。ここで、始点と終点の間の距離は、始点から終点への各ベクトルの総和を算出することで算出することができ、始点から終点へのベクトルは、ステップＳ１３において算出されたベクトルを全て加算することにより求められる。
　例えば、図８に示されるように、始点Ｐｓから終点ＰｅへのベクトルＶseは、ベクトルｖ１乃至ｖ５を加算することにより求められる。従って、始点Ｐｓと終点Ｐｅとの間の画像上の距離Ｄｉ（単位は、ピクセル）は、以下の式（２）により求められる。
Figure JPOXMLDOC01-appb-M000002
　そして、実際の測定対象物上の始点Ｐｓと終点Ｐｅとの間の距離Ｄａ（単位は、ｍｍ）は、以下の式（３）により求められる。
　Ｄａ＝Ｄｉ×画素ピッチ÷対物レンズの倍率　・・・（３）
　なお、距離算出部６２は、例えば、ケーブル１５を介して、レボルバ３５の設定位置を取得することにより、測定対象物の撮影に用いられている対物レンズ３４の倍率を取得する。なお、ユーザが、測定対象物の撮影に用いられている対物レンズ３４の倍率を距離算出部６２に設定するようにしてもよい。
　また、カメラコントロールユニット１３に、カメラヘッド１２により撮影された画像において１mmに相当する範囲を指定し、１mmが何画素分に相当するかを学習させ、その値（単位は、ピクセル／mm）（以下、キャリブレーション値と称する）を用いて、以下の式（４）により、実際の距離Ｄａを算出するようにしてもよい。
　Ｄａ＝Ｄｉ÷キャリブレーション値　・・・（４）
　ステップＳ１５において、測定結果通知回路４９は、制御部６３の制御の基に、測定結果を通知する。例えば、測定結果通知回路４９は、測定した始点と終点との間の距離を表示素子５０に表示させる。その後、測定処理は終了する。
　以上のようにして、顕微鏡１１に、カメラヘッド１２およびカメラコントロールユニット１３を接続するだけで、１つの撮影範囲内に収まらない２点間の距離の測定を簡単に行えるようにすることができる。
　なお、以上の説明では、代表点が各画像の端部Ｒｅ内に検出されたときに、新たな代表点を設定する例を示したが、ステップＳ８の処理を省略して、始点が設定された画像より後の終点が設定されるまでの画像において、フレームごとに常に新たな代表点を設定するようにしてもよい。この場合、処理時間、および、代表点の座標の記憶に必要な容量が増大するが、代表点が画像からはみ出し、測定を失敗する可能性を低減させることができる。
　また、CPU４７は、ケーブル１５を介して、対物レンズ３４の倍率情報以外にも、ステージ３３の移動情報などの顕微鏡１１の動作状態の取得が可能となっている。そこで、例えば、上述したステップＳ８において、制御部６３が、顕微鏡１１からのステージ３３の移動情報を取得し、ステージ３３の移動に伴う撮像範囲の変化量に基づいて、新たな代表点の設定が必要か否かを判定するようにすることも可能である。
　また、例えば、各画像の中心の画素など、代表点を設定する位置を予め固定しておくようにしてもよい。これにより、代表点の設定処理にかかる時間を短縮することができる。
ただし、この場合、代表点がコントラストまたはエッジ強度が弱い画素に設定されることがあり、探索処理において、代表点の誤検出が発生する可能性が高くなる。
　さらに、以上の説明では、顕微鏡１１のステージ３３を動かすことにより、測定対象物の撮影範囲を移動させる例を示したが、カメラヘッド１２をステージ３３の上面に対して平行な方向に移動させることにより、撮影範囲を移動させるようにすることも可能である。
　また、以上の説明では、２点間の距離を測定する場合の例を示したが、上述したように、測定システム１では、１つの撮影範囲内に収まらない２点間のベクトルを算出することが可能である。従って、１つの撮影範囲内に収まらない３点以上の点の位置関係を求めることができ、例えば、複数の点で決定される図形（例えば、円など）の形状、２辺の間の角度などの測定を行うことも可能である。
　さらに、以上の説明では、本発明を、顕微鏡を用いて２点間の距離を測定するシステムに適用する例を示したが、本発明は、例えば、測定対象物を光学的に拡大または縮小するか否かに関わらず、測定対象物を撮影した動画像上で設定した２点間の距離を測定する装置やシステムに適用できる。
　また、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
　さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

Claims (7)

  1. 　測定対象物の撮影範囲を移動させながら撮影した複数の画像を用いて始点と終点との２点間の距離を測定する測定装置において、
    　前記始点が設定された画像における前記始点の座標、および、前記終点が設定された画像における前記終点の座標を算出し、記憶部に記憶させる座標算出手段と、
    　前記始点が設定された画像において前記始点とは異なる座標の位置に代表点を設定し、前記代表点の座標および近傍の画像の特徴量を記憶するとともに、前記始点が設定された画像より後の前記終点が設定されるまでの各画像において、直前に設定された前記代表点が探索され、検出された前記代表点の座標と異なる座標の位置に新たな前記代表点を設定し、新たな前記代表点の座標および近傍の画像の特徴量を前記記憶部に記憶させる代表点設定手段と、
    　前記始点が設定された画像より後の前記終点が設定されるまでの各画像において、直前に設定された前記代表点の近傍の画像の特徴量に基づいて前記代表点を探索し、検出した前記代表点の座標を前記記憶部に記憶させる代表点探索手段と、
    　記憶されている前記始点、前記代表点および前記終点の座標を用いて、前記始点が設定された画像での前記始点から前記代表点まで、同一画像で異なる位置に設定された前記代表点間、および、前記終点が設定された画像での前記代表点と前記終点を接続した同一画像上での各２点間のベクトルを算出するベクトル算出手段と、
    　算出された前記ベクトルを全て加算することにより求められる前記始点から前記終点までのベクトルに基づいて、前記始点と前記終点の間の距離を算出する距離算出手段と
    　を備えることを特徴とする測定装置。
  2. 　前記代表点探索手段は、画像の中央の所定の範囲の外において前記代表点を検出した場合、検出した前記代表点の座標を前記記憶部に記憶させ、前記所定の範囲内において前記代表点を検出した場合、検出した前記代表点の座標を前記記憶部に記憶させず、
    　前記代表点設定手段は、前記所定の範囲の外において前記代表点が検出された場合、新たな前記代表点を設定し、前記所定の範囲内において前記代表点が検出された場合、新たな前記代表点を設定しない
    　ことを特徴とする請求項１に記載の測定装置。
  3. 　前記代表点設定手段は、画像の中央の所定の範囲内の画素の中から前記代表点を設定する
    　ことを特徴とする請求項１に記載の測定装置。
  4. 　前記代表点設定手段は、所定の特徴量が大きい画素を前記代表点に設定する
    　ことを特徴とする請求項１に記載の測定装置。
  5. 　前記代表点検索手段により直前に設定された前記代表点が検出できなかった場合、測定の失敗を通知する通知手段を
    　さらに備えることを特徴とする請求項１に記載の測定装置。
  6. 　測定対象物の撮影範囲を移動させながら撮影した複数の画像を用いて始点と終点との２点間の距離を測定する測定方法において、
    　前記始点が設定された画像における前記始点の座標を取得する始点座標取得ステップと、
    　前記始点が設定された画像において前記始点とは異なる代表点を設定し、設定した前記代表点の座標および近傍の画像の特徴量を取得する第１の代表点設定ステップと、
    　前記始点が設定された画像より後の終点が設定されるまでの各画像において、直前に設定された前記代表点の近傍の画像の特徴量に基づいて前記代表点を探索し、直前に設定された代表点の座標を取得する代表点探索ステップと、
    　前記代表点探索ステップにより検出した前記代表点の座標とは異なる座標の位置に新たな前記代表点を設定し、新たな前記代表点の座標および近傍の画像の特徴量を取得する第２の代表点設定ステップと、
    　前記終点が設定された画像における前記終点の座標を取得する終点座標取得ステップと、
    　取得された前記始点、前記代表点および前記終点の座標を用いて、前記始点が設定された画像での前記始点から前記代表点まで、同一画像で異なる位置に設定された前記代表点間、および、前記終点が設定された画像での前記代表点と前記終点を接続した同一画像上での各２点間のベクトルを算出するベクトル算出ステップと、
    　算出された前記ベクトルを全て加算することにより求められる前記始点から前記終点までのベクトルに基づいて、前記始点と前記終点の間の距離を算出する距離算出ステップと　を含むことを特徴とする測定方法。
  7. 　測定対象物の撮影範囲を移動させながら撮影した複数の画像を用いて始点と終点との２点間の距離を測定する処理を、コンピュータに実行させるプログラムにおいて、
    　前記始点が設定された画像における前記始点の座標を取得する始点座標取得ステップと、
    　前記始点が設定された画像において前記始点とは異なる代表点を設定し、設定した前記代表点の座標および近傍の画像の特徴量を取得する第１の代表点設定ステップと、
    　前記始点が設定された画像より後の終点が設定されるまでの各画像において、直前に設定された前記代表点の近傍の画像の特徴量に基づいて前記代表点を探索し、直前に設定された代表点の座標を取得する代表点探索ステップと、
    　前記代表点探索ステップにより検出した前記代表点の座標とは異なる座標の位置に新たな前記代表点を設定し、新たな前記代表点の座標および近傍の画像の特徴量を取得する第２の代表点設定ステップと、
    　前記終点が設定された画像における前記終点の座標を取得する終点座標取得ステップと、
    　取得された前記始点、前記代表点および前記終点の座標を用いて、前記始点が設定された画像での前記始点から前記代表点まで、同一画像で異なる位置に設定された前記代表点間、および、前記終点が設定された画像での前記代表点と前記終点を接続した同一画像上での各２点間のベクトルを算出するベクトル算出ステップと、
    　算出された前記ベクトルを全て加算することにより求められる前記始点から前記終点までのベクトルに基づいて、前記始点と前記終点の間の距離を算出する距離算出ステップと　を含む処理をコンピュータに実行させるプログラム。
PCT/JP2009/050168 2008-01-09 2009-01-09 測定装置および方法、並びに、プログラム WO2009088053A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09701312.2A EP2233882B1 (en) 2008-01-09 2009-01-09 Measuring device, method, and program
CN200980104578.9A CN101939616B (zh) 2008-01-09 2009-01-09 测量设备和测量方法
JP2009548956A JP5311143B2 (ja) 2008-01-09 2009-01-09 測定装置および方法、並びに、プログラム
US12/832,539 US9846027B2 (en) 2008-01-09 2010-07-08 Measuring apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-002130 2008-01-09
JP2008002130 2008-01-09

Publications (1)

Publication Number Publication Date
WO2009088053A1 true WO2009088053A1 (ja) 2009-07-16

Family

ID=40854523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050168 WO2009088053A1 (ja) 2008-01-09 2009-01-09 測定装置および方法、並びに、プログラム

Country Status (5)

Country Link
US (1) US9846027B2 (ja)
EP (1) EP2233882B1 (ja)
JP (1) JP5311143B2 (ja)
CN (1) CN101939616B (ja)
WO (1) WO2009088053A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101881613A (zh) * 2010-06-21 2010-11-10 邓丹 测量两点之间距离的方法
JP2011153963A (ja) * 2010-01-28 2011-08-11 Gunma Prefecture 機械的精度評価方法
JP2012137391A (ja) * 2010-12-27 2012-07-19 Kobelco Kaken:Kk ひずみ測定装置およびひずみ測定方法
JP2015094595A (ja) * 2013-11-08 2015-05-18 オリンパス株式会社 顕微鏡システム
US9115983B2 (en) 2009-07-07 2015-08-25 Smc Kabushiki Kaisha Position measurement apparatus and position measuring method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976205B2 (ja) * 2018-03-19 2021-12-08 東レエンジニアリング株式会社 チップ位置測定装置
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01214702A (ja) * 1988-02-23 1989-08-29 Hitachi Constr Mach Co Ltd 測長装置
JP2004205366A (ja) * 2002-12-25 2004-07-22 Japan Science & Technology Agency 高倍率顕微観測装置
JP2004258495A (ja) * 2003-02-27 2004-09-16 Nikon Corp 顕微鏡用撮像装置
JP2005172667A (ja) * 2003-12-12 2005-06-30 Olympus Corp 工業用内視鏡装置及びこれを用いた形状寸法測定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912699A (en) * 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
JP2639870B2 (ja) 1992-03-13 1997-08-13 積水化学工業株式会社 画像処理による板状体の寸法測定方法
JP2884041B2 (ja) * 1994-11-01 1999-04-19 工業技術院長 非接触式相対変位測定法及び測定装置
JP2003536134A (ja) * 2000-06-02 2003-12-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像を合成画像に合併する方法及び装置
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
KR20040038743A (ko) * 2002-10-29 2004-05-08 세이코 프리씨존 인크. 표본 화상 데이터 처리 방법, 표본 검사 시스템 및 표본검사 방법
US7424133B2 (en) * 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
JP4283044B2 (ja) 2003-06-10 2009-06-24 富士通株式会社 微小寸法計測方法
KR20060130026A (ko) * 2003-10-13 2006-12-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 카메라를 이용한 크기 측정방법
JP5069904B2 (ja) * 2006-03-28 2012-11-07 株式会社日立ハイテクノロジーズ 指定位置特定方法及び指定位置測定装置
US7773773B2 (en) * 2006-10-18 2010-08-10 Ut-Battelle, Llc Method and system for determining a volume of an object from two-dimensional images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01214702A (ja) * 1988-02-23 1989-08-29 Hitachi Constr Mach Co Ltd 測長装置
JP2004205366A (ja) * 2002-12-25 2004-07-22 Japan Science & Technology Agency 高倍率顕微観測装置
JP2004258495A (ja) * 2003-02-27 2004-09-16 Nikon Corp 顕微鏡用撮像装置
JP2005172667A (ja) * 2003-12-12 2005-06-30 Olympus Corp 工業用内視鏡装置及びこれを用いた形状寸法測定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9115983B2 (en) 2009-07-07 2015-08-25 Smc Kabushiki Kaisha Position measurement apparatus and position measuring method
JP2011153963A (ja) * 2010-01-28 2011-08-11 Gunma Prefecture 機械的精度評価方法
CN101881613A (zh) * 2010-06-21 2010-11-10 邓丹 测量两点之间距离的方法
JP2012137391A (ja) * 2010-12-27 2012-07-19 Kobelco Kaken:Kk ひずみ測定装置およびひずみ測定方法
JP2015094595A (ja) * 2013-11-08 2015-05-18 オリンパス株式会社 顕微鏡システム

Also Published As

Publication number Publication date
EP2233882A4 (en) 2017-05-10
EP2233882A1 (en) 2010-09-29
EP2233882B1 (en) 2021-03-31
JP5311143B2 (ja) 2013-10-09
CN101939616B (zh) 2014-07-09
JPWO2009088053A1 (ja) 2011-05-26
US20100272321A1 (en) 2010-10-28
CN101939616A (zh) 2011-01-05
US9846027B2 (en) 2017-12-19

Similar Documents

Publication Publication Date Title
JP5311143B2 (ja) 測定装置および方法、並びに、プログラム
US7869706B2 (en) Shooting apparatus for a microscope
JP2006222933A (ja) ブレ補正方法および撮像装置
JP2011158549A (ja) 内視鏡装置およびプログラム
JP2009290548A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP2019159739A (ja) 画像処理装置、画像処理方法およびプログラム
CN105208263B (zh) 图像处理装置及其控制方法
JP5610106B1 (ja) 撮像装置の異物情報検出装置および異物情報検出方法
JP2008209306A (ja) カメラ
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2017049947A (ja) 画像処理装置および画像処理方法
JP2012022287A (ja) 撮像装置、および焦点判定プログラム
JP2021027584A (ja) 画像処理装置、画像処理方法およびプログラム
JP7132501B2 (ja) 測距カメラ
JP5339070B2 (ja) 変位量測定装置及び同測定方法
JP6352150B2 (ja) 画像処理装置および画像処理方法
JP6422761B2 (ja) 顕微鏡システム、及び、ｚ位置と補正装置の設定値との関係算出方法
JP2004012192A (ja) 測定顕微鏡装置、その表示方法、及びその表示プログラム
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP2009294465A (ja) 顕微鏡用撮像装置と、対物ミクロメータ
JP2013232738A (ja) 画像処理装置、画像処理方法、および、画像処理用プログラム
JP6777079B2 (ja) 寸法測定装置、寸法測定システム、及び、寸法測定方法
JP2013206000A (ja) 画像補正装置
WO2021020358A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2005251122A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980104578.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09701312

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009548956

Country of ref document: JP

Ref document number: 2009701312

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE