JP5964220B2 - Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium - Google Patents

Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium Download PDF

Info

Publication number
JP5964220B2
JP5964220B2 JP2012263872A JP2012263872A JP5964220B2 JP 5964220 B2 JP5964220 B2 JP 5964220B2 JP 2012263872 A JP2012263872 A JP 2012263872A JP 2012263872 A JP2012263872 A JP 2012263872A JP 5964220 B2 JP5964220 B2 JP 5964220B2
Authority
JP
Japan
Prior art keywords
image
measurement
height
comparison
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012263872A
Other languages
Japanese (ja)
Other versions
JP2014109493A (en
Inventor
潤 田淵
潤 田淵
晋也 高橋
晋也 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2012263872A priority Critical patent/JP5964220B2/en
Publication of JP2014109493A publication Critical patent/JP2014109493A/en
Application granted granted Critical
Publication of JP5964220B2 publication Critical patent/JP5964220B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、計測機能を備える顕微鏡装置、これを用いた計測方法及びこの計測顕微鏡装置を操作するための操作プログラム、並びにコンピュータで読み取り可能な記録媒体に関する。   The present invention relates to a microscope apparatus having a measurement function, a measurement method using the same, an operation program for operating the measurement microscope apparatus, and a computer-readable recording medium.

対象物の計測を行う計測装置として、三角測距を用いた計測装置が開発されている。このような装置は、図84に示すように、投光部110から出射される測定光の光軸と受光部120に入射する測定光の光軸(受光部120の光軸)との間の角度αが予め設定されている。ここでステージ140上に対象物Sが載置されない場合には、投光部110から出射される測定光は、ステージ140の載置面の点Oにより反射され、受光部120に入射される。一方、ステージ140上に対象物Sが載置される場合、投光部110から出射される測定光は、対象物Sの表面の点Aにより反射され、受光部120に入射される。
そして点Oと点Aとの間のX方向における距離dを測定し、この距離dに基づいて対象物Sの表面の点Aの高さhを算出する。対象物Sの表面の全ての点の高さを算出することにより、対象物Sの三次元的な形状が測定される。対象物Sの表面の全ての点に測定光を照射するために、投光部110からは所定の構造化測定光パターンに従って測定光が出射され、縞状の測定光を用いた縞投影法によって対象物Sの三次元形状を効率よく測定する。
As a measuring device for measuring an object, a measuring device using triangulation has been developed. As shown in FIG. 84, such an apparatus is provided between the optical axis of the measurement light emitted from the light projecting unit 110 and the optical axis of the measurement light incident on the light receiving unit 120 (the optical axis of the light receiving unit 120). The angle α is preset. Here, when the object S is not placed on the stage 140, the measurement light emitted from the light projecting unit 110 is reflected by the point O on the placement surface of the stage 140 and enters the light receiving unit 120. On the other hand, when the object S is placed on the stage 140, the measurement light emitted from the light projecting unit 110 is reflected by the point A on the surface of the object S and enters the light receiving unit 120.
Then, the distance d in the X direction between the point O and the point A is measured, and the height h of the point A on the surface of the object S is calculated based on the distance d. By calculating the heights of all points on the surface of the object S, the three-dimensional shape of the object S is measured. In order to irradiate all the points on the surface of the object S with the measurement light, the light projecting unit 110 emits the measurement light according to a predetermined structured measurement light pattern, and by a fringe projection method using the striped measurement light. The three-dimensional shape of the object S is efficiently measured.

このような三次元形状が得られる計測装置を用いて、例えば同じ形状の部品の製造ばらつきを調べたり、工具の摩耗の程度を調べたりする目的で、2つの形状の差を詳細に計測する比較計測が行われている。この場合、2つの対象物を比較するためには、予め比較する部分の位置合わせを正確に行うことが必須となる。しかしながら、この作業は容易でない。特に二次元の観察画像であれば、画像を見ながら一致させることも不可能ではないが、三次元形状の場合は、高さ方向の情報が加わるため、一見同じように見えても高度差があったり、傾いているために平面視が圧縮されて見えるなど、単に画像を見るだけでは一致させることが困難であり、極めて複雑な作業を強いられていた。   Comparison of measuring the difference between two shapes in detail using a measuring device that can obtain such a three-dimensional shape, for example, for the purpose of investigating the manufacturing variation of parts with the same shape or the degree of tool wear. Measurements are being made. In this case, in order to compare two objects, it is indispensable to accurately align portions to be compared in advance. However, this operation is not easy. Especially in the case of a two-dimensional observation image, it is not impossible to match them while looking at the image. However, in the case of a three-dimensional shape, height information is added, so even if it looks the same, there is a difference in height. It is difficult to match by simply looking at the image, such as being seen or being compressed because it is tilted, and it has been extremely complicated.

さらに、比較対象となる2つの三次元画像を一致させることができたとしても、同じ位置を測定しようとすれば、例えば断面形状を得るためにプロファイル線を配置しようとすれば、2つの画像上で対応する位置をそれぞれ指定する必要があり、これらの位置を一致させる作業も極めて煩雑であった。特に三次元形状上で、所望の位置にプロファイル線を置くのは非常に難しく、この作業を各画像で一致させるように行うには大変な労力を要していた。   Furthermore, even if the two three-dimensional images to be compared can be matched, if the same position is measured, for example, if a profile line is arranged to obtain a cross-sectional shape, the two images are displayed on the two images. It is necessary to designate the corresponding positions respectively in the above, and the work of matching these positions is extremely complicated. In particular, it is very difficult to place a profile line at a desired position on a three-dimensional shape, and it has been a great effort to perform this operation so that the images match each other.

Toni F. Schenk, "Remote Sensing and Reconstruction for Three-Dimensional Objects and Scenes", Proceedings of SPIE, Volume 2572, pp. 1-9 (1995)Toni F. Schenk, "Remote Sensing and Reconstruction for Three-Dimensional Objects and Scenes", Proceedings of SPIE, Volume 2572, pp. 1-9 (1995) Sabry F. El-Hakim and Armin Gruen, "Videometrics and Optical Methods for 3D Shape Measurement", Proceedings of SPIE, Volume 4309, pp. 219-231 (2001)Sabry F. El-Hakim and Armin Gruen, "Videometrics and Optical Methods for 3D Shape Measurement", Proceedings of SPIE, Volume 4309, pp. 219-231 (2001)

本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、対象物を比較する比較計測を容易に行えるようにした計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体を提供することにある。   The present invention has been made to solve such conventional problems. A main object of the present invention is to provide a measurement microscope apparatus that can easily perform comparative measurement for comparing objects, a measurement method and an operation program using the measurement microscope apparatus, and a computer-readable recording medium.

課題を解決するための手段及び発明の効果Means for Solving the Problems and Effects of the Invention

上記の目的を達成するために、本発明の第1の側面に係る計測顕微鏡装置によれば、対象物に対して斜め方向から測定光を所定のパターンの構造化照明として投光するための測定光投光手段である、第一の方向から対象物に対して第一測定光を照射可能な第一測定光投光手段と、前記第一測定光投光手段で投光され、対象物で反射された測定光を取得して複数の縞画像を撮像するための撮像手段と、前記複数の縞画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、画像を表示させるための表示手段であって、比較の基準となる対象物の比較基準画像を表示させるための比較基準画像表示領域と、比較の対象となる対象物の比較対象画像を表示させるための比較対象画像表示領域とを有する表示手段と、前記比較基準画像表示領域で表示された比較基準画像、及び比較対象画像表示領域で表示された比較対象画像上の任意の位置に、それぞれ測定の基準となるプロファイル線を設定するためのプロファイル線配置手段と、前記比較対象画像を、前記比較基準画像と同じ姿勢となるように、該比較対象画像を移動又は回転させる位置合わせ手段と、前記プロファイル線配置手段で比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線と同じプロファイル線を、比較基準画像又は比較対象画像のいずれか他方の、対応する位置に自動的に配置可能な線連動切替手段と、前記比較基準画像及び比較対象画像の各々に対応する高さ画像から、各高さ画像上に配置されたプロファイル線に沿った断面形状を示すプロファイルグラフをそれぞれ取得して前記表示手段に表示させた状態で、該比較基準画像と比較対象画像に対して比較計測を行うための計測手段とを備えることができる。上記構成により、比較基準画像と比較対象画像の位置合わせの操作性を向上させて、位置合わせ作業を容易にすると共に、比較計測を行うための基準となるプロファイル線を容易に同じ位置に配置することが可能となり、比較計測の操作性が改善される。   To achieve the above object, according to the measurement microscope apparatus of the first aspect of the present invention, measurement for projecting measurement light as a structured illumination of a predetermined pattern from an oblique direction to an object The first measuring light projecting means capable of irradiating the object with the first measuring light from the first direction, and the first measuring light projecting means, An imaging unit for acquiring reflected measurement light and capturing a plurality of fringe images; a height image acquiring unit for acquiring a height image having height information based on the plurality of fringe images; Display means for displaying an image, for displaying a comparison reference image display area for displaying a comparison reference image of a target object as a reference for comparison, and a comparison target image of a target object as a comparison target Display means having a comparison target image display area, and the comparison Profile line arrangement means for setting profile lines serving as measurement references at arbitrary positions on the comparison reference image displayed in the quasi-image display area and the comparison target image displayed in the comparison target image display area; A positioning unit that moves or rotates the comparison target image so that the comparison target image has the same posture as the comparison reference image, and either the comparison reference image or the comparison target image by the profile line placement unit. Line interlocking switching means capable of automatically arranging the same profile line as the profile line arranged in the reference position of the comparison reference image or the comparison target image at the corresponding position, and the comparison reference image and the comparison target image. Profile graphs showing the cross-sectional shape along the profile line placed on each height image from the height image corresponding to each Obtained was in a state of being displayed on the display means may comprise a measurement means for comparing the measurement against comparison target images and said comparison reference image. With the above-described configuration, the operability of alignment between the comparison reference image and the comparison target image is improved to facilitate the alignment operation, and the profile line serving as a reference for performing comparative measurement is easily arranged at the same position. And the operability of comparative measurement is improved.

また第2の側面に係る計測顕微鏡装置によれば、前記線連動切替手段は、前記比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線の配置位置が変更されると、他方の画像上に配置されたプロファイル線も追従して配置位置を変更するよう構成できる。上記構成により、常に比較基準画像と比較対象画像とが対応する位置のプロファイルグラフを表示でき、一方の位置を変更した場合に、これに合わせて他方の位置を調整する必要が無く、便利に使用できる利点が得られる。   Further, according to the measurement microscope apparatus according to the second aspect, the line interlock switching unit may change the other when the arrangement position of the profile line arranged in either the comparison reference image or the comparison target image is changed. The arrangement position can be changed by following the profile line arranged on the image. With the above configuration, it is possible to always display the profile graph of the position where the comparison reference image and the comparison target image correspond, and when one position is changed, it is not necessary to adjust the other position according to this, and it is convenient to use Benefits that can be obtained.

さらに第3の側面に係る計測顕微鏡装置によれば、前記線連動切替手段は、プロファイル線を連動して配置する機能のON/OFFを切り替え可能であり、前記線連動切替手段をOFFした状態で、プロファイル線を比較基準画像又は比較対象画像の独立した位置に配置可能とできる。上記構成により、比較計測の目的や用途に応じてプロファイル線の位置を連動させたり、非連動としたりすることができ、利便性が高められる。   Further, according to the measurement microscope apparatus according to the third aspect, the line interlock switching unit can switch on / off the function of arranging the profile lines in conjunction with the line interlock switching unit being turned off. The profile line can be arranged at an independent position of the comparison reference image or the comparison target image. With the above configuration, the position of the profile line can be linked or not linked according to the purpose and application of the comparative measurement, and convenience is improved.

さらにまた第4の側面に係る計測顕微鏡装置によれば、対象物の画像に対して高さ方向の基準となる基準面を指定するための基準面指定手段を備えることができる。   Furthermore, according to the measurement microscope apparatus according to the fourth aspect, it is possible to include a reference surface designating unit for designating a reference surface serving as a reference in the height direction with respect to the image of the object.

さらにまた第5の側面に係る計測顕微鏡装置によれば、前記位置合わせ手段を、自動で位置合わせ可能に構成できる。上記構成により、比較基準画像又は比較対象画像の一方を他方に合致させるように位置合わせする作業を自動化でき、大幅な省力化と精度の向上が実現される。   Furthermore, according to the measurement microscope apparatus according to the fifth aspect, the positioning means can be configured to be automatically positioned. With the above configuration, the operation of aligning one of the comparison reference image or the comparison target image so as to match the other can be automated, and a significant labor saving and an improvement in accuracy can be realized.

さらにまた第6の側面に係る計測顕微鏡装置によれば、前記位置合わせ手段を、ユーザの入力を受け付けて手動により位置合わせ可能に構成できる。上記構成により、必要に応じて手動による位置合わせも可能として、自動位置合わせができない場合や更なる微調整が必要な場合等に、数値入力やボタン操作などで手動入力させることが可能となる。   Furthermore, according to the measurement microscope apparatus according to the sixth aspect, the positioning means can be configured to be manually positionable upon receiving user input. With the above configuration, manual positioning can be performed as necessary, and manual input can be performed by numerical input, button operation, or the like when automatic positioning is not possible or when further fine adjustment is necessary.

さらにまた第7の側面に係る計測顕微鏡装置によれば、前記表示手段において、比較基準画像と比較対象画像とを重ね合わせて表示可能とし、さらに一方又は両方の画像を透過させて表示可能とできる。上記構成により、画像間の差分を視覚的に確認し易くでき、位置ずれも明確となる。   Furthermore, according to the measurement microscope apparatus according to the seventh aspect, the display unit can display the comparison reference image and the comparison target image so as to overlap each other, and can further display one or both of the images. . With the above configuration, the difference between the images can be easily confirmed visually, and the positional deviation becomes clear.

さらにまた第8の側面に係る計測顕微鏡装置によれば、さらに前記表示手段において、比較基準画像と比較対象画像の表示倍率を、いずれか一方の画像で変更させると、他方の画像でも同様の変更を連動して行わせることが可能な倍率連動手段を備えることができる。上記構成により、表示手段で表示される2つの画像の表示倍率を自動で一致させることができ、比較計測に便利となる。   Furthermore, according to the measurement microscope apparatus according to the eighth aspect, when the display magnification of the comparison reference image and the comparison target image is changed in either one of the display means, the same change is made in the other image. Magnification interlocking means that can be performed in conjunction with each other can be provided. With the above configuration, the display magnifications of the two images displayed on the display unit can be automatically matched, which is convenient for comparative measurement.

さらにまた第9の側面に係る計測顕微鏡装置によれば、さらに前記表示手段において、比較基準画像と比較対象画像の表示位置をいずれか一方の画像で変更すると、これに連動させて他方の画像の表示位置も自動で追従可能な表示位置連動手段を備えることができる。上記構成により、表示手段で表示される2つの画像の表示位置を自動で一致させることができ、比較計測に便利となる。   Furthermore, according to the measurement microscope apparatus according to the ninth aspect, when the display position of the comparison reference image and the comparison target image is changed in any one of the images in the display unit, the other image is linked to this. The display position interlocking means that can automatically follow the display position can be provided. With the above configuration, the display positions of the two images displayed on the display unit can be automatically matched, which is convenient for comparative measurement.

さらにまた第10の側面に係る計測顕微鏡装置によれば、前記比較基準画像及び比較対象画像を、前記観察用照明光源を用いて撮像した観察画像、測定光投光手段を用いて撮像した縞画像に基づき前記高さ画像取得手段で生成された高さ画像、又はこれら観察画像と高さ画像を合成した三次元の合成画像とできる。上記構成により、観察画像のテクスチャ情報と測定画像の高さ情報を利用した精細な三次元画像でもって詳細な測定を行える利点が得られる。   Furthermore, according to the measurement microscope apparatus according to the tenth aspect, an observation image obtained by imaging the comparison reference image and the comparison target image using the observation illumination light source, and a fringe image obtained by using the measurement light projecting unit. Based on the height image generated by the height image acquisition means, or a three-dimensional synthesized image obtained by synthesizing the observation image and the height image. With the above configuration, there is an advantage that detailed measurement can be performed with a fine three-dimensional image using texture information of an observation image and height information of a measurement image.

さらにまた第11の側面に係る計測顕微鏡装置によれば、さらに前記測定光投光手段である、前記第一の方向とは異なる第二の方向から対象物に対して第二測定光を照射可能な第二測定光投光手段と、観察画像の撮像時の照明光を発生させるための観察用照明光源と
を備え、前記撮像手段でもって、前記観察用照明光源を用いてテクスチャ情報を有する観察画像を撮像することができる。
Furthermore, according to the measurement microscope apparatus according to the eleventh aspect, it is possible to irradiate the object with the second measurement light from a second direction different from the first direction, which is the measurement light projection unit. A second measuring light projecting means and an observation illumination light source for generating illumination light at the time of imaging of the observation image, and having the texture information using the observation illumination light source with the imaging means An image can be taken.

さらにまた第12の側面に係る計測顕微鏡装置を用いた計測方法によれば、対象物に対して斜め方向から測定光を所定のパターンの構造化照明として投光するための測定光投光手段である、第一の方向から対象物に対して第一測定光を照射可能な第一測定光投光手段と、前記第一測定光投光手段で投光され、対象物で反射された測定光を取得して複数の縞画像を撮像するための撮像手段と、前記複数の縞画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、画像を表示させるための表示手段であって、比較の基準となる対象物の比較基準画像を表示させるための比較基準画像表示領域と、比較の対象となる対象物の比較対象画像を表示させるための比較対象画像表示領域とを有する表示手段とを備える計測顕微鏡装置を用いた計測方法であって、対象物を、前記第一測定光投光手段を用いて、所定の姿勢にて前記撮像手段で撮像した比較対象画像を取得する工程と、前記比較対象画像を、別途取得した前記比較基準画像と同じ姿勢となるように、位置合わせ手段でもって移動又は回転させて位置合わせする工程と、前記比較基準画像表示領域で表示された比較基準画像、及び比較対象画像表示領域で表示された比較対象画像のいずれか一方の任意の位置に、プロファイル線配置手段でプロファイル線を引く工程と、前記プロファイル線配置手段で比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線と同じプロファイル線を、比較基準画像又は比較対象画像のいずれか他方の、対応する位置に自動的に配置する工程と、前記比較基準画像及び比較対象画像の各々に対応する高さ画像から、各高さ画像上に配置されたプロファイル線に沿った断面形状を示すプロファイルグラフをそれぞれ取得して前記表示手段に表示させた状態で、該比較基準画像と比較対象画像に対して比較計測を行う工程とを含むことができる。上記構成により、比較基準画像と比較対象画像の位置合わせの操作性を向上させて、位置合わせ作業を容易にすると共に、比較計測を行うための基準となるプロファイル線を容易に同じ位置に配置することが可能となり、比較計測の操作性が改善される。   Furthermore, according to the measuring method using the measuring microscope apparatus according to the twelfth aspect, the measuring light projecting means for projecting the measuring light as the structured illumination of the predetermined pattern from the oblique direction to the object. A first measurement light projecting unit capable of irradiating the object with the first measurement light from a first direction, and the measurement light projected by the first measurement light projecting unit and reflected by the object Imaging means for acquiring a plurality of fringe images, height image acquisition means for acquiring a height image having height information based on the plurality of fringe images, and for displaying an image A comparison reference image display area for displaying a comparison reference image of a target object as a reference for comparison, and a comparison target image display for displaying a comparison target image of the target object as a comparison target And a display microscope having a region A method for obtaining a comparison target image obtained by capturing an object with a predetermined posture using the first measurement light projecting unit, and the comparison target image. Are moved or rotated by positioning means so as to have the same posture as the separately acquired comparison reference image, a comparison reference image displayed in the comparison reference image display area, and a comparison target A step of drawing a profile line by profile line placement means at any position of any one of the comparison target images displayed in the image display area, and a comparison reference image or a comparison target image by the profile line placement means A step of automatically placing the same profile line as the placed profile line at a corresponding position on either the comparison reference image or the comparison target image; From the height image corresponding to each of the image and the comparison target image, in a state where the profile graph indicating the cross-sectional shape along the profile line arranged on each height image is acquired and displayed on the display unit, A step of performing comparative measurement on the comparison reference image and the comparison target image. With the above-described configuration, the operability of alignment between the comparison reference image and the comparison target image is improved to facilitate the alignment operation, and the profile line serving as a reference for performing comparative measurement is easily arranged at the same position. And the operability of comparative measurement is improved.

さらにまた第13の側面に係る計測顕微鏡装置操作プログラムによれば、対象物に対して斜め方向から測定光を所定のパターンの構造化照明として投光するための測定光投光手段である、第一の方向から対象物に対して第一測定光を照射可能な第一測定光投光手段と、前記第一測定光投光手段で投光され、対象物で反射された測定光を取得して複数の縞画像を撮像するための撮像手段と、前記複数の縞画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段とを備える計測顕微鏡装置の操作プログラムであって、比較の基準となる対象物の比較基準画像を比較基準画像表示領域に表示させ、比較の対象となる対象物の比較対象画像を比較対象画像表示領域に表示させる機能と、前記比較対象画像を、前記比較基準画像と同じ姿勢となるように、該比較対象画像を移動又は回転させる位置合わせ機能と、前記比較基準画像表示領域で表示された比較基準画像、及び比較対象画像表示領域で表示された比較対象画像上の任意の位置に、それぞれ測定の基準となるプロファイル線を設定するためのプロファイル線配置機能と、前記プロファイル線配置手段で比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線と同じプロファイル線を、比較基準画像又は比較対象画像のいずれか他方の、対応する位置に自動的に配置可能な線連動切替機能と、前記比較基準画像及び比較対象画像の各々に対応する高さ画像から、各高さ画像上に配置されたプロファイル線に沿った断面形状を示すプロファイルグラフをそれぞれ取得して前記表示手段に表示させた状態で、該比較基準画像と比較対象画像に対して比較計測を行う計測機能とをコンピュータに実現させることができる。上記構成により、比較基準画像と比較対象画像の位置合わせの操作性を向上させて、位置合わせ作業を容易にすると共に、比較計測を行うための基準となるプロファイル線を容易に同じ位置に配置することが可能となり、比較計測の操作性が改善される。   Furthermore, according to the measurement microscope apparatus operation program according to the thirteenth aspect, the measurement light projecting means for projecting the measurement light as a structured illumination with a predetermined pattern from the oblique direction to the object. A first measuring light projecting means capable of irradiating the object with the first measuring light from one direction, and the measuring light projected by the first measuring light projecting means and reflected by the object An operation program for a measurement microscope apparatus comprising: an imaging unit for capturing a plurality of fringe images; and a height image acquisition unit for acquiring a height image having height information based on the plurality of fringe images. A function for displaying a comparison reference image of a target object for comparison in a comparison reference image display area and displaying a comparison target image of a target object for comparison in a comparison target image display area; An image is compared with the comparison reference image A positioning function for moving or rotating the comparison target image so that the comparison target image has the same orientation, a comparison reference image displayed in the comparison reference image display area, and a comparison target image displayed in the comparison target image display area Profile line placement function for setting a profile line as a measurement reference at an arbitrary position, and the same profile as the profile line placed on either the comparison reference image or the comparison target image by the profile line placement means From the height link corresponding to each of the comparison reference image and the comparison target image, and the line interlocking switching function capable of automatically placing a line at the corresponding position of either the comparison reference image or the comparison target image, A profile graph showing a cross-sectional shape along a profile line arranged on each height image is acquired and displayed on the display means. State, it is possible to realize a measurement function for comparing the measurement against comparison target images and said comparison reference image on the computer. With the above-described configuration, the operability of alignment between the comparison reference image and the comparison target image is improved to facilitate the alignment operation, and the profile line serving as a reference for performing comparative measurement is easily arranged at the same position. And the operability of comparative measurement is improved.

また第14のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納するものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray(商品名)、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC、DSP)等のハードウエア、又はプログラムソフトウエアとハードウエアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。   A fourteenth computer-readable recording medium stores the program. CD-ROM, CD-R, CD-RW, flexible disk, magnetic tape, MO, DVD-ROM, DVD-RAM, DVD-R, DVD + R, DVD-RW, DVD + RW, Blu-ray (product) Name), HD DVD (AOD), and other magnetic disks, optical disks, magneto-optical disks, semiconductor memories, and other media that can store programs. The program includes a program distributed in a download manner through a network line such as the Internet, in addition to a program stored and distributed in the recording medium. Further, the recording medium includes a device capable of recording the program, for example, a general purpose or dedicated device in which the program is implemented in a state where the program can be executed in the form of software, firmware, or the like. Furthermore, each process and function included in the program may be executed by computer-executable program software, or each part of the process or function may be executed by hardware such as a predetermined gate array (FPGA, ASIC, DSP), or a program. You may implement | achieve in the format with which the partial hardware module which implement | achieves some elements of software and hardware is mixed.

本発明の一実施の形態に係る計測顕微鏡装置を示すブロック図である。It is a block diagram which shows the measurement microscope apparatus which concerns on one embodiment of this invention. 図1の撮像手段の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging means of FIG. 計測顕微鏡装置操作プログラムのGUIの一例を示すイメージ図である。It is an image figure which shows an example of GUI of a measurement microscope apparatus operation program. 計測顕微鏡装置操作プログラムのGUIで簡単モードを選択した状態を示すイメージ図である。It is an image figure which shows the state which selected simple mode by GUI of the measurement microscope apparatus operation program. 図4の状態から「測定画像」ボタンを押下した状態を示すイメージ図である。FIG. 5 is an image diagram showing a state where a “measurement image” button is pressed from the state of FIG. 4. 図4の状態から応用モードを選択した状態を示すイメージ図である。It is an image figure which shows the state which selected the application mode from the state of FIG. 図4の状態から「測定画像」ボタンを押下した状態を示すイメージ図である。FIG. 5 is an image diagram showing a state where a “measurement image” button is pressed from the state of FIG. 4. 図7の状態から画像表示領域を分割表示させた状態を示すイメージ図である。FIG. 8 is an image diagram showing a state in which an image display area is divided and displayed from the state of FIG. 7. 図7の状態から測定方向「左側のみ」を選択した状態を示すイメージ図である。It is an image figure which shows the state which selected the measurement direction "only the left side" from the state of FIG. 計測顕微鏡装置操作プログラムを用いて高さ画像を取得する手順を示すフローチャートである。It is a flowchart which shows the procedure which acquires a height image using a measurement microscope apparatus operation program. 合成画像を観察画像の比率100%で表示させた例を示すイメージ図である。It is an image figure which shows the example which displayed the synthesized image with the ratio of the observation image of 100%. 合成画像を高さ画像の比率100%で表示させた例を示すイメージ図である。It is an image figure which shows the example which displayed the synthesized image by the ratio of 100% of the height image. 図11の状態から高さ画像の表示に切り替えた状態を示すイメージ図である。It is an image figure which shows the state switched to the display of a height image from the state of FIG. 画像改善パネルを表示させた例を示すイメージ図である。It is an image figure which shows the example which displayed the image improvement panel. 「測定モード」選択欄で高さ画像の画質を選択する様子を示すイメージ図である。It is an image figure which shows a mode that the image quality of a height image is selected in the "measurement mode" selection column. 「測定方向」選択欄で測定光を選択する様子を示すイメージ図である。It is an image figure which shows a mode that measurement light is selected in the "measurement direction" selection column. 観察画像撮像条件設定手段で観察画像の撮像条件を設定する様子を示すイメージ図である。It is an image figure which shows a mode that the imaging condition of an observation image is set with an observation image imaging condition setting means. 計測顕微鏡装置を用いて計測を行う手順を示すフローチャートである。It is a flowchart which shows the procedure which performs a measurement using a measuring microscope apparatus. 観察画像撮像条件を設定する手順の詳細を示すフローチャートである。It is a flowchart which shows the detail of the procedure which sets an observation image imaging condition. 測定画像撮像条件を設定する手順の詳細を示すフローチャートである。It is a flowchart which shows the detail of the procedure which sets measurement image imaging conditions. 計測顕微鏡装置操作プログラムのフルオートの測定画面のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of the full auto measurement screen of a measurement microscope apparatus operation program. 図21のフルオートを解除したGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen which cancel | released the full auto of FIG. 応用モードのGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of an application mode. eプレビューのGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of e preview. 計測顕微鏡装置操作プログラムで合成画像を表示させるGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen which displays a synthesized image with a measurement microscope apparatus operation program. 三次元画像計測プログラムのプロファイル計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of the profile measurement function of a three-dimensional image measurement program. 平均段差計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of an average level | step difference measurement function. 体積面積計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a volume area measurement function. 平面計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a plane measurement function. 線粗さ計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a line roughness measurement function. 表面粗さ計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a surface roughness measurement function. 比較計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a comparative measurement function. 基準面を設定するGUIを示すイメージ図である。It is an image figure which shows GUI which sets a reference plane. 図33で領域設定を行うGUIを示すイメージ図である。It is an image figure which shows GUI which performs area | region setting in FIG. プロファイル線を連動させた比較計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of the comparative measurement function which linked the profile line. プロファイル線を非連動とした比較計測機能のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of the comparative measurement function which made the profile line non-interlocking. 比較計測のGUIを示すイメージ図である。It is an image figure which shows GUI of comparative measurement. 図37の高さ画像を合成画像に切り替えた状態を示すイメージ図である。It is an image figure which shows the state which switched the height image of FIG. 37 to the synthesized image. 比較計測を行う手順を示すフローチャートである。It is a flowchart which shows the procedure which performs comparative measurement. 図39の比較対象画像の指定と位置合わせ処理の詳細を示すフローチャートである。FIG. 40 is a flowchart showing details of a comparison target image designation and alignment process of FIG. 39. FIG. 図40の自動位置合わせのための領域指定処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the area | region designation | designated process for automatic alignment of FIG. レポートの一例を示すイメージ図である。It is an image figure which shows an example of a report. テンプレート呼出手段の一例を示すダイヤログ画面を示すイメージ図である。It is an image figure which shows the dialog screen which shows an example of a template calling means. テンプレートを作成して再現するための手順を示すフローチャートである。It is a flowchart which shows the procedure for producing and reproducing a template. 測定データを開いた状態を示すGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen which shows the state which opened measurement data. 機能ガイドのGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a function guide. プロファイル計測画面の他の例を示すイメージ図である。It is an image figure which shows the other example of a profile measurement screen. プロファイル計測結果レポート画面のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a profile measurement result report screen. テンプレート保存確認画面のGUI画面を示すイメージ図である。It is an image figure which shows the GUI screen of a template preservation | save confirmation screen. 連結領域をサブ領域に分割する例を示す模式図である。It is a schematic diagram which shows the example which divides | segments a connection area | region into a sub area | region. 画像連結モードのON/OFFを行うGUIを示すイメージ図である。It is an image figure which shows GUI which performs ON / OFF of image connection mode. フルオートモードで手動画像連結を行う手順を示すフローチャートである。It is a flowchart which shows the procedure which performs manual image connection in full auto mode. 図51から画像連結モードを開始した状態を示すイメージ図である。It is an image figure which shows the state which started the image connection mode from FIG. 連結用画像の合成画像を表示したイメージ図である。It is the image figure which displayed the synthesized image of the image for a connection. 図54の連結用画像の観察画像を表示したイメージ図である。FIG. 55 is an image diagram displaying an observation image of the connection image in FIG. 54. 図54の連結用画像の高さ画像を表示したイメージ図である。FIG. 55 is an image diagram showing a height image of the connection image in FIG. 54. 連結用画像を重ねようとする状態を示すイメージ図である。It is an image figure which shows the state which is going to overlap the image for a connection. 連結用画像を重ねようとする他の状態を示すイメージ図である。It is an image figure which shows the other state which is going to overlap the image for a connection. 連結用画像を重ねた状態を示すイメージ図である。It is an image figure which shows the state which accumulated the image for connection. 連結プレビュー画面の一例を示すイメージ図である。It is an image figure which shows an example of a connection preview screen. 4枚目の連結用画像を撮像するためにステージを移動させる様子を示すイメージ図である。It is an image figure which shows a mode that a stage is moved in order to image the 4th connection image. 連結プレビュー画面の他の例を示すイメージ図である。It is an image figure which shows the other example of a connection preview screen. 連結用画像の位置を調整する様子を示すイメージ図である。It is an image figure which shows a mode that the position of the image for connection is adjusted. 図63の状態から自動位置調整機能を実行した結果を示すイメージ図である。FIG. 64 is an image diagram showing a result of executing the automatic position adjustment function from the state of FIG. 63. 連結結果確認画面で観察画像を示すイメージ図である。It is an image figure which shows an observation image on a connection result confirmation screen. 図65の連結結果確認画面を高さ画像に切り替えた例を示すイメージ図である。FIG. 66 is an image diagram showing an example in which the connection result confirmation screen in FIG. 65 is switched to a height image. 連結結果を解析アプリケーションで開くか否かのダイヤログを示すイメージ図である。It is an image figure which shows the dialog of whether to open a connection result with an analysis application. 連結画像の生成操作をレポートとして開いた状態を示すイメージ図である。It is an image figure which shows the state which opened the production | generation operation of the connection image as a report. セミオート又は応用モードで手動画像連結を行う手順を示すフローチャートである。It is a flowchart which shows the procedure which performs manual image connection in a semi auto or application mode. セミオートの画像連結モードにおける測定画像撮像条件設定画面の例を示すイメージ図である。It is an image figure which shows the example of the measurement image imaging condition setting screen in a semiautomatic image connection mode. セミオートの画像連結モードにおける観察画像撮像条件設定画面の例を示すイメージ図である。It is an image figure which shows the example of the observation image imaging condition setting screen in a semiautomatic image connection mode. 応用モードの画像連結モードにおける測定画像撮像条件設定画面の例を示すイメージ図である。It is an image figure which shows the example of the measurement image imaging condition setting screen in the image connection mode of application mode. 図72からeプレビューを行った状態を示すイメージ図である。It is an image figure which shows the state which performed e preview from FIG. 応用モードの画像連結モードにおける観察画像撮像条件設定画面の例を示すイメージ図である。It is an image figure which shows the example of the observation image imaging condition setting screen in the image connection mode of application mode. 自動画像連結を行う手順を示すフローチャートである。It is a flowchart which shows the procedure which performs automatic image connection. 自動画像連結モードにおける観察画像撮像条件設定画面の例を示すイメージ図である。It is an image figure which shows the example of the observation image imaging condition setting screen in automatic image connection mode. 自動画像連結設定画面を示すイメージ図である。It is an image figure which shows an automatic image connection setting screen. 連結領域指定画面の一例を示すイメージ図である。It is an image figure which shows an example of a connection area | region designation | designated screen. 「連結領域の指定方法」欄で「始点と長さ」を選択した状態を示すイメージ図である。It is an image figure which shows the state which selected the "start point and length" in the "connection area designation method" column. 「連結領域の指定方法」欄で「始点と枚数」を選択した状態を示すイメージ図である。It is an image figure which shows the state which selected the "start point and the number of sheets" in the "connection area designation method" column. 連結結果確認画面の他の例を示すイメージ図である。It is an image figure which shows the other example of a connection result confirmation screen. 図81を高さ画像に切り替えた例を示すイメージ図である。It is an image figure which shows the example which switched FIG. 81 to the height image. 連結領域指定画面を示すイメージ図である。It is an image figure which shows a connection area | region designation | designated screen. 三角測距方式の原理を説明するための図である。It is a figure for demonstrating the principle of a triangulation system.

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiment described below exemplifies a measurement microscope apparatus for embodying the technical idea of the present invention, a measurement method and an operation program using the measurement microscope apparatus, and a computer-readable recording medium, The present invention does not specify a measurement microscope apparatus, a measurement method and an operation program using the measurement microscope apparatus, and a computer-readable recording medium as follows. Further, the present specification by no means specifies the members shown in the claims to the members of the embodiments. In particular, the dimensions, materials, shapes, relative arrangements, and the like of the component parts described in the embodiments are not intended to limit the scope of the present invention unless otherwise specified, and are merely explanations. It is just an example. Note that the size, positional relationship, and the like of the members shown in each drawing may be exaggerated for clarity of explanation. Furthermore, in the following description, the same name and symbol indicate the same or the same members, and detailed description thereof will be omitted as appropriate. Furthermore, each element constituting the present invention may be configured such that a plurality of elements are configured by the same member and the plurality of elements are shared by one member. It can also be realized by sharing.

また本明細書において「高さ画像」という場合には、高さ情報を含む画像の意味で使用し、例えば高さ画像に観察画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む意味で使用する。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像は高さ情報を輝度等に変換して二次元画像として表示したり、または高さ情報をZ座標情報として三次元状に表示することが可能である。
(実施の形態1)
In the present specification, the term “height image” is used to mean an image including height information. Used in the meaning included in the image. Further, in the present specification, the display form of the height image is not limited to the one displayed in a two-dimensional form, but includes the one displayed in a three-dimensional form. For example, the height image can be displayed as a two-dimensional image by converting the height information into luminance or the like, or the height information can be displayed in three dimensions as Z coordinate information.
(Embodiment 1)

本発明の実施の形態1に係る計測顕微鏡装置の構成を示すブロック図を図1に示す。計測顕微鏡装置500は、図1に示すように、撮像手段100、制御手段200、光源部300および表示部400を備える。
(撮像手段100)
FIG. 1 is a block diagram showing the configuration of the measurement microscope apparatus according to Embodiment 1 of the present invention. As shown in FIG. 1, the measurement microscope apparatus 500 includes an imaging unit 100, a control unit 200, a light source unit 300, and a display unit 400.
(Imaging means 100)

図1の計測顕微鏡装置500の撮像手段100の構成を図2のブロック図に示す。撮像手段100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、ステージ140および測定制御部150を含む。投光部110は、測定光源111、パターン生成部112および複数のレンズ113、114、115を含む。受光部120は、カメラ121および複数のレンズ122、123を含む。ステージ140上には、対象物Sが載置される。
(投光部110)
The configuration of the imaging means 100 of the measurement microscope apparatus 500 of FIG. 1 is shown in the block diagram of FIG. The imaging unit 100 is, for example, a microscope, and includes a light projecting unit 110, a light receiving unit 120, an illumination light output unit 130, a stage 140, and a measurement control unit 150. The light projecting unit 110 includes a measurement light source 111, a pattern generation unit 112, and a plurality of lenses 113, 114, and 115. The light receiving unit 120 includes a camera 121 and a plurality of lenses 122 and 123. An object S is placed on the stage 140.
(Light Projecting Unit 110)

投光部110は、ステージ140の斜め上方に配置される。撮像手段100は、複数の投光部110を含んでもよい。図2の例においては、撮像手段100は2つの投光部110を含む。ここでは、第一の方向から対象物Sに対して測定用照明光を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から対象物Sに対して測定用照明光を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。さらにこの例では投光部が投光する垂直方向に対する照明光の照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
The light projecting unit 110 is disposed obliquely above the stage 140. The imaging unit 100 may include a plurality of light projecting units 110. In the example of FIG. 2, the imaging unit 100 includes two light projecting units 110. Here, the first measurement light projector 110A (right side in FIG. 2) that can irradiate the measurement illumination light to the object S from the first direction and the second direction different from the first direction. Second measurement light projectors 110 </ b> B (left side in FIG. 2) that can irradiate the object S with measurement illumination light are respectively disposed. The first measuring light projecting unit 110A and the second measuring light projecting unit 110B are arranged symmetrically across the optical axis of the light receiving unit. In addition, it is also possible to provide three or more light projecting units, or to move the light projecting unit and the stage relative to each other and use the common light projecting unit while projecting light with different illumination directions. Furthermore, in this example, the irradiation angle of the illumination light with respect to the vertical direction in which the light projecting unit projects is fixed, but this can also be made variable.
(Measurement light source 111)

各第一測定光投光部110A、第二測定光投光部110Bの測定光源111は、例えば白色光を出射するハロゲンランプである。測定光源111は、白色光を出射する白色LED(発光ダイオード)等の他の光源であってもよい。測定光源111から出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射する。   The measurement light sources 111 of each of the first measurement light projectors 110A and the second measurement light projectors 110B are, for example, halogen lamps that emit white light. The measurement light source 111 may be another light source such as a white LED (light emitting diode) that emits white light. Light emitted from the measurement light source 111 (hereinafter referred to as “measurement light”) is appropriately condensed by the lens 113 and then enters the pattern generation unit 112.

パターン生成部112は、例えばDMD(デジタルマイクロミラーデバイス)である。パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)又はマスクであってもよい。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、ステージ140上の対象物Sに照射される。
(受光部120)
The pattern generation unit 112 is a DMD (digital micromirror device), for example. The pattern generation unit 112 may be an LCD (Liquid Crystal Display), LCOS (Liquid Crystal on Silicon), or a mask. The measurement light incident on the pattern generation unit 112 is converted into a preset pattern and a preset intensity (brightness) and emitted. The measurement light emitted by the pattern generation unit 112 is converted into light having a diameter larger than the field of view that can be observed and measured by the light receiving unit 120 by the plurality of lenses 114 and 115, and then is applied to the object S on the stage 140. Irradiated.
(Light receiving unit 120)

受光部120は、ステージ140の上方に配置される。対象物Sによりステージ140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
The light receiving unit 120 is disposed above the stage 140. The measurement light reflected above the stage 140 by the object S is condensed and imaged by the plurality of lenses 122 and 123 of the light receiving unit 120 and then received by the camera 121.
(Camera 121)

カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。   The camera 121 is, for example, a CCD (charge coupled device) camera including an image sensor 121a and a lens. The image sensor 121a is, for example, a monochrome CCD (charge coupled device). The image sensor 121a may be another image sensor such as a CMOS (complementary metal oxide semiconductor) image sensor. The color image sensor requires each pixel to receive light for red, green, and blue, so the measurement resolution is lower than that of a monochrome image sensor, and a color filter must be provided for each pixel. Sensitivity decreases. Therefore, in this embodiment, a monochrome CCD is used as the image sensor, and a color image is acquired by illuminating the illumination light output unit 130 described later with illumination corresponding to RGB in a time-sharing manner. Yes. With such a configuration, it is possible to acquire a color image of the measurement object without reducing the measurement accuracy.

ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
(測定制御部150)
However, it goes without saying that a color image sensor may be used as the image sensor 121a. In this case, although the measurement accuracy and sensitivity are reduced, it is not necessary to irradiate illumination corresponding to RGB from the illumination light output unit 130 in a time-sharing manner, and a color image can be obtained simply by irradiating white light. The optical system can be configured simply. From each pixel of the image sensor 121 a, an analog electrical signal (hereinafter referred to as “light reception signal”) corresponding to the amount of received light is output to the measurement control unit 150.
(Measurement control unit 150)

測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次制御手段200に転送される。
(制御手段200)
The measurement control unit 150 includes an A / D converter (analog / digital converter) and a FIFO (First In First Out) memory (not shown). The light reception signal output from the camera 121 is sampled at a constant sampling period and converted to a digital signal by the A / D converter of the measurement control unit 150 based on control by the light source unit 300. Digital signals output from the A / D converter are sequentially stored in the FIFO memory. The digital signal stored in the FIFO memory is sequentially transferred to the control means 200 as pixel data.
(Control means 200)

図1に示すように、制御手段200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。制御手段200には、PC(パーソナルコンピュータ)等が利用できる。また、操作部250は、キーボード及びポインティングデバイスを含む。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。   As shown in FIG. 1, the control means 200 includes a CPU (Central Processing Unit) 210, a ROM (Read Only Memory) 220, a work memory 230, a storage device 240 and an operation unit 250. As the control means 200, a PC (personal computer) or the like can be used. The operation unit 250 includes a keyboard and a pointing device. As a pointing device, a mouse or a joystick is used.

ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、計測顕微鏡装置操作プログラム及び三次元画像計測プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。   The ROM 220 stores a system program. The working memory 230 includes a RAM (Random Access Memory), and is used for processing various data. The storage device 240 is composed of a hard disk or the like. The storage device 240 stores a measurement microscope device operation program and a three-dimensional image measurement program. The storage device 240 is used for storing various data such as pixel data provided from the measurement control unit 150.

また記憶装置は、相対位置記憶手段として機能する。相対位置記憶手段は、テンプレート作成時に、位置合わせ用画像に対する、平面計測ツールの平面方向の相対位置情報と、位置合わせ用画像に対する、高さ計測ツールの平面方向及び高さ方向の相対位置情報とを記憶する。   The storage device functions as a relative position storage unit. The relative position storage means includes, when creating the template, relative position information in the plane direction of the plane measurement tool with respect to the alignment image, and relative position information in the plane direction and height direction of the height measurement tool with respect to the alignment image. Remember.

CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。さらに、CPU210は、後述するステージ駆動部145に駆動パルスを与える。さらにこのCPUは、後述する高さ画像取得手段228と、測定画像合成手段211と、測定異常領域表示手段212と、三次元画像合成手段213、位置合わせ手段215、倍率連動手段216、表示位置連動手段217、テンプレート生成手段218、テンプレート呼出手段219、レポート作成手段222、位置合わせ画像登録手段223、テンプレート検索手段224、画像連結手段225、再測定領域設定手段226の機能を実現することもできる。   The CPU 210 generates image data based on the pixel data given from the measurement control unit 150. The CPU 210 performs various processes on the generated image data using the work memory 230 and causes the display unit 400 to display an image based on the image data. Further, the CPU 210 gives a driving pulse to a stage driving unit 145 described later. Further, the CPU includes a height image acquisition unit 228, a measurement image synthesis unit 211, a measurement abnormal region display unit 212, a three-dimensional image synthesis unit 213, a positioning unit 215, a magnification interlocking unit 216, and a display position interlocking. The functions of means 217, template generation means 218, template call means 219, report creation means 222, alignment image registration means 223, template search means 224, image connection means 225, and remeasurement area setting means 226 can also be realized.

ここで高さ画像取得手段228は、複数の縞画像に基づいて高さ情報を有する高さ画像を取得する。また測定画像合成手段211は、同じ対象物に対して、第一測定光投光手段を用いて撮像した第一測定画像から計算した高さ画像と、第二測定光投光手段を用いて撮像した第二測定画像から計算した高さ画像とを合成し、一の合成高さ画像を生成する。さらに測定異常領域表示手段212は、測定画像を表示手段に表示させた状態で、測定結果が異常となる測定異常領域を重ねて表示するための部材である。さらにまた位置合わせ手段215は、表示部400において比較対象画像と比較基準画像とが同じ姿勢となるように、画像を移動又は回転させるための部材である。一方、倍率連動手段216は、比較基準画像と比較対象画像のいずれか一方の表示倍率を変更させると、他方の画像でも同様の倍率変更を連動して行わせるための部材である。表示位置連動手段217は、比較基準画像と比較対象画像のいずれか一方の表示位置を変更させると、他方の画像でも同様の表示位置変更を連動して行わせるための部材である。テンプレート生成手段218は、作業用メモリ230に保持された測定画像撮像条件を、テンプレートとして保存するための部材である。テンプレート呼出手段219は、テンプレート記憶手段に保存された一以上の所望のテンプレートを選択するための部材である。レポート作成手段222は、計測手段214で高さ画像に対して行った計測処理の測定結果を、この高さ画像と共に表示したレポートを自動的に作成するための部材である。位置合わせ画像登録手段223は、テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する際、このテンプレートの元となったテンプレート画像中の所定の領域を、位置合わせ用画像として登録するための部材である。テンプレート検索手段224は、テンプレート記憶手段に保存された複数のテンプレート中から、所定の条件に合致又は近似したテンプレートを検索するための部材である。画像連結手段225は、異なる位置で撮像した複数枚の画像を連結して、より広い連結領域を示した連結画像を生成するための部材である。再測定領域設定手段226は、失敗した連結用画像の撮像の全体又は一部を、測定画像撮像条件を変更して再度撮像するための設定を行うための部材である。   Here, the height image acquisition means 228 acquires a height image having height information based on the plurality of stripe images. Further, the measurement image combining unit 211 captures the same object with the height image calculated from the first measurement image captured using the first measurement light projecting unit and the second measurement light projecting unit. The height image calculated from the second measured image is combined to generate one combined height image. Further, the measurement abnormality area display unit 212 is a member for displaying a measurement abnormality area in which the measurement result is abnormal in a state where the measurement image is displayed on the display unit. Furthermore, the alignment means 215 is a member for moving or rotating the image so that the comparison target image and the comparison reference image have the same posture on the display unit 400. On the other hand, the magnification interlocking unit 216 is a member for causing the same magnification change to be performed in conjunction with the other image when the display magnification of either the comparison reference image or the comparison target image is changed. The display position interlocking unit 217 is a member for causing the same display position change to be performed in conjunction with the other image when the display position of either the comparison reference image or the comparison target image is changed. The template generation unit 218 is a member for storing the measurement image capturing conditions held in the work memory 230 as a template. The template calling unit 219 is a member for selecting one or more desired templates stored in the template storage unit. The report creation means 222 is a member for automatically creating a report in which the measurement results of the measurement process performed on the height image by the measurement means 214 are displayed together with the height image. The registration image registration unit 223 registers a predetermined area in the template image that is the basis of the template as a registration image when the template generated by the template generation unit 218 is stored in the template storage unit. It is a member. The template search unit 224 is a member for searching for a template that matches or approximates a predetermined condition from a plurality of templates stored in the template storage unit. The image connecting means 225 is a member for connecting a plurality of images taken at different positions to generate a connected image showing a wider connected area. The remeasurement area setting unit 226 is a member for performing settings for changing the measurement image imaging condition and imaging again all or part of the imaging of the failed connection image.

このようにCPU210は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各手段や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
(表示部400)
As described above, the CPU 210 also serves as a different means for realizing various functions. However, it is needless to say that a single member is not limited to a configuration that also serves as a plurality of means, and a plurality of members that realize each means and function can be provided separately or separately.
(Display unit 400)

表示部400は、撮像手段100で取得された縞画像や、縞画像に基づいて高さ画像取得手段228で生成した高さ画像、あるいは撮像手段100で撮像された観察画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。
(ステージ140)
The display unit 400 is a member for displaying a striped image acquired by the imaging unit 100, a height image generated by the height image acquiring unit 228 based on the striped image, or an observation image captured by the imaging unit 100. It is. The display unit 400 is configured by, for example, an LCD panel or an organic EL (electroluminescence) panel.
(Stage 140)

図2において、対象物Sが載置されるステージ140上の平面(以下、「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。ステージ140の載置面に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。   In FIG. 2, two directions orthogonal to each other within a plane (hereinafter referred to as “mounting surface”) on the stage 140 on which the object S is placed are defined as an X direction and a Y direction. Y. A direction orthogonal to the mounting surface of the stage 140 is defined as a Z direction and is indicated by an arrow Z. A direction rotating around an axis parallel to the Z direction is defined as a θ direction, and is indicated by an arrow θ.

ステージ140は、X−Yステージ141、Zステージ142及びθステージ143を含む。X−Yステージ141は、X方向移動機構及びY方向移動機構を有する。Zステージ142は、Z方向移動機構を有する。θステージ143は、θ方向回転機構を有する。X−Yステージ141、Zステージ142及びθステージ143により、ステージ140が構成される。また、ステージ140は、載置面に対象物Sを固定する図示しない固定部材(クランプ)をさらに含む。ステージ140は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージをさらに含んでもよい。   The stage 140 includes an XY stage 141, a Z stage 142, and a θ stage 143. The XY stage 141 has an X direction moving mechanism and a Y direction moving mechanism. The Z stage 142 has a Z direction moving mechanism. The θ stage 143 has a θ direction rotation mechanism. The XY stage 141, the Z stage 142, and the θ stage 143 constitute a stage 140. The stage 140 further includes a fixing member (clamp) (not shown) that fixes the object S to the mounting surface. The stage 140 may further include a tilt stage having a mechanism that can rotate around an axis parallel to the placement surface.

ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構には、それぞれステッピングモータが用いられる。ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構は、図1のステージ操作部144又はステージ駆動部145により駆動される。   Stepping motors are used for the X direction moving mechanism, Y direction moving mechanism, Z direction moving mechanism, and θ direction rotating mechanism of the stage 140, respectively. The X direction moving mechanism, Y direction moving mechanism, Z direction moving mechanism, and θ direction rotating mechanism of the stage 140 are driven by the stage operation unit 144 or the stage driving unit 145 of FIG.

ユーザは、ステージ操作部144を手動で操作することにより、ステージ140の載置面を受光部120に対して相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。ステージ駆動部145は、制御手段200より与えられる駆動パルスに基づいて、ステージ140のステッピングモータに電流を供給することにより、ステージ140を受光部120に相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。   The user manually operates the stage operation unit 144 to move the mounting surface of the stage 140 in the X direction, the Y direction, the Z direction, or rotate in the θ direction relative to the light receiving unit 120. be able to. The stage driving unit 145 supplies the current to the stepping motor of the stage 140 based on the driving pulse supplied from the control unit 200, thereby moving the stage 140 relative to the light receiving unit 120 in the X direction, Y direction, or Z direction. It can be moved or rotated in the θ direction.

ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、ステージ140の焦点が最も合うピント平面で互いに交差するように、受光部120、投光部110、ステージ140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向にステージ140が回転した際に、対象物Sが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。また、Z方向移動機構に対して、これらXYθ及びチルト移動機構は支持されている。すなわち、ステージをθ方向に回転させたり、チルトさせた状態であっても、受光部120の中心軸と、Z方向の移動軸にずれが生じない構成になっている。このようなステージ機構により、対象物Sの位置や姿勢を変化させた状態であっても、Z方向にステージ140を移動させて異なる焦点位置の画像を複数撮像して合成することが可能となる。なお、本実施の形態ではステッピングモータにより駆動させることが可能な電動ステージを例に説明したが、手動でのみ移動させることが可能な手動ステージであっても良い。
(光源部300)
Here, as shown in FIG. 2, the light receiving unit 120 and the light projecting unit are arranged such that the central axis of the left and right light projecting units 110 and the center axis of the light receiving unit 120 intersect each other on the focus plane where the focus of the stage 140 is best. 110 and the relative position of the stage 140 are determined. Since the center of the rotation axis in the θ direction coincides with the center axis of the light receiving unit 120, when the stage 140 rotates in the θ direction, the object S does not deviate from the field of view and is centered on the rotation axis. It is designed to rotate within the field of view. Further, the XYθ and tilt moving mechanisms are supported with respect to the Z direction moving mechanism. In other words, even if the stage is rotated in the θ direction or tilted, the center axis of the light receiving unit 120 and the movement axis in the Z direction are not displaced. With such a stage mechanism, even when the position and orientation of the object S are changed, it is possible to move the stage 140 in the Z direction and capture and combine a plurality of images at different focal positions. . In this embodiment, an electric stage that can be driven by a stepping motor has been described as an example. However, a manual stage that can be moved only manually may be used.
(Light source unit 300)

光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、制御手段200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、又は制御手段200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、撮像手段100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
The light source unit 300 includes a control board 310 and an observation illumination light source 320. A CPU (not shown) is mounted on the control board 310. The CPU of the control board 310 controls the light projecting unit 110, the light receiving unit 120, and the measurement control unit 150 based on a command from the CPU 210 of the control unit 200. This configuration is an example, and other configurations may be used. For example, the control board may be omitted by controlling the light projecting unit 110 and the light receiving unit 120 with the measurement control unit 150 or controlling the light projecting unit 110 and the light receiving unit 120 with the control means 200. Alternatively, the light source unit 300 can be provided with a power supply circuit for driving the imaging unit 100.
(Light source for observation 320)

観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される光(以下、「照明光」と呼ぶ)は、導光部材(ライトガイド)を通して撮像手段100の照明光出力部130から出力される。なお観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HIDなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。   The observation illumination light source 320 includes, for example, three color LEDs that emit red light, green light, and blue light. By controlling the luminance of the light emitted from each LED, light of an arbitrary color can be generated from the observation illumination light source 320. Light generated from the observation illumination light source 320 (hereinafter referred to as “illumination light”) is output from the illumination light output unit 130 of the imaging unit 100 through a light guide member (light guide). In addition to the LED, other light sources such as a semiconductor laser (LD), a halogen light, and an HID can be appropriately used as the observation illumination light source. In particular, when an element capable of imaging in color is used as the imaging element, a white light source can be used as the observation illumination light source.

照明光出力部130から出力される照明光は、赤色光、緑色光及び青色光を時分割で切り替えて対象物Sに照射する。これにより、これらのRGB光でそれぞれ撮像された観察画像を合成して、カラーの観察画像を得て、表示部400に表示させることができる。   The illumination light output from the illumination light output unit 130 irradiates the object S by switching red light, green light, and blue light in a time-sharing manner. Thereby, the observation images captured with these RGB lights can be synthesized to obtain a color observation image, which can be displayed on the display unit 400.

このようにしてカラーの観察画像を表示させる際、照明光の色を切り替える切替周波数を、表示部400で表示内容を更新する(画面を書き換える)際のフレームレートと一致させると、フレームレートが低い場合(例えば数Hz程度)は、ちらつきが顕著となる。特に、RGBの原色によるカラー切り替えが目立つと、ユーザに不快感を与えることがある。そこで、RGBの照明光を切り替える切替周波数を、ユーザが人の目で認識できない程度の高速(例えば数百Hz)とすることで、このような問題を回避できる。照明光の色の切り替えは、照明光出力部130等により行われる。また、高速で照明光のRGBを切り替えつつも、実際に撮像手段100で対象物Sを撮像するタイミングは、表示部400の表示内容の更新のタイミングとする。すなわち、観察像の撮像のタイミングと照明光の切り替えのタイミングは完全に一致させる必要はなく、撮像素子によるRGBの観察画像の撮像が可能な程度に、いいかえると照明光のRGBの切り替え周期が撮像周期の倍数となるようにリンクさせることで対応できる。この方法であれば、照明光の切り替えのタイミングを高速化することができ、撮像素子121aで処理可能なフレームレートを向上させることなく、ユーザに与える不快感を低減できる。   When the color observation image is displayed in this manner, if the switching frequency for switching the color of the illumination light is made to coincide with the frame rate when the display contents are updated (rewrite the screen), the frame rate is low. In such a case (for example, about several Hz), the flicker becomes remarkable. In particular, when color switching by RGB primary colors is conspicuous, the user may be uncomfortable. Therefore, such a problem can be avoided by setting the switching frequency for switching the RGB illumination light to a high speed (for example, several hundred Hz) that the user cannot recognize with human eyes. The color of the illumination light is switched by the illumination light output unit 130 or the like. The timing at which the imaging unit 100 actually images the object S while switching RGB of illumination light at high speed is the timing for updating the display content of the display unit 400. In other words, it is not necessary that the observation image capturing timing and the illumination light switching timing coincide completely. In other words, the RGB switching period of the illumination light is captured to the extent that an RGB observation image can be captured by the image sensor. This can be handled by linking so as to be a multiple of the period. With this method, the illumination light switching timing can be increased, and the discomfort given to the user can be reduced without improving the frame rate that can be processed by the image sensor 121a.

図1の例では観察用照明光源320を撮像手段100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320から供給される観察光の品質を向上し易くできる。例えば観察用照明光源320を構成するRGBの各LEDでは配光特性がそれぞれ異なることから、モノクロの撮像素子121aでRGBの観察画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのLEDの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で撮像手段100に導入することができる。また観察用照明光源320の発熱が撮像手段100の光学系に影響を与える事態を回避できる。ただ、発熱量の小さい観察用照明光源を利用したり、あるいは相応の放熱機構を撮像手段側に設ける等して、撮像手段に観察用照明光源を設けることもできる。この場合、光源部と撮像手段とを光学的に接続するための導光部材を不要とでき構成を簡素化できる利点が得られる。   In the example of FIG. 1, the observation illumination light source 320 is externally attached to the imaging unit 100, and the observation illumination light source 320 is disposed in the light source unit 300. In this way, the quality of the observation light supplied from the observation illumination light source 320 can be easily improved. For example, the RGB LEDs constituting the observation illumination light source 320 have different light distribution characteristics. Therefore, when RGB observation images are captured by the monochrome image sensor 121a, illumination color unevenness occurs in the field of view. . Therefore, a dedicated optical system that matches the light distribution characteristics of each LED is individually prepared and combined to absorb the difference in the light distribution characteristics and create uniform white illumination with no color unevenness. Can be introduced. In addition, it is possible to avoid a situation in which the heat generated by the observation illumination light source 320 affects the optical system of the imaging unit 100. However, the observation illumination light source can be provided in the imaging means by using an observation illumination light source with a small calorific value or by providing a corresponding heat radiation mechanism on the imaging means side. In this case, there is an advantage that the light guide member for optically connecting the light source unit and the imaging unit can be omitted, and the configuration can be simplified.

また、図1の例では測定光投光手段を測定用の光源と一体化しているが、測定光投光手段の光源を撮像手段内に設ける構成に限らず、これを外付けとすることもできる。例えば、光源部に、測定光投光手段の光源と、観察用照明光源とを纏めて配置することも可能である。   In the example of FIG. 1, the measurement light projecting unit is integrated with the measurement light source. it can. For example, the light source of the measurement light projecting unit and the illumination light source for observation can be collectively arranged in the light source unit.

図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むようにステージ140の上方に配置される。これにより、影が発生しないように照明光出力部130から対象物Sにリング状に照明光が照射される。
(計測顕微鏡装置操作プログラムのGUIの例)
The illumination light output unit 130 of FIG. 2 has an annular shape and is disposed above the stage 140 so as to surround the light receiving unit 120. Thereby, illumination light is irradiated to the target object S from the illumination light output part 130 in a ring shape so that a shadow does not occur.
(Example of GUI for measurement microscope device operation program)

計測顕微鏡装置は、制御手段200であるPCに計測顕微鏡装置500を操作するための操作プログラムをインストールしている。表示部400には、計測顕微鏡装置操作プログラムを操作するためのGUI(Graphical User Interface)が表示される。このようなGUI画面の一例を図3に示す。この例においては、表示部400において、第一測定光投光部110Aから第一測定光が照射された対象物Sの第一測定画像S1と、第二測定光投光部110Bから第二測定光が照射された対象物Sの第二測定画像S2とが並ぶように、表示させることができる。これら第一測定画像S1や第二測定画像S2は、高さ画像取得手段228で高さ画像を演算、生成するためのもととなる画像であり、この時点では未だ高さ情報を有していない。この例では、表示部400の左側に設けられた画像表示領域410の、右側に第一表示領域416を、左側に第二表示領域417を設けている。このような2画面表示とすることで、各測定光で得られる測定画像の様子、特に影となる領域等を対比しながら確認できる。なお、画像表示領域の分割例は、このように左右に並べる構成に限らず、上下に並べる、あるいは別画面として構成する等、任意の構成が適宜利用できる。
(測定光明るさ個別調整手段442)
In the measurement microscope apparatus, an operation program for operating the measurement microscope apparatus 500 is installed in a PC that is the control means 200. The display unit 400 displays a GUI (Graphical User Interface) for operating the measurement microscope apparatus operation program. An example of such a GUI screen is shown in FIG. In this example, on the display unit 400, the first measurement image S1 of the object S irradiated with the first measurement light from the first measurement light projecting unit 110A and the second measurement light from the second measurement light projecting unit 110B. It can be displayed so that the second measurement image S2 of the object S irradiated with light is aligned. The first measurement image S1 and the second measurement image S2 are images used to calculate and generate the height image by the height image acquisition unit 228, and still have height information at this point. Absent. In this example, the first display area 416 is provided on the right side and the second display area 417 is provided on the left side of the image display area 410 provided on the left side of the display unit 400. By using such a two-screen display, it is possible to confirm while comparing the state of the measurement image obtained with each measurement light, particularly the shadowed area. In addition, the division example of the image display area is not limited to the configuration in which the image display areas are arranged side by side in this manner, and an arbitrary configuration such as an arrangement in the vertical direction or a separate screen can be used as appropriate.
(Measurement light brightness individual adjustment means 442)

表示部400の操作領域420には、測定光明るさ個別調整手段442として、2つの明るさ調整スライダ444、446が設けられる。明るさ調整スライダ444、446は、それぞれ水平方向に移動可能なスライダでもって、各測定光投光手段の明るさを調整する。ここでは、明るさ調整スライダ446で第二測定光投光部110B、明るさ調整スライダ444で第一測定光投光部110Aの明るさを、それぞれ個別に調整可能としている。
明るさ調整スライダ444の位置は、第一測定光投光部110Aから出射される測定光の明るさ又は第一測定光投光部110Aからの測定光で画像を撮影する際のカメラ露光時間に対応する。また明るさ調整スライダ446の位置は、第二測定光投光部110Bから出射される測定光の明るさ又は第二測定光投光部110Bからの測定光で画像を撮影する際のカメラ露光時間に対応する。ユーザは、図1の制御手段200の操作部250でもって、GUIに設けられた操作領域420を操作して明るさ調整スライダ444を水平方向に移動させることにより、第一測定光投光部110Aから出射される測定光の明るさ又は110Aに対応するカメラ露光時間を変更することができる。同様に、操作部250を操作して明るさ調整スライダ446を水平方向に移動させることにより、第二測定光投光部110Bから出射される測定光の明るさ又は第二測定光投光部110Bに対応するカメラ露光時間を変更することができる。
In the operation area 420 of the display unit 400, two brightness adjustment sliders 444 and 446 are provided as the measurement light brightness individual adjustment means 442. The brightness adjustment sliders 444 and 446 are sliders that can move in the horizontal direction, and adjust the brightness of each measurement light projecting unit. Here, the brightness adjustment slider 446 can individually adjust the brightness of the second measurement light projector 110B, and the brightness adjustment slider 444 can adjust the brightness of the first measurement light projector 110A.
The position of the brightness adjustment slider 444 corresponds to the brightness of the measurement light emitted from the first measurement light projector 110A or the camera exposure time when an image is taken with the measurement light from the first measurement light projector 110A. Correspond. The position of the brightness adjustment slider 446 is determined by the brightness of the measurement light emitted from the second measurement light projector 110B or the camera exposure time when an image is taken with the measurement light from the second measurement light projector 110B. Corresponding to The user operates the operation area 420 provided in the GUI with the operation unit 250 of the control unit 200 in FIG. 1 to move the brightness adjustment slider 444 in the horizontal direction, whereby the first measurement light projecting unit 110A. The brightness of the measurement light emitted from the camera or the camera exposure time corresponding to 110A can be changed. Similarly, by operating the operation unit 250 and moving the brightness adjustment slider 446 in the horizontal direction, the brightness of the measurement light emitted from the second measurement light projector 110B or the second measurement light projector 110B. The camera exposure time corresponding to can be changed.

上記のように、画像表示領域410には、第一測定光投光部110A、第二測定光投光部110Bの各々により測定光を照射された場合における対象物Sの画像が並ぶように表示できる。したがって、ユーザは、画像表示領域410に表示された対象物Sの画像を見ながら、明るさ調整スライダ444、446の位置をそれぞれ移動させることにより、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。   As described above, in the image display area 410, images of the object S when the measurement light is irradiated by each of the first measurement light projection unit 110A and the second measurement light projection unit 110B are displayed so as to be aligned. it can. Accordingly, the user moves the positions of the brightness adjustment sliders 444 and 446 while looking at the image of the object S displayed in the image display area 410, whereby the first measurement light projecting unit 110A and the second measurement light projecting unit 110A. The brightness of the measurement light emitted from each of the light projectors 110B or the camera exposure time corresponding to each of the light projectors can be appropriately adjusted.

また、第一測定光投光部110A、第二測定光投光部110Bから出射される測定光の適切な明るさと照明光出力部130から出射される照明光の適切な明るさ又はそれぞれの照明に対応したカメラ露光時間との間に相関がある場合がある。この場合、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間は、照明光出力部130から出射される照明光の明るさ又は照明光に対応したカメラ露光時間に基づいて自動的に調整されてもよい。   In addition, the appropriate brightness of the measurement light emitted from the first measurement light projection unit 110A and the second measurement light projection unit 110B and the appropriate brightness of the illumination light emitted from the illumination light output unit 130 or the respective illuminations There may be a correlation with the camera exposure time corresponding to. In this case, the brightness of the measurement light emitted from each of the first measurement light projection unit 110A and the second measurement light projection unit 110B or the camera exposure time corresponding to each projection unit is the illumination light output unit 130. May be automatically adjusted based on the brightness of the illumination light emitted from the camera or the camera exposure time corresponding to the illumination light.

あるいは、照明光出力部130から出射される照明光の明るさ又は照明光に対応したカメラ露光時間に基づいて、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切にするための調整ガイドが表示部400に表示されてもよい。この場合、ユーザは、調整ガイドに基づいて明るさ調整スライダ444、446の位置をそれぞれ移動させることにより、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。   Alternatively, the light is emitted from each of the first measurement light projection unit 110A and the second measurement light projection unit 110B based on the brightness of the illumination light emitted from the illumination light output unit 130 or the camera exposure time corresponding to the illumination light. An adjustment guide for adjusting the brightness of the measured light or the camera exposure time corresponding to each light projecting unit may be displayed on the display unit 400. In this case, the user moves the positions of the brightness adjustment sliders 444 and 446 based on the adjustment guide, thereby emitting the light from each of the first measurement light projection unit 110A and the second measurement light projection unit 110B. The brightness of the measurement light or the camera exposure time corresponding to each light projecting unit can be adjusted appropriately.

光の照射方向が異なれば、光の反射方向も異なるため、結果として得られる画像の明るさは、同じ部位であっても光の照射方向によって異なる。すなわち、測定に適した測定光の明るさ、撮像素子の露光時間は照射方向によって異なることになる。本実施の形態では、複数の第一測定光投光部110A、第二測定光投光部110Bから光を照射して撮像されたそれぞれの画像の明るさを個別に調整可能とすることにより、照射方向毎に適切な測定光の明るさ又は露光時間を設定することができる。また、明るさ調整中の画像は、画像表示領域410に更新されながら表示されるため、調整後の画像を確認しながら明るさを調整できる。この際に、画像表示領域410に表示された画像の中で、明るすぎて白とびしている部分や、暗すぎて黒つぶれしている部分を識別可能に表示することで、ユーザにとって明るさが適切に調整できているか否かをより判り易く表示することも可能である。
(測定画像合成手段211)
If the light irradiation direction is different, the light reflection direction is also different, so that the brightness of the resulting image varies depending on the light irradiation direction even in the same region. That is, the brightness of the measurement light suitable for measurement and the exposure time of the image sensor vary depending on the irradiation direction. In the present embodiment, the brightness of each image captured by irradiating light from the plurality of first measurement light projection units 110A and the second measurement light projection unit 110B can be individually adjusted. An appropriate measurement light brightness or exposure time can be set for each irradiation direction. In addition, since the image whose brightness is being adjusted is displayed in the image display area 410 while being updated, the brightness can be adjusted while checking the adjusted image. At this time, in the image displayed in the image display area 410, a portion that is too bright and overexposed, or a portion that is too dark and obscured by black is displayed in an identifiable manner, so that the brightness is improved for the user. It is also possible to display whether or not can be adjusted appropriately.
(Measurement image composition means 211)

図1に戻って、制御手段200の測定画像合成手段211は、同じ対象物Sに対して、第一測定光投光部110Aを用いて撮像手段100で取得された第一測定画像と、第二測定光投光部110Bを用いて撮像手段100で取得された第二測定画像とを合成し、一の合成高さ画像を生成する。合成高さ画像の生成方法としては、例えば、第一測定画像と第二測定画像とで対応する画素の内、画素値が高い方の画素を用いて構成することができる(マックス測定画像)。あるいは、第一測定画像と第二測定画像とで対応する画素の内、画素値の平均を用いて構成してもよい(平均測定画像)。あるいはまた、第一測定画像と第二測定画像とで対応する画素の内、画素値が低い方の画素を用いて構成することもできる(ミニマム測定画像)。
(測定異常領域表示手段212)
Returning to FIG. 1, the measurement image synthesis unit 211 of the control unit 200 performs the first measurement image acquired by the imaging unit 100 using the first measurement light projecting unit 110 </ b> A on the same object S, and the first measurement image. The second measurement light projection unit 110B is used to synthesize the second measurement image acquired by the imaging unit 100 to generate one combined height image. As a method for generating a composite height image, for example, a pixel having a higher pixel value among the corresponding pixels in the first measurement image and the second measurement image can be used (max measurement image). Or you may comprise using the average of a pixel value among the pixels corresponding by a 1st measurement image and a 2nd measurement image (average measurement image). Or it can also comprise using the pixel with a lower pixel value among the pixels corresponding by a 1st measurement image and a 2nd measurement image (minimum measurement image).
(Measurement abnormal region display means 212)

測定異常領域表示手段212は、測定画像合成手段211で生成された合成高さ画像を表示部400上で表示させた状態で、第一測定光投光部110A及び第二測定光投光部110Bのいずれでも測定結果が異常となる測定異常領域を重ねて表示する(後述する図8等参照)。
(測定異常領域)
The measurement abnormal area display unit 212 displays the combined height image generated by the measurement image combining unit 211 on the display unit 400, and the first measurement light projector 110A and the second measurement light projector 110B. In either case, a measurement abnormal region where the measurement result is abnormal is displayed in an overlapping manner (see FIG. 8 and the like described later).
(Abnormal measurement area)

ここで測定異常領域には、高さの測定自体ができない測定不能領域や、測定は可能であるものの、得られたデータが飽和しており精度の劣る飽和領域、及び測定できないが、周囲の情報によって補間可能な補間領域を含む。これに対して、高さ情報を測定可能な領域を正常領域という。
(測定不能領域)
Here, in the measurement abnormal area, it is impossible to measure the height itself, or the measurement is impossible, but the obtained data is saturated and the accuracy is inferior. Includes an interpolation area that can be interpolated. On the other hand, an area where height information can be measured is called a normal area.
(Unmeasurable area)

測定不能領域は、いずれの測定光投光手段によっても、測定光が影となって、撮像手段100でデータすなわち反射光の輝度を取得できない領域を指す。このように正常領域と区別することで、いずれの測定光投光手段でも測定ができない領域を、いずれかの測定光投光手段で測定が可能な測定領域と区別して視覚的に把握することができ、ユーザの測定画像撮像条件の設定作業に資することができる。
(飽和領域)
The non-measurable area refers to an area in which the measurement light is shaded by any of the measurement light projecting units, and data, that is, the brightness of reflected light cannot be acquired by the imaging unit 100. By distinguishing from the normal area in this way, it is possible to visually grasp the area that cannot be measured by any of the measurement light projecting means, separately from the measurement area that can be measured by any of the measurement light projecting means. It is possible to contribute to the setting work of the measurement image capturing condition of the user.
(Saturation region)

また飽和領域は、いずれの測定光投光手段によっても、撮像手段100で検出される測定光の反射光の輝度が飽和している領域を指す。なお反射光の輝度レベルが飽和していても、反射光のON/OFFが判別できればそれなりに測定結果は得られる。ただし、輝度が飽和していない点と比べると、データの信頼性が低くなる。よって、計測時においては精度が低下することがあるので、正常領域と区別する。
(補間領域)
The saturated region refers to a region where the brightness of the reflected light of the measurement light detected by the imaging unit 100 is saturated by any measurement light projecting unit. Even if the luminance level of the reflected light is saturated, the measurement result can be obtained as it is if ON / OFF of the reflected light can be determined. However, the reliability of the data is lower than the point where the luminance is not saturated. Therefore, since the accuracy may be reduced during measurement, it is distinguished from the normal region.
(Interpolation area)

さらに補間領域は、高さ情報を測定できないものの、その画素の周囲に位置する他の画素の輝度情報で補間可能な領域を指す。なお、周囲の画素をどの程度の範囲まで利用するかについては、予め規定しておく。また、例えば周囲の画素を何画素分使用するかをユーザが任意に指定可能としてもよい。   Further, the interpolation area refers to an area in which height information cannot be measured but can be interpolated with luminance information of other pixels located around the pixel. Note that the extent to which the surrounding pixels are used is defined in advance. Further, for example, the user may arbitrarily specify how many surrounding pixels are used.

これら補間領域も飽和領域も、高さ情報の信頼性は正常領域に比べて劣るものの、一応の高さ情報を得られることから、用途によっては利用できる。また計測に限らず、例えば測定画像を表示させる際には、部分的に欠損した画像とするよりも、何らかの画像を表示させた方がイメージを把握し易いことから、適宜利用できる。   Although both the interpolation area and the saturation area are less reliable than the normal area, the height information can be used depending on the application because it can obtain height information. In addition to measurement, for example, when displaying a measurement image, it is possible to appropriately display an image because it is easier to grasp an image by displaying some image than a partially missing image.

さらに測定不能領域はこれらに限らず、例えば多重反射や光の潜り込み等を含む領域とすることもできる。なお本明細書において「領域」とは、必ずしも一定の面積を有する線状や面状に限らず、点あるいは点の集合も含む意味で使用する。   Further, the non-measurable area is not limited to these, and may be an area including, for example, multiple reflections and light penetration. In the present specification, the “region” is not necessarily limited to a linear shape or a planar shape having a certain area, but is used to include a point or a set of points.

また、測定異常領域表示手段212は、これら測定不能領域や飽和領域、あるいは補間領域を、それぞれ異なる態様でハイライトして、表示部400上に重ねて表示可能としている。これにより、測定ができない領域と、測定は可能であるが飽和して精度が低い領域、あるいは補間された領域を、正常な領域と視覚的に区別して把握することができ、ユーザの測定画像撮像条件の設定作業に資することができる。従来であれば、一の測定光投光手段で影や飽和している測定異常点を確認しても、それらが他の測定光投光手段では正しく測定できるため、合成高さ画像とすることで測定異常点のままであっても問題がないのか、あるいは他の測定光投光手段でも測定できず、合成高さ画像でも正しく測定できないのかを区別できなかった。これに対して、本実施の形態によれば、複数の測定光投光手段を用いた場合に、測定不可能となる領域を低減しつつも、具体的にどの部分が測定可能となり、どの部分が依然として測定不可能であるかを、合成高さ画像上で一画面で確認できるので、測定不能領域が少なくなるように測定画像撮像条件を調整し易くなり、ユーザの使い勝手が飛躍的に改善される。また測定異常領域表示手段212は、測定画像合成手段211で生成された合成高さ画像を表示部400上で表示させた状態で、第一測定光投光部110A又は第二測定光投光部110Bで測定されたデータが飽和している領域を、飽和領域として、測定不能領域とは異なる態様でハイライトした状態にて重ねて表示することもできる。   In addition, the measurement abnormality area display unit 212 highlights the non-measurable area, the saturation area, or the interpolation area in different manners so that they can be displayed on the display unit 400 in an overlapping manner. This makes it possible to visually distinguish areas that cannot be measured and areas that can be measured but that are saturated but low in accuracy, or interpolated areas, from normal areas. It can contribute to condition setting work. Conventionally, even if you check shadows and saturated measurement abnormal points with one measuring light projection means, they can be measured correctly with other measuring light projection means, so it should be a composite height image Thus, it was impossible to distinguish whether there was no problem even if the measurement abnormal point remained, or whether it could not be measured by other measuring light projection means, and it could not be measured correctly even in the composite height image. On the other hand, according to the present embodiment, when a plurality of measurement light projecting units are used, it is possible to measure which part can be specifically measured and which part can be measured while reducing the area where measurement is impossible. Can still be measured on a single screen on the composite height image, it is easy to adjust the measurement image capturing conditions so that the unmeasurable area is reduced, and the usability for users is dramatically improved. The In addition, the measurement abnormal area display unit 212 displays the combined height image generated by the measurement image combining unit 211 on the display unit 400, and the first measurement light projecting unit 110A or the second measurement light projecting unit. The area where the data measured at 110B is saturated can be displayed as a saturated area in a state where the area is highlighted in a manner different from that of the unmeasurable area.

以上のようにして、複数の測定光投光手段で測定可能な領域、測定不可能な領域に関する情報を、一画面で纏めて、視覚的に把握し易い態様にて表示させることができ、測定画像撮像条件の設定や調整に際して資することができる。   As described above, information related to areas that can be measured by a plurality of measuring light projecting means and areas that cannot be measured can be collected on a single screen and displayed in a manner that is easy to grasp visually. This can contribute to the setting and adjustment of image capturing conditions.

ここでは、測定異常領域表示手段212で合成高さ画像SG上に測定異常領域を重畳させて表示させた例を説明したが、これに限らず、第一測定画像や第二測定画像に対しても、それぞれ測定異常領域を重畳させて表示させることもできる。例えば、後述する図9の例では、第二測定光投光部110Bのみについて得られる第一測定画像S1に、測定不能領域及び飽和領域を重ねて表示させている。このように、単に測定光投光手段単体について生じる測定不能領域や飽和領域を表示させる他、上述した合成高さ画像の場合と同様、他方の測定光投光手段での測定結果を加味して、いずれの測定光投光手段でも測定不能又は飽和となる領域のみをハイライト表示させることで、測定画像撮像条件の設定を適切に調整し易くできる。   Here, an example has been described in which the measurement abnormal region display unit 212 superimposes and displays the measurement abnormal region on the composite height image SG. However, the present invention is not limited to this, and the first measurement image and the second measurement image are displayed. In addition, it is also possible to display the measurement abnormal regions in a superimposed manner. For example, in the example of FIG. 9 to be described later, the non-measurable region and the saturation region are superimposed and displayed on the first measurement image S1 obtained only for the second measurement light projecting unit 110B. In this way, in addition to simply displaying the non-measurable region and saturation region generated for the measurement light projection unit alone, as in the case of the composite height image described above, the measurement result of the other measurement light projection unit is taken into account. The measurement image imaging condition setting can be easily adjusted appropriately by highlighting only the region that cannot be measured or saturated by any of the measurement light projecting means.

また、以上の例では、測定異常領域表示手段212で測定画像上に測定不能領域や飽和領域を重畳させて表示させた例を説明したが、測定画像に限られず観察画像に対しても同様に、測定不能領域や飽和領域を重畳させて表示させることもできる。   Further, in the above example, the measurement abnormal region display unit 212 has described the example in which the non-measurable region and the saturation region are displayed on the measurement image. In addition, it is possible to display the measurement incapable region and the saturation region in a superimposed manner.

さらに、以上の例では何れかの測定光投光手段で測定不能点、飽和点あるいは補間点となった領域を、測定不能領域、飽和領域としてそれぞれ表示しているが、これらを、いずれの測定光投光手段で測定不能点あるいは飽和点となったのかを区別して表示させることもできる。例えば、第一測定光投光部110Aで測定不能となった第一測定不能領域を薄い赤色、第二測定光投光部110Bで測定不能となった第二測定不能領域を濃い赤色でそれぞれ表示する。また同様に、第一測定光投光部110Aでは飽和した第一飽和領域を薄い黄色、第二測定光投光部110Bでは飽和した第二飽和領域を濃い黄色でそれぞれ表示するよう、測定異常領域表示手段212で測定画像に対して着色する。また、このような測定光投光手段を区別したハイライト処理は、第一測定画像や第二測定画像に対して行う他、合成高さ画像SGに対して行うことも可能である。このようにすることで、測定不能若しくは飽和した領域を視覚的に区別でき、対象物Sの置き方や測定光のあて方の調整等に際して参考とできる。   Furthermore, in the above example, the areas that have become non-measurable points, saturation points, or interpolation points by any of the measuring light projecting means are displayed as non-measurable areas and saturated areas, respectively. It is also possible to distinguish and display whether the light projecting means has become a measurement impossible point or a saturation point. For example, the first non-measurable area that is not measurable by the first measurement light projecting unit 110A is displayed in light red, and the second non-measurable area that is not measurable by the second measurement light projecting unit 110B is displayed in dark red. To do. Similarly, the first measurement light projecting unit 110A displays the saturated first saturated region in light yellow, and the second measurement light projecting unit 110B displays the saturated second saturated region in dark yellow. The display unit 212 colors the measurement image. In addition, the highlight processing that distinguishes the measurement light projecting means can be performed on the composite height image SG in addition to the first measurement image and the second measurement image. By doing so, it is possible to visually distinguish a region where measurement is impossible or saturated, and it can be used as a reference when adjusting the method of placing the object S or applying measurement light.

例えば、第一測定光投光部110Aによる第一測定画像の明るさを調整する際に、第一測定光投光部110Aでは影となる第一測定不能領域、飽和となる第一飽和領域を、それぞれ濃い赤色、濃い黄色で表示させつつ、第二測定光投光部110Bによる第二測定不能領域、第二飽和領域をそれぞれ薄い赤色、薄い黄色で表示させることで、他方の測定光投光手段(ここでは第二測定光投光部110B)で測定可能な領域、いいかえると第一測定画像の不備を補ってくれる領域を加味した上で、測定不能や飽和となる領域が少なくなるように、最適な測定画像撮像条件に調整し易い環境が提供される。   For example, when adjusting the brightness of the first measurement image by the first measurement light projector 110A, the first measurement light projector 110A sets the first non-measurable region that becomes a shadow and the first saturation region that becomes saturated. The second measurement light projection unit 110B displays the second non-measurable area and the second saturation area in light red and light yellow, respectively, while displaying them in dark red and dark yellow. In consideration of the area that can be measured by the means (here, the second measuring light projecting unit 110B), in other words, the area that compensates for the deficiency of the first measurement image, the area that cannot be measured or becomes saturated is reduced. An environment that can be easily adjusted to the optimum measurement image capturing condition is provided.

また、上述した実施の形態において測定異常領域表示手段212により着色される色は一例であって、他の色を適宜利用できることはいうまでもない。さらに測定異常領域表示手段212は、測定異常領域をハイライトさせる態様に限らず、非表示とすることもできる。なお、以上の測定画像合成手段211や測定異常領域表示手段212、後述する三次元画像合成手段213は、図1の例では制御手段200のCPUとしているが、この構成に限らず、専用の部材で構成することもできる。
(計測顕微鏡装置操作プログラム)
In the above-described embodiment, the color colored by the measurement abnormal region display unit 212 is an example, and it goes without saying that other colors can be used as appropriate. Furthermore, the measurement abnormal region display means 212 is not limited to the mode of highlighting the measurement abnormal region, and can be hidden. The above-described measurement image synthesis unit 211, measurement abnormal region display unit 212, and three-dimensional image synthesis unit 213 described later are the CPU of the control unit 200 in the example of FIG. 1, but are not limited to this configuration and are dedicated members. Can also be configured.
(Measurement microscope operation program)

上述の通り、図1の例では制御手段200であるPCに計測顕微鏡装置500を操作するための操作プログラムをインストールしている。この計測顕微鏡装置操作プログラムを実行させて、そのGUI画面を表示部400に表示させた状態で、ユーザは操作部であるマウスやキーボードを操作して、各種条件を設定して、高さ情報を有する高さ画像を取得できる。計測顕微鏡装置操作プログラムのユーザインターフェース(GUI)画面を、図3及び図4〜図9に示す。これらの図において、図4は計測顕微鏡装置操作プログラムのGUIで簡単モードを選択した状態を示すイメージ図、図5は図4の状態から「測定画像」ボタン428を押下した状態を示すイメージ図、図6は図4の状態から応用モードを選択した状態を示すイメージ図、図7は図6の状態から「測定画像」ボタン428を押下した状態を示すイメージ図、図8は図7の状態から画像表示領域410を分割表示させた状態を示すイメージ図、図9は図7の状態から測定方向「左側のみ」を選択した状態を示すイメージ図を、それぞれ示している。また各GUI画面において、測定画像や高さ画像、観察画像を表示させるための画像表示領域410を設けており、また画像表示領域410の右端には、各種の操作を行うボタン等を纏めた操作領域420を設けている。
(画像表示領域410)
As described above, in the example of FIG. 1, an operation program for operating the measurement microscope apparatus 500 is installed in the PC that is the control means 200. In a state where the measurement microscope apparatus operation program is executed and the GUI screen is displayed on the display unit 400, the user operates the mouse and keyboard as the operation unit, sets various conditions, and obtains height information. A height image can be acquired. A user interface (GUI) screen of the measurement microscope apparatus operation program is shown in FIGS. 3 and 4 to 9. In these drawings, FIG. 4 is an image diagram showing a state in which the simple mode is selected in the GUI of the measurement microscope apparatus operation program, FIG. 4 is an image diagram showing a state in which the application mode is selected from the state of FIG. 4, FIG. 7 is an image diagram showing a state where the “measurement image” button 428 is pressed from the state of FIG. 6, and FIG. FIG. 9 is an image diagram showing a state in which the measurement direction “only the left side” is selected from the state of FIG. 7. In addition, each GUI screen is provided with an image display area 410 for displaying a measurement image, a height image, and an observation image. On the right end of the image display area 410, buttons for performing various operations are collected. Region 420 is provided.
(Image display area 410)

画像表示領域410においては、観察画像や測定画像、高さ画像を表示できる。特に、取得、撮像した高解像度の高さ画像や観察画像を表示させる他、撮像の対象となる対象物Sを、現在設定中の観察画像撮像条件で撮像した場合に得られるであろう観察画像のプレビュー画像を簡易的に撮像し、あるいは同じく現在設定中の測定画像撮像条件で撮像した場合に得られるであろう高さ画像のプレビュー画像を演算して、表示部400上に表示させることができる。さらに、観察画像撮像条件や測定画像撮像条件を変更すると、これに応じてプレビュー画像もリアルタイムに更新することで、ユーザは画像表示領域410で表示される高さ画像、観察画像の変化を、設定の前後で比較、参照しながら、観察画像撮像条件や測定画像撮像条件の設定作業を行うことができる。すなわち、現在設定中のパラメータや対象物Sの位置で撮像した際に得られるであろう画像のイメージを直ちに反映させて確認できることから、ユーザが望む画像イメージに視覚的に沿った観察画像撮像条件や測定画像撮像条件に設定し易くできる。   In the image display area 410, an observation image, a measurement image, and a height image can be displayed. In particular, in addition to displaying the acquired and imaged high-resolution height image and observation image, an observation image that will be obtained when the object S to be imaged is imaged under the currently set observation image imaging conditions. A preview image of a height image that would be obtained when the image is captured simply under the measurement image capturing conditions currently being set, and displayed on the display unit 400. it can. Furthermore, when the observation image capturing condition or the measurement image capturing condition is changed, the preview image is also updated in real time accordingly, so that the user can set the change of the height image and the observation image displayed in the image display area 410. The observation image capturing conditions and the measurement image capturing conditions can be set while comparing and referring to before and after. That is, since it is possible to immediately reflect and confirm the currently set parameters and the image of the image that will be obtained when the image is captured at the position of the object S, the observation image capturing condition visually following the image image desired by the user And measurement image capturing conditions can be easily set.

ここで本明細書において観察画像とは、簡易的に撮像したプレビュー画像と、通常の条件で撮像した画像を意味する。一方、高さ画像については、所定の構造化測定光パターンに従って投光される縞状の測定光を用いた縞投影法によって縞画像を複数枚撮像し、これを高さ画像取得手段228で解析して、高さ情報を有する高さ画像を生成している。ここで、高精細な高さ画像を得るには、できるだけ対象物の表面の全ての点に測定光を照射した状態で縞画像を得る必要がある。いいかえると、測定光を投光した状態で極力影ができない状態とすることが望ましい。そこで、影ができる領域を推測するために、パターン生成部112ですべての画素をONとして対象物に投光させる全投影を行い、測定画像を取得して表示部に表示させる。この測定画像は、あくまでも縞画像を正しく撮像し、ひいては高さ画像を正しく取得できるように、影の出方などを確認するためのプレビュー画像である。また、測定画像自体は、未だ通常の撮像前の状態であるため、高さ情報を有していない。しかし、高さ画像を正しく得るためのプレビュー画像として有効である。特に、縞画像単体では縞パターンなどによって影が見辛いこともあり、高さ画像の生成に必要な縞画像の撮像に際しては、測定画像を表示させ、その見え方でもって撮像条件を確認することが有効となる。そこで、高さ画像の生成に際して、縞画像を撮像するための撮像条件を測定画像でもって代用していることから、ここでは測定画像撮像条件と呼ぶことにする。
(分割表示機能)
Here, in this specification, an observation image means a preview image that is simply captured and an image that is captured under normal conditions. On the other hand, for the height image, a plurality of fringe images are captured by the fringe projection method using the striped measurement light projected according to a predetermined structured measurement light pattern, and this is analyzed by the height image acquisition means 228. Thus, a height image having height information is generated. Here, in order to obtain a high-definition height image, it is necessary to obtain a fringe image in a state where measurement light is irradiated to all points on the surface of the object as much as possible. In other words, it is desirable to make the shadow as small as possible when the measurement light is projected. Therefore, in order to estimate the area where the shadow can be generated, the pattern generation unit 112 performs all projections to turn on all pixels and project the light onto the object, and obtains a measurement image and displays it on the display unit. This measurement image is a preview image for confirming how to cast a shadow so that a fringe image can be correctly captured and a height image can be correctly acquired. Further, since the measurement image itself is still in a state before normal imaging, it does not have height information. However, it is effective as a preview image for correctly obtaining a height image. In particular, it may be difficult to see the shadow due to the fringe pattern etc. in the striped image alone, and when capturing the striped image necessary for generating the height image, display the measurement image and check the imaging conditions with the appearance Becomes effective. Therefore, when generating a height image, an imaging condition for capturing a fringe image is substituted with a measurement image, and hence it is referred to as a measurement image imaging condition here.
(Split display function)

また表示部400は分割表示機能を備えており、画像表示領域410を、一の画像を表示させる態様の他、二画面以上に分割させることもできる。例えば図8の例では、画像表示領域410の左側に、やや大きく第一分割表示領域411を設け、やや狭いその右側を上下に二分割して、第二分割表示領域412、第三分割表示領域413としている。これら第一分割表示領域411〜第三分割表示領域413の縦横の比率は、同じとすることが好ましい。また、この際第一分割表示領域411は、上下にマスクを設けて、第二分割表示領域412、第三分割表示領域413と同じ比率となるよう調整している。   Further, the display unit 400 has a split display function, and the image display area 410 can be divided into two or more screens in addition to a mode of displaying one image. For example, in the example of FIG. 8, the first divided display area 411 is provided slightly larger on the left side of the image display area 410, and the slightly narrow right side thereof is divided into two in the vertical direction, the second divided display area 412, and the third divided display area. 413. The vertical and horizontal ratios of the first divided display area 411 to the third divided display area 413 are preferably the same. At this time, the first divided display area 411 is adjusted to have the same ratio as the second divided display area 412 and the third divided display area 413 by providing masks on the upper and lower sides.

画像表示領域410の分割表示を行うには、例えば図7に示すように画像モード切替手段で「3Dスキャン」タブ421を選択し、測定画像取得モード選択手段で「エキスパート」ボタン425が選択され、かつ「測定方向」選択欄470で「両側」を選択した状態で、「測定用明るさ調整」欄440の「マニュアル」ボタンを選択する。これによって、図8に示すように3画面に分割表示される。また「測定用明るさ調整」欄440で「オート」ボタンを選択すると、分割表示が解除されて、図7に示すように画像表示領域410が一画面の表示に戻る。また各分割領域には、表示されている画像の種別を表示する種別表示欄415を付加することもできる。図8の例では、種別表示欄415として各分割表示領域の左上に「左右合成」、「左側投光」、「右側投光」等の種別を文字で表示させており、各画像を識別し易くしている。また種別表示欄415に、文字列に加えて、又はこれに代えて、測定光の方向を示すアイコンを表示させてもよい。図8の例では、文字列の左側に、測定光投光手段とここから投光される測定光の広がりを図示したアイコンを表示させることで、ユーザに対し各分割表示領域の表示内容を視覚的に判り易くしている。   In order to perform split display of the image display area 410, for example, as shown in FIG. 7, the “3D scan” tab 421 is selected by the image mode switching means, the “expert” button 425 is selected by the measurement image acquisition mode selection means, In the state where “both sides” is selected in the “measurement direction” selection field 470, the “manual” button in the “brightness adjustment for measurement” field 440 is selected. As a result, the screen is divided into three screens as shown in FIG. When the “Auto” button is selected in the “Brightness adjustment for measurement” field 440, the split display is canceled and the image display area 410 returns to the one-screen display as shown in FIG. A type display field 415 for displaying the type of the displayed image can be added to each divided area. In the example of FIG. 8, the type display column 415 displays characters such as “left and right composite”, “left light projection”, and “right light projection” in the upper left of each divided display area, and identifies each image. It is easy. In addition to or instead of the character string, an icon indicating the direction of the measurement light may be displayed in the type display field 415. In the example of FIG. 8, the display contents of each divided display area are visually shown to the user by displaying the measurement light projecting means and an icon illustrating the spread of the measurement light projected therefrom on the left side of the character string. It is easy to understand.

なお、画像表示領域を三分割する態様は、上述した例に限らず、例えば画像表示領域を均等に三分割して、合成高さ画像、第一測定画像、第二測定画像をそれぞれ表示させたり、あるいは別ウィンドウで各測定画像を表示させる等、種々の態様が適宜利用できる。   In addition, the aspect which divides an image display area into three is not restricted to the example mentioned above, For example, an image display area is equally divided into three and a composite height image, a 1st measurement image, and a 2nd measurement image are displayed, respectively. Alternatively, various modes such as displaying each measurement image in a separate window can be used as appropriate.

図8の例では、第一分割表示領域411に対象物Sの合成高さ画像SG、第二分割表示領域412に同じ対象物Sの第二測定画像S2、第三分割表示領域413に第一測定画像S1を、それぞれ表示させている。リアルタイムで各画像を更新しながら表示させるために、第一測定光投光部110A、第二測定光投光部110Bから対象物Sに測定光が切り替わるように交互に照射される。第二分割表示領域412には、第二測定光投光部110Bから測定光が照射された場合における対象物Sの画像が表示される。また第三分割表示領域413には、第一測定光投光部110Aから測定光が照射された場合における対象物Sの画像が表示される。これにより、ユーザは第一測定光投光部110A、第二測定光投光部110Bの各々により測定光を照射された場合における対象物Sの画像を区別して認識することができる。測定光の切り替わりの頻度は、例えば数Hz〜数十Hz程度とする。
(操作領域420)
In the example of FIG. 8, the composite height image SG of the object S in the first divided display area 411, the second measurement image S <b> 2 of the same object S in the second divided display area 412, and the first in the third divided display area 413. Each measurement image S1 is displayed. In order to display the images while updating each image in real time, the measurement light is alternately irradiated to the object S from the first measurement light projection unit 110A and the second measurement light projection unit 110B. In the second divided display area 412, an image of the object S when the measurement light is irradiated from the second measurement light projecting unit 110B is displayed. In the third divided display area 413, an image of the object S when the measurement light is irradiated from the first measurement light projecting unit 110A is displayed. Thereby, the user can distinguish and recognize the image of the object S when the measurement light is irradiated by each of the first measurement light projection unit 110A and the second measurement light projection unit 110B. The frequency of measurement light switching is, for example, about several Hz to several tens Hz.
(Operation area 420)

操作領域420には、各種の設定や操作を行うためのボタンやスライドバー、入力欄等が設けられる。また、各種モードを選択、変更することで、これに応じて表示されるボタン類も変更することができる。なお、以下に示すボタン類の配置は例示であって、任意の態様で配置できる。
(画像モード切替手段)
The operation area 420 is provided with buttons, slide bars, input fields, etc. for performing various settings and operations. Also, by selecting and changing various modes, the buttons displayed in accordance with this can be changed. In addition, arrangement | positioning of the buttons shown below is an illustration, Comprising: It can arrange | position in arbitrary aspects.
(Image mode switching means)

計測顕微鏡装置操作プログラムは、対象物Sの観察画像を撮像するための観察画像取得モードと、対象物Sの測定画像を取得する測定画像取得モードとを、画像モード切替手段で切り替え可能としている。この例では、画像モード切替手段として、観察画像取得モードに関するボタン類を集めた「マイクロスコープ」タブ422と、測定画像取得モードに関するボタン類を集めた「3Dスキャン」タブ421とを設けており、所望のタブを選択することで画像モードを観察画像取得モードと測定画像取得モードに切り替え可能としている。
(測定画像取得モード選択手段)
The measurement microscope apparatus operation program can be switched between an observation image acquisition mode for capturing an observation image of the object S and a measurement image acquisition mode for acquiring a measurement image of the object S by an image mode switching unit. In this example, as the image mode switching means, a “microscope” tab 422 that collects buttons related to the observation image acquisition mode and a “3D scan” tab 421 that collects buttons related to the measurement image acquisition mode are provided. By selecting a desired tab, the image mode can be switched between an observation image acquisition mode and a measurement image acquisition mode.
(Measurement image acquisition mode selection means)

この計測顕微鏡装置操作プログラムは、測定画像撮像条件の設定を初心者でも簡単に行えるようにした簡単モードと、ユーザによる、より詳細な測定画像撮像条件の設定を可能とした応用モードを切り替え可能としている。このため操作領域420において、各画像モードのタブは、その上欄に、簡単モードと応用モードとを選択する測定画像取得モード選択手段が設けられている。図4の例では、測定画像取得モード選択手段として、簡単モードを選択する「1shot−3D」ボタン424と、応用モードを選択する「エキスパート」ボタン425が設けられている。
(画像切替手段)
This measurement microscope device operation program can be switched between a simple mode that makes it easy for beginners to set measurement image capturing conditions and an application mode that allows users to set more detailed measurement image capturing conditions. . Therefore, in the operation area 420, each image mode tab is provided with measurement image acquisition mode selection means for selecting a simple mode and an application mode in the upper column. In the example of FIG. 4, a “1shot-3D” button 424 for selecting the simple mode and an “expert” button 425 for selecting the application mode are provided as the measurement image acquisition mode selection means.
(Image switching means)

さらに測定画像取得モード選択手段の下部には、表示中の画像を、観察画像と測定画像とに切り替え可能な画像切替手段が設けられている。この例では、画像切替手段として、「観察画像」ボタン427を押下すると、観察用照明光源を用いて撮像した観察画像が画像表示領域410に表示され、また「測定画像」ボタン428を押下すると、測定光投光手段を用いて取得した測定画像が画像表示領域410に表示される。ここでは、測定光の明るさを変えるパラメータを、カメラの露光時間としている。
(高さ画像の取得手順)
Further, below the measurement image acquisition mode selection means, there is provided an image switching means capable of switching the displayed image between the observation image and the measurement image. In this example, when an “observation image” button 427 is pressed as an image switching unit, an observation image captured using an observation illumination light source is displayed in the image display area 410, and when a “measurement image” button 428 is pressed, A measurement image acquired using the measurement light projecting unit is displayed in the image display area 410. Here, the parameter that changes the brightness of the measurement light is the exposure time of the camera.
(Height image acquisition procedure)

次に、計測顕微鏡装置の操作プログラムを用いて測定画像を参照して高さ画像を取得する手順を、図10のフローチャートに基づいて説明する。まず、ステップS1で対象物Sをステージ140にセットし、初期画像を表示させる。この段階では高さ画像は未だ取得されていないため、初期画像として、例えば観察画像を用いる。ここで観察画像を撮像する際の照明光の明るさは、自動調整とする。図4に示す例では、画像表示領域410に観察画像SOをリアルタイムで表示させている。また初期画像として、測定光投光手段から投光する測定光の構造化照明のパターンを、すべての点から投光させて取得した、構造化照明の全投影画像とすることもできる。この場合の測定光の明るさも、自動調整とする。   Next, a procedure for acquiring a height image with reference to a measurement image using an operation program of the measurement microscope apparatus will be described based on a flowchart of FIG. First, in step S1, the object S is set on the stage 140, and an initial image is displayed. At this stage, since the height image has not been acquired yet, for example, an observation image is used as the initial image. Here, the brightness of the illumination light when capturing the observation image is automatically adjusted. In the example shown in FIG. 4, the observation image SO is displayed in real time in the image display area 410. Further, as the initial image, the structured illumination pattern of the measurement light projected from the measurement light projecting means can be a full projection image of structured illumination obtained by projecting light from all points. The brightness of the measurement light in this case is also automatically adjusted.

次にステップS2において、測定画像取得モードを測定画像取得モード選択手段から選択する。ここでは、簡単モードと応用モードのいずれかを測定画像取得モード選択手段で選択可能としている。図4の例では、「1shot−3D」ボタン424を押下すると簡単モードが選択され、「エキスパート」ボタン425を押下すると応用モードが選択される。
(簡単モード)
(測定光明るさ調整手段)
Next, in step S2, the measurement image acquisition mode is selected from the measurement image acquisition mode selection means. Here, either the simple mode or the application mode can be selected by the measurement image acquisition mode selection means. In the example of FIG. 4, the simple mode is selected when the “1shot-3D” button 424 is pressed, and the application mode is selected when the “expert” button 425 is pressed.
(Easy mode)
(Measurement light brightness adjustment means)

ステップS2において簡単モードが選択されると、ステップS3に進み、図4に示すような観察画像が表示される。ここで、図4の画面において右側の操作領域420の下部に設けられた「測定」ボタン430を押下すると、ステップ4に進み、測定光の明るさ(カメラの露光時間又は光量)を自動で調整した後、測定が開始されて、複数の縞画像を撮像した後、縞画像から演算によって高さ画像が、高さ画像取得手段228により生成される。
(高さ画像取得手段228)
When the simple mode is selected in step S2, the process proceeds to step S3, and an observation image as shown in FIG. 4 is displayed. Here, when the “Measure” button 430 provided at the lower part of the operation area 420 on the right side is pressed on the screen of FIG. 4, the process proceeds to Step 4 and the brightness of the measurement light (camera exposure time or light quantity) is automatically adjusted. After the measurement is started and a plurality of fringe images are captured, a height image is generated by the height image acquisition means 228 by calculation from the fringe images.
(Height image acquisition means 228)

高さ画像取得手段228は、複数の縞画像から、高さ情報を有する高さ画像を生成する。ここでは、CPU210が、複数枚の縞画像を所定の計測アルゴリズムで処理することにより、高さ画像を生成している。   The height image acquisition unit 228 generates a height image having height information from the plurality of stripe images. Here, the CPU 210 generates a height image by processing a plurality of striped images with a predetermined measurement algorithm.

また、図4の状態で「測定画像」ボタン428を押下すると、測定用投光手段によって投光された画像が図5に示すように画像表示領域410に表示される。この状態では、測定画像の明るさは自動で調整されるが、測定光明るさ調整手段を用いて測定光の明るさ(カメラ露光時間又は光量)をユーザが手動で調整することもできる。(ステップS4)。
(三次元画像合成手段213)
When the “measurement image” button 428 is pressed in the state of FIG. 4, the image projected by the measurement light projecting means is displayed in the image display area 410 as shown in FIG. In this state, the brightness of the measurement image is automatically adjusted, but the user can manually adjust the brightness of the measurement light (camera exposure time or light amount) using the measurement light brightness adjustment means. (Step S4).
(Three-dimensional image composition means 213)

このようにして明るさが調整された状態で、操作領域420の下部に設けられた「測定」ボタン430を押下すると、通常の高さ画像が取得される(ステップS5)。さらに高さ画像に観察画像SOが合成された合成画像STが三次元画像合成手段213で生成されて、表示部400上に表示される。三次元画像合成手段213は、観察用照明光源を用いて撮像した観察画像と、測定光投光手段を用いて撮像した測定画像に基づき生成された高さ画像とを合成して、三次元の合成画像STを生成する。すなわち、高さ画像が有する高さ情報でもって、観察画像で得られたテクスチャ情報に凹凸を持たせた立体的な画像を生成することができる。図11に示す例では、高さ画像の高さ情報を利用して、観察画像をテクスチャ画像として合成した合成画像STが、立体的に画像表示領域410上に表示される。合成画像STは三次元状であり、その位置や姿勢、角度を任意に変更できる。例えば画像表示領域410上で合成画像STをマウス等によりドラッグして、合成画像STを移動、回転させることができる。
(テクスチャ比率調整手段452)
When the “measurement” button 430 provided at the lower part of the operation area 420 is pressed in the state where the brightness is adjusted in this way, a normal height image is acquired (step S5). Further, a synthesized image ST in which the observation image SO is synthesized with the height image is generated by the three-dimensional image synthesizing unit 213 and displayed on the display unit 400. The three-dimensional image synthesizing unit 213 combines the observation image captured using the observation illumination light source and the height image generated based on the measurement image captured using the measurement light projecting unit to generate a three-dimensional image. A composite image ST is generated. That is, it is possible to generate a three-dimensional image in which texture information obtained from the observation image is provided with unevenness using the height information of the height image. In the example shown in FIG. 11, the synthesized image ST obtained by synthesizing the observation image as a texture image using the height information of the height image is displayed on the image display area 410 in a three-dimensional manner. The composite image ST has a three-dimensional shape, and its position, posture, and angle can be arbitrarily changed. For example, the synthesized image ST can be moved and rotated by dragging the synthesized image ST on the image display area 410 with a mouse or the like.
(Texture ratio adjusting means 452)

合成画像STの、高さ画像と観察画像の比率は、テクスチャ比率調整手段452によって調整される。テクスチャ比率調整手段452は、例えばスライダ状に構成され、スライダを左右に移動させることによって、高さ画像(距離画像)と観察画像(テクスチャ画像)の比率を連続的に変更できる。また、比率を数値で入力させたり、あるいは規定の数値(例えば0%、25%、50%、75%、100%;あるいは0:1、0.5:1、1:1、2:1、3:1、4:1等)をドロップボックスやコンボボタンで選択させる等、任意の方法で比率を指定できる。図11の例では、合成画像STの高さ画像(高さ)と観察画像(テクスチャ)の比率を、観察画像(テクスチャ)の占める百分率で表しており、ここではテクスチャ比率調整手段452で観察画像(テクスチャ)の比率を100%に設定している。テクスチャ比率調整手段452で、例えば観察画像(テクスチャ)の比率を0%、すなわち高さ画像を100%に調整すれば、図12のような表示に切り替わる。画像表示領域410における合成画像STの表示は、テクスチャ比率調整手段452の調整に応答してリアルタイムで更新さる。ユーザは画像表示領域410で表示される合成画像STを参照しながら、テクスチャ比率調整手段452でもって高さ画像と観察画像の比率を所望の値に調整できる。なお、この例では合成画像STの生成後におけるテクスチャ比率調整手段452の初期値を、観察画像(テクスチャ)100%としているが、例えば50%とする等、デフォルト値を任意の値、例えば50%に設定してもよい。   The ratio of the height image to the observation image of the composite image ST is adjusted by the texture ratio adjusting unit 452. The texture ratio adjusting unit 452 is configured in a slider shape, for example, and can continuously change the ratio between the height image (distance image) and the observation image (texture image) by moving the slider to the left and right. You can also input the ratio numerically, or a specified numerical value (for example, 0%, 25%, 50%, 75%, 100%; or 0: 1, 0.5: 1, 1: 1, 2: 1, (3: 1, 4: 1, etc.) can be selected using a drop box or combo button. In the example of FIG. 11, the ratio between the height image (height) and the observation image (texture) of the composite image ST is expressed as a percentage occupied by the observation image (texture). The ratio of (texture) is set to 100%. For example, when the ratio of the observed image (texture) is adjusted to 0%, that is, the height image is set to 100% by the texture ratio adjusting unit 452, the display is switched to the display shown in FIG. The display of the composite image ST in the image display area 410 is updated in real time in response to the adjustment of the texture ratio adjusting unit 452. The user can adjust the ratio between the height image and the observation image to a desired value by using the texture ratio adjusting unit 452 while referring to the composite image ST displayed in the image display area 410. In this example, the initial value of the texture ratio adjusting unit 452 after generation of the composite image ST is 100% of the observed image (texture), but the default value is an arbitrary value such as 50%, for example 50%. May be set.

また高さ画像は、高さを色分けして表示させることもできる。例えば等高線状に、高さの低い領域を青色、高い領域を赤色とし、その中間領域を青→緑→黄→橙→赤等と連続的に変化させるように着色して、視覚的に高さを認識し易くできる。着色される色や、色を異ならせる高さの区切り等は任意に設定できる。あるいは、対象物の高さを複数色のグラデーションとして表現する他、単色の濃淡で表現することもできる。この例では、画像表示領域410の左上に、高さ毎に色分けされたスケールを表示させ、色と高さの関係をユーザが視覚的に把握し易いようにしている。   In addition, the height image can be displayed by color-coding the height. For example, in a contour line, the low area is blue, the high area is red, and the middle area is colored so as to change continuously from blue → green → yellow → orange → red, etc. Can be easily recognized. The color to be colored and the height separation that makes the colors different can be arbitrarily set. Alternatively, in addition to expressing the height of the object as a gradation of a plurality of colors, it can also be expressed by a single color shade. In this example, a scale that is color-coded for each height is displayed at the upper left of the image display area 410 so that the user can easily grasp the relationship between the color and the height visually.

さらに、合成画像STに対して様々な処理を行うためのボタン類が、操作領域420に設けられている。例えば高さ倍率スライドバー453を調整すれば、合成画像STの高さ方向の倍率を調整できる。これにより、細かな凹凸を強調させて表示させたり、逆に細かな凹凸を平滑化して全体の形状を把握するのに役立てることができる。また、合成画像ST上に測定異常点を重ねて表示させたり、光源を任意の位置に配置して陰影の変化によって立体感を強調させたり、目盛をグリッド状に表示させたり、簡易的な寸法計測を行う等、各種の操作が操作領域420から行える。   Furthermore, buttons for performing various processes on the composite image ST are provided in the operation area 420. For example, if the height magnification slide bar 453 is adjusted, the magnification in the height direction of the composite image ST can be adjusted. As a result, it is possible to highlight and display fine unevenness, or to smooth the fine unevenness and to help grasp the overall shape. In addition, measurement abnormal points can be superimposed on the composite image ST, the light source can be placed at an arbitrary position, the stereoscopic effect can be emphasized by changes in shadows, scales can be displayed in a grid, and simple dimensions can be displayed. Various operations such as measurement can be performed from the operation area 420.

さらにまた、合成画像STの生成後においても、表示部400の表示を高さ画像、観察画像に切り替えることができる。図11、図12の例では、操作領域420の上段に設けられた画像表示切替手段454でもって、画像表示領域410の表示をワンタッチで切り替え可能である。図11、図12の例では、画像表示切替手段454の「3D」ボタン455が選択されており、この状態で「テクスチャ」ボタン456を押下すると、図13の画面に切り替えられ、画像表示領域410上に観察画像が表示される。同様に画像表示切替手段454で「高さ」ボタン457を押下すると、画像表示領域410の表示が高さ画像に切り替えられる。このようにして得られた合成画像STに対して、ユーザは必要に応じて各種の操作を行うことができる。また合成画像STや高さ画像に対する解析用のプログラムに切り替えるには、操作領域420の上部に設けられた「解析アプリへ」ボタン450を押下する。これによって、後述する図26等に示す三次元画像計測プログラムが起動される。   Furthermore, even after the composite image ST is generated, the display on the display unit 400 can be switched between the height image and the observation image. In the example of FIGS. 11 and 12, the display of the image display area 410 can be switched with one touch by the image display switching means 454 provided in the upper stage of the operation area 420. In the example of FIGS. 11 and 12, the “3D” button 455 of the image display switching unit 454 is selected. When the “texture” button 456 is pressed in this state, the screen is switched to the screen of FIG. An observation image is displayed on the top. Similarly, when the “height” button 457 is pressed by the image display switching means 454, the display of the image display area 410 is switched to the height image. The user can perform various operations on the synthesized image ST obtained in this way as necessary. In addition, in order to switch to the analysis program for the composite image ST or the height image, a “to analysis application” button 450 provided in the upper part of the operation area 420 is pressed. As a result, a three-dimensional image measurement program shown in FIG.

以上のように、簡単モードによれば三次元の計測に関する設定項目を特に意識することなく、「測定」ボタンを押下することで三次元の合成画像をほぼ自動的に取得できる。
(応用モード)
As described above, according to the simple mode, a three-dimensional composite image can be acquired almost automatically by pressing the “Measure” button without paying particular attention to the setting items related to three-dimensional measurement.
(Application mode)

一方、ステップS2で応用モードが選択されると、ステップS6に進み、測定光の手動による調整を行う。ここでは図6に示すように、初期画像として図4と同様、観察画像を画像表示領域410に表示させている。この画面では、後に取得される高さ画像に対して、合成画像STとして貼り付けるテクスチャ画像の選択が可能となる。さらに「画像改善」ボタン481を押下すると、図14に示すように操作領域420に画像改善パネル480が表示される。画像改善パネル480からは、観察画像のエッジ強調やオフセット、ガンマ補正、ホワイトバランス等を調整することができる。
(テクスチャ画像)
On the other hand, when the application mode is selected in step S2, the process proceeds to step S6, and the measurement light is manually adjusted. Here, as shown in FIG. 6, the observation image is displayed in the image display area 410 as the initial image as in FIG. 4. On this screen, a texture image to be pasted as a composite image ST can be selected for a height image acquired later. When the “image improvement” button 481 is further pressed, an image improvement panel 480 is displayed in the operation area 420 as shown in FIG. From the image improvement panel 480, edge enhancement, offset, gamma correction, white balance, and the like of the observation image can be adjusted.
(Texture image)

テクスチャ画像は、テクスチャ画像選択手段460で選択される。図6の例では、通常の観察画像の他、HDR画像、深度合成画像のいずれかを、ラジオボタンで選択できる。ここでHDR(ハイダイナミックレンジ)画像は、複数枚の観察画像をカメラ露光時間を変えて撮像した後、これらをハイダイナミックレンジ(HDR)合成して生成される。深度合成画像は、対象物Sの測定対象部分の高低差が被写界深度を超える場合、高さ方向を異ならせて個々に撮像した観察画像中から、ピントが合った部分だけを抜き出して合成した画像である。   The texture image is selected by the texture image selection means 460. In the example of FIG. 6, in addition to a normal observation image, either an HDR image or a depth composite image can be selected with a radio button. Here, an HDR (High Dynamic Range) image is generated by imaging a plurality of observation images while changing the camera exposure time, and then combining these images with a high dynamic range (HDR). Depth composite image, if the difference in height of the measurement target part of the object S exceeds the depth of field, only the in-focus part is extracted and synthesized from the observation images taken individually with different height directions It is an image.

このようにしてテクスチャ画像が選択されると、図6において操作領域420に設けられた画像切替手段から「測定画像」ボタン428を押下し、図7の画面に切り替える。この画面は、測定画像撮像条件を設定する測定画像撮像条件設定画面441であり、操作領域420には、測定画像撮像条件を設定するための各種部材が配置される。この例では、上から順に「eプレビュー」ボタン471、「測定モード」選択欄472、「測定方向」選択欄470、「測定用明るさ調整」欄440がそれぞれ設けられている。この画面において、測定画像撮像条件を確認しながら、測定光の明るさを調整する。
(「測定モード」選択欄472)
When the texture image is selected in this way, the “measurement image” button 428 is pressed from the image switching means provided in the operation area 420 in FIG. 6 to switch to the screen in FIG. This screen is a measurement image imaging condition setting screen 441 for setting measurement image imaging conditions. Various members for setting the measurement image imaging conditions are arranged in the operation area 420. In this example, an “e preview” button 471, a “measurement mode” selection field 472, a “measurement direction” selection field 470, and a “brightness adjustment for measurement” field 440 are provided in order from the top. On this screen, the brightness of the measurement light is adjusted while checking the measurement image capturing condition.
("Measurement mode" selection field 472)

「測定モード」選択欄472は、測定方法(縞パターン)を選択できる。この例では「スタンダード」を選択しており、他にも間接光を除去する「ファインモード」や、「ハレーション除去」も選択できる。「ハレーション除去」を選択すると、カメラ露光時間を変更して複数枚の画像を撮像し、これらを合成することで白飛びしている部分、黒つぶれしている部分を他の画像から補うことが可能となる。さらに「スーパーファイン」は、間接光を除去しつつ、ハレーション除去を行いながら測定することができる。図15の例では、「測定モード」選択欄472からプルダウンメニューにより、スタンダード、ファイン、ハレーション除去、スーパーファインのいずれかを選択できる。
(「測定方向」選択欄470)
The “measurement mode” selection field 472 can select a measurement method (stripe pattern). In this example, “standard” is selected, and “fine mode” for removing indirect light and “halation removal” can also be selected. When “Hallation Removal” is selected, the camera exposure time can be changed to capture multiple images, and these can be combined to compensate for parts that are overexposed or underexposed from other images. It becomes possible. Furthermore, “super fine” can be measured while removing indirect light and removing halation. In the example of FIG. 15, any of standard, fine, halation removal, and super fine can be selected from the “measurement mode” selection field 472 using a pull-down menu.
("Measurement direction" selection field 470)

また「測定方向」選択欄470では、測定光投光手段を選択する。ここでは、第一測定光投光部110A、第二測定光投光部110Bのいずれかを選択できる。図16の画面例で、「測定方向」選択欄470のプルダウンメニューから「左側のみ」を選択すると、測定光投光手段として第二測定光投光部110Bが選択されて、対象物Sの左側から第二測定光を照射した第二測定画像S2が画像表示領域410に表示される。また同様に「右側のみ」を選択すると、各第一測定光投光部110Aが選択されて、対象物Sの右側から第一測定光を照射した第一測定画像S1に画像表示領域410の表示内容が切り替わる。さらに「両側」を選択すると、これら第二測定画像と第一測定画像とを合成した合成高さ画像SGが、画像表示領域410に表示される。
(測定光明るさ調整手段)
In the “measurement direction” selection column 470, a measurement light projecting unit is selected. Here, either the first measurement light projector 110A or the second measurement light projector 110B can be selected. In the screen example of FIG. 16, when “left side only” is selected from the pull-down menu of the “measurement direction” selection field 470, the second measurement light projector 110B is selected as the measurement light projector, and the left side of the object S The second measurement image S2 irradiated with the second measurement light is displayed in the image display area 410. Similarly, when “only the right side” is selected, each first measurement light projecting unit 110A is selected, and the image display region 410 is displayed on the first measurement image S1 irradiated with the first measurement light from the right side of the object S. The contents are switched. When “both sides” is further selected, a combined height image SG obtained by combining the second measurement image and the first measurement image is displayed in the image display area 410.
(Measurement light brightness adjustment means)

さらに測定光明るさ調整手段として、図7の右側の操作領域420の中段に「測定用明るさ調整」欄440が設けられている。測定光の明るさは、カメラ露光時間や光量によって調整される。ここでは、「測定用明るさ調整」欄440で「オート」を選択すると、その下方に設けられたスライダを左右に調整して、左右の測定光の明るさを同時に、連続的に可変できる。このスライダは、上部に測定光の明るさを数値で表示している。また、測定光の明るさを数値で直接入力可能とすることもできる。このようにして測定光明るさ調整手段で測定光の明るさが調整されると、画像表示領域410で表示される測定画像の明るさが変更された状態に更新され、ユーザは明るさの調整結果をリアルタイムで確認しながら調整を行うことができる。   Furthermore, a “measurement brightness adjustment” column 440 is provided in the middle of the operation area 420 on the right side of FIG. 7 as measurement light brightness adjustment means. The brightness of the measurement light is adjusted by the camera exposure time and the amount of light. Here, when “Auto” is selected in the “Brightness adjustment for measurement” column 440, the brightness of the measurement light on the left and right can be continuously varied continuously by adjusting the slider provided below the left and right. This slider displays the brightness of the measurement light as a numerical value at the top. It is also possible to directly input the brightness of the measurement light as a numerical value. When the measurement light brightness is adjusted by the measurement light brightness adjustment unit in this way, the brightness of the measurement image displayed in the image display area 410 is updated, and the user adjusts the brightness. Adjustments can be made while checking the results in real time.

以上の例では、測定光明るさ調整手段で、合成高さ画像SGにおける明るさを調整している。すなわち、図7に示すように「測定方向」選択欄470で「両側」を選択し、画像表示領域410に合成高さ画像SGを表示させた状態で、操作領域420に測定光明るさ調整手段として「測定用明るさ調整」欄440を表示させている。この「測定用明るさ調整」欄440は、測定光投光手段である第一測定光投光部110A、第二測定光投光部110Bの光量を同様に調整する。また「測定方向」選択欄470で「左側のみ」又は「右側のみ」を選択すると、上述の通り画像表示領域410には選択された各測定光投光手段で撮像された測定画像が表示されるので、これら第二測定光投光部110B又は第一測定光投光部110Aの光量を、「測定用明るさ調整」欄440でそれぞれ調整できる。
(測定光明るさ個別調整手段442)
In the above example, the brightness in the composite height image SG is adjusted by the measurement light brightness adjusting means. That is, as shown in FIG. 7, “both sides” is selected in the “measurement direction” selection field 470 and the composite height image SG is displayed in the image display area 410, and the measurement light brightness adjusting means is displayed in the operation area 420. The “brightness adjustment for measurement” column 440 is displayed. The “measurement brightness adjustment” column 440 similarly adjusts the light amounts of the first measurement light projection unit 110A and the second measurement light projection unit 110B, which are measurement light projection units. If “left side only” or “right side only” is selected in the “measurement direction” selection field 470, the measurement image captured by each selected measurement light projecting means is displayed in the image display area 410 as described above. Therefore, the amount of light of the second measurement light projection unit 110B or the first measurement light projection unit 110A can be adjusted in the “brightness adjustment for measurement” column 440, respectively.
(Measurement light brightness individual adjustment means 442)

その一方で、第一測定光投光部110A、第二測定光投光部110Bの光量を個別に調整することもできる。図7に示すように「測定方向」選択欄470で「両側」を選択した状態で、「測定用明るさ調整」欄440で「マニュアル」を選択すると、図8の画面となり、第一測定光投光部110A及び第二測定光投光部110Bの明るさを個別に調整可能な測定光明るさ個別調整手段442が操作領域420に表示される。ここで測定光明るさ個別調整手段442は、各測定光投光手段毎に明るさを調整可能なスライダ状に構成されている。この例では第二測定光投光部110B用の明るさ調整スライダ446と、第一測定光投光部110A用の明るさ調整スライダ444とを、上下に配置している。これら明るさ調整スライダ444、446を個別に左右に移動させることで、各測定画像の明るさの強弱を個別に調整できる。また上述の通り、測定光明るさ個別調整手段442で調整された値に従って画像表示領域410における測定画像の表示が更新され、ユーザはリアルタイムで測定画像を確認しながら所望の明るさに調整することが可能となる。なお、ここでは説明の便宜上測定光投光部の光量を調整すると説明したが、第一測定画像、第二測定画像の明るさの調整が目的であることから、実際に測定光投光部の光量を調整するのみならず、カメラ露光時間の調整等によって明るさを調整できることは上述の通りである。
(画像連結モード)
On the other hand, the light amounts of the first measuring light projecting unit 110A and the second measuring light projecting unit 110B can be individually adjusted. As shown in FIG. 7, when “both” is selected in the “measurement direction” selection field 470 and “manual” is selected in the “brightness adjustment for measurement” field 440, the screen shown in FIG. The measurement light brightness individual adjusting means 442 capable of individually adjusting the brightness of the light projecting unit 110A and the second measurement light light projecting unit 110B is displayed in the operation area 420. Here, the measurement light brightness individual adjusting means 442 is configured in a slider shape capable of adjusting the brightness for each measurement light projecting means. In this example, the brightness adjustment slider 446 for the second measurement light projector 110B and the brightness adjustment slider 444 for the first measurement light projector 110A are arranged vertically. By individually moving these brightness adjustment sliders 444 and 446 to the left and right, the brightness level of each measurement image can be individually adjusted. In addition, as described above, the display of the measurement image in the image display area 410 is updated according to the value adjusted by the measurement light brightness individual adjustment unit 442, and the user adjusts the desired brightness while checking the measurement image in real time. Is possible. In addition, although it demonstrated that the light quantity of the measurement light projector part was adjusted here for convenience of explanation, since it is the purpose of adjusting the brightness of the first measurement image and the second measurement image, the measurement light projector part is actually used. As described above, the brightness can be adjusted not only by adjusting the amount of light but also by adjusting the camera exposure time.
(Image connection mode)

また操作領域420の下段には、後述する画像連結手段225の一形態として「連結モード」選択欄570が設けられている。この「連結モード」選択欄570をONすると、画像連結モードが選択され、縦・横にステージを動かしながら連続してデータを測定し、そのデータを1つの測定データとして結合することができる(詳細は後述)。   In the lower part of the operation area 420, a “connection mode” selection field 570 is provided as one form of the image connection means 225 described later. When this “connection mode” selection field 570 is turned on, the image connection mode is selected, data can be measured continuously while moving the stage vertically and horizontally, and the data can be combined as one measurement data (details) Will be described later).

「測定方向」選択欄470では、上述の通り測定光の方向を選択できる。この例では、図16に示すように「両方」、「左側のみ」、「右側のみ」のいずれかを選択でき、選択された項目に応じて画像表示領域410の表示内容が対応する内容に切り替えられる。例えば図9の例では、「左側のみ」が選択されており、左側の測定光投光手段である第二測定光投光部110Bで得られた第二測定画像S2が、画像表示領域410に表示される。また、このとき第二測定画像S2には測定異常領域表示手段212によって、第二測定光投光部110Bでは測定光が影になって測定できない測定不能領域が赤色で、飽和領域が黄色で、それぞれ表示されている。   In the “measurement direction” selection column 470, the direction of measurement light can be selected as described above. In this example, as shown in FIG. 16, “both”, “left side only”, or “right side only” can be selected, and the display content of the image display area 410 is switched to the corresponding content according to the selected item. It is done. For example, in the example of FIG. 9, “left side only” is selected, and the second measurement image S2 obtained by the second measurement light projector 110B that is the left measurement light projector is displayed in the image display area 410. Is displayed. At this time, the second measurement image S2 is measured by the abnormal measurement area display means 212, and the second measurement light projector 110B is shaded with measurement light and cannot be measured in red, and the saturation area is yellow. Each is displayed.

この状態で「両方」に切り替えると、図7の画面に切り替わり、両方の測定光投光手段、すなわち第一測定光投光部110Aと第二測定光投光部110Bで得られた第一測定画像S1、第二測定画像S2を合成した合成高さ画像SGが、画像表示領域410に表示される。また、このとき合成高さ画像SGには測定異常領域表示手段212によって、第一測定光投光部110A及び第二測定光投光部110Bのいずれでも測定光が影になって測定できない測定不能領域が赤色で、飽和領域が黄色で、それぞれ表示されている。   Switching to “both” in this state switches to the screen of FIG. 7, and the first measurement obtained by both measurement light projecting means, that is, the first measurement light projecting unit 110A and the second measurement light projecting unit 110B. A combined height image SG obtained by combining the image S1 and the second measurement image S2 is displayed in the image display area 410. Further, at this time, the measurement height cannot be measured on the composite height image SG by the measurement abnormal region display unit 212 because the measurement light is shaded by either the first measurement light projection unit 110A or the second measurement light projection unit 110B. The area is red and the saturated area is yellow, respectively.

図7と図9を対比すれば明らかな通り、測定不能領域及び飽和領域のいずれも、合成高さ画像SGの方が少ないことが判る。すなわち、得られる合成高さ画像SGにおいては、一方の測定光投光手段から明らかとなる測定不能領域や飽和領域よりも、実際には測定異常領域がかなり狭いため、図7のような合成高さ画像SGベースで測定異常領域が狭くなるように、測定画像撮像条件を調整することが、より適切かつ容易であることが理解できる。   As is apparent from a comparison between FIG. 7 and FIG. 9, it can be seen that the composite height image SG is smaller in both the unmeasurable region and the saturated region. That is, in the obtained composite height image SG, the measurement abnormal region is actually much narrower than the non-measurable region and the saturation region that are apparent from one of the measurement light projecting units. It can be understood that it is more appropriate and easy to adjust the measurement image capturing condition so that the measurement abnormal region becomes narrow on the basis of the image SG.

さらに必要に応じて、画像表示領域410を分割して、合成高さ画像SGとその元となる各測定画像とを一画面で同時に表示させることもできる。すなわち、図7の画面において、操作領域420の「測定用明るさ調整」欄440で「マニュアル」を選択すると、図8に示すように画像表示領域410が三分割されて、第一分割表示領域411に合成高さ画像SGが、第二分割表示領域412に第二測定画像S2が、第三分割表示領域413に第一測定画像S1が、それぞれ表示される。これにより、各測定光投光手段による測定異常領域がそれぞれ対比しながら確認できるので、一覧性に優れ、一層容易に対象物Sの位置や姿勢、測定光の明るさ等の測定画像撮像条件を調整できる。加えて、図8の画面では上述の通り測定光明るさ個別調整手段442を用いて、各測定光の明るさを個別に調整できる。   Further, if necessary, the image display area 410 can be divided so that the combined height image SG and each measurement image that is the source thereof are displayed simultaneously on one screen. That is, when “Manual” is selected in the “Brightness adjustment for measurement” field 440 of the operation area 420 on the screen of FIG. 7, the image display area 410 is divided into three parts as shown in FIG. The composite height image SG is displayed in 411, the second measurement image S2 is displayed in the second divided display area 412, and the first measurement image S1 is displayed in the third divided display area 413. As a result, the measurement abnormal areas by the respective measurement light projecting means can be confirmed while being compared with each other, so that it is excellent in listability, and the measurement image imaging conditions such as the position and orientation of the object S, the brightness of the measurement light, etc. Can be adjusted. In addition, on the screen of FIG. 8, the brightness of each measurement light can be individually adjusted using the measurement light brightness individual adjusting means 442 as described above.

なお、上述した簡単モードにおいても、このような測定不能点や飽和点の確認を行うことができる。例えばステップS3において、「測定画像」を表示すれば、両側合成の画像に測定不能点や飽和点を表示することができる。   Even in the simple mode described above, it is possible to check such a measurement inability point and a saturation point. For example, if “measurement image” is displayed in step S 3, it is possible to display a measurement impossible point and a saturation point in a two-sided composite image.

このようにして、応用モードにおいて測定画像撮像条件の設定や調整を行う。そして、図10のフローチャートのステップS7において測定光の明るさが適切か否かの判定をユーザに促し、適切な場合はステップS9に進む。一方、測定光の明るさが未だ適切でない場合は、ステップS8に進み、測定モードの選択や測定明るさを調整する。   In this manner, measurement image capturing conditions are set and adjusted in the application mode. Then, in step S7 in the flowchart of FIG. 10, the user is prompted to determine whether the brightness of the measurement light is appropriate. If appropriate, the process proceeds to step S9. On the other hand, if the brightness of the measurement light is not yet appropriate, the process proceeds to step S8 to select the measurement mode and adjust the measurement brightness.

このようにして測定光の設定が適切に行われると、ステップS9に進み、テクスチャ画像の設定が必要か否かのユーザによる判定を促す。必要な場合はステップS10にてテクスチャ画像の設定を行う。ここでは図6の画面において、テクスチャ画像選択手段460を用いてテクスチャ画像の選択を行う。
(観察画像撮像条件設定手段490)
When the measurement light is appropriately set in this way, the process proceeds to step S9 to prompt the user to determine whether the texture image needs to be set. If necessary, a texture image is set in step S10. Here, the texture image is selected using the texture image selection means 460 on the screen of FIG.
(Observation Image Imaging Condition Setting Unit 490)

また必要に応じて、観察画像の撮像条件を設定する。図6の画像表示領域410の上段には、このような観察画像の撮像条件を設定するための観察画像撮像条件設定手段490が設けられている。観察画像撮像条件設定手段490は、例えば観察画像を撮像するシャッタースピード切り換えや撮像の倍率、フォーカス調整等の設定を含んでいる。図17に示す例では、撮像手段の明るさを「オート」又は「マニュアル」から選択する。「マニュアル」を選択した場合は、カメラ明るさ調整スライダ492でもって撮像手段の明るさを調整する。また、このような観察画像の撮像条件の設定は、簡単モードでも行うことができる。例えば図4でも、上記と同様に画像表示領域410の上段に観察画像撮像条件設定手段490を設けており、ここから倍率やフォーカス調整、シャッタースピードの切り替え等を行える。   Moreover, the imaging condition of an observation image is set as needed. In the upper part of the image display area 410 in FIG. 6, observation image imaging condition setting means 490 for setting the imaging conditions for such an observation image is provided. The observation image imaging condition setting means 490 includes settings such as shutter speed switching for imaging an observation image, imaging magnification, and focus adjustment. In the example shown in FIG. 17, the brightness of the imaging means is selected from “auto” or “manual”. When “Manual” is selected, the brightness of the imaging means is adjusted by the camera brightness adjustment slider 492. Further, such setting of the observation image capturing condition can be performed even in the simple mode. For example, also in FIG. 4, the observation image imaging condition setting means 490 is provided in the upper stage of the image display area 410 as described above, and magnification, focus adjustment, shutter speed switching, and the like can be performed from here.

なお、高さ画像の取得においては、観察画像の撮像は任意であり、例えば合成高さ画像や観察画像が不要の場合は、図10のフローチャートにおいてステップS9やS10を省略することもできる。   In obtaining the height image, the observation image can be captured arbitrarily. For example, when the composite height image or the observation image is not necessary, steps S9 and S10 can be omitted in the flowchart of FIG.

このようにしてすべての撮像条件の設定が終わると、ステップS11に進み、高さ画像を取得する。ここでは、図8等の画面から、「測定」ボタン430を押下すると、高さ画像が取得され、さらに高さ画像にテクスチャ画像を加えた合成画像が、画像表示領域410に表示される(ステップS9)。引き続きユーザは、必要に応じて計測操作を行う。計測用のプログラムに切り替えるには、操作領域420の上部に設けられた「解析アプリへ」ボタン450を押下し、後述する図26等に示す三次元画像計測プログラムを起動させる。   When all the imaging conditions have been set in this way, the process proceeds to step S11 to obtain a height image. Here, when the “Measure” button 430 is pressed from the screen of FIG. 8 or the like, a height image is acquired, and a composite image obtained by adding a texture image to the height image is displayed in the image display area 410 (step S100). S9). The user continues to perform measurement operations as necessary. In order to switch to the measurement program, a “to analysis application” button 450 provided at the top of the operation area 420 is pressed to start a three-dimensional image measurement program shown in FIG.

以上のように、応用モードではより高さ画像の取得に関するより詳細な条件をユーザが調整できる。これにより、操作に詳しいユーザは所望の条件に設定することが可能となる。その一方で、操作に詳しくないユーザに対しては、上述の通り簡単モードを提供することで、一通りの設定を自動で行えるようにしている。このように、簡単モードと応用モードとで、提供する設定項目を変更し、ユーザが設定可能なパラメータを異ならせることで、ユーザの習熟度や要求に応じた操作環境を提供できる。
(画像の取得から計測までの手順)
As described above, in the application mode, the user can adjust more detailed conditions regarding the acquisition of the height image. As a result, a user who is familiar with the operation can set a desired condition. On the other hand, for a user who is not familiar with the operation, the simple mode is provided as described above so that a single setting can be automatically performed. In this way, by changing the setting items to be provided in the simple mode and the application mode and changing the parameters that can be set by the user, it is possible to provide an operating environment according to the user's proficiency level and requirements.
(Procedure from image acquisition to measurement)

以下、図1に示す計測顕微鏡装置のブロック図及び図2に示す撮像手段100のブロック図を参照しながら、観察画像、高さ画像を撮像し、これらに基づいて計測を行う手順の概要を、図18のフローチャートに基づいて説明する。ステップS1801においてユーザはまず、計測したい対象物をステージ140上に配置する。次にステップS1802において、表示部400に表示された観察画像を見ながらピント、視野位置、明るさ等を調節して、観察画像を撮像するための観察画像撮像条件を設定する(例えば図6)。このときに使用する照明として、測定光投光手段から均一照明を照射しても良いが、ここでは照明光出力部130を用いるものとする。
(高さ画像の取得)
Hereinafter, referring to the block diagram of the measurement microscope apparatus shown in FIG. 1 and the block diagram of the imaging means 100 shown in FIG. This will be described based on the flowchart of FIG. In step S1801, the user first places an object to be measured on the stage 140. Next, in step S1802, while adjusting the focus, visual field position, brightness, etc. while viewing the observation image displayed on the display unit 400, observation image capturing conditions for capturing the observation image are set (for example, FIG. 6). . As the illumination used at this time, uniform illumination may be emitted from the measurement light projecting unit, but here, the illumination light output unit 130 is used.
(Acquisition of height image)

次に、ステップS1803において、高さ画像を取得するための測定画像撮像条件を設定する。具体的には、例えば図7の測定画像撮像条件設定画面441において、照明を照明光出力部130から測定光投光手段に切り替えて、測定光の明るさを調整する。測定光による照明は斜めから当たるため、対象物の形状による陰影が発生する。また、対象物の表面状態によっては照明の当たる角度を少し傾斜させたほうが良好な見え方になる場合もある。このように、陰影や表面状態の影響を抑えるために、必要に応じて対象物の位置や姿勢を調整する。   In step S1803, measurement image capturing conditions for acquiring a height image are set. Specifically, for example, on the measurement image imaging condition setting screen 441 in FIG. 7, the illumination is switched from the illumination light output unit 130 to the measurement light projector, and the brightness of the measurement light is adjusted. Since the illumination by the measurement light is applied obliquely, a shadow due to the shape of the object is generated. In addition, depending on the surface state of the object, it may be better to look slightly when the angle of illumination is slightly inclined. Thus, in order to suppress the influence of shadows and surface conditions, the position and orientation of the object are adjusted as necessary.

ここで、測定光投光手段での調整で対象物を動かした場合は、ステップS1804において、再び照明光出力部130で対象物の見え方の確認、照明光出力部130の明るさの再調整等を行う。この作業は、対象物を移動させていないなど、不要であれば省略できる。以上のようにして、観察画像の撮像条件、高さ画像の撮像条件をそれぞれ設定すると、ステップS1805において、見え方に問題が無いか否かの確認をユーザに促し、問題があればステップS1802に戻って必要な撮像条件の再設定や調整を行う。問題が無ければステップS1806に進み、測定画像の取得を開始する。この確認作業も、省略することができる。   Here, when the object is moved by the adjustment by the measurement light projecting unit, in step S1804, the illumination light output unit 130 confirms the appearance of the object again, and the brightness of the illumination light output unit 130 is readjusted. Etc. This operation can be omitted if it is unnecessary, for example, the object is not moved. When the observation image capturing condition and the height image capturing condition are set as described above, in step S1805, the user is prompted to confirm whether or not there is a problem in appearance. If there is a problem, the process proceeds to step S1802. Go back and reset or adjust the required imaging conditions. If there is no problem, the process proceeds to step S1806, and acquisition of the measurement image is started. This confirmation work can also be omitted.

このようにして対象物の姿勢、位置、ピント、及び計測用の照明条件が確定したら、ステップS1806において観察画像、測定画像の撮像開始を指示する。ここでは計測顕微鏡装置操作プログラムのGUI(例えば図7)に設けられた「測定」ボタン430をユーザに押下させる。これにより、制御手段200を構成するPCにインストールした計測顕微鏡装置操作プログラムから、測定の指令がUSB経由で撮像部100に送信される。   When the posture, position, focus, and measurement illumination conditions of the object are determined in this way, in step S1806, the start of imaging of the observation image and the measurement image is instructed. Here, the user presses a “measurement” button 430 provided in the GUI (for example, FIG. 7) of the measurement microscope apparatus operation program. As a result, a measurement command is transmitted from the measurement microscope apparatus operation program installed in the PC constituting the control unit 200 to the imaging unit 100 via the USB.

この指示を受けて、ステップS1807〜ステップS1810において、高さ画像、観察画像、これらを合成した合成画像を撮像する。なお各ステップの順序は、適宜変更できる。ここではまずステップS1807において、複数枚の縞画像を取得する。この例では、測定の指令を受けて、撮像部100は測定光投光手段内のパターン生成部112とカメラ121を同期させて制御し、複数の縞パターンを投影しながら、対象物の複数の縞画像をカメラ121で取得し、測定制御部150にて適切な処理を施した後、USB経由で制御手段200に送信する。なお、左右からの投光、HDR処理その他の性能改善の目的で、本ステップを複数回繰り返すこともできる。   In response to this instruction, in steps S1807 to S1810, a height image, an observation image, and a synthesized image obtained by synthesizing these are imaged. The order of each step can be changed as appropriate. Here, first, in step S1807, a plurality of striped images are acquired. In this example, upon receiving a measurement command, the imaging unit 100 controls the pattern generation unit 112 and the camera 121 in the measurement light projecting unit in synchronization, and projects a plurality of stripe patterns while projecting a plurality of stripe patterns. A fringe image is acquired by the camera 121, subjected to appropriate processing by the measurement control unit 150, and then transmitted to the control unit 200 via USB. It should be noted that this step can be repeated a plurality of times for the purpose of improving performance such as floodlighting from the left and right, HDR processing, and the like.

次にステップS1808において、観察画像を取得する。ここでは照明光出力部130を点灯して、対象物の観察画像を、合成画像用のテクスチャ画像として取得する。すなわち、照明光出力部130又は測定光投光手段(全投影による全白)による均一照明で対象物の表面状態の観察画像(テクスチャ画像)を取得し、制御手段200に転送する。   Next, in step S1808, an observation image is acquired. Here, the illumination light output unit 130 is turned on, and the observation image of the object is acquired as a texture image for the composite image. That is, an observation image (texture image) of the surface state of the object is acquired by uniform illumination by the illumination light output unit 130 or the measurement light projecting unit (all white by all projections) and transferred to the control unit 200.

さらにステップS1809において、高さ画像を生成する。ここでは、高さ画像取得手段228が複数の縞画像を所定の計測アルゴリズムで処理して、立体形状データである高さ画像を生成する。   In step S1809, a height image is generated. Here, the height image acquisition means 228 processes a plurality of fringe images with a predetermined measurement algorithm, and generates a height image that is solid shape data.

そしてステップS1810において、合成画像を生成する。ここでは、立体形状データにテクスチャ画像をマッピングすることで、高さ情報を有する三次元の合成画像が生成される。具体的には、制御手段200が受け取った画像データは、計測顕微鏡装置操作プログラム内の計測アルゴリズムが適切に画像処理・解析し、三次元の合成画像を生成する。   In step S1810, a composite image is generated. Here, a three-dimensional composite image having height information is generated by mapping the texture image to the three-dimensional shape data. Specifically, the image data received by the control unit 200 is appropriately processed and analyzed by a measurement algorithm in the measurement microscope apparatus operation program, and a three-dimensional composite image is generated.

以上のようにして得られた各画像を、ステップS1811において表示部400に表示させる。さらにステップS1812において、ユーザが望む画像データを正しく取得できたか否かの判定をユーザに促し、否の場合はステップS1803等に戻り上記手順を繰り返す。また、正しく取得できた場合はステップS1813に進み、各種の計測や解析を実行する。ここでは、計測顕微鏡装置操作プログラムにて前述の合成画像にテクスチャ画像をマッピングした合成画像を表示部400に表示した後、専用の三次元画像計測プログラムにデータを送って、所望の計測、解析を行う。このようにして、画像の取得と計測が行われることとなる。   Each image obtained as described above is displayed on the display unit 400 in step S1811. Further, in step S1812, the user is prompted to determine whether or not the image data desired by the user has been correctly acquired. If it has been acquired correctly, the process advances to step S1813 to execute various types of measurement and analysis. Here, a composite image obtained by mapping a texture image to the above-described composite image by the measurement microscope apparatus operation program is displayed on the display unit 400, and then data is sent to a dedicated three-dimensional image measurement program to perform desired measurement and analysis. Do. In this way, image acquisition and measurement are performed.

なお図18のステップS1802とステップS1803とは、順序を入れ替えることもできる。この場合は、まず測定画像撮像条件の設定(ステップS1803)にて対象物の姿勢、位置、ピント合わせを行い、一方観察画像撮像条件の設定(ステップS1802)においては対象物の姿勢、位置、ピントを触らないようにして、照明光出力部130の明るさやテクスチャ種類の選択等のみを行うようにする。   Note that the order of step S1802 and step S1803 in FIG. 18 can be switched. In this case, the posture, position, and focus of the object are first set in the measurement image capturing condition setting (step S1803), while the object posture, position, and focus are set in the observation image capturing condition setting (step S1802). Only the brightness of the illumination light output unit 130 and the texture type are selected.

ここで、ステップS1802における観察画像を取得するための観察画像撮像条件を設定する手順の詳細を図19に、ステップS1803における測定画像を撮像するための測定画像撮像条件の設定を行う手順の詳細を図20のフローチャートに、それぞれ示すと共に、これらの図を参照しながら各手順を説明する。
(観察画像撮像条件の設定)
Here, details of the procedure for setting the observation image capturing condition for acquiring the observation image in step S1802 are shown in FIG. 19, and details of the procedure for setting the measurement image capturing condition for capturing the measurement image in step S1803 are shown. Each procedure will be described with reference to the flowchart shown in FIG.
(Setting of observation image capturing conditions)

まず観察画像撮像条件を設定する手順(図18のステップS1802)について、図19を参照しながら説明する。最初にステップS1901において、照明を照明光出力部130に切り替え、次にステップS1902において照明光出力部130の明るさを調整する。そしてステップS1903において、明るさが適切か否かの判定をユーザに促し、適切で無い場合はステップS1902に戻り明るさ調整を繰り返す。適切な場合はステップS1904に進み、Zステージを動かして、対象物のピントを合わせる。ピント調整はユーザが手動で行う他、オートフォーカスにより自動で行わせることもできる。そしてステップS1905に進み、ピントが合ったか否かの判定をユーザに促し、合っていない場合はステップS1904に戻りピント調整を繰り返す。またピントが合っている場合はステップS1906に進み、XY・θ・チルトステージを動かして、対象物の位置、姿勢を合わせる。この作業も、ユーザが手作業で行わせる他、ステージ140の移動を自動化している場合は、パターンマッチングやエッジ検出などによって位置合わせを行い、この結果に基づいて電動ステージを所定の位置に移動させることもできる。さらにステップS1907において、対象物を捉えた観察画像の見たい位置が、表示部400の視野内に収まっているか否かの判定をユーザに促し、未だの場合はステップS1906に戻り、ステージ140の位置調整を繰り返す。一方視野内に収まっている場合はステップS1908に進み、拡大倍率を調整する。倍率調整によって、視野サイズを調整する。その後、ステップS1909において、倍率が適切か否かの判定をユーザに促し、否の場合はステップS1908に戻り、倍率調整作業を繰り返す。視野が適切な場合は、ステップS1910に進み、観察画像の種類を選択するか否か、すなわち観察画像に更なる処理を行うか否かの選択をユーザに促す。ここで観察画像(テクスチャ画像)の種類を選択しない場合、すなわち得られた観察画像を使用する場合は、ステップS1911に進み、観察画像の取得工程を終了すると共に、続いて測定画像の撮像条件の設定工程である図18のステップS1803に進む。   First, the procedure for setting the observation image capturing condition (step S1802 in FIG. 18) will be described with reference to FIG. First, in step S1901, the illumination is switched to the illumination light output unit 130, and then in step S1902, the brightness of the illumination light output unit 130 is adjusted. In step S1903, the user is prompted to determine whether or not the brightness is appropriate. If the brightness is not appropriate, the process returns to step S1902 to repeat the brightness adjustment. If appropriate, the process proceeds to step S1904, and the Z stage is moved to focus the object. Focus adjustment can be performed manually by the user or automatically by autofocus. The process advances to step S1905 to prompt the user to determine whether or not focus has been achieved. If not, the process returns to step S1904 to repeat focus adjustment. If the subject is in focus, the process proceeds to step S1906, and the XY / θ / tilt stage is moved to adjust the position and orientation of the object. This operation is also performed manually by the user, and when the movement of the stage 140 is automated, alignment is performed by pattern matching or edge detection, and the electric stage is moved to a predetermined position based on the result. It can also be made. Further, in step S1907, the user is prompted to determine whether or not the desired position of the observation image capturing the target object is within the field of view of the display unit 400. If not, the process returns to step S1906, and the position of the stage 140 Repeat the adjustment. On the other hand, if it is within the field of view, the process proceeds to step S1908 to adjust the magnification. Adjust the field of view size by adjusting the magnification. Thereafter, in step S1909, the user is prompted to determine whether or not the magnification is appropriate. If not, the process returns to step S1908 to repeat the magnification adjustment operation. If the field of view is appropriate, the process advances to step S1910 to prompt the user to select whether to select the type of observation image, that is, whether to perform further processing on the observation image. If the type of the observation image (texture image) is not selected here, that is, when the obtained observation image is used, the process proceeds to step S1911 to end the observation image acquisition process and subsequently to the imaging condition of the measurement image. The process proceeds to step S1803 in FIG.

一方、観察画像の種類を選択する場合、すなわち得られた観察画像に対してさらに追加の処理を行う場合は、ステップS1912〜ステップS1918に進む。ここでは観察画像に関する追加の処理として、フルフォーカス処理とHDR処理を選択可能としている。この例では、まずステップS1912に進み、フルフォーカス処理を行うか否かを判定する。ここでフルフォーカス処理とは、ステージ140を高さ(Z軸)方向に移動させるなどして焦点位置を変更した画像を複数枚撮像して、ピントの合った部分同士を合成して全体的にピントの合ったフルフォーカス画像を得る処理である。 そのグループ画像の中で焦点のあったポイントだけを抽出して、リアルタイムに全焦点画像へ合成する。フルフォーカス処理を行う場合はステップS1913に進んでフルフォーカスの設定を実行した後ステップS1914に進む。またフルフォーカス処理を行わない場合は、直接ステップS1914に進む。ステップS1914では、HDR処理を行うか否かの判定をユーザに促し、行う場合はステップS1915に進みHDRの設定を実行した後ステップS1916に進み、行わない場合は直接ステップS1916に進む。さらにステップS1916ではテクスチャ画像の認識を行うか否かの判定をユーザに促し、行う場合はステップS1917に進み、テクスチャ画像プレビューを表示させた後ステップS1917に進む。行わない場合は、直接ステップS1917に進む。ステップS1917においては、これらフルフォーカスやHDR等の処理で得られた画像に満足できるか否かの判定をユーザに促し、満足できない場合はステップS1912に戻って、再度観察画像に対する処理を行う。満足できる画像が得られている場合は観察画像の取得工程を終了して、続いて測定画像の撮像条件の設定工程である図18のステップS1803に進む。なお、ステップS1912〜ステップS1918の順序は一例であって、適宜入れ替えることも可能であることはいうまでもない。また、観察画像に対する処理はこれらHDR処理やフルフォーカス処理に限らず、他の既知の処理に適宜変更、又は追加することもできる。
(測定画像撮像条件の設定)
On the other hand, when the type of the observation image is selected, that is, when additional processing is performed on the obtained observation image, the process proceeds to step S1912 to step S1918. Here, full-focus processing and HDR processing can be selected as additional processing related to the observation image. In this example, the process first proceeds to step S1912 to determine whether or not to perform full focus processing. Here, the full focus processing means that a plurality of images whose focal positions are changed by moving the stage 140 in the height (Z-axis) direction, etc., and the in-focus portions are combined to form a whole. This is a process for obtaining a focused full-focus image. Only the focused point is extracted from the group image and synthesized into the omnifocal image in real time. If full focus processing is to be performed, the process proceeds to step S1913 to execute full focus setting, and then proceeds to step S1914. When the full focus process is not performed, the process directly proceeds to step S1914. In step S1914, the user is prompted to determine whether or not to perform HDR processing. If so, the process proceeds to step S1915, and after setting the HDR, the process proceeds to step S1916. Otherwise, the process proceeds directly to step S1916. Further, in step S1916, the user is prompted to determine whether or not to recognize the texture image. If so, the process proceeds to step S1917. After displaying the texture image preview, the process proceeds to step S1917. If not, the process proceeds directly to step S1917. In step S1917, the user is prompted to determine whether or not the image obtained by the processing such as full focus or HDR is satisfactory. If the image is not satisfactory, the process returns to step S1912 to perform the processing on the observation image again. If a satisfactory image is obtained, the observation image acquisition process is terminated, and the process proceeds to step S1803 in FIG. Needless to say, the order of step S1912 to step S1918 is merely an example, and can be appropriately changed. Further, the processing for the observation image is not limited to these HDR processing and full focus processing, but can be appropriately changed or added to other known processing.
(Measurement image capturing condition setting)

次に測定画像を取得するための測定画像撮像条件を設定する手順(図18のステップS1803)について、図20を参照しながら説明する。最初にステップS2001において、測定光投光手段(例えば左側)に切り替える。次にステップS2002において、測定光投光手段の明るさを仮に調整する。さらにステップS2003において、計測したい箇所に照明が当たっているかの判定をユーザに促し、可の場合はステップS2006にジャンプする。一方、否の場合はステップS2004において、ステージ140の水平面内の回転角(θ)や傾斜角(チルト)を調整して、対象物の位置、姿勢を調整する。そしてステップS2005において、証明が適切に照射されているか否かの確認を再度ユーザに促し、未だの場合は再度ステップS2004に戻って調整を繰り返し、可の場合はステップS2006に進む。   Next, the procedure (step S1803 in FIG. 18) for setting the measurement image capturing condition for acquiring the measurement image will be described with reference to FIG. First, in step S2001, the measurement light projection unit (for example, the left side) is switched. Next, in step S2002, the brightness of the measurement light projector is temporarily adjusted. Further, in step S2003, the user is prompted to determine whether the portion to be measured is illuminated, and if yes, the process jumps to step S2006. On the other hand, if NO, in step S2004, the rotation angle (θ) or tilt angle (tilt) of the stage 140 in the horizontal plane is adjusted to adjust the position and orientation of the object. In step S2005, the user is again prompted to confirm whether the proof has been properly irradiated. If not, the process returns to step S2004 again to repeat the adjustment. If yes, the process proceeds to step S2006.

次にステップS2006において、計測箇所の明るさが適切か否かの判定をユーザに促し、適切と判定された場合はステップS2009にジャンプし、否と判定された場合はステップS2007において明るさを調整する。そしてステップS2008において再度、明るさが適切か否かの判断をユーザに促し、否の場合はステップS2007に戻って明るさの調整を繰り返す。一方、明るさが適切と判定された場合は、ステップS2009に進み、計測箇所にピントが合っているか否かをユーザに判定させる。適切と判定された場合はステップS2012にジャンプし、一方否の場合はステップS2010において、ステージ140を高さ方向(Z軸方向)に移動させて、計測個所にピントを合わせる。そしてステップS2011において、ピントが合ったか否かを再度ユーザに確認させ、否の場合はステップS2010に戻ってピント調整を繰り返し、ピントが問題ない場合はステップS2012に進む。   Next, in step S2006, the user is prompted to determine whether or not the brightness of the measurement location is appropriate. If it is determined to be appropriate, the process jumps to step S2009. If it is determined not to be correct, the brightness is adjusted in step S2007. To do. In step S2008, the user is prompted again to determine whether or not the brightness is appropriate. If not, the process returns to step S2007 to repeat the brightness adjustment. On the other hand, if it is determined that the brightness is appropriate, the process advances to step S2009 to cause the user to determine whether or not the measurement location is in focus. If it is determined to be appropriate, the process jumps to step S2012. If not, in step S2010, the stage 140 is moved in the height direction (Z-axis direction) to focus on the measurement location. In step S2011, the user is confirmed again whether or not the focus has been achieved. If not, the process returns to step S2010 to repeat the focus adjustment. If there is no problem with the focus, the process proceeds to step S2012.

そしてステップS2012においては、得られた測定画像の総合判断をユーザに促す。ここでは、計測箇所の明るさ、姿勢、ピントがそれぞれ適切か否かを判定し、否の場合はステップS2013において、適切でないパラメータを確認し、該当するパラメータに応じたステップ(例えば明るさの調整はステップS2007、ピントの調整はステップS2010等)に戻って調整を継続する。一方、適切と判定された場合はステップS2014に進み、次の照明光である測定光投光手段(例えば右側)に切り替える。そして上記と同様に、ステップS2015において明るさを調整し、次いでステップS2016において明るさが適切か否かの判定をユーザに促し、否の場合はステップS2015に戻って明るさ調整を繰り返す。一方、明るさが適切と判定された場合は、満足できる測定画像が得られていると判断して、図18のステップS1803にある測定画像撮像条件設定工程を終了して、次のステップS1804に進む。なお、位置調整、姿勢調整、ピント調整、明るさ調整の順序は、適宜入れ替ることも可能である。以上のようにして、観察画像と測定画像の撮像条件をそれぞれ設定する。
(対象物の画像撮像手順)
In step S2012, the user is prompted to make a comprehensive judgment on the obtained measurement image. Here, it is determined whether or not the brightness, posture, and focus of the measurement location are appropriate. If not, in step S2013, an inappropriate parameter is confirmed, and a step (for example, brightness adjustment) corresponding to the corresponding parameter is confirmed. Step S2007, the focus adjustment returns to Step S2010, etc.) and the adjustment is continued. On the other hand, if it is determined to be appropriate, the process proceeds to step S2014 to switch to the measurement light projecting means (for example, the right side) that is the next illumination light. In the same manner as described above, the brightness is adjusted in step S2015, and then the user is prompted to determine whether the brightness is appropriate in step S2016. If not, the process returns to step S2015 to repeat the brightness adjustment. On the other hand, if it is determined that the brightness is appropriate, it is determined that a satisfactory measurement image is obtained, the measurement image capturing condition setting step in step S1803 in FIG. 18 is terminated, and the next step S1804 is performed. move on. Note that the order of position adjustment, posture adjustment, focus adjustment, and brightness adjustment can be switched as appropriate. As described above, the imaging conditions for the observation image and the measurement image are set.
(Object imaging procedure)

次に、計測顕微鏡装置を使って対象物の高さ画像や三次元の合成画像を取得する手順の一例を示す。なお、以下に示す説明は一例に過ぎず、本発明はデータ取得方法や設定するパラメータの種類、数、測定モードやGUI等を、ここに記載した内容に限定するものではない。
(フルオートモード)
Next, an example of a procedure for acquiring a height image of a target object and a three-dimensional composite image using a measurement microscope apparatus will be described. The following description is merely an example, and the present invention does not limit the data acquisition method, the type and number of parameters to be set, the measurement mode, the GUI, and the like to the contents described here.
(Full auto mode)

上述の通り、計測顕微鏡装置操作プログラムを用いて撮像を行うモードとして、ユーザの習熟度に応じて、ユーザ自身で設定可能な項目を変更した複数の撮像条件設定モードを用意することができる。図21の計測顕微鏡装置操作プログラムの例では、初心者向けの簡単モード(1Shot−3Dモード)と、上級者向けの応用モード(エキスパートモード)を用意している。これらは測定画像取得モード選択手段の一形態である、簡単モードを選択する「1shot−3D」ボタン424と、応用モードを選択する「エキスパート」ボタン425を切り替えることで、選択できる。簡単モードはさらに、「フルオート」のON/OFFを、フルオート切替手段426で切り替え可能としている。ここでは、簡単モードの「フルオート」モードについて説明する。   As described above, as a mode for performing imaging using the measurement microscope apparatus operation program, a plurality of imaging condition setting modes in which items that can be set by the user are changed according to the user's proficiency level can be prepared. In the example of the measurement microscope apparatus operation program of FIG. 21, a simple mode (1 Shot-3D mode) for beginners and an application mode (expert mode) for advanced users are prepared. These can be selected by switching a “1shot-3D” button 424 for selecting the simple mode and an “expert” button 425 for selecting the application mode, which are one form of the measurement image acquisition mode selection means. In the simple mode, ON / OFF of “full auto” can be switched by the full auto switching means 426. Here, the “full auto” mode of the simple mode will be described.

まず対象物を計測顕微鏡装置のステージ140上に配置すると、図21に示すように、計測顕微鏡装置操作プログラムの画像表示領域410上に、対象物の観察画像が表示される。ユーザはこの画像を見ながら対象物のピントや位置、角度等を所望の状態に調整する。図21は撮像条件をすべて機器側が自動調整する簡単モードの「フルオート」モードの例であり、画像表示領域410には照明光出力部130によるテクスチャ画像が表示されている。このモードを選択しているときは、ユーザは対象物のピントや倍率、観察視野を決定した後、画面右下の測定ボタンを押下するだけで良い。後は自動でパラメータが最適に調整されてデータの取得が行われる。なお、ピント設定をオートフォーカスとすれば、この作業も自動化させることができる。
(フルオート解除簡単モード)
First, when an object is placed on the stage 140 of the measurement microscope apparatus, an observation image of the object is displayed on the image display area 410 of the measurement microscope apparatus operation program, as shown in FIG. The user adjusts the focus, position, angle, etc. of the object to a desired state while viewing the image. FIG. 21 shows an example of the “full auto” mode, which is a simple mode in which the device side automatically adjusts all imaging conditions. A texture image by the illumination light output unit 130 is displayed in the image display area 410. When this mode is selected, the user only has to press the measurement button at the lower right of the screen after determining the focus, magnification, and observation field of view of the object. After that, parameters are automatically adjusted optimally and data is acquired. If the focus setting is autofocus, this operation can also be automated.
(Full auto release easy mode)

簡単モードにおいてフルオートモードを解除したセミオートモードでは、図22に示すように、操作領域420に対象物を測定する明るさ条件をユーザが調節可能な「測定用明るさ調整」欄440が表示される。例えば画像表示領域410内の特定の領域のみを明るくしたい、あるいは暗くしたい等、フルオートではうまく対応できないような場合には、フルオートモードを解除したセミオートの簡単モードとすることで、明るさをユーザが手動で調整することができる。図22の例では、画像表示領域410に測定画像SMが表示されており、測定画像SMを見ながら適切な明るさに調整する。調整された明るさは、リアルタイムに画像表示領域410内に反映されるので、ユーザは画面を参照しながら所望の明るさに調整できる。
(応用モード)
In the semi-auto mode in which the full auto mode is canceled in the simple mode, as shown in FIG. 22, a “brightness adjustment for measurement” column 440 in which the user can adjust the brightness condition for measuring the object is displayed in the operation area 420. The For example, if you want to brighten or darken only a specific area in the image display area 410 and cannot fully cope with the full auto mode, set the brightness to the semiautomatic simple mode by canceling the full auto mode. The user can adjust it manually. In the example of FIG. 22, the measurement image SM is displayed in the image display area 410, and the brightness is adjusted to an appropriate brightness while viewing the measurement image SM. Since the adjusted brightness is reflected in the image display area 410 in real time, the user can adjust to the desired brightness while referring to the screen.
(Application mode)

さらに、より細かな撮像条件をユーザ自身が設定したい場合は、簡単モードから応用モードに切り替えて各種調整、設定の切り替えを行うことができる。図23に測定画像撮像条件を設定する測定画像撮像条件設定手段の一形態として、測定画像撮像条件設定画面441の一例を示す。この図に示すように「エキスパート」ボタン425を押下することで、簡単モードから応用モードに切り替えできる。この例では、画像表示領域410には左側投光、右側投光、及び両者を合成した測定画像SMが三分割で表示されており、それぞれの測定画像SMを確認しながら、左右の測定光投光手段の明るさ調整を個別に行うことができる。
(測定モード)
Furthermore, when the user himself / herself wants to set finer imaging conditions, various adjustments and settings can be switched by switching from the simple mode to the application mode. FIG. 23 shows an example of the measurement image imaging condition setting screen 441 as one form of the measurement image imaging condition setting means for setting the measurement image imaging condition. By pressing an “expert” button 425 as shown in this figure, the simple mode can be switched to the application mode. In this example, in the image display area 410, the left side light projection, the right side light projection, and the measurement image SM obtained by synthesizing both are displayed in three parts, and while confirming each measurement image SM, the right and left measurement light projections are displayed. The brightness of the light means can be adjusted individually.
(Measurement mode)

操作領域420に設けられた「測定方向」選択欄470では、測定光の方向を選択できる。例えば測定時間短縮のために、左右いずれかのみの測定光投光手段を使う選択も可能である。また測定モードには、スタンダード測定モード、ファイン測定モード、ハレーション除去測定モード、スーパーファイン測定モード等のモードがあり、図23の操作領域420に設けられた「測定モード」選択欄472から選択できる。ここで各測定モードの特徴と、撮像に要する時間について説明すると、スタンダード測定モードは、標準的な測定モードであって、撮像に要する時間は短くて済む。   In the “measurement direction” selection column 470 provided in the operation area 420, the direction of the measurement light can be selected. For example, in order to shorten the measurement time, it is possible to select to use only the right and left measuring light projecting means. The measurement mode includes a standard measurement mode, a fine measurement mode, a halation removal measurement mode, a super fine measurement mode, and the like, and can be selected from a “measurement mode” selection column 472 provided in the operation area 420 of FIG. Here, the characteristics of each measurement mode and the time required for imaging will be described. The standard measurement mode is a standard measurement mode, and the time required for imaging may be short.

またハレーション除去測定モードは、投影パターンはスタンダードと同じであるが、露光時間又は測定光の投影光量を変化させることで、ダイナミックレンジを拡大して測定する測定モードである。これによって明暗差の激しい対象物で黒潰れや白とびを抑制できる効果が得られる。例えば、金属体に黒樹脂が埋まっているような対象物で効果的となる。測定に要する時間は、スタンダード測定モードよりも長くなる。   The halation removal measurement mode is a measurement mode in which the projection pattern is the same as that of the standard, but the dynamic range is expanded and measured by changing the exposure time or the projection light quantity of the measurement light. As a result, it is possible to obtain an effect of suppressing black crushing and overexposure with an object having a sharp contrast. For example, it is effective for an object in which a black resin is buried in a metal body. The time required for measurement is longer than that in the standard measurement mode.

さらにファイン測定モードは、測定光の投影パターンをスタンダード測定モードよりも細かくし、潜り込み光や多重反射、乱反射等の間接光成分を排除する測定モードである。この測定モードは、対象物が白濁樹脂のような半透明体や、ネジのような凹凸金属体の場合に効果が高い。測定に要する時間は、スタンダード測定モードよりも長くなる。   Further, the fine measurement mode is a measurement mode in which the projection pattern of the measurement light is made finer than the standard measurement mode, and indirect light components such as dimming light, multiple reflection, and irregular reflection are excluded. This measurement mode is highly effective when the object is a translucent body such as a cloudy resin or an uneven metal body such as a screw. The time required for measurement is longer than that in the standard measurement mode.

さらにまたスーパーファイン測定モードは、上述したファイン測定モードとハレーション除去測定モードの組み合わせであり、最も精度を向上できるが、その分測定に要する時間は最も長くなる。
(eプレビュー)
Furthermore, the super fine measurement mode is a combination of the fine measurement mode and the halation removal measurement mode described above. The accuracy can be improved most, but the time required for the measurement is the longest.
(E preview)

また計測顕微鏡装置操作プログラムは、これらの複数の測定モードによる測定結果を推定したプレビュー画像を、測定前に一覧画像で確認するeプレビュー機能も備えている。eプレビュー機能は、図23の操作領域420に設けられた「eプレビュー」ボタン471を押下することで実行され、図24に示すeプレビュー画面473が表示される。ここでは、画像表示領域410を4分割して、各測定モードで得られるであろう測定画像SMにおいて、測定不能箇所や飽和箇所となる部分を推定し、オーバーレイした画像をそれぞれの領域で表示させている。各分割領域には、測定モードを示すキャプションが右下に表示される。これによってユーザは、各測定モードによってどのような測定画像が得られるかを対比して選択することができる。ユーザは操作領域420のeプレビュー設定欄474の下段に設けられた測定方向選択欄475から、測定光投光手段を左側のみ、右側のみ、両側のいずれかから選択でき、「更新」ボタン476を押下すると、この選択に応じて、画像表示領域410に表示された各プレビュー画像が更新される。また操作領域420の上段に設けられたeプレビュー測定モード選択欄477から、所望の測定モードを選択できる。測定モードを選択した状態で「OK」ボタン478を押下すると、選択された測定モードに、「測定モード」選択欄472が選択される。
(三次元合成画像)
The measurement microscope apparatus operation program also has an e-preview function for confirming preview images obtained by estimating the measurement results in the plurality of measurement modes with a list image before measurement. The e preview function is executed by pressing an “e preview” button 471 provided in the operation area 420 of FIG. 23, and an e preview screen 473 shown in FIG. 24 is displayed. Here, the image display area 410 is divided into four parts, and in the measurement image SM that will be obtained in each measurement mode, a part that cannot be measured or a saturated part is estimated, and an overlaid image is displayed in each area. ing. In each divided area, a caption indicating the measurement mode is displayed on the lower right. This allows the user to select what measurement image is obtained in each measurement mode. The user can select the measurement light projecting means from only the left side, only the right side, or both sides from the measurement direction selection field 475 provided in the lower part of the e preview setting field 474 of the operation area 420. The “update” button 476 is selected. When pressed, each preview image displayed in the image display area 410 is updated in accordance with this selection. In addition, a desired measurement mode can be selected from an e-preview measurement mode selection column 477 provided in the upper stage of the operation area 420. When the “OK” button 478 is pressed with the measurement mode selected, the “measurement mode” selection field 472 is selected as the selected measurement mode.
(3D composite image)

上記の通り、測定前の条件設定が完了し、測定を実行すると、その条件に従って測定用の縞画像が複数枚取得され、これを元に対象物の三次元の合成画像が生成される。また、照明光出力部130を使ったテクスチャ画像も同時に取得され、合成画像にマッピングされる。この結果のデータは図25に示すように、計測顕微鏡装置操作プログラムを用いて合成され、表示部400上に表示される。この状態でユーザは、マウス等で3Dデータをドラッグして視点を変えながらデータの取得状況、例えば所望の箇所が綺麗に取得できているか等を確認できる。所望のデータが得られていることを確認した後、ユーザは適宜このデータを保存したり、三次元画像計測プログラムにデータを送って引き続き解析、寸法計測等を行うことができる。データを保存するには、例えば図25の画面において「データ保存」ボタン484を押下する。また三次元画像計測プログラムで解析を行うには、「解析アプリで開く」ボタン485を押下する。これにより、三次元画像計測プログラムが起動されると共に、現在表示中のデータが三次元画像計測プログラムに読み込まれる。なお、ツールバーに設けられた「解析アプリへ」ボタン450を押下すると、三次元画像計測プログラムが起動するが、この場合は三次元画像計測プログラムが起動するだけで、データの自動読み出しは行われない。よって、ユーザは所望のデータを手動で選択して読み込ませる。このように、「解析アプリへ」ボタン450と「解析アプリで開く」ボタン485とでは、三次元画像計測プログラムの起動時に読み込まれるデータの有無が異なる。   As described above, when the pre-measurement condition setting is completed and measurement is performed, a plurality of measurement stripe images are acquired according to the conditions, and a three-dimensional composite image of the object is generated based on this. In addition, a texture image using the illumination light output unit 130 is also acquired and mapped to a composite image. As shown in FIG. 25, the resultant data is synthesized using a measurement microscope apparatus operation program and displayed on the display unit 400. In this state, the user can confirm the data acquisition status, for example, whether a desired portion is acquired neatly while dragging 3D data with a mouse or the like to change the viewpoint. After confirming that the desired data is obtained, the user can save this data as appropriate, or send the data to the three-dimensional image measurement program to continue analysis, dimension measurement, and the like. In order to save the data, for example, a “save data” button 484 is pressed on the screen of FIG. Further, in order to perform analysis using the 3D image measurement program, an “Open with analysis application” button 485 is pressed. As a result, the three-dimensional image measurement program is started, and the currently displayed data is read into the three-dimensional image measurement program. In addition, when the “To analysis application” button 450 provided on the toolbar is pressed, the 3D image measurement program is activated, but in this case, only the 3D image measurement program is activated, and automatic data reading is not performed. . Therefore, the user manually selects and reads desired data. As described above, the “to analysis application” button 450 and the “open with analysis application” button 485 differ in the presence or absence of data read when the 3D image measurement program is activated.

なお、測定画像の撮像を行うことなく、予め保存された高さ画像データを、三次元画像計測プログラムで読み込んで、同様に解析、寸法計測を行うこともできることはいうまでもない。本明細書において「撮像手段で撮像した画像を取得する工程」とは、新たに画像を撮像するのみならず、既に撮像された画像を読み込む場合も含む意味で使用する。   Needless to say, the height image data stored in advance can be read by the three-dimensional image measurement program, and the analysis and dimension measurement can be performed in the same manner without imaging the measurement image. In this specification, “the step of acquiring an image captured by the imaging unit” is used to include not only newly capturing an image but also reading an already captured image.

さらにまた、この例では測定画像を撮像して高さ画像を生成する計測顕微鏡装置操作プログラムと、高さ画像に対して解析、計測等を行う三次元画像計測プログラムとを個別のプログラムとしているが、これらのプログラムを統合することも可能であることはいうまでもない。
(計測手段214)
Furthermore, in this example, a measurement microscope apparatus operation program that captures a measurement image and generates a height image and a three-dimensional image measurement program that performs analysis, measurement, etc. on the height image are separate programs. Needless to say, these programs can be integrated.
(Measurement means 214)

以上のようにして得られた対象物の観察画像(テクスチャ画像)データ、三次元の合成画像に対し、計測手段214の一形態である三次元画像計測プログラムを使ってさまざまな解析、寸法計測等を行い、結果を専用のレポート形式で保存、印刷する等して、目的とする最終の出力を得ることができる。以下、計測顕微鏡装置において実行可能な三次元画像計測プログラムの機能の例として、プロファイル計測、平均段差計測、体積面積計測、平面計測、線粗さ計測、表面粗さ計測、比較計測を説明する。これらの計測処理は、計測手段214で行われる。図1の計測顕微鏡装置の例では、CPU210は、表示部400に表示された高さ画像に対して計測を行うための計測手段214としても機能する。なお、以下に説明する計測機能は例示に過ぎず、本発明はテクスチャ画像データ、合成画像等の取得したデータを用いて行える解析、計測機能をこれらに限定するものでなく、他の既知の機能も適宜利用できる。
(計測ツール指定手段)
Various analysis, dimension measurement, etc. using the three-dimensional image measurement program which is one form of the measuring means 214 for the observation image (texture image) data and three-dimensional composite image of the object obtained as described above. The final output can be obtained by saving and printing the result in a dedicated report format. Hereinafter, profile measurement, average step measurement, volume area measurement, plane measurement, line roughness measurement, surface roughness measurement, and comparative measurement will be described as examples of functions of a three-dimensional image measurement program that can be executed in the measurement microscope apparatus. These measurement processes are performed by the measurement unit 214. In the example of the measurement microscope apparatus of FIG. 1, the CPU 210 also functions as a measurement unit 214 for performing measurement on the height image displayed on the display unit 400. Note that the measurement functions described below are merely examples, and the present invention does not limit the analysis and measurement functions that can be performed using acquired data such as texture image data and composite images, but other known functions. Can also be used as appropriate.
(Measuring tool designation means)

また図1における操作部は、計測手段が計測を行う位置や計測処理の種別を指定する計測ツール指定手段として機能する。計測ツール指定手段は、表示手段上に表示された高さ画像や観察画像上で、一以上の平面計測ツールを配置する。平面画像上に配置される平面計測ツールは、例えば矩形や円などの計測対象領域を画像上に指定することで、この計測対象領域内に含まれる計測対象要素を抽出する。例えば、計測対象領域内の線分や円などを、エッジ検出などにより抽出する。そして、抽出された計測対象要素をもとに、指定した二点間の距離や直線間の距離、直線に引いた垂線までの長さ、円弧の半径、面積など、平面寸法を計測手段でもって演算する。この計測ツールは、画像上に配置された位置を特定するために、平面上の位置情報(例えばXY座標)を有しており、後述するテンプレートとして保存することで、同じ位置を呼び出して再現することができる。   Further, the operation unit in FIG. 1 functions as a measurement tool specifying unit that specifies a position where the measurement unit performs measurement and a type of measurement processing. The measurement tool specifying means arranges one or more plane measurement tools on the height image or the observation image displayed on the display means. The planar measurement tool arranged on the planar image extracts a measurement target element included in the measurement target region by designating a measurement target region such as a rectangle or a circle on the image. For example, line segments or circles in the measurement target region are extracted by edge detection or the like. Then, based on the extracted measurement target element, measure the planar dimensions such as the distance between the specified two points, the distance between the straight lines, the length to the perpendicular drawn on the straight line, the radius of the arc, the area, etc. Calculate. This measurement tool has position information (for example, XY coordinates) on a plane in order to specify the position arranged on the image, and the same position is called and reproduced by storing it as a template to be described later. be able to.

さらに計測ツール指定手段は、表示手段上に表示されたプロファイルグラフ上で、一以上の高さ計測ツールを配置する。ここでプロファイルグラフは、高さ画像や合成画像の断面形状を示す画像であり(詳細は後述)、高さ計測ツールは、プロファイルグラフ上に配置されて、高さ寸法の計測位置を指定する。具体的には、高さ計測ツールはプロファイルグラフ上で矩形状や円などの計測対象領域として指定され、この計測対象領域内に含まれる計測対象要素を抽出する。そして抽出された線分や円などの計測対象要素に基づいて、指定した計測処理、例えば指定した二点間の高低差や傾斜角度などの計測を、計測手段で行う。この高さ計測ツールは平面計測ツールと異なり、プロファイルグラフのXY平面における位置情報のみならず、プロファイルグラフ上に設定した枠状の位置、すなわち高さ方向の位置情報を備えている。よって、テンプレートとして保存する際は、このような平面方向の位置のみならず、高さ位置情報も含めて保存される。これによって、高さ計測ツールの位置が立体形状において正確に再現され、所望の計測処理を行うことができる。
(三次元画像計測プログラム)
Further, the measurement tool specifying means arranges one or more height measurement tools on the profile graph displayed on the display means. Here, the profile graph is an image showing a cross-sectional shape of a height image or a composite image (details will be described later), and the height measurement tool is arranged on the profile graph and designates the measurement position of the height dimension. Specifically, the height measurement tool is designated as a measurement target area such as a rectangle or a circle on the profile graph, and the measurement target elements included in the measurement target area are extracted. Based on the measurement target elements such as the extracted line segments and circles, the measurement means performs measurement processing such as measurement of height difference and inclination angle between the two specified points. Unlike the plane measurement tool, this height measurement tool has not only position information on the XY plane of the profile graph but also a frame-shaped position set on the profile graph, that is, position information in the height direction. Therefore, when saving as a template, not only the position in the plane direction but also the height position information is saved. Thereby, the position of the height measurement tool is accurately reproduced in the three-dimensional shape, and a desired measurement process can be performed.
(Three-dimensional image measurement program)

図26〜図36に、三次元画像計測プログラムのGUIの例を示す。この図に示す三次元画像計測プログラムは、各種の計測機能を備えている。画面の中央には画像表示領域410が、右端には操作領域420が、それぞれ設けられる。さらに画面の左端には、各プロファイル線に対して計測を行った結果を表示するための結果表示領域510が設けられる。さらに画面の上段には計測機能ツールバー520が設けられており、計測機能を実行するための各種ボタンが配置されている。この中から所望の計測機能を示すボタンを選択することで、対応する計測機能を実行するための画面に切り替えることができる。図26の例では、計測機能ツールバー520から「プロファイル」ボタン521を押下した例を示している。
(プロファイル計測機能)
FIG. 26 to FIG. 36 show examples of GUI of the three-dimensional image measurement program. The three-dimensional image measurement program shown in this figure has various measurement functions. An image display area 410 is provided at the center of the screen, and an operation area 420 is provided at the right end. Furthermore, a result display area 510 for displaying the result of measurement for each profile line is provided at the left end of the screen. Further, a measurement function toolbar 520 is provided in the upper part of the screen, and various buttons for executing the measurement function are arranged. By selecting a button indicating a desired measurement function from these, it is possible to switch to a screen for executing the corresponding measurement function. In the example of FIG. 26, an example in which the “profile” button 521 is pressed from the measurement function toolbar 520 is illustrated.
(Profile measurement function)

図26の三次元画像計測プログラムでは、計測機能ツールバー520で「プロファイル」ボタン521を押下して、プロファイル計測機能が選択されたプロファイル計測画面515を示している。プロファイル計測機能は、合成画像STや高さ画像を、測定の基準となるプロファイル線PLに沿って切断して得られる断面形状線に対して、高さ、幅、角度、円間距離、円弧、断面積等の計測を行うための計測機能である。図26に示す例では、画像表示領域410を3分割し、右上には合成画像ST、観察画像又は高さ画像を表示させるための計測対象画像表示領域512、左上に合成画像(立体形状データ)を表示させるための合成画像表示領域513、さらに下段には断面形状(プロファイル形状)を表示させるためのプロファイルグラフ表示領域514を、それぞれ設けている。   The three-dimensional image measurement program in FIG. 26 shows a profile measurement screen 515 in which the profile measurement function is selected by pressing the “profile” button 521 on the measurement function toolbar 520. The profile measurement function has a height, width, angle, distance between circles, arcs, etc. with respect to a cross-sectional shape line obtained by cutting the composite image ST or height image along the profile line PL as a measurement reference. This is a measurement function for measuring the cross-sectional area and the like. In the example shown in FIG. 26, the image display area 410 is divided into three, the measurement image display area 512 for displaying the composite image ST, the observation image, or the height image on the upper right, and the composite image (three-dimensional shape data) on the upper left. Is provided with a composite image display area 513 for displaying the image, and a profile graph display area 514 for displaying the cross-sectional shape (profile shape) in the lower part.

なお本明細書においてプロファイル線PLとは、主に画像の平面図で指定する直線を指し、プロファイルグラフPIとは、主に画像の断面図で示される、プロファイル線PLに沿って切断された断面の輪郭を示す曲線を指す。
(プロファイル線配置手段)
In this specification, the profile line PL mainly indicates a straight line designated by a plan view of an image, and the profile graph PI is a cross section cut along the profile line PL, which is mainly shown by a cross-sectional view of the image. The curve which shows the outline of is pointed out.
(Profile line placement means)

図1の計測顕微鏡装置は、画像上の任意の位置に測定の基準となるプロファイル線PLを設定するためのプロファイル線配置手段を備えている。具体的には、図26の三次元画像計測プログラムの操作領域420には、上段にプロファイル線配置手段の一形態としてプロファイルツール522が、下段に高さ計測ツールボタン530が、それぞれ設けられる。プロファイルツール522では、合成画像表示領域512でプロファイル線PLを設定するためのツールとして、プロファイル線ツール523及び補助ツール524が選択できる。プロファイル線ツール523には、2点指定や垂直線、水平線、直線、垂基線、平行線、円、固定長、特定角、及び削除ボタンが設けられている。これらを用いて、合成画像表示領域512で合成画像ST上の任意の位置にプロファイル線PLを設定できる。プロファイル線PLが設定されると、この線で対象物を切断した断面形状が、プロファイル形状としてグラフ状に、プロファイルグラフ表示領域514に表示される。例えば2点指定を選択してプロファイル線PLを合成画像表示領域512に設定すると、このプロファイル線PLに対応するプロファイル形状がプロファイルグラフ表示領域514に表示される。このとき、合成画像表示領域512においても、プロファイル線PLが表示されているので、合成画像上のプロファイル線と、このプロファイル線で切断した断面がプロファイルグラフとしてプロファイルグラフ表示領域514に表示され、一画面上で、どの部分の断面形状が表示されているのか、その位置関係を容易に把握し易くできる。
(高さ計測ツール)
The measurement microscope apparatus of FIG. 1 includes profile line arrangement means for setting a profile line PL that serves as a measurement reference at an arbitrary position on an image. Specifically, in the operation area 420 of the three-dimensional image measurement program of FIG. 26, a profile tool 522 is provided in the upper part as a form of the profile line arrangement means, and a height measurement tool button 530 is provided in the lower part. In the profile tool 522, the profile line tool 523 and the auxiliary tool 524 can be selected as tools for setting the profile line PL in the composite image display area 512. The profile line tool 523 is provided with two-point designation, vertical line, horizontal line, straight line, perpendicular base line, parallel line, circle, fixed length, specific angle, and delete button. Using these, the profile line PL can be set at an arbitrary position on the composite image ST in the composite image display area 512. When the profile line PL is set, a cross-sectional shape obtained by cutting the object with this line is displayed in the profile graph display area 514 as a profile shape in a graph. For example, when two-point designation is selected and the profile line PL is set in the composite image display area 512, the profile shape corresponding to the profile line PL is displayed in the profile graph display area 514. At this time, since the profile line PL is also displayed in the composite image display area 512, the profile line on the composite image and the cross section cut by the profile line are displayed as a profile graph in the profile graph display area 514. It is possible to easily grasp the positional relationship of which part of the cross-sectional shape is displayed on the screen.
(Height measurement tool)

さらにプロファイルグラフ表示領域514において表示されるプロファイル形状に対して、高さ計測ツールボタン530を用いて各種の計測を行える。例えば、線−線、線−点、点−点、円−円、円−線、円−点の各距離の測定、円弧R、角度、断面積等を演算できる。なおプロファイル形状は、プロファイルグラフ表示領域514に限られず、計測対象画像表示領域512上に重ねて表示させることもできる。このように、高さ計測ツールボタン530を用いて高さ計測ツールをプロファイルグラフ上に配置することで、高さ寸法の計測位置が指定される。具体的には、プロファイルグラフ上でユーザがマウスなどにより矩形状の計測対象領域を指定すると、この計測対象領域内に含まれる線分や円などの計測対象要素が抽出される。そして抽出された計測対象要素を利用して、所望の計測処理を行う。計測処理は、操作領域420に設けられた高さ計測ツールボタン530で選択できる。   Furthermore, various measurements can be performed on the profile shape displayed in the profile graph display area 514 using the height measurement tool button 530. For example, line-line, line-point, point-point, circle-circle, circle-line, circle-point distance measurement, arc R, angle, cross-sectional area, etc. can be calculated. Note that the profile shape is not limited to the profile graph display area 514 and can be displayed over the measurement target image display area 512. As described above, the height measurement tool is arranged on the profile graph using the height measurement tool button 530, whereby the measurement position of the height dimension is designated. Specifically, when the user designates a rectangular measurement target area on the profile graph with a mouse or the like, measurement target elements such as line segments and circles included in the measurement target area are extracted. Then, a desired measurement process is performed using the extracted measurement target element. The measurement process can be selected with a height measurement tool button 530 provided in the operation area 420.

計測対象要素の指定は、補助ツール524で行う。補助ツール524は、画像に対してエッジ抽出等の画像処理を行い、選択の基準となる計測対象要素を自動で検出するためのツールである。例えば観察画像の濃淡から輪郭線を検出したり、立体形状データから円筒や球などを検出し、その軸線や中心点を表示することができる。この輪郭線や軸線、中心点は、プロファイルツールを配置する際に再利用することができる。
(平均段差計測機能)
The measurement target element is designated by the auxiliary tool 524. The auxiliary tool 524 is a tool for performing image processing such as edge extraction on an image and automatically detecting a measurement target element serving as a selection reference. For example, it is possible to detect an outline from the density of an observation image, or to detect a cylinder, a sphere, or the like from solid shape data, and display the axis or center point. The contour line, the axis line, and the center point can be reused when the profile tool is arranged.
(Average step measurement function)

平均段差計測機能を行う平均段差計測画面525の例を図27に示す。平均段差計測機能は、合成画像STや高さ画像の一部又は全部を指定し、その部分の平均高さを求め、他の部分の平均高さとの差(平均段差)を求めるための計測機能である。図27の例では、青色で示された領域1の平均高さと、黄色で示された領域2の平均高さとの高度差を求めて、左欄の結果表示領域510に表示させている。
(体積面積計測機能)
An example of the average step measurement screen 525 that performs the average step measurement function is shown in FIG. The average step measurement function is a measurement function for designating part or all of the composite image ST or height image, obtaining the average height of that portion, and obtaining the difference (average step) from the average height of other portions. It is. In the example of FIG. 27, an altitude difference between the average height of the area 1 shown in blue and the average height of the area 2 shown in yellow is obtained and displayed in the result display area 510 in the left column.
(Volume area measurement function)

体積面積計測機能を行う体積面積計測画面526の例を図28に示す。体積面積計測機能は、合成画像STに対して、凸凹部分の体積や表面積、断面積等を測定するための計測機能である。ここでは、測定した形状に対して高さ閾値(又は基準面)を設定して、閾値よりも高い部分又は低い部分の体積や面積を演算できる。あるいは、閾値を設定することで特定の部分のみを計測したり、微小な領域を除去することも可能である。
(平面計測機能)
An example of the volume area measurement screen 526 that performs the volume area measurement function is shown in FIG. The volume area measurement function is a measurement function for measuring the volume, surface area, cross-sectional area, and the like of the convex and concave portions with respect to the composite image ST. Here, a height threshold (or reference plane) is set for the measured shape, and the volume and area of a portion higher or lower than the threshold can be calculated. Alternatively, by setting a threshold value, it is possible to measure only a specific part or remove a minute region.
(Plane measurement function)

計測機能ツールバー520で「平面計測」ボタン539を押下すると、図29に示すように平面計測機能を実行するための平面計測画面527が表示される。平面計測機能は、二次元のXY平面上の形状を計測するための計測機能である。したがって、本計測機能は合成画像や高さ画像に限らず観察画像においても利用できる。平面計測画面527では、平面計測機能を実行するための平面計測ツールボタン531が操作領域420に表示される。平面計測ツールボタン531には、2点間、垂基線、平行線、垂直間、円直径、円半径、円心間の各距離の測定、角度、個数カウント、XY計測などのボタンが設けられている。平面計測ツールボタン531に配置された各計測ボタンを選択すると、対応する計測処理が可能となる。
(補助ツール524)
When a “plane measurement” button 539 is pressed on the measurement function toolbar 520, a plane measurement screen 527 for executing the plane measurement function is displayed as shown in FIG. The plane measurement function is a measurement function for measuring a shape on a two-dimensional XY plane. Therefore, this measurement function can be used not only for a synthesized image and a height image but also for an observed image. On the plane measurement screen 527, a plane measurement tool button 531 for executing the plane measurement function is displayed in the operation area 420. The plane measurement tool button 531 is provided with buttons for measuring each distance between two points, perpendicular base line, parallel line, vertical distance, circle diameter, circle radius, circle center, angle, number count, XY measurement, and the like. Yes. When each measurement button arranged on the plane measurement tool button 531 is selected, a corresponding measurement process can be performed.
(Auxiliary tool 524)

図29の例では、予め補助ツール524を用いて、計測処理の基準となる計測対象要素を選択しておく。例えば、画像表示領域410上で領域を指定し、この領域内に含まれる線分や円などの計測対象要素を、エッジ検出などにより抽出する。具体的には、ユーザがマウスなどで矩形状の計測対象領域を指定し、この計測対象領域内に含まれる計測対象要素を自動的に抽出し、さらに円弧や直線に近似する。ここでは、計測対象要素CC1とCC2を抽出して、抽出された円弧を円で近似している。また、これら計測対象要素CC1とCC2の中心点をそれぞれ演算して選択する。
(平面計測ツール)
In the example of FIG. 29, a measurement target element serving as a reference for measurement processing is selected in advance using the auxiliary tool 524. For example, an area is designated on the image display area 410, and measurement target elements such as line segments and circles included in this area are extracted by edge detection or the like. Specifically, the user designates a rectangular measurement target region with a mouse or the like, automatically extracts measurement target elements included in the measurement target region, and further approximates them to arcs or straight lines. Here, the measurement target elements CC1 and CC2 are extracted, and the extracted arc is approximated by a circle. Further, the center points of the measurement target elements CC1 and CC2 are respectively calculated and selected.
(Plane measurement tool)

次に、平面計測ツールに切り替え、平面計測ツールボタン531において「2点間」ボタンを選択し、これらの計測対象要素CC1とCC2の中心点同士の距離を計測する。計測結果は、結果表示領域510に表示される。また、複数の計測処理を行うことも可能であり、各計測処理に対して、画像表示領域410上で計測結果と番号を付記させ、さらに結果表示領域510上にも、対応する番号が表示される。この例では「2 円心間1 6149.9552μm」と表示されている。このように、計測処理毎に番号を振ることで、画像表示領域410上と結果表示領域510との間で対応関係を理解することが容易となる。また、各計測処理に関する表示を色分けして、同じ色同士が同じ計測処理を示すように表示させることもできる。   Next, the plane measurement tool is switched to, and the “between two points” button is selected in the plane measurement tool button 531, and the distance between the center points of these measurement target elements CC1 and CC2 is measured. The measurement result is displayed in the result display area 510. It is also possible to perform a plurality of measurement processes. For each measurement process, a measurement result and a number are added on the image display area 410, and a corresponding number is also displayed on the result display area 510. The In this example, “between two circle centers 1 61499.552 μm” is displayed. Thus, by assigning a number for each measurement process, it becomes easy to understand the correspondence between the image display area 410 and the result display area 510. Moreover, the display regarding each measurement process is color-coded, and it can also be displayed so that the same colors may show the same measurement process.

上述した補助ツール524のように、画像上から計測対象要素を抽出するのにエッジ抽出機能を利用することで、自動的に形状のエッジを検出して測定でき、ユーザが手動で指定する手間を省くことができる。また、ユーザ間の指定位置のばらつきを抑制できる。なお、本機能では高さ画像を利用して、例えば面と面の交線を検出したり、円筒軸を検出したりでき、これらの線を利用した平面計測も可能となっている。このようにして、観察画像だけでは実現できない平面計測も利用できる。   Like the auxiliary tool 524 described above, by using the edge extraction function to extract the measurement target element from the image, the edge of the shape can be automatically detected and measured, and the user has to manually specify it. It can be omitted. In addition, it is possible to suppress variations in designated positions among users. In this function, the height image can be used to detect, for example, a line between planes or a cylindrical axis, and plane measurement using these lines is also possible. In this way, planar measurement that cannot be realized only by the observation image can be used.

また、このようにして得られた演算結果は、結果表示領域510に表示させる他、画像表示領域上に重ねて表示することができる。例えば、平面計測ツールでの計測結果を、高さ画像又は観察画像上に重ねて表示すると共に、高さ計測ツールでの計測結果を、プロファイルグラフ上に重ねて表示する。このように、高さ画像とプロファイルグラフを対比して表示させつつ、さらに測定結果も重ねて表示させることで、さらに視認性に優れた操作環境が実現できる。
(線粗さ計測機能)
Further, the calculation result obtained in this way can be displayed in the result display area 510 or displayed on the image display area. For example, the measurement result of the planar measurement tool is displayed so as to be superimposed on the height image or the observation image, and the measurement result of the height measurement tool is displayed so as to be superimposed on the profile graph. Thus, by displaying the height image and the profile graph in comparison with each other and displaying the measurement result in an overlapping manner, it is possible to realize an operating environment with further excellent visibility.
(Line roughness measurement function)

一方、線粗さ計測機能を行う線粗さ計測画面528の例を図30に示す。線粗さ計測機能は、合成画像STや高さ画像上の任意の位置にプロファイル線PLを引き、このプロファイル線PLに沿って切断して得られる断面形状線に対して、各種線粗さパラメータを測定するための計測機能である。線粗さのパラメータは、例えばISO4287:1997(JIS B0601:2001)で規格化されたパラメータが利用できる。
(表面粗さ計測機能)
On the other hand, an example of a line roughness measurement screen 528 for performing a line roughness measurement function is shown in FIG. The line roughness measuring function draws a profile line PL at an arbitrary position on the composite image ST or height image, and performs various line roughness parameters on the cross-sectional shape line obtained by cutting along the profile line PL. This is a measurement function for measuring. As the parameter of the line roughness, for example, a parameter standardized by ISO 4287: 1997 (JIS B0601: 2001) can be used.
(Surface roughness measurement function)

表面粗さ計測機能を行う表面粗さ計測画面529の例を図31に示す。表面粗さ計測機能は、合成画像STや高さ画像上に指定された領域に対して、表面性状すなわち各種面粗さパラメータを測定するための計測機能である。面粗さパラメータには、例えばISO25178で規格化されたパラメータが利用できる。
(比較計測機能)
An example of the surface roughness measurement screen 529 for performing the surface roughness measurement function is shown in FIG. The surface roughness measurement function is a measurement function for measuring surface properties, that is, various surface roughness parameters, for a region designated on the composite image ST or the height image. As the surface roughness parameter, for example, a parameter standardized by ISO25178 can be used.
(Comparison measurement function)

さらに比較計測機能を行う比較計測画面540の例を図32に示す。比較計測機能は、2つの合成画像STや高さ画像或いは観察画像を並べて表示し、両方のデータを同一又は異なる線に沿って切断した断面形状線を比較しながら、差分や断面積等の各種計測を行うための計測機能である。ここでは、比較する2つの画像の一方を比較の基準となる対象物の比較基準画像BIとし、もう一方を比較の対象となる比較対象画像RIとする。   Further, an example of a comparative measurement screen 540 for performing a comparative measurement function is shown in FIG. The comparative measurement function displays two composite images ST, height images, or observation images side by side, and compares various data such as differences and cross-sectional areas while comparing the cross-sectional shape lines cut along the same or different lines. This is a measurement function for performing measurement. Here, one of the two images to be compared is set as a comparison reference image BI of an object to be compared, and the other is set as a comparison target image RI to be compared.

また比較計測に際しては、まず比較対象画像RIを、比較基準画像BIの位置にパターンマッチングやエッジ検出などによって自動的に位置合わせすることが望ましい。これによって、対応する部位の対比を容易に行うことができる。このようなパターンマッチング等によって、比較基準画像BI、比較対象画像RIの各データに対してXY方向の位置、回転ずれ(θ)、高さ方向(Z方向)の位置等を自動的に合わせることができ、対応する位置を比較することができる。そして位置合わせを行った後に、各データ上の同じ位置にプロファイル線PLを引くことで、同じ位置を切断した断面形状線同士を比較することができ、微小な形状の違いを明確にできる。   In comparison measurement, it is desirable that the comparison target image RI is first automatically aligned with the position of the comparison reference image BI by pattern matching or edge detection. This makes it possible to easily compare corresponding parts. By such pattern matching or the like, the position in the XY direction, the rotational deviation (θ), the position in the height direction (Z direction), etc. are automatically matched to each data of the comparison reference image BI and the comparison target image RI. And the corresponding positions can be compared. After the alignment, by drawing the profile line PL at the same position on each data, cross-sectional shape lines cut at the same position can be compared with each other, and the difference in minute shape can be clarified.

上述のような各種解析、測定の前準備として、観察画像や合成画像、高さ画像に対して各種フィルタ(平均化、メディアン、ガウシアン、輪郭強調等)をかけたり、測定の基準となる面(基準面)を指定したり、合成画像の面ゆがみや大きな面形状を取り除く/補正(面形状補正)したりするための画像処理機能も、三次元画像計測プログラムを用いて実行することができる。これらの前準備は、取得したデータの解析、測定にとって常に必要というわけではないが、より正確で再現性の良い解析、測定を行う場合は、実施しておくことが好ましい。   As preparations for various analyzes and measurements as described above, various filters (averaging, median, Gaussian, contour enhancement, etc.) are applied to the observation image, composite image, and height image, and the measurement reference surface ( An image processing function for designating a (reference plane) and removing / correcting (correcting (surface shape correction)) the surface distortion and large surface shape of the composite image can also be executed using the three-dimensional image measurement program. These preparations are not always necessary for the analysis and measurement of the acquired data, but it is preferable to perform these preparations when performing more accurate and reproducible analysis and measurement.

なお上記では、高さ画像に観察画像を合成した三次元の合成画像に基づいて、各種の計測を行う手順を説明したが、本発明は合成画像に限らず、高さ画像に対しても、高さ画像が有する高さ情報に基づいて、計測や解析を行うことも可能である。また、以上の例では新たな高さ画像や観察画像を取得して、続けて計測を行う例を説明したが、上述の通り予め保存されている高さ画像等を三次元画像計測プログラムで読み込んで、これに対して計測や解析を行うことも可能であることはいうまでもない。
(基準面指定手段)
In the above description, the procedure for performing various measurements based on a three-dimensional synthesized image obtained by synthesizing an observation image with a height image has been described, but the present invention is not limited to a synthesized image. It is also possible to perform measurement and analysis based on the height information of the height image. In the above example, a new height image or observation image is acquired and measurement is continuously performed. However, as described above, a height image stored in advance is read by a three-dimensional image measurement program. Needless to say, measurement and analysis can be performed on this.
(Reference plane designation means)

合成画像や高さ画像のパターンマッチング等による位置合わせを行うには、予め各画像の基準面を設定しておく必要がある。すなわち、比較基準となる合成画像データや高さ画像データと、比較対象となる合成画像データや高さ画像データとで、それぞれ基準面を設定しておき、これらの基準面が共通であることを前提として、パターンマッチングを行う。基準面の指定は、基準面指定手段で行う。   In order to perform alignment by pattern matching or the like of a composite image or a height image, it is necessary to set a reference plane for each image in advance. That is, a reference plane is set for each of the composite image data and height image data to be compared and the composite image data and height image data to be compared, and these reference planes are common. As a premise, pattern matching is performed. The reference plane is designated by the reference plane designation means.

基準面指定手段の一例を、図33及び図34に示す。三次元画像計測プログラムにおいて基準面の設定を指示すると、図33の基準面設定画面532が表示される。この基準面設定画面532では、左上に画像表示領域410が設けられ、合成画像STが表示されている。さらに合成画像ST上にはプロファイル線PLが縦横に十字状に配置されており、縦プロファイル線VPLに沿った断面形状である縦プロファイルグラフPIVが画像表示領域410の右側に設けられた縦プロファイルグラフ表示領域514Vに、横プロファイル線HPLに沿った断面形状である横プロファイルグラフPIHが画像表示領域410の下側に設けられた横プロファイルグラフ表示領域514Hに、それぞれ表示される。プロファイル線PL又は合成画像STを相対的に移動させると、プロファイルグラフ表示領域514V、514Hの表示内容も移動後のプロファイル線PLに応じたプロファイルグラフPIV、PIHにそれぞれ更新される。これによりユーザはプロファイルグラフPIV、PIHを確認しながら、共通化し易い、できるだけ平坦な面を基準面として選択する。   An example of the reference plane designating means is shown in FIGS. When the reference plane setting is instructed in the three-dimensional image measurement program, a reference plane setting screen 532 in FIG. 33 is displayed. In the reference plane setting screen 532, an image display area 410 is provided at the upper left, and a composite image ST is displayed. Further, profile lines PL are arranged in a cross shape vertically and horizontally on the composite image ST, and a vertical profile graph PIV having a cross-sectional shape along the vertical profile line VPL is provided on the right side of the image display area 410. A horizontal profile graph PIH having a cross-sectional shape along the horizontal profile line HPL is displayed in the display region 514V in a horizontal profile graph display region 514H provided below the image display region 410, respectively. When the profile line PL or the composite image ST is relatively moved, the display contents of the profile graph display areas 514V and 514H are also updated to profile graphs PIV and PIH corresponding to the moved profile line PL, respectively. As a result, the user selects, as a reference plane, a plane that is as flat as possible while checking the profile graphs PIV and PIH.

基準面の具体的な指定は、図33の基準面設定画面532の右側の操作領域420に設けられた基準面指定方法欄533から行う。例えば基準面指定方法欄533の領域指定ラジオボタン534を選択し、「領域指定」ボタン535を押下すると、図34の領域設定画面536が表示される。ユーザは領域設定画面536から、合成画像STに対して、基準面としたい所望の領域を指定する。指定方法は、図34の右側の操作領域420に設けられたボタンで選択できる。例えば「矩形」ボタン537を選択すると、対角の位置をマウスで指定して矩形状の領域を指定できる。その他、面積で指定したり、3点円、2点円、楕円、多角形、フリーライン等、任意の方法で領域を指定できる。またレベル検出や領域抽出、閾値設定などの方法によって画像処理で領域を自動的に指定することもできる。このようにして基準面となる領域ROI1が指定されると、操作領域420の下に設けられた「OK」ボタン538を押下する。これにより、指定された領域が基準面として確定される。
(パターンマッチングによる位置合わせ)
The specific designation of the reference plane is performed from the reference plane designation method column 533 provided in the operation area 420 on the right side of the reference plane setting screen 532 in FIG. For example, when the area designation radio button 534 in the reference plane designation method column 533 is selected and the “area designation” button 535 is pressed, an area setting screen 536 in FIG. 34 is displayed. From the area setting screen 536, the user designates a desired area to be used as a reference plane for the composite image ST. The designation method can be selected with a button provided in the operation area 420 on the right side of FIG. For example, when a “rectangle” button 537 is selected, a rectangular area can be designated by designating the diagonal position with the mouse. In addition, the area can be specified by an arbitrary method such as an area, a three-point circle, a two-point circle, an ellipse, a polygon, or a free line. It is also possible to automatically specify an area by image processing by methods such as level detection, area extraction, and threshold setting. When the region ROI1 serving as the reference surface is designated in this way, an “OK” button 538 provided below the operation region 420 is pressed. Thereby, the designated area is determined as the reference plane.
(Positioning by pattern matching)

次に、自動位置合わせの一形態として、パターンマッチングの詳細な手順を説明する。ここでは、比較基準画像BIとして第一合成画像を、比較対象画像RIとして第二合成画像を、それぞれ取得して、第二合成画像を第一合成画像と一致させるようにパターンマッチングで移動、回転させる手順を説明する。   Next, a detailed procedure of pattern matching will be described as one form of automatic alignment. Here, the first composite image is acquired as the comparison reference image BI, the second composite image is acquired as the comparison target image RI, and the pattern is matched and moved so as to match the second composite image with the first composite image. The procedure to make is explained.

まず、対象物を撮像した観察画像(テクスチャ画像)と高さ方向(撮像面に垂直な方向)の値を画素とする高さ画像を持った第一合成画像を読み込む。そして第一合成画像の画像を表示部400上に表示させる。   First, a first composite image having an observation image (texture image) obtained by imaging an object and a height image having pixels in the height direction (direction perpendicular to the imaging surface) is read. Then, the image of the first composite image is displayed on the display unit 400.

次にパターンマッチングを行う第一領域を、第一合成画像上でユーザに指定させる。ここで指定した第一領域内の観察画像を、位置合わせ用画像として記憶する。   Next, the user designates the first region for pattern matching on the first composite image. The observation image in the first area designated here is stored as an alignment image.

次に第二合成画像を読み込み、位置合わせ用画像と一致する位置と角度を、第二合成画像の観察画像中から検索する。そして第二合成画像が位置合わせ用画像と一致した部分が、第一合成画像の位置合わせ用画像を取り出した部分と重なるように、第二合成画像をアフィン変換する。これにより撮像面に平行な面内での位置合わせが行われる。   Next, the second composite image is read, and a position and an angle that coincide with the alignment image are searched from the observation image of the second composite image. Then, the second composite image is affine-transformed so that the portion where the second composite image matches the alignment image overlaps the portion from which the alignment image of the first composite image is extracted. Thereby, alignment in a plane parallel to the imaging surface is performed.

さらに高さ方向の位置合わせを行う。ここでは第二領域を第一合成画像上で指定する。なお第二領域を改めて指定せずに、第一領域と同じとしてもよい。また、位置合わせの領域を第一合成画像でなく第二合成画像に対して指定することも可能である。   Further, alignment in the height direction is performed. Here, the second region is designated on the first composite image. The second area may be the same as the first area without specifying it again. It is also possible to designate the alignment region for the second composite image instead of the first composite image.

さらに第一合成画像の第二領域内の高さデータの平均値と、パターンマッチングによる位置合わせ後の第二合成画像の第二領域内の高さデータの平均値の差を求め、第一合成画像と第二合成画像が高さ方向に一致するように、第二合成画像の高さ画像を、求めた差の分だけオフセットさせる。これにより、高さ方向(撮像面に垂直な方向)の位置合わせが行われる。   Further, the difference between the average value of the height data in the second region of the first composite image and the average value of the height data in the second region of the second composite image after alignment by pattern matching is obtained, and the first composite The height image of the second composite image is offset by the determined difference so that the image and the second composite image match in the height direction. As a result, alignment in the height direction (direction perpendicular to the imaging surface) is performed.

さらに第二合成画像を読み込んだ後、第二合成画像の観察画像を表示し、第一領域とは異なる第三領域をその画像上で指定し、第三領域内で位置合わせ用画像と一致する画像を検索するようにしてもよい。この場合、第1の測定データと第2の測定データは同じであってもよく、同一データ内にほぼ同一な形状を繰り返して持つ場合にそれらの形状同士を比較する用途等に好適に利用できる。また、形状測定データが観察画像を持たない場合は、観察画像の代わりに高さ画像を用いてパターンマッチングを行ってもよい。さらに観察画像の輝度や特徴点からパターンマッチングを行う第一領域を自動的に決定してもよい。あるいは測定の信頼度を画素毎に表す信頼度画像を別にもつ場合は、信頼度画像からパターンマッチングを行う第一領域を自動的に決定してもよい。さらにまた、信頼度画像と観察画像の両方からパターンマッチングを行う第一領域を自動的に決定してもよい。加えて、高さ方向の位置合わせをするために第三領域の高さ画像の平均値を求める際は、第一合成画像の信頼度画像と第二合成画像の信頼度画像から、双方の測定信頼度が共に高い画素だけを選んで平均値を求めるようにしてもよい。
(エッジ検出を用いる方法)
Furthermore, after the second composite image is read, an observation image of the second composite image is displayed, a third region different from the first region is designated on the image, and the image matches the alignment image within the third region. You may make it search an image. In this case, the first measurement data and the second measurement data may be the same, and can be suitably used for purposes such as comparing the shapes of the same data when the same data is repeatedly held in the same data. . When the shape measurement data does not have an observation image, pattern matching may be performed using a height image instead of the observation image. Further, the first region for pattern matching may be automatically determined from the brightness and feature points of the observed image. Alternatively, when a reliability image representing the reliability of measurement for each pixel is separately provided, the first region for performing pattern matching may be automatically determined from the reliability image. Furthermore, the first region for pattern matching may be automatically determined from both the reliability image and the observation image. In addition, when calculating the average value of the height image of the third region in order to align in the height direction, both of the measurements are made from the reliability image of the first composite image and the reliability image of the second composite image. The average value may be obtained by selecting only pixels having high reliability.
(Method using edge detection)

以上、パターンマッチングを用いた自動位置合わせの手順を説明した。ただ自動位置合わせはパターンマッチングのみに限定されるものでなく、他の方法も適宜利用できる。一例として、エッジ検出を用いた自動位置決め方法を、以下説明する。   The procedure for automatic alignment using pattern matching has been described above. However, automatic alignment is not limited to pattern matching alone, and other methods can be used as appropriate. As an example, an automatic positioning method using edge detection will be described below.

ここではまず、対象物を撮像した観察画像(テクスチャ画像)と高さ方向(撮像面に垂直な方向)の値を画素とする高さ画像を持った第一合成画像を読み込む。次に第一合成画像の画像を画面に表示する。そしてユーザが1つ以上のエッジ検出領域をその画像上で指定する。指定されたすべてのエッジ検出領域で観察画像からエッジを検出しそれぞれの位置と角度を記憶する。さらに第二合成画像を読み込み、上で指定したすべてのエッジ検出領域で観察画像からエッジを検出する。そして第二合成画像から検出したエッジと第一合成画像から検出したエッジが最も合致するような位置と角度になるように第二合成画像をアフィン変換する。これにより撮像面に平行な面内での位置合わせが行われる。ここで高さ方向の位置合わせを行う第一領域を画像上で指定する。   Here, first, a first composite image having a height image in which an observation image (texture image) obtained by imaging the object and a value in the height direction (direction perpendicular to the imaging surface) is read is read. Next, the image of the first composite image is displayed on the screen. Then, the user designates one or more edge detection areas on the image. Edges are detected from the observation image in all designated edge detection areas, and the respective positions and angles are stored. Further, the second composite image is read, and edges are detected from the observation image in all the edge detection areas specified above. Then, the second composite image is affine transformed so that the edge detected from the second composite image and the edge detected from the first composite image most closely coincide with each other. Thereby, alignment in a plane parallel to the imaging surface is performed. Here, the first region for position adjustment in the height direction is designated on the image.

次に第一合成画像の第一領域内の高さデータの平均値と、エッジ検出による位置合わせ後の第二合成画像の第一領域内の高さデータの平均値の差を求め、第一合成画像と第二合成画像が高さ方向に一致するように第二合成画像の高さ画像を求めた差の分だけオフセットする。これにより、高さ方向(撮像面に垂直な方向)の位置合わせが行われる。なお、それぞれのエッジ検出領域でエッジの検出度をもとめ、検出度がある値以下のエッジは位置合わせに用いないようにしてもよい。また形状測定データが観察画像を持たない場合、観察画像の代わりに高さ画像を用いてエッジ検出を行ってもよい。さらに観察画像の特徴点からエッジ検出領域を自動的に決定してもよい。また高さ方向の位置合わせをするために第三領域の高さ画像の平均値を求める際、第一合成画像の信頼度画像と第二合成画像の信頼度画像から、双方の測定信頼度が共に高い画素だけを選んで平均値を求めるようにしてもよい。   Next, a difference between the average value of the height data in the first area of the first composite image and the average value of the height data in the first area of the second composite image after alignment by edge detection is obtained. The height image of the second composite image is offset by the calculated difference so that the composite image and the second composite image match in the height direction. As a result, alignment in the height direction (direction perpendicular to the imaging surface) is performed. It should be noted that the edge detection degree may be obtained in each edge detection region, and an edge having a detection degree equal to or less than a certain value may not be used for alignment. If the shape measurement data does not have an observation image, edge detection may be performed using a height image instead of the observation image. Further, the edge detection area may be automatically determined from the feature points of the observation image. In addition, when calculating the average value of the height images of the third region for alignment in the height direction, the measurement reliability of both from the reliability image of the first composite image and the reliability image of the second composite image is It is also possible to select only high pixels and obtain the average value.

以上の例では、第一合成画像を比較基準画像BIとし、第二合成画像を比較対象画像RIとして、第二合成画像を第一合成画像と一致させるようにパターンマッチングやエッジ検出で移動、回転させる手順を説明した。ただ、これとは逆に第二合成画像(比較対象画像RI)側を固定して、第一合成画像(比較基準画像BI)側を移動、回転させることも可能であることはいうまでもない。また、合成画像でなく、高さ画像や観察画像を組み合わせ又は単独で用いることも可能である。さらに第一合成画像、第二合成画像のいずれも、新たに撮像する他、予め撮像された合成画像データを三次元画像計測プログラムで読み込む形態とすることもできる。
(比較計測の詳細)
In the above example, the first composite image is the comparison reference image BI, the second composite image is the comparison target image RI, and the second composite image is moved or rotated by pattern matching or edge detection so as to match the first composite image. I explained the procedure. However, on the contrary, it is needless to say that the second composite image (comparison target image RI) side can be fixed and the first composite image (comparison reference image BI) side can be moved and rotated. . Moreover, it is also possible to use a height image and an observation image in combination or independently instead of a composite image. Furthermore, both the first composite image and the second composite image can be taken in a new form, and the pre-captured composite image data can be read by a three-dimensional image measurement program.
(Details of comparative measurement)

以上のようにして、比較基準画像BIと比較対象画像RIの位置合わせが行われると、比較計測に際して2つの画像上の対応する部位を簡単に計測することが可能となる。ここで、比較計測の詳細を、図32等に基づいて説明する。この図に示す比較計測画面540には、中央に高さ画像や観察画像を表示させるための画像表示領域410を設け、その右側には各種操作を行うための操作領域420を、また左側には測定結果を表示するための結果表示領域510を、それぞれ設けている。また画像表示領域410内には、その上段に、比較基準画像BIを表示させるための比較基準画像表示領域542と、比較対象画像RIを表示させるための比較対象画像表示領域543とを、それぞれ設けている。また下段には、画像表示領域410で設定したプロファイル線PLと対応するプロファイルグラフPIを表示するためのプロファイルグラフ表示領域514を設けている。図32の例では、左側の比較基準画像BIの姿勢と一致させるように、右側の比較対象画像RIを位置合わせ手段215で位置合わせさせた状態を示している。
(倍率連動機能)
As described above, when the alignment of the comparison reference image BI and the comparison target image RI is performed, it is possible to easily measure corresponding portions on the two images in the comparative measurement. Here, details of the comparative measurement will be described with reference to FIG. The comparison measurement screen 540 shown in this figure has an image display area 410 for displaying a height image and an observation image in the center, an operation area 420 for performing various operations on the right side, and a left side. A result display area 510 for displaying the measurement result is provided. In addition, in the image display area 410, a comparison reference image display area 542 for displaying the comparison reference image BI and a comparison target image display area 543 for displaying the comparison target image RI are provided in the upper stage. ing. In the lower row, a profile graph display area 514 for displaying a profile graph PI corresponding to the profile line PL set in the image display area 410 is provided. The example of FIG. 32 shows a state in which the right comparison target image RI is aligned by the alignment unit 215 so as to match the posture of the left comparison reference image BI.
(Magnification interlock function)

画像表示領域410で表示される画像の倍率は、撮像手段100の倍率やデジタルズームの性能の範囲内で自由に変更できる。また図1に示す計測顕微鏡装置は倍率連動手段216を備えており、比較基準画像BIと比較対象画像RIの一方の表示倍率を変更させると、他方の画像でも同様の倍率変更を連動して行わせることができる。これにより、2つの画像を位置合わせした状態で、常に同じ倍率で表示させることが可能となり、比較観察に便利となる。また倍率連動機能は、ON/OFFを切り替えることもでき、OFF状態とすることで各画像の倍率を個別に設定でき、用途に応じて連動と非連動を切り替えることが可能となる。
(表示位置連動機能)
The magnification of the image displayed in the image display area 410 can be freely changed within the range of the magnification of the imaging means 100 and the performance of the digital zoom. The measurement microscope apparatus shown in FIG. 1 includes a magnification interlocking unit 216. When one display magnification of the comparison reference image BI and the comparison target image RI is changed, the same magnification change is performed in conjunction with the other image. Can be made. This makes it possible to always display the two images at the same magnification in the aligned state, which is convenient for comparative observation. In addition, the magnification interlocking function can be switched ON / OFF, and by setting it to the OFF state, the magnification of each image can be individually set, and it is possible to switch between interlocking and non-interlocking according to the application.
(Display position interlock function)

また画像表示領域410で表示される画像の表示位置は、任意の位置や姿勢に変更できる。例えば画像表示領域410でマウスカーソルをドラッグして、XY平面を任意の位置に移動できる。また合成画像STや高さ画像などの三次元画像は、姿勢や視点をマウスドラッグにより変更させることもできる。さらに計測顕微鏡装置は、表示位置連動手段217も備えている。表示位置連動手段217は、比較基準画像BIと比較対象画像RIの表示位置をいずれか一方の画像で変更すると、これに連動させて他方の画像の表示位置も自動で追従可能とする。これにより、一方の画像の表示位置を変更しても、他方の画像でも常に同じ部位を表示させることが可能となり、比較観察に便利となる。さらに表示位置連動機能も、ON/OFFを切り替えることができ、OFF状態とすることで各画像の表示位置を個別に設定することもでき、用途に応じて連動と非連動を容易に切り替え可能としている。
(透過度調整機能)
The display position of the image displayed in the image display area 410 can be changed to an arbitrary position or posture. For example, the XY plane can be moved to an arbitrary position by dragging the mouse cursor in the image display area 410. In addition, the posture and viewpoint of the three-dimensional image such as the composite image ST and the height image can be changed by dragging the mouse. Furthermore, the measurement microscope apparatus also includes display position interlocking means 217. When the display position interlocking means 217 changes the display position of the comparison reference image BI and the comparison target image RI in any one of the images, the display position of the other image can be automatically followed in conjunction with this change. Thereby, even if the display position of one image is changed, it is possible to always display the same part in the other image, which is convenient for comparative observation. Furthermore, the display position interlocking function can also be switched ON / OFF, and the display position of each image can be set individually by setting it to the OFF state, making it easy to switch between interlocking and non-interlocking according to the application. Yes.
(Transparency adjustment function)

さらに、画像表示領域410において比較基準画像BIと比較対象画像RIとを重ね合わせて表示させることもできる。この際、一方又は両方の画像を半透明で表示させ、その透過率を変更させる透過度調整機能を備えることで、何れかの画像を強調して表示でき、画像間の差分を視覚的に確認し易くできる。また差分のみならず、位置合わせが不十分な場合の位置ずれも明確となり、手動による位置合わせの微調整にも資することができる。
(線連動切替機能)
Further, the comparison reference image BI and the comparison target image RI can be displayed in an overlapping manner in the image display area 410. At this time, one or both images can be displayed semi-transparently and equipped with a transparency adjustment function that changes the transmittance, so that either image can be highlighted and displayed, and the difference between the images can be visually confirmed. Easy to do. Further, not only the difference but also the positional deviation when the alignment is insufficient is clarified, which can contribute to fine adjustment of the manual alignment.
(Line interlock switching function)

また比較計測において、比較基準、比較対象の各データ上に引くプロファイル線PLは、同じ位置に配置する連動状態と、異なる位置に配置可能な非連動状態とを切り替えることができる。連動と非連動又は同期と非同期の切り替えを行う線連動切替手段の一形態として、図32の比較計測画面540では操作領域420の中段に設けられた「プロファイル線連動」欄544を設けている。この「プロファイル線連動」欄544をチェックすることで、プロファイル線PLが連動され、クリアすることで非連動となる。   Further, in the comparative measurement, the profile line PL drawn on the comparison reference and comparison target data can be switched between an interlocking state arranged at the same position and a non-interlocking state capable of being arranged at different positions. As one form of line interlock switching means for switching between interlocking and non-interlocking or synchronous and asynchronous, a “profile line interlocking” column 544 provided in the middle of the operation area 420 is provided in the comparative measurement screen 540 of FIG. By checking the “profile line interlock” column 544, the profile line PL is interlocked, and when it is cleared, it is not interlocked.

図35にプロファイル線PLを連動させた比較計測画面540の例、図36にプロファイル線PLを非連動とした比較計測画面540の例を、それぞれ示す。線連動切替機能をONさせてプロファイル線PLを連動させる場合は、予め比較基準画像、比較対象画像の各データを位置合わせ手段215でパターンマッチング等によって位置合わせしておくことにより、対応する部位の断面形状を比較できる。例えば図35のプロファイルグラフ表示領域514において、比較基準画像BI、比較対象画像RIのそれぞれで得られたプロファイルグラフを重ねて表示させることで、その差分を際立たせることができる。一方、線連動切替機能をOFFとして非連動とした場合は、例えばデータ上に同じパターンの形状が繰り返し現れるような場合に、比較基準画像BI、比較対象画像RIの各データ上で異なる位置を個別に指定することで、異なる部分同士の断面比較が可能となる。   FIG. 35 shows an example of the comparative measurement screen 540 in which the profile line PL is linked, and FIG. 36 shows an example of the comparative measurement screen 540 in which the profile line PL is not linked. When the line link switching function is turned on and the profile line PL is linked, the data of the comparison reference image and the comparison target image are aligned in advance by the pattern matching or the like by the alignment unit 215, so that Cross-sectional shapes can be compared. For example, in the profile graph display area 514 of FIG. 35, the profile graphs obtained from the comparison reference image BI and the comparison target image RI are displayed in an overlapping manner, whereby the difference can be highlighted. On the other hand, when the line interlock switching function is set to OFF and non-interlocking is performed, for example, when the same pattern shape repeatedly appears on the data, different positions on the comparison reference image BI and the comparison target image RI are individually set. It becomes possible to compare the cross-sections of different parts.

なお比較計測においては、比較基準画像、比較対象画像を共に撮像する他、予め一方の画像又は両方の画像を撮像し保存しておき、比較計測時にこれらを三次元画像計測プログラムで読み込んで利用することも可能であることはいうまでもない。   In the comparative measurement, in addition to capturing both the comparison reference image and the comparison target image, one image or both images are captured and stored in advance, and these are read and used by the three-dimensional image measurement program during the comparative measurement. It goes without saying that it is possible.

なお本明細書において比較基準画像、比較対象画像とは、高さ画像、観察画像、又はこれらを合成した三次元の合成画像を含む意味で使用する。
(プロファイルグラフ着色機能)
In this specification, the comparison reference image and the comparison target image are used to include a height image, an observation image, or a three-dimensional synthesized image obtained by synthesizing these images.
(Profile graph coloring function)

また比較計測においては、上述の通り三次元の高さ画像や合成画像を立体的に表示させることもできる。例えば図37に示すように、画像表示領域410内の左側に比較基準画像BIとなる高さ画像SH、右側に比較対象画像RIとなる高さ画像SHを、一定高さ毎に異なる色に着色させた等高線状に表示させている。比較対象画像RIは、自動位置合わせ機能によって比較基準画像BIと同じ姿勢に位置合わせさせて、並べて表示させている。この状態で線連動切替手段をONさせて、プロファイル線PLを共通の位置に配置している。また画像表示領域410内の下段側に設けられたプロファイルグラフ表示領域514には、比較基準画像BI、比較対象画像RIのプロファイルグラフPIを重ねて表示させている。この際に、比較基準画像BIと比較対象画像RIを区別できるよう、各プロファイルグラフPIは異なる態様で表示させることが好ましい。図37の例では、このようなプロファイルグラフ着色機能によって、比較基準画像BIのプロファイルグラフPIを水色、比較対象画像RIを黄色で、それぞれ表示させている。これにより、プロファイルグラフPIの差分を確認することができる。
(差分ハイライト機能)
In the comparative measurement, as described above, a three-dimensional height image and a composite image can be displayed in a three-dimensional manner. For example, as shown in FIG. 37, the height image SH that becomes the comparison reference image BI on the left side in the image display area 410 and the height image SH that becomes the comparison target image RI on the right side are colored in different colors for each fixed height. It is displayed in the contour line. The comparison target image RI is aligned and displayed in the same posture as the comparison reference image BI by the automatic alignment function. In this state, the line interlock switching means is turned on and the profile line PL is arranged at a common position. Further, the profile graph display area 514 provided on the lower side in the image display area 410 displays the profile graph PI of the comparison reference image BI and the comparison target image RI in an overlapping manner. At this time, it is preferable to display each profile graph PI in a different manner so that the comparison reference image BI and the comparison target image RI can be distinguished. In the example of FIG. 37, the profile graph PI of the comparison reference image BI is displayed in light blue and the comparison target image RI is displayed in yellow by such a profile graph coloring function. Thereby, the difference of the profile graph PI can be confirmed.
(Difference highlight function)

また、差分を視覚的に捉えやすくするため、差分の領域に着色させることもできる。このような差分ハイライト機能は、差分の領域を自動的に演算して、他と異なる態様にハイライトして表示させる。また、差分の内、増分と減分とを異なる態様でハイライトさせることもできる。図37の例では、比較基準画像BIを基準として、増分を赤色に、減分を紫色に、それぞれ着色して表示させている。
(プロファイル面表示機能)
Also, in order to make it easier to visually grasp the difference, the difference region can be colored. Such a difference highlight function automatically calculates a difference area and highlights and displays it in a different manner. Also, among the differences, the increment and decrement can be highlighted in different ways. In the example of FIG. 37, the increment is displayed in red and the decrement is displayed in purple with the comparison reference image BI as a reference.
(Profile display function)

さらに画像表示領域410の表示を高さ画像SHから合成画像STに切り替えることも可能である。図37の高さ画像SHを合成画像STに切り替えた様子を図38に示す。合成画像STは、任意の姿勢や角度に回転させて表示させることができる。またこの際、合成画像STをプロファイル線PLで切断した断面の輪郭形状を立体的に表示させることもできる。このようなプロファイル面表示機能によって、図37に示すような、単に高さ画像表示領域513においてプロファイル線PLに沿ったプロファイル形状を重ねて表示させるのでなく、図38に示すように合成画像表示領域512においてプロファイル線PLに沿ったプロファイル形状を断面として直接的に表示することで、より視覚的に断面の様子を表現することができる。図38の例では、図37で設定されたプロファイル線PLに沿ったプロファイル形状が見易い姿勢に、合成画像STを回転させて表示させている。このように三次元の画像データの表示を任意の姿勢や角度に変更できることで、プロファイル形状の確認作業も様々な姿勢から確認、把握し易くできる。   Further, the display of the image display area 410 can be switched from the height image SH to the composite image ST. FIG. 38 shows a state in which the height image SH in FIG. 37 is switched to the composite image ST. The composite image ST can be rotated and displayed in an arbitrary posture or angle. At this time, the contour shape of the cross section obtained by cutting the composite image ST along the profile line PL can be displayed three-dimensionally. With such a profile surface display function, the profile shape along the profile line PL is not simply displayed so as to overlap in the height image display region 513 as shown in FIG. 37, but the composite image display region as shown in FIG. By directly displaying the profile shape along the profile line PL in 512 as a cross section, the state of the cross section can be expressed more visually. In the example of FIG. 38, the composite image ST is rotated and displayed in a posture in which the profile shape along the profile line PL set in FIG. 37 is easy to see. Since the display of the three-dimensional image data can be changed to an arbitrary posture and angle as described above, the profile shape confirmation work can be easily confirmed and grasped from various postures.

またプロファイル線PLは、合成画像表示領域512上(或いは図37の高さ画像表示領域513上)でプロファイル線PLの両端に表示されるポイントPTの一方をドラッグして延長、縮小したり、任意の位置に変更することも可能である。プロファイル線PLの変更に応じて、下段のプロファイルグラフ表示領域514におけるプロファイルグラフPIの表示内容もリアルタイムに更新される。さらに画像表示領域410の左側に設けられた結果表示領域510における測定結果も、同様に更新される。さらにまた線連動切替手段をONしている場合は、一方の合成画像ST(又は高さ画像)のプロファイル線PLの変更に応じて、他方の合成画像ST等のプロファイル線PLの位置も連動して変更される。なお、以上の例では画像表示領域410の左右に合成画像ST同士、又は高さ画像同士を表示させた例を示しているが、必ずしもこの態様に限られるものでなく、一方を合成画像、他方を高さ画像あるいは観察画像で表示させるなど、画像の種類を任意の組み合わせで表示させるようにすることもできる。
(比較計測の手順)
The profile line PL can be extended or reduced by dragging one of the points PT displayed on both ends of the profile line PL on the composite image display area 512 (or on the height image display area 513 in FIG. 37). It is also possible to change to the position. In accordance with the change of the profile line PL, the display content of the profile graph PI in the lower profile graph display area 514 is also updated in real time. Further, the measurement result in the result display area 510 provided on the left side of the image display area 410 is updated in the same manner. Further, when the line interlock switching means is ON, the position of the profile line PL of the other composite image ST etc. is also interlocked with the change of the profile line PL of one composite image ST (or height image). Changed. In the above example, the composite images ST or height images are displayed on the left and right sides of the image display area 410. However, the present invention is not necessarily limited to this mode, and one of the composite images ST and the other is displayed. It is also possible to display the image types in any combination, such as displaying a height image or an observation image.
(Comparison measurement procedure)

ここで、比較計測を行う手順の一例として、プロファイルグラフPIに基づく計測を行う手順を、図39のフローチャートに示す。ここでは、予め三次元画像計測プログラムが起動しているものとする。まずステップS3901で比較基準画像BIを指定する。ここでは、比較の基準となる合成画像データのファイルをユーザが指定して開く。次にステップS3902で比較計測の開始を指示する。例えば、図46に示す三次元画像測定プログラムの機能ガイド606において「比較計測」ボタン606を押下する。これにより比較計測の画面に遷移する(ステップS3903)。すなわち、図32等に示す三次元画像計測プログラムが起動される。なお、三次元画像計測プログラムのツールバーに設けられた「観察アプリへ」ボタン451を押下すると、計測顕微鏡装置操作プログラムに戻ることができる。   Here, as an example of the procedure for performing the comparative measurement, the procedure for performing the measurement based on the profile graph PI is shown in the flowchart of FIG. Here, it is assumed that the three-dimensional image measurement program is activated in advance. First, in step S3901, the comparison reference image BI is designated. Here, the user designates and opens a synthetic image data file which is a reference for comparison. In step S3902, the start of comparative measurement is instructed. For example, the “comparison measurement” button 606 is pressed in the function guide 606 of the three-dimensional image measurement program shown in FIG. Thereby, a transition is made to the comparative measurement screen (step S3903). That is, the three-dimensional image measurement program shown in FIG. Note that when the “To Observation App” button 451 provided on the toolbar of the 3D image measurement program is pressed, the measurement microscope apparatus operation program can be returned to.

次にステップS3904で、比較対象画像RIの指定と位置合わせ処理を行う。ここでは、予め撮像され保存された比較対象画像データを読み込む。あるいは、計測顕微鏡装置操作プログラムで撮像した比較対象画像データを、三次元画像計測プログラムに転送してもよい。例えば、上述した計測顕微鏡装置において比較対象画像を測定後、図25に示す「解析アプリで開く」ボタン485を押下すると、現在表示中のデータを三次元画像計測プログラムに送った上で比較対象画像RIとして指定させることができる。   In step S3904, the comparison target image RI is designated and aligned. Here, the comparison target image data that has been captured and stored in advance is read. Or you may transfer the comparison object image data imaged with the measurement microscope apparatus operation program to a three-dimensional image measurement program. For example, after the comparison target image is measured in the above-described measurement microscope apparatus, when the “Open with analysis application” button 485 shown in FIG. 25 is pressed, the currently displayed data is sent to the three-dimensional image measurement program and then the comparison target image It can be designated as RI.

次にステップS3905において、比較基準画像BIと比較対象画像RIを並べて画像表示領域410に表示させる。その上でステップS3906において、比較基準画像BI又は比較対象画像RI上にプロファイル線PLを配置する。さらにステップS3907において、比較基準画像BIと比較対象画像RIのプロファイルグラフPIを、プロファイルグラフ表示領域514に重ねて表示させる。次にステップS3908において、比較基準画像BIと比較対象画像RIのプロファイルグラフPIの位置関係を、必要に応じて微調整する。そしてステップS3909において、プロファイルグラフPI上で任意の計測を実行する。最後にステップS3910において、別の位置にプロファイル線PLを追加するか否かを判定し、追加しない場合は比較計測を終了し、追加する場合はステップS3906に戻って処理を繰り返す。以上のようにして、比較計測が行われる。   In step S3905, the comparison reference image BI and the comparison target image RI are displayed side by side in the image display area 410. In step S3906, the profile line PL is arranged on the comparison reference image BI or the comparison target image RI. Further, in step S3907, the profile graph PI of the comparison reference image BI and the comparison target image RI is displayed so as to overlap the profile graph display area 514. In step S3908, the positional relationship between the profile graph PI of the comparison reference image BI and the comparison target image RI is finely adjusted as necessary. In step S3909, arbitrary measurement is executed on the profile graph PI. Finally, in step S3910, it is determined whether or not the profile line PL is to be added to another position. If not added, the comparative measurement is terminated. If added, the process returns to step S3906 to repeat the process. The comparative measurement is performed as described above.

また、図39のステップ3904における比較対象画像RIの指定と位置合わせを行う工程の詳細を、図40のフローチャートに示す。まず、比較対象画像RIの選択と位置合わせを行う画面に遷移する(ステップS4001)。そしてこの画面から、比較対象画像データを指定する(ステップS4002)。これにより比較対象画像データが三次元画像計測プログラムに読み込まれる(ステップS4003)。次に比較基準画像BIと比較対象画像RIの観察画像を、画像表示領域410において重ね合わせて表示させる(ステップS4004)。そして位置が合っている場合は位置合わせ処理を終了し、位置が合っていない場合は位置合わせを自動で行うか否かを選択する(ステップS4006)。手動で行う場合はステップS4008に進み、自動で行う場合はステップS4007において、自動位置合わせを実行するための所定の領域処理指定を行い、ステップS4004に戻る。一方、手動で位置合わせを行う場合はステップS4008において、手動位置合わせ用のGUI画面を表示させる(ステップS4008)。そしてXYZ方向、θ方向の移動量をユーザが数値やボタン操作により指定する(ステップS4009)。終了後、同じくステップS4004に戻る。以上のようにして、比較対象画像RIの指定と位置合わせが実行される。   The details of the process of specifying and aligning the comparison target image RI in step 3904 of FIG. 39 are shown in the flowchart of FIG. First, a transition is made to a screen for selecting and aligning the comparison target image RI (step S4001). Then, the comparison target image data is designated from this screen (step S4002). As a result, the comparison target image data is read into the three-dimensional image measurement program (step S4003). Next, the observation images of the comparison reference image BI and the comparison target image RI are displayed in a superimposed manner in the image display area 410 (step S4004). If the position is correct, the alignment process is terminated. If the position is not correct, it is selected whether or not the alignment is automatically performed (step S4006). If it is manually performed, the process proceeds to step S4008. If it is automatically performed, in step S4007, a predetermined area process is designated for performing automatic alignment, and the process returns to step S4004. On the other hand, when performing manual alignment, in step S4008, a GUI screen for manual alignment is displayed (step S4008). Then, the user specifies the amount of movement in the XYZ direction and θ direction by numerical values and button operations (step S4009). After the end, the process returns to step S4004. As described above, the comparison target image RI is designated and aligned.

さらに、図40のステップS4007における自動位置合わせのための領域指定処理の詳細を、図41のフローチャートに示す。この例ではパターンマッチングによる自動位置合わせの例を示す。まず、領域指定画面に遷移し、比較基準画像BIを表示させる(ステップS4101)。次にパターンマッチングを行う領域を、比較基準画像BI上に指定し(ステップS4102)、自動位置合わせの実行を指示する(ステップS4103)。これに従い、三次元画像計測プログラムが観察画像を用いてパターンマッチングを行い、XY方向、及び回転角θに対する位置合わせがなされる(ステップS4104)。次に高さ画像の高さ方向の平均値が等しくなるように、高さ方向にオフセット移動させる(ステップS4105)。以上のようにして、自動位置合わせのための領域指定処理が行われる。
(テンプレート)
Furthermore, the details of the area designation processing for automatic alignment in step S4007 of FIG. 40 are shown in the flowchart of FIG. In this example, an example of automatic alignment by pattern matching is shown. First, the screen changes to the area designation screen, and the comparison reference image BI is displayed (step S4101). Next, an area for pattern matching is designated on the comparison reference image BI (step S4102), and execution of automatic alignment is instructed (step S4103). In accordance with this, the three-dimensional image measurement program performs pattern matching using the observation image, and alignment with respect to the XY direction and the rotation angle θ is performed (step S4104). Next, offset movement is performed in the height direction so that the average values in the height direction of the height images are equal (step S4105). As described above, the area designation process for automatic alignment is performed.
(template)

次に、テンプレート生成機能について説明する。ものづくりに求められる精度や複雑さが増すにつれ、部品等の対象物の様子を単に拡大して観察したり、画像を保存したり、画像上で様々な二次元寸法計測をしたりするだけでは不足する場面が近年増えてきつつある。簡単な観察や二次元寸法計測だけであれば、従来はユーザが目で覗く実体顕微鏡等が良く使われていたが、近年は目の代わりにカメラで対象物の画像を捉え、表示部400に表示して観察、画像保存、寸法計測を効率よく行える、いわゆるデジタルマイクロスコープが良く使われるようになってきている。   Next, the template generation function will be described. As the precision and complexity required for manufacturing increases, it is not enough to simply enlarge and observe the state of objects such as parts, save images, and perform various two-dimensional measurement on images. In recent years, the number of scenes has increased. For simple observation and two-dimensional measurement only, a stereomicroscope or the like that the user looks into with eyes has been used in the past. So-called digital microscopes, which can display and perform observation, image storage, and dimensional measurement efficiently, are becoming popular.

一方、二次元寸法計測だけでは不足するような場面では、接触式や非接触式の様々な三次元計測装置が提案され、実用化され、実際に使用されているが、顕微鏡やデジタルマイクロスコープと比較して、その操作方法は相対的に難しく、使用者にある程度の熟練を要求するものが少なくない。三次元計測にあまり馴染みのないユーザにとっては、対象物の合成画像を取得して、目的とする解析や寸法計測を行い、最終出力としてのレポート作成をするところまでをいかに簡単に、いかに正確に実行できるかは重要である。特に同じ種類の対象物を複数計測する場合は、正確に同じ計測を繰り返せるかどうかが、さらに重要となる。   On the other hand, in situations where only two-dimensional dimension measurement is insufficient, various contact-type and non-contact-type three-dimensional measurement devices have been proposed, put into practical use, and actually used. In comparison, the operation method is relatively difficult, and many users require a certain level of skill. For users unfamiliar with 3D measurement, how to obtain a composite image of a target object, perform target analysis and dimension measurement, and create a report as the final output. It is important to be able to do it. In particular, when measuring a plurality of objects of the same type, it becomes more important whether the same measurement can be repeated accurately.

このような背景に鑑み、一度実行したデータ取得から解析・寸法計測、レポート作成までの流れを「テンプレートデータ」として記録し、自動的に再現するテンプレート生成機能を提供する。これにより、同じ種類の対象物を複数測定する場合の手間を大きく削減しながら、人手による誤差を極力排除して、正確な解析を簡単に、繰り返し行える。このようなテンプレート生成機能を備える計測顕微鏡装置を、図1のブロック図に基づいて説明する。
(テンプレート生成手段218)
In view of this background, a template generation function is provided in which a flow from once executed data acquisition to analysis / dimension measurement and report creation is recorded as “template data” and automatically reproduced. As a result, it is possible to easily and repeatedly perform accurate analysis by eliminating human error as much as possible while greatly reducing the labor for measuring a plurality of objects of the same type. A measurement microscope apparatus having such a template generation function will be described with reference to the block diagram of FIG.
(Template generation means 218)

図1に示す制御手段200は、上述の通り一時的な保存領域である作業用メモリ230と、CPU210と、記憶装置240を備えている。作業用メモリ230は、高さ画像に対して、撮像手段100による測定画像の撮像時に設定された測定画像撮像条件を一時的に保持する一時保存領域として機能する。このような作業用メモリ230には、RAM等が好適に利用できる。またCPU210は、作業用メモリ230に保持された測定画像撮像条件を、テンプレートとして保存するためのテンプレート生成手段218として機能する。さらに記憶装置240は、テンプレート生成手段218で生成されたテンプレートを保存するテンプレート記憶手段として機能する。   The control means 200 shown in FIG. 1 includes a working memory 230, which is a temporary storage area, a CPU 210, and a storage device 240 as described above. The work memory 230 functions as a temporary storage area that temporarily holds the measurement image capturing condition set when the measurement image is captured by the imaging unit 100 with respect to the height image. As such a working memory 230, a RAM or the like can be suitably used. Further, the CPU 210 functions as a template generation unit 218 for storing the measurement image capturing condition held in the work memory 230 as a template. Further, the storage device 240 functions as a template storage unit that stores the template generated by the template generation unit 218.

テンプレート生成手段は、計測ツール指定手段で指定された平面計測ツール及び高さ計測ツール、位置合わせ画像登録手段で登録された位置合わせ用画像、及び相対位置記憶手段に記憶された相対位置情報を、テンプレートとして保存する。   The template generation means includes the planar measurement tool and height measurement tool specified by the measurement tool specifying means, the alignment image registered by the alignment image registration means, and the relative position information stored in the relative position storage means. Save as a template.

テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する操作は、例えばユーザが所望のタイミングでテンプレートを保存する指示を入力して行われる。例えば計測顕微鏡装置操作プログラムや三次元画像計測プログラムの画面から「テンプレートとして保存」ボタンを押下するなどしてテンプレート保存命令を実行すると、テンプレートを保存するダイヤログを表示させて、テンプレートに所望の名前を付けて保存させる。あるいは、所定のタイミングで制御手段200が自動的にテンプレートを一時的に、或いは恒久的に保存することもできる。例えば一定の時間毎に、それまでの作業をテンプレートとして仮に登録したり、あるいは保存のタイミングにおける日時などをテンプレートファイル名として、テンプレート記憶手段である記憶装置240にデータ保存することもできる。   The operation of saving the template generated by the template generation unit 218 in the template storage unit is performed, for example, by the user inputting an instruction to save the template at a desired timing. For example, when a template save command is executed by pressing the “Save as template” button on the screen of the measurement microscope device operation program or the 3D image measurement program, a dialog for saving the template is displayed and a desired name is given to the template. Save with. Alternatively, the control unit 200 can automatically save the template temporarily or permanently at a predetermined timing. For example, the work up to that time can be temporarily registered as a template at regular intervals, or the date and time at the timing of storage can be stored as a template file name in the storage device 240 serving as a template storage unit.

テンプレート生成手段218がテンプレートを生成するには、例えば測定画像を撮像した際の測定画像撮像条件を、一時保存領域である作業用メモリ230に保持しておく。そして、テンプレート保存命令が発せられると、テンプレート生成手段218はその時点で作業用メモリに保持されている測定画像撮像条件を読み出して、テンプレートを生成して記憶装置240に保存する。例えばユーザが、現在表示部400に表示されている対象物の高さ画像SHに対して、テンプレート保存を望み、「テンプレートとして保存」ボタンを押下すると、この高さ画像SHのもととなった測定画像を撮像した際の測定画像撮像条件がテンプレートとして生成されて保存される。そしてユーザは、後日似たような対象物に対して、同じ測定画像撮像条件に基づく高さ画像の取得を望む場合、後述するテンプレート呼出手段219を用いて、保存済みのテンプレートを選択する。これにより、選択されたテンプレートに保存されていた測定画像撮像条件に、計測顕微鏡装置は自動的に設定され、ユーザは同じ条件で測定画像を取得できる。   In order for the template generating means 218 to generate a template, for example, the measurement image capturing condition when the measurement image is captured is held in the work memory 230 which is a temporary storage area. When a template storage command is issued, the template generation unit 218 reads out the measurement image capturing conditions currently held in the work memory, generates a template, and stores the template in the storage device 240. For example, when the user desires to save a template for the height image SH of the object currently displayed on the display unit 400 and presses the “Save as template” button, the height image SH is generated. The measurement image capturing condition when the measurement image is captured is generated and stored as a template. When the user wishes to obtain a height image based on the same measurement image capturing condition for a similar object at a later date, the user selects a saved template using a template calling unit 219 described later. Thereby, the measurement microscope apparatus is automatically set to the measurement image capturing condition stored in the selected template, and the user can acquire the measurement image under the same condition.

さらに、テンプレート保存時には、位置合わせ用画像を基準として、平面計測ツールと高さ計測ツールの相対位置が保存される。すなわち、位置合わせ用画像に対する、平面計測ツールの平面方向の相対位置情報と、同じく位置合わせ用画像に対する、高さ計測ツールの平面方向及び高さ方向の相対位置情報とが、相対位置記憶手段に記憶される。これによって、位置合わせ用画像の位置を手掛かりとして、計測処理を行った計測対象領域又は計測対象領域内で抽出された計測対象要素の相対的な位置情報を、新たに入力された画像に対しても再現することができる。なお、ここでは位置合わせ用画像を基準として、平面計測ツール及び高さ計測ツールの相対位置を再現する方法を説明したが、平面計測ツール及び高さ計測ツールの位置を特定する方法は、この方法に限られるものでない。例えば、高さ計測ツールで指定した基準によって検出された要素の位置自体を基準として、他の高さ計測ツールや平面計測ツールの位置を再現することもできる。
(テンプレート呼出手段219)
Furthermore, at the time of saving the template, the relative positions of the planar measurement tool and the height measurement tool are stored with reference to the alignment image. That is, the relative position information in the planar direction of the planar measurement tool for the alignment image and the relative position information in the planar direction and the height direction of the height measurement tool for the alignment image are stored in the relative position storage means. Remembered. As a result, using the position of the image for alignment as a clue, the relative position information of the measurement target region that has been subjected to the measurement process or the measurement target element that is extracted within the measurement target region is obtained with respect to the newly input image. Can also be reproduced. Here, the method for reproducing the relative positions of the plane measurement tool and the height measurement tool on the basis of the alignment image has been described. However, the method for specifying the positions of the plane measurement tool and the height measurement tool is described in this method. It is not limited to. For example, the positions of other height measurement tools and planar measurement tools can be reproduced with reference to the position of the element itself detected by the reference specified by the height measurement tool.
(Template calling means 219)

さらにテンプレート呼出手段219を備えることもできる。テンプレート呼出手段219は、テンプレート記憶手段に保存された一以上のテンプレート中から、所望のテンプレートを選択させるようユーザに促すための手段である。またテンプレート呼出手段は、新たに取得された高さ画像に対して、選択されたテンプレートに保存された位置合わせ用画像による平面方向の位置合わせを行うことにより、平面計測ツール及び高さ計測ツールの平面方向の配置位置を決定し、又は位置合わせ用画像による高さ方向の位置合わせを行うことにより、高さ計測ツールの高さ方向の配置位置を決定する。テンプレート呼出手段219でテンプレートを選択すると、この選択されたテンプレートに含まれる測定画像撮像条件に、測定光投光手段を設定することができる。このような構成により、高さ画像を取得した際、高さ画像や測定画像そのものよりも、測定画像撮像条件をテンプレートとして保存し、次回の取得時に呼び出して利用できるようになり、同じ測定画像撮像条件を設定する作業が極めて容易となる。
(測定画像撮像条件)
Further, template calling means 219 can be provided. The template calling unit 219 is a unit for prompting the user to select a desired template from one or more templates stored in the template storage unit. Further, the template calling means performs alignment of the plane measurement tool and the height measurement tool by aligning the newly acquired height image with the alignment image stored in the selected template. The arrangement position in the height direction of the height measurement tool is determined by determining the arrangement position in the plane direction or by performing alignment in the height direction using the alignment image. When a template is selected by the template calling unit 219, the measurement light projecting unit can be set to the measurement image capturing condition included in the selected template. With this configuration, when a height image is acquired, the measurement image imaging conditions can be saved as a template rather than the height image or the measurement image itself, and can be recalled and used at the next acquisition. The work of setting conditions becomes extremely easy.
(Measurement image capturing conditions)

テンプレート生成手段218は、測定画像撮像条件をテンプレートとして保持する。測定画像撮像条件には、例えば対象物を測定光投光手段で撮像した際の、第一測定光投光手段又は第二測定光投光手段のいずれか又は両方の使用の有無、測定画像の明るさ、対象物の姿勢(例えばステージ140のXYZ座標や回転角、傾斜角)等が挙げられる。これらのすべて或いは一部を、テンプレート生成手段218でテンプレートとして登録しておくことにより、後日別の対象物の測定時にこれを呼び出して再利用でき、面倒な測定画像撮像条件を一々設定する手間を省ける。特に、測定画像撮像条件を構成する具体的な測定画像撮像パラメータを一々記憶、或いはメモしておく必要も無ければ、これらを参照しながら個別に再度設定する必要も無く、また設定ミスも回避して、以前の測定画像を撮像したときの条件を正確に再現できるため、省力化と測定ミス防止による信頼性の向上に大きく資することができる。特に、観察画像の撮像や従来の大型の高さ画像では、照明光の方向がある程度決まっているか、あるいは全方向から照明するような構成であることから、照明光の撮像条件が判明していなくとも、同様の画像を撮像することはそれ程困難でない。これに対して、三角測距に基づいて取得する高さ画像においては、測定光の条件によって得られる高さ画像の印象が大きく異なる。このため、得られた高さ画像のみを頼りに、同じような見え方の高さ画像を後日撮像しようとして、測定画像撮像条件を設定することは極めて困難となる。そこで、特に測定光投光手段の方向や角度に関する条件、例えば第一測定光投光手段又は第二測定光投光手段の別(すなわち測定光の投光される方向)や対象物の姿勢などを保存しておくことは極めて重要となる。その一方で、撮像時にはユーザが所望の画像を得るために様々に条件を変化させながら試行錯誤で最適な撮像条件を探していくため、撮像条件を変更する度に一々撮像条件を記録するようメモを取る必要が生じる上、記録すべき項目も測定光の角度や光量、ステージ140のXYZ座標や回転角、傾斜角等多岐に渡るため、作業が極めて煩雑となる。また、メモを取る際に誤記を生じたり、あるいはメモを後日の計測のために保存、管理する作業も手間となる。このような煩雑さを解消するため、ユーザが指定したタイミングで、その時点で得られている測定画像の撮像条件を自動的に書き出して、パラメータとして保存することで、このような作業を極めて簡素化できる。
(観察画像撮像条件)
The template generation unit 218 holds the measurement image capturing condition as a template. The measurement image imaging conditions include, for example, whether or not one or both of the first measurement light projection unit and the second measurement light projection unit are used when an object is imaged by the measurement light projection unit, The brightness, the posture of the object (for example, the XYZ coordinates, rotation angle, and tilt angle of the stage 140) are included. By registering all or a part of these as templates in the template generation means 218, it can be recalled and reused at the time of measurement of another object at a later date, and the trouble of setting up troublesome measurement image capturing conditions one by one. Save. In particular, if there is no need to memorize or take note of specific measurement image capturing parameters constituting the measurement image capturing conditions one by one, there is no need to individually set again while referring to them, and setting errors can be avoided. Thus, since the conditions when the previous measurement image was taken can be accurately reproduced, it can greatly contribute to the improvement of reliability by saving labor and preventing measurement errors. In particular, in observation image capturing and conventional large-sized height images, the direction of the illumination light is determined to some extent or the illumination light is illuminated from all directions, so the imaging conditions for the illumination light are not known. In both cases, it is not so difficult to capture a similar image. On the other hand, in the height image acquired based on the triangulation, the impression of the height image obtained by the measurement light condition is greatly different. For this reason, it is extremely difficult to set the measurement image capturing condition in an attempt to capture a similar height image at a later date using only the obtained height image. Therefore, in particular, conditions relating to the direction and angle of the measuring light projecting means, such as the first measuring light projecting means or the second measuring light projecting means (that is, the direction in which the measuring light is projected), the posture of the object, etc. It is extremely important to preserve On the other hand, during imaging, the user searches for the optimal imaging conditions by trial and error while changing the conditions in order to obtain a desired image. Therefore, the imaging conditions are recorded each time the imaging conditions are changed. In addition, the items to be recorded vary widely, such as the angle and light amount of the measurement light, the XYZ coordinates, the rotation angle, and the tilt angle of the stage 140, which makes the operation extremely complicated. In addition, an error occurs when taking a memo, or the work of storing and managing the memo for later measurement is troublesome. In order to eliminate such complications, the imaging conditions of the measurement image obtained at that time are automatically written at the timing specified by the user and saved as parameters, which makes it extremely simple. Can be
(Observed image capturing conditions)

さらにテンプレート生成手段218は、測定画像撮像条件に限らず、観察画像の撮像条件もテンプレートに含めることができる。すなわち、テンプレートとして保存された高さ画像に関する測定画像撮像条件と同一の対象物に対し、撮像手段100で観察画像を撮像した際の観察画像撮像条件を、同一のテンプレートに含めてもよい。このようにすることで、測定画像撮像条件のみならず、同一の対象物の観察画像に対しても観察画像撮像条件を記憶しておくことができ、これら観察画像と高さ画像を併用した計測作業の更なる省力化が図られる。   Furthermore, the template generation means 218 can include not only the measurement image capturing condition but also the observation image capturing condition in the template. That is, the observation image capturing condition when the imaging unit 100 captures an observation image for the same object as the measurement image capturing condition related to the height image stored as the template may be included in the same template. In this way, not only the measurement image imaging condition but also the observation image imaging condition can be stored for the observation image of the same object, and measurement using these observation image and height image in combination. Labor saving of work is achieved.

このような観察画像撮像条件としては、例えば対象物を観察用照明光源で撮像した際の、照明光の光量、ピントの位置、照明光の種別等が挙げられる。このようにすることで、観察画像の撮像条件も容易に一致させた測定が繰り返し行えるようになる。また、高さ画像の表面に観察画像をテクスチャ画像として貼り付けた三次元の合成画像も、テンプレートで保存された撮像条件に従って正確に再現できるようになる。
(計測条件)
Examples of such observation image capturing conditions include the amount of illumination light, the focus position, the type of illumination light, and the like when an object is imaged with an illumination light source for observation. By doing in this way, it becomes possible to repeat the measurement in which the imaging conditions of the observation image are easily matched. In addition, a three-dimensional composite image in which the observation image is pasted as a texture image on the surface of the height image can be accurately reproduced according to the imaging conditions stored in the template.
(Measurement conditions)

さらに加えて、テンプレート生成手段218はテンプレートに保存される情報を撮像条件に限らず、取得された高さ画像や観察画像、或いはこれらの合成画像に対して行った各種の計測に関する計測条件も含めることができる。これによって、高さ画像の取得のみならず、該高さ画像に対して行った計測処理も記憶しておくことができ、計測作業の更なる省力化が図られる。特に、高さ画像に対して自動で三次元の位置合わせを行った上で、計測を再現できるようにすることで、複雑で面倒な位置合わせや調整作業を省き、測定作業を極めて容易に行える利点が得られる。   In addition, the template generation unit 218 includes not only the imaging conditions but also the measurement conditions relating to various measurements performed on the acquired height image, observation image, or composite image thereof. be able to. As a result, not only the height image can be acquired, but also the measurement process performed on the height image can be stored, and further labor saving of the measurement work can be achieved. In particular, by automatically performing three-dimensional alignment on the height image and making it possible to reproduce the measurement, complicated and troublesome alignment and adjustment operations can be omitted, and the measurement operation can be performed very easily. Benefits are gained.

この場合も上記と同様、表示部400に表示される対象物の高さ画像に対して、計測手段214で計測処理を行う際に、各計測処理に関する計測条件を一時的に作業用メモリに保持すると共に、テンプレートの保存命令を受けてテンプレート生成手段218が、作業用メモリに保持された計測条件を、テンプレートとして保存する。また撮像条件と計測条件を同一のテンプレートに保存することで、対象物の撮像から測定までの一連の作業を自動化でき、大幅な省力化が期待できる。例えば表示部400に表示される高さ画像や合成画像STに対して、計測手段214で様々な計測を行った後、テンプレートとして保存することで、この時点までに行った作業、すなわち高さ画像や観察画像の取得、各画像に対して行う計測の項目や、この計測を行うための位置や領域の指定等の条件を、テンプレートとして保存できる。これにより、全く同一の条件で画像の撮像条件から計測条件の設定までを自動化させることができる。   Also in this case, as described above, when the measurement unit 214 performs measurement processing on the height image of the object displayed on the display unit 400, the measurement conditions regarding each measurement processing are temporarily held in the work memory. At the same time, the template generation means 218 receives the template save command and saves the measurement conditions held in the work memory as a template. In addition, by storing the imaging conditions and the measurement conditions in the same template, a series of operations from imaging to measurement of the object can be automated, and significant labor savings can be expected. For example, the measurement unit 214 performs various measurements on the height image or the composite image ST displayed on the display unit 400 and then saves the template as a template. In addition, conditions such as acquisition of observation images, items for measurement performed on each image, and designation of a position and a region for performing this measurement can be stored as a template. Thereby, it is possible to automate from the imaging condition of the image to the setting of the measurement condition under exactly the same conditions.

テンプレートに保存される計測条件としては、計測手段214で行うことのできる各種の計測処理における条件である。例えば計測手段214で実行可能な計測処理としては、指定された線に沿って切断して得られる断面形状線に対して、高さ、幅、角度、円間距離、円弧、断面積のいずれかを計測するプロファイル計測、指定された領域の平均高さと、他の領域の平均高さとの差を計測する平均段差計測、指定された領域の体積又は面積を計測する体積面積計測、指定された位置同士の距離、角度、円直径、円半径、円心間距離の測定、個数カウントを計測する平面計測、指定された線に沿って切断して得られる断面形状線に対して、線粗さのパラメータを測定する線粗さ計測、指定された領域に対して、表面粗さのパラメータを測定する表面粗さ計測、2以上の画像に対してそれぞれ指定された線に沿って切断した断面形状線を比較して差分又は断面積の計測を行う比較計測等が挙げられる。これらの測定を行うに際して指定される位置や条件を、計測条件としてテンプレートに保存できる。また、上記各種測定のための前準備として実施される、各種画像処理(フィルタ)や基準面設定の情報も、合わせてテンプレートに保存できる。このようにして、高さ情報を有する高さ画像の計測作業を自動化でき、計測作業の省力化に一層寄与できる。例えば対象物上で指定した2つの所定の位置間の高度差又は傾斜角度、指定した所定の領域の面積又は体積の演算といった処理を、自動的に行えるようになる。
(テンプレート画像)
The measurement conditions stored in the template are conditions in various measurement processes that can be performed by the measurement unit 214. For example, the measurement process that can be executed by the measuring unit 214 is any one of height, width, angle, distance between circles, arc, and cross-sectional area with respect to a cross-sectional shape line obtained by cutting along a specified line. Profile measurement that measures the difference, average step measurement that measures the difference between the average height of the specified area and the average height of other areas, volume area measurement that measures the volume or area of the specified area, and the specified position Measurement of distance between each other, angle, circle diameter, circle radius, distance between circle centers, plane measurement to measure the number count, cross-sectional shape line obtained by cutting along the specified line Line roughness measurement to measure parameters, surface roughness measurement to measure surface roughness parameters for a specified area, cross-sectional shape line cut along each specified line for two or more images The difference or cross-sectional area Comparison measurement, and the like to perform. The positions and conditions specified when performing these measurements can be stored in the template as measurement conditions. Also, various image processing (filter) and reference plane setting information, which are implemented as preparations for the various measurements, can be stored together in the template. In this way, the measurement operation of the height image having the height information can be automated, which can further contribute to labor saving of the measurement operation. For example, processing such as calculating an altitude difference or an inclination angle between two predetermined positions designated on the object and an area or volume of the designated predetermined area can be automatically performed.
(Template image)

さらに、撮像条件のみならず、この撮像条件で得られた測定画像やこれに基づいて生成された高さ画像、観察画像、或いは合成画像をテンプレート画像として関連付けることもできる。そして、テンプレート呼出手段219でテンプレートを選択する際、各テンプレートと関連付けられたテンプレート画像をサムネイル表示させることで、画像を手掛かりにして所望のテンプレートを選択し易くできる。特に多数のテンプレートを保存した場合は、複数のテンプレート中から視覚的に所望のテンプレートを把握し易くできる。   Furthermore, not only the imaging conditions, but also a measurement image obtained under the imaging conditions and a height image, an observation image, or a composite image generated based on the measurement image can be associated as a template image. When a template is selected by the template calling unit 219, a template image associated with each template is displayed as a thumbnail, so that a desired template can be easily selected using the image as a clue. In particular, when a large number of templates are stored, a desired template can be easily grasped visually from a plurality of templates.

テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する際は、このテンプレートの元となった、テンプレートで規定された測定画像撮像条件で撮像された測定画像又は高さ画像、或いは観察画像撮像条件で撮像された観察画像をテンプレート画像として関連付ける。さらにテンプレート呼出手段219は、複数のテンプレートについて、各テンプレートと関連付けられたテンプレート画像を一覧表示可能に構成することが望ましい。これにより、テンプレートの選択時において、元となる高さ画像等を表示させたことで、この高さ画像を手掛かりとしてテンプレートを選択できるようになり、特に多数のテンプレートを登録している場合において、所望のテンプレートの選択作業を容易に行えるようにできる。このようにしてテンプレートに撮像や計測に関するパラメータを記憶しておくことで、同一条件での高さ画像に関する測定画像撮像条件を容易に、かつ正確に再現できる。
(レポート作成機能)
When the template generated by the template generation unit 218 is stored in the template storage unit, the measurement image, the height image, or the observation image captured under the measurement image capturing condition defined by the template, which is a source of the template. An observation image captured under imaging conditions is associated as a template image. Further, it is desirable that the template calling unit 219 is configured to display a list of template images associated with each template for a plurality of templates. Thereby, at the time of selecting a template, by displaying the original height image or the like, it becomes possible to select a template using this height image as a clue. Especially when a large number of templates are registered, It is possible to easily select a desired template. By storing parameters relating to imaging and measurement in the template in this way, it is possible to easily and accurately reproduce the measurement image imaging conditions relating to the height image under the same conditions.
(Report creation function)

さらにレポート作成手段222を備えることもできる。レポート作成手段222は、計測手段214で高さ画像に対して行った計測処理の測定結果を、この高さ画像と共に表示したレポートを自動的に作成する。またテンプレート生成手段218は、レポート作成手段222でレポートを作成するレポート作成条件をテンプレートに含めることができる。これにより、所定の計測処理をテンプレートとして実行させると共に、計測処理の結果をレポートとして表示させることで、測定結果の一覧性にも優れた測定環境が提供される。作成されたレポートの一例を、図42に示す。このようなレポートRPは、表示部400に表示させる他、印刷したりデータとして保存したりすることもできる。
(レポートの縮小画像)
Furthermore, a report creation means 222 can be provided. The report creation means 222 automatically creates a report in which the measurement result of the measurement process performed on the height image by the measurement means 214 is displayed together with the height image. Further, the template generation unit 218 can include a report creation condition for creating a report by the report creation unit 222 in the template. Thereby, while performing a predetermined measurement process as a template and displaying the result of the measurement process as a report, a measurement environment excellent in the listability of the measurement result is provided. An example of the created report is shown in FIG. Such a report RP can be displayed on the display unit 400, printed, or saved as data.
(Reduced image of the report)

さらにレポートの縮小画像を、テンプレート画像に代えてテンプレートを選択するための指標として用いることもできる。例えばテンプレート呼出手段219が、一以上のテンプレートに対して、各テンプレートに含まれるレポートを縮小した縮小画像をサムネイルとして一覧表示させる。そしてユーザに対し、サムネイルを選択させることで、このサムネイルのレポートと対応するテンプレートを選択することが可能となる。これにより、テンプレート呼出手段219から複数のテンプレートのいずれかを選択する際に、レポートの縮小画像を手掛かりとして所望のテンプレートを選択できるので、ユーザに対し各テンプレートの特徴を視覚的に表示させて選択し易くできる。   Further, the reduced image of the report can be used as an index for selecting a template instead of the template image. For example, the template calling unit 219 displays a list of reduced images obtained by reducing reports included in each template as thumbnails for one or more templates. Then, by causing the user to select a thumbnail, it is possible to select a template corresponding to the thumbnail report. As a result, when selecting one of a plurality of templates from the template calling means 219, a desired template can be selected using a reduced image of the report as a clue, so that the features of each template are visually displayed to the user for selection. Easy to do.

テンプレート呼出手段219の一例を、図43のイメージ図に示す。この例では、テンプレート呼出画面550に、各テンプレートに登録されたレポートの縮小画像をサムネイルとして表示させている。これによりユーザは、過去に行った計測の様子を視覚的に確認できるので、選択したいテンプレートを探し易くなる。また、サムネイルにレポートの縮小画像に代えて、テンプレート画像を使用しても良いことは上述の通りである。
(位置合わせ画像登録手段223)
An example of the template calling means 219 is shown in the image diagram of FIG. In this example, a reduced image of a report registered in each template is displayed on the template call screen 550 as a thumbnail. As a result, the user can visually confirm the state of measurement performed in the past, so that it is easy to search for a template to be selected. Further, as described above, a template image may be used for the thumbnail instead of the reduced image of the report.
(Alignment image registration means 223)

さらに三次元画像計測プログラムは、位置合わせ画像登録手段223を備えることもできる。位置合わせ画像登録手段223は、テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する際、このテンプレートの元となったテンプレート画像中の所定の領域を、位置合わせ用画像として登録するための部材である。これにより、テンプレートの利用時に新たに入力される画像上で、テンプレートに保存された位置と対応する位置を特定することが可能となる。   Furthermore, the three-dimensional image measurement program can also include an alignment image registration unit 223. The registration image registration unit 223 registers a predetermined area in the template image that is the basis of the template as a registration image when the template generated by the template generation unit 218 is stored in the template storage unit. It is a member. This makes it possible to specify a position corresponding to the position stored in the template on the image newly input when the template is used.

テンプレート呼出手段219でテンプレートを選択すると、入力された画像に対してこのテンプレートに登録された位置合わせ用画像を用いてパターンマッチングを行い、このテンプレート生成時と同じ位置に入力画像を位置合わせする。これによって、入力された画像の位置を自動的に調整することができ、テンプレート生成時と同じ位置で測定を行うことが可能となる。   When a template is selected by the template calling means 219, pattern matching is performed on the input image using the alignment image registered in the template, and the input image is aligned at the same position as when the template was generated. As a result, the position of the input image can be automatically adjusted, and measurement can be performed at the same position as when the template is generated.

また位置合わせ画像登録手段223は、テンプレート画像が観察画像である場合に位置合わせ用画像を登録する領域と、テンプレート画像が高さ画像である場合に位置合わせ用画像を登録する領域とを、異なる領域に設定することが好ましい。このようにすることで、位置合わせ用画像の登録時に、二次元の観察画像と三次元の高さ画像とで、それぞれの位置合わせに適した領域を指定でき、テンプレートマッチングを行う際の精度を向上させることができる。   The registration image registration unit 223 differs between an area for registering the registration image when the template image is an observation image and an area for registration of the registration image when the template image is a height image. It is preferable to set the area. In this way, when registering the registration image, the two-dimensional observation image and the three-dimensional height image can be used to specify an area suitable for the respective alignment, and the accuracy when performing template matching is increased. Can be improved.

例えば、二次元の位置合わせには、平面形状に特徴のある領域、例えば形状の複雑な領域を設定することで、形状に基づくパターンマッチングに有利となる。一方、三次元の位置合わせには、逆に形状の変化の余りない、起伏の少ない平面のみの領域を設定することで、高さの検出精度が向上することから、高さ方向の位置合わせの精度を向上できる。もちろん、観察画像と高さ画像で同じ位置を位置合わせ用画像として登録しても構わない。この場合は、ユーザの操作が簡便になるメリットが得られる。
(テンプレート検索機能)
For example, it is advantageous for pattern matching based on a shape by setting a region characterized by a planar shape, for example, a region having a complicated shape, for two-dimensional alignment. On the other hand, for three-dimensional alignment, conversely, by setting a region with only a flat surface with little undulation that has little change in shape, height detection accuracy is improved. Accuracy can be improved. Of course, the same position may be registered as the alignment image in the observation image and the height image. In this case, there is an advantage that the user's operation is simplified.
(Template search function)

さらにテンプレート検索手段224を備えることもできる。テンプレート検索手段224は、テンプレート記憶手段に保存された複数のテンプレート中から、所定の条件に合致又は近似したテンプレートを検索するための部材である。これにより、特にテンプレートの登録数が多い場合に、検索条件に従って所望のテンプレートの検索を容易に行うことが可能となる。   Further, template search means 224 can be provided. The template search unit 224 is a member for searching for a template that matches or approximates a predetermined condition from a plurality of templates stored in the template storage unit. This makes it possible to easily search for a desired template according to the search condition, particularly when the number of registered templates is large.

またテンプレート検索手段224は、複数のテンプレート中から、所望のテンプレートを選択しやすいように、条件に合致したテンプレートの選択候補を抽出したり、検索結果をソートする機能を付加することもできる。例えば、テンプレート検索手段224が、登録されているテンプレートと各々関連付けられたテンプレート画像中から、入力された画像と類似する画像を検索して、この入力画像と類似するテンプレート画像と関連付けられたテンプレートを候補テンプレートとして抽出する。このようにすることで、高さ画像自体に基づいて、類似する高さ画像に対して登録されたテンプレートを自動的に検索させることが可能となり、特に多数のテンプレート中から所望のテンプレートを抽出する作業を容易に行える利点が得られる。このようなテンプレート選択候補の提示機能やソート機能によって、特に多数のテンプレートを保存している場合には、容易に所望のテンプレートを検索して利用し易くできる。
(レポート作成の手順)
Further, the template search means 224 can add a function for extracting a selection candidate of a template that matches a condition or sorting a search result so that a desired template can be easily selected from a plurality of templates. For example, the template search unit 224 searches for an image similar to the input image from the template images respectively associated with the registered templates, and selects a template associated with the template image similar to the input image. Extract as a candidate template. By doing so, it is possible to automatically search for a registered template for a similar height image based on the height image itself, and in particular, extract a desired template from a large number of templates. The advantage of being able to work easily is obtained. Such a template selection candidate presentation function and sort function makes it easy to search for and use a desired template, particularly when a large number of templates are stored.
(Report creation procedure)

以下には、高さ画像の解析や寸法計測等を行って、これらの解析、測定結果を纏めたレポートの作成、出力を行ったり、このような操作を記録して、再現可能とするための手順を、図44のフローチャートに基づいて説明する。まず、観察画像や高さ画像、合成画像データを取得する。例えば、上述した図18に示す手順で、高さ画像を取得する。あるいは、予め取得しておいた高さ画像を、三次元画像計測プログラムで読み出す。ここでは、新たな高さ画像を撮像する。   In the following, we will analyze the height image and measure the dimensions, create a report that summarizes these analyzes and measurement results, and output them, and record these operations to make them reproducible. The procedure will be described based on the flowchart of FIG. First, an observation image, a height image, and composite image data are acquired. For example, the height image is acquired by the procedure shown in FIG. Alternatively, a height image acquired in advance is read by a three-dimensional image measurement program. Here, a new height image is captured.

まずステップS4401において対象物をステージ140上に置き、さらにステップS4402においてデータ取得に関する各種調整を行う。この例では、ピントを合わせた上で、照明の明るさ、データ取得の条件設定等を行う(操作1)。   First, in step S4401, the object is placed on the stage 140, and in step S4402, various adjustments related to data acquisition are performed. In this example, after focusing, illumination brightness, data acquisition condition setting, etc. are performed (operation 1).

その上でステップS4403において測定を開始する。ここでは図3等の計測顕微鏡装置操作プログラムにおいて「測定」ボタン430を押下してデータを取得する。次にステップS4404において、設定された条件に従って対象物のデータを取得する。さらにステップS4405において、取得済みデータを三次元画像計測プログラムで開く。この操作は、ユーザが手動で行ってもよいし、または計測顕微鏡装置による自動操作でもよい。   Then, measurement is started in step S4403. Here, in the measurement microscope apparatus operation program shown in FIG. Next, in step S4404, object data is acquired according to the set conditions. In step S4405, the acquired data is opened with a three-dimensional image measurement program. This operation may be performed manually by the user, or may be an automatic operation using a measurement microscope apparatus.

次にステップS4406において、データに対して必要なフィルタ、基準面設定、面形状補正等の画像処理を施す(操作2)。さらにステップS4407において、目的の解析、寸法測定等を実行する(操作3)。そしてステップS4408において、所望のレイアウトでレポートを作成する(操作4)。次いでステップS4409において、レポートを保存、及び/又は印刷する(操作5)。さらにステップS4410において、レポートを「テンプレート」として保存する(後述する図49)。   Next, in step S4406, necessary image processing such as filter setting, reference surface setting, and surface shape correction is performed on the data (operation 2). Further, in step S4407, target analysis, dimension measurement, and the like are executed (operation 3). In step S4408, a report is created with a desired layout (operation 4). Next, in step S4409, the report is saved and / or printed (operation 5). In step S4410, the report is stored as a “template” (FIG. 49 described later).

さらにステップS4411において、パターンマッチングを行うか否かの判定を、ユーザに促す。行う場合はステップS4412に進み、パターンマッチングで用いる位置合わせ用画像を指定、登録する(操作6)。一方、否の場合はステップS4412を経ることなく、ステップS4413にジャンプする。次にステップS4413において、操作1〜6の条件、手順、画像を、テンプレートデータとして保存する。   In step S4411, the user is prompted to determine whether to perform pattern matching. If so, the process advances to step S4412 to designate and register an alignment image used in pattern matching (operation 6). On the other hand, if NO, the process jumps to step S4413 without passing through step S4412. In step S4413, the conditions, procedures, and images of operations 1 to 6 are stored as template data.

次にステップS4414において、次の対象物を置く。そしてステップS4415において、先に保存したテンプレートデータを選択し、測定ボタンを押す。またステップS4416において、操作1を再現し、データを自動取得する。さらにステップS4417において、操作6の登録があるか否かの判定をユーザに促し、否の場合はステップS4419にジャンプする。一方、登録がある場合は、ステップS4418において、操作6データに基づいてパターンマッチングを実行する。さらにステップS4419において、操作2〜操作5を再現し、画像処理、解析・寸法測定、レポート作成、保存/印刷を自動実行する。   Next, in step S4414, the next object is placed. In step S4415, the previously stored template data is selected and the measurement button is pressed. In step S4416, operation 1 is reproduced and data is automatically acquired. In step S4417, the user is prompted to determine whether or not operation 6 is registered. If not, the process jumps to step S4419. On the other hand, if there is registration, pattern matching is executed in step S4418 based on the operation 6 data. In step S4419, operations 2 to 5 are reproduced, and image processing, analysis / dimension measurement, report creation, and storage / printing are automatically executed.

ここでは、取得されたデータを三次元画像計測プログラムで開いて必要な解析、寸法計測を実行してレポートを作成して保存、印刷等を行う。ここまでの作業は特にテンプレートデータの記録・作成を意識する必要はない。ユーザが望むデータ取得、解析、測定を通常通り行えばよい。   Here, the acquired data is opened with a three-dimensional image measurement program, necessary analysis and dimension measurement are performed, a report is created, saved, printed, and the like. The work so far does not need to be particularly conscious of recording / creating template data. Data acquisition, analysis, and measurement desired by the user may be performed as usual.

その後、作成したレポートを改めてテンプレートとして保存する。ここでは「テンプレートとして保存」ボタンを押下すると、計測顕微鏡装置は必要に応じて、観察画像データの特定の部分を位置合わせ用画像としてユーザに指定させた後、合成画像や各種測定結果そのものではなく、どのような条件でデータを取得し、得られたどのデータにどのような画像処理、どのような解析、どのような寸法計測を行ったか、という操作手順を一纏めにしたデータを作成し、これとパターンマッチング画像を合わせて「テンプレートデータ」として保存する。   After that, the created report is saved again as a template. Here, when the “Save as template” button is pressed, the measurement microscope apparatus allows the user to designate a specific portion of the observation image data as an alignment image, if necessary, and not a composite image or various measurement results themselves. , Create data that summarizes the operation procedure such as what data processing, what kind of image processing, what kind of analysis, what kind of dimension measurement was performed on what data was acquired under what conditions And the pattern matching image are stored together as “template data”.

このようにして保存されたテンプレートデータを選択し、ステージ140上に同じ種類の対象物を置いて測定ボタンを押下すると、計測顕微鏡装置はテンプレートデータ内に記録されている各種条件を順次再現しながらデータ取得、画像処理、解析、寸法計測、レポート作成までを自動的に実行する。   When the template data stored in this way is selected, the same type of object is placed on the stage 140 and the measurement button is pressed, the measurement microscope apparatus sequentially reproduces various conditions recorded in the template data. Data acquisition, image processing, analysis, dimension measurement, and report creation are automatically executed.

以下、個々の操作について、個別に詳細を説明する。対象物の合成画像、観察画像を取得するために、ユーザ又は計測顕微鏡装置が自動的に行う撮像条件(カメラ露光時間、照明明るさ、レンズ倍率等)、モード設定(高精度/高速の切り替え、両側/左/右投光、データ取得時の投光パターン設定等)、といったパラメータをデータ(以下、「測定パラメータデータ」と呼ぶ。)として記憶する(操作1)。このデータは、取得が終わった対象物の測定データ(合成画像、観察画像を含むデータの纏まり)の中に含めて、一つの測定データとして扱えるようにすることが望ましい。ユーザが特別な意識をせずとも、必要な測定関連情報(測定パラメータデータ)を対象物と紐づけることが可能なためである。なお、XYZθステージの一部又は全部が電動化されている場合は、各ステージの位置、角度もテンプレートで再現すべき測定パラメータデータの一部として、合わせて記憶しても良い。
(レポートの表紙イメージ)
Hereinafter, the details of each operation will be described individually. Imaging conditions (camera exposure time, illumination brightness, lens magnification, etc.) automatically performed by the user or measurement microscope apparatus to acquire a composite image and an observation image of the object, mode setting (high accuracy / high speed switching, Parameters such as both side / left / right projection, projection pattern setting at the time of data acquisition, etc.) are stored as data (hereinafter referred to as “measurement parameter data”) (operation 1). It is desirable that this data is included in the measurement data of the object for which acquisition has been completed (a collection of data including a composite image and an observation image) so that it can be handled as one measurement data. This is because the user can associate necessary measurement-related information (measurement parameter data) with the object without any special awareness. If some or all of the XYZθ stages are motorized, the position and angle of each stage may be stored together as part of the measurement parameter data to be reproduced by the template.
(Report cover image)

測定パラメータデータを含む、対象物の測定データを三次元画像計測プログラムで開くと、図45に示すように観察画像SOや高さ画像SHが配置された、レポート準備状態(レポートの表紙)として表示される。
(機能ガイド606)
When the measurement data of the object including the measurement parameter data is opened with the 3D image measurement program, it is displayed as a report preparation state (the cover of the report) in which the observation image SO and the height image SH are arranged as shown in FIG. Is done.
(Function Guide 606)

また、ファイルを開く際、操作に不慣れなユーザでも戸惑いなく、必要な操作ができるようにするため、操作の流れが分かる機能ガイド606を同時に表示しても良い。このような機能ガイド606の一例を、図46に示す。機能ガイド606の画面は、ツールバー520から、「機能ガイド」ボタンを押下するなどして呼び出すことができる。この機能ガイド606には、上段に基準面を設定するための基準面設定欄、中段に3D表示確認欄、下段に計測機能を選択するための計測機能選択欄が設けられている。また必要に応じて、フローチャートを表示させることもできる。なおこの機能ガイド606は、必要に応じて表示する/しないを切り替え可能とすることもできる。   In addition, when opening a file, a function guide 606 showing the operation flow may be displayed at the same time so that a user who is unfamiliar with the operation can perform the necessary operation without being confused. An example of such a function guide 606 is shown in FIG. The screen of the function guide 606 can be called from the tool bar 520 by pressing a “function guide” button. This function guide 606 is provided with a reference plane setting field for setting a reference plane in the upper stage, a 3D display confirmation field in the middle stage, and a measurement function selection field for selecting a measurement function in the lower stage. Moreover, a flowchart can also be displayed as needed. The function guide 606 can be switched between display and non-display as necessary.

ファイルを開いたら、解析、寸法計測前に必要な各種画像処理を施す。例えば、細かなノイズを除去するための平均化フィルタやメディアンフィルタを実行し、測定の基準となる平面を指定してその平面の傾きがゼロとなるようにデータを補正する基準面設定を実行する。対象物の形状そのものではなく、対象物表面の微細なうねりや粗さ等を測定したい場合は、対象物全体が持つ大きなゆがみや曲率が邪魔になることがあるので、その時は面形状補正(球面、円筒面、二次曲面を平面にする)を実行しても良い。これらの画像処理は、一連の処理が行われた順番まで含めて、すべての手順を画像処理パラメータデータとして記憶する(操作2)。このとき、処理前後の画像は記憶する必要はない。
(レポート作成例)
After opening the file, perform various image processing required before analysis and dimension measurement. For example, run an averaging filter or median filter to remove fine noise, specify a measurement reference plane, and set the reference plane to correct the data so that the inclination of that plane is zero . If you want to measure not only the shape of the object itself but also the fine waviness and roughness of the object surface, the large distortion and curvature of the entire object may interfere with the surface shape correction. The cylindrical surface and the quadric surface may be made flat. In these image processes, all procedures including the order in which a series of processes are performed are stored as image processing parameter data (operation 2). At this time, it is not necessary to store images before and after processing.
(Report creation example)

必要な画像処理を終えた後、対象物の測定データに対して所望の解析、寸法計測を実行する。ここではプロファイル計測を行う比較計測画面540を図47に示す。図47では、画像表示領域410に設定されたプロファイル線PLに沿って角度や半径、幅、高さ等を測定して、プロファイルグラフ表示領域514及び結果表示領域510に表示している。このようにしてユーザが所望する測定が完了した後、レポートを作成する。ここでは、操作領域420の下段に設けられた「レポート作成」ボタン562を押下することで、図48に示すプロファイル計測結果レポート画面564に示すように、測定結果をまとめてレイアウトしたレポートページが自動的に生成される。このとき、これらの解析、寸法計測についても、どの位置に対して、どのように、どのような解析・計測を実行したか、というすべての手順を解析計測パラメータデータとして記憶装置240に記憶する(操作3)。   After completing the necessary image processing, desired analysis and dimension measurement are performed on the measurement data of the object. Here, a comparative measurement screen 540 for performing profile measurement is shown in FIG. In FIG. 47, the angle, radius, width, height, etc. are measured along the profile line PL set in the image display area 410 and displayed in the profile graph display area 514 and the result display area 510. After the measurement desired by the user is completed in this way, a report is created. Here, when a “report creation” button 562 provided in the lower part of the operation area 420 is pressed, a report page in which measurement results are collectively laid out is automatically displayed as shown in a profile measurement result report screen 564 shown in FIG. Generated automatically. At this time, also for these analysis and dimension measurement, all procedures such as how and what kind of analysis / measurement is performed at which position are stored in the storage device 240 as analysis measurement parameter data ( Operation 3).

自動的に生成されたレポートのレイアウトが気に入らない時は、ユーザがそのレイアウトを自由に変更したり、コメントを追加したり、測定関連の情報を表示することができる。測定関連の情報とは、例えば操作1で記憶した測定パラメータデータの一部又は全部を指す。ユーザによって変更されたレポートは、どこに何がどのように配置されたか、という配置情報と、コメント等についてはその内容まで含めて、レポートレイアウトデータとして記憶する(操作4)。   If you do not like the automatically generated report layout, the user can freely change the layout, add comments, and display measurement-related information. The measurement-related information refers to part or all of the measurement parameter data stored in operation 1, for example. The report changed by the user is stored as report layout data including arrangement information on where and what is arranged, and the contents of comments and the like (operation 4).

完成したレポートは、専用のファイル形式で保存又は印刷する等して最終の出力を得る。最終的にレポートをファイルに保存する、印刷するといった操作を、出力処理データとして記憶する(操作5)。   The completed report is saved or printed in a dedicated file format to obtain the final output. Operations such as finally saving the report to a file and printing are stored as output processing data (operation 5).

このようにして完成したレポートファイルを開いた状態で、このレポートをテンプレートとして保存する。例えば図48の画面からファイルメニューを選択し、テンプレートとして保存を選択すると、図49に示すようにテンプレート実行時にパターンマッチングを実行するか否かを確認するテンプレート保存確認画面566が表示される。ここで位置合わせ用画像を対象物の測定データに対して設定すると、その部分の画像を位置合わせ用画像として記憶する(操作6)。
(位置合わせ用画像)
With the report file completed in this way open, save this report as a template. For example, when the file menu is selected from the screen shown in FIG. 48 and save as a template is selected, a template save confirmation screen 566 for confirming whether or not pattern matching is executed at the time of template execution is displayed as shown in FIG. Here, when the alignment image is set for the measurement data of the object, the image of that portion is stored as the alignment image (operation 6).
(Image for alignment)

このようにして位置合わせ用画像をテンプレート保存時に登録しておくことで、このテンプレートを適用する際には、位置合わせ用テンプレートマッチング画像を利用した位置合わせが可能となる。すなわち、別の測定データに対しテンプレートを適用する際、測定データの画像内の位置ずれを、位置合わせ用テンプレートマッチング画像を用いたテンプレートマッチングによって補正する。このようなデータ位置の自動補正によって、テンプレート作成時と全く同じ位置に測定データを合わせることができ、保存されたテンプレートと同じ手順で測定できるようになる。   By registering the alignment image at the time of saving the template in this way, alignment using the alignment template matching image can be performed when this template is applied. That is, when a template is applied to other measurement data, the positional deviation in the measurement data image is corrected by template matching using the alignment template matching image. By such automatic correction of the data position, the measurement data can be adjusted to the same position as when the template was created, and measurement can be performed in the same procedure as the stored template.

なお、位置合わせ用テンプレートマッチング画像の登録は任意である。例えば治具等を用いて対象物を常にステージ上の同じ位置に配置するような場合は、位置合わせ作業が不要となるため、位置合わせ用テンプレートマッチング画像の登録やパターンマッチング動作を不要とできる。
(テンプレートデータの保存)
Registration of the template matching image for alignment is arbitrary. For example, when the object is always arranged at the same position on the stage using a jig or the like, the registration work is not required, and registration of the template matching image for alignment and the pattern matching operation can be eliminated.
(Save template data)

以上のようにして、高さ画像の取得や、取得された高さ画像又は合成画像に対する計測等の操作について、ユーザが行った一連の操作をテンプレートとして保存しておくことで、以降、別の対象物に対しても同様の操作を容易に繰り返すことができ、大幅な省力化が図られる。例えば、前述の操作1〜操作6に関する条件や各種データを一纏めにしたデータを作成して、テンプレートデータとして名前を付けて保存する例を、図49のテンプレート保存確認画面566に基づいて説明する。ここまでの作業は、操作6を除けば、ユーザにテンプレートデータ作成を意識させることなく、通常の測定〜解析・寸法計測の作業をこなすだけで完了するため、特別な作業を覚える必要がない。また、操作1〜操作6のうち、例えば操作2は不要であれば実施する必要がなく、操作5はテンプレートとして記憶する必要がなければ省いても良い。テンプレート適用時にパターンマッチングが不要であれば、操作6も省くことができる。テンプレートデータとしては操作1〜操作6の内で記憶されているものだけを再現すれば良い。操作1〜操作6を記憶させるか否かは、それぞれの操作を行う際にそれを確認するダイアログを出しても良いし、操作時はすべて自動で記憶しておいて、テンプレートとして保存する際に各データを再現するか否かを選択可能にしても良い。
(テンプレートデータの取捨選択)
As described above, by storing a series of operations performed by the user as a template for operations such as obtaining a height image and measuring the acquired height image or composite image, a different operation is performed thereafter. The same operation can be easily repeated for the object, and a significant labor saving can be achieved. For example, an example of creating data in which conditions and various data related to the above-described operations 1 to 6 are collected and naming and saving as template data will be described based on a template save confirmation screen 566 in FIG. Except for the operation 6, the operations up to here are completed only by carrying out the normal measurement to analysis / dimension measurement operations without making the user aware of template data creation, so there is no need to learn special operations. Of the operations 1 to 6, for example, the operation 2 need not be performed if it is unnecessary, and the operation 5 may be omitted if it is not necessary to store it as a template. If pattern matching is not required when applying the template, operation 6 can also be omitted. As template data, only those stored in operations 1 to 6 need to be reproduced. Whether or not to store operations 1 to 6 may be displayed when confirming each operation, or automatically when storing each operation and saved as a template. It may be possible to select whether to reproduce each data.
(Selection of template data)

またテンプレートで保存する条件やパラメータに、高さ画像のみならず光学撮像系を用いて撮像した二次元の観察画像の撮像条件を含めることもできる。これにより、高さ画像と観察画像を撮像し、更にこれらに基づいた合成画像も、同一の条件で撮像することができる。   The conditions and parameters stored in the template can include not only the height image but also the imaging conditions for a two-dimensional observation image captured using an optical imaging system. Thereby, a height image and an observation image can be imaged, and a composite image based on these images can also be imaged under the same conditions.

その一方で、テンプレートで保存する条件やパラメータを絞ることもできる。例えば観察画像の撮像に関して、ピント位置や明るさ(照明光出力部の光量或いは露出時間)を記憶させるのでなく、ピントはオートフォーカスにして明るさも自動調整するよう設定すれば、これらの条件を保存せずとも観察画像を取得できる。
(テンプレートデータの呼出)
On the other hand, the conditions and parameters to be saved in the template can be narrowed down. For example, regarding the imaging of observation images, instead of storing the focus position and brightness (light quantity or exposure time of the illumination light output unit), if you set the focus to autofocus and automatically adjust the brightness, these conditions are saved An observation image can be acquired without it.
(Recall template data)

次に、テンプレートデータを用いた測定〜解析・寸法計測の再現について説明する。テンプレート作成に用いた対象物と同じ種類の対象物を、ステージ140の上に配置する。XYZθステージが手動の場合は、対象物へのピント合わせ、観察位置や角度合わせをユーザが行う。テンプレート作成時に操作6で位置合わせ用画像を記憶していれば、このときの観察位置や角度姿勢合わせはおおよそでかまわない。XYZθステージの一部又は全部が電動で、操作1でステージの位置、角度も記憶させていた場合は、ここではユーザがステージ位置や角度を調整する必要はない。   Next, a description will be given of the reproduction from measurement to analysis / dimension measurement using template data. An object of the same type as the object used for creating the template is placed on the stage 140. When the XYZθ stage is manual, the user performs focusing on the object, observation position, and angle adjustment. If the image for alignment is stored in the operation 6 at the time of template creation, the observation position and the angle orientation at this time may be approximate. In the case where part or all of the XYZθ stage is electrically driven and the position and angle of the stage are stored in operation 1, the user does not need to adjust the stage position or angle here.

対象物を適切にステージ上に配置したら、適用したいテンプレートデータを選択した上で、測定ボタンを押下する。ここで、上述の通り、XYZθステージが電動で位置、角度を記憶させていた場合はステージ位置を自動で再現する。このとき、操作6で位置合わせ用画像を記憶していれば、その画像を元にXYZθステージの位置、角度を操作1の記憶位置、角度からさらに移動し、テンプレート作成時と同じ観察位置、角度になるようにステージを追い込み調整しても構わない。ステージの追い込み調整をした場合、三角測距を利用した測定では避けられない影の向きや乱反射の位置まで、テンプレート作成時と完全に同じ状態を再現できるため、より条件の一致した繰り返し計測が可能となる。もちろん、このようなステージの追い込み調整は行わず、測定データ取得後にパターンマッチングで位置合わせを実行しても構わない。どちらの動作を行うかは、ステージ上に置かれた対象物の位置、姿勢とテンプレート画像との乖離度合い等から自動判別しても良いし、ユーザによって選択できるようにしても良い。   When the object is appropriately placed on the stage, the template data to be applied is selected and the measurement button is pressed. Here, as described above, when the XYZθ stage electrically stores the position and angle, the stage position is automatically reproduced. At this time, if an alignment image is stored in operation 6, the position and angle of the XYZθ stage are further moved from the storage position and angle in operation 1 based on the image, and the same observation position and angle as at the time of template creation are stored. You may adjust the stage so that When the stage tracking adjustment is performed, the same state as when the template was created can be reproduced up to the shadow direction and diffuse reflection position, which are inevitable with measurement using triangulation, allowing repeated measurement with more consistent conditions. It becomes. Of course, the adjustment of the stage may not be performed, and the alignment may be executed by pattern matching after obtaining the measurement data. Which operation is performed may be automatically determined based on the degree of deviation between the position and orientation of the object placed on the stage and the template image, or may be selected by the user.

このように、ステージが電動で移動可能な電動ステージの場合は、自動でステージが移動した後、手動ステージの場合は測定ボタンを押したすぐ後に、操作1の撮像条件を再現して自動的に対象物の測定データを取得する。   As described above, when the stage is an electric stage that can be moved electrically, the stage is automatically moved, and in the case of a manual stage, immediately after pressing the measurement button, the imaging condition of operation 1 is automatically reproduced. Get the measurement data of the object.

データ取得が完了したら、そのまま自動的にそのデータを専用の三次元画像計測プログラムに送って開く。なおテンプレートを適用してデータを自動解析する場合は、上述した図46に示す機能ガイド606は動作の邪魔になるため、自動的に表示するチェックボックスをONにしていても表示されないようにするのが望ましい。   When data acquisition is completed, the data is automatically sent to a dedicated 3D image measurement program and opened. When the template is applied to automatically analyze the data, the above-described function guide 606 shown in FIG. 46 interferes with the operation, so that it is not displayed even if the automatically displayed check box is turned on. Is desirable.

テンプレート作成時に操作6で位置合わせ用画像を登録していない場合は、データが開いたら操作2〜5を順次再現しながら、各種画像処理、解析・寸法計測を実行してレポート生成まで自動的に完了させる。   If the registration image is not registered in step 6 when creating the template, various data processing, analysis, and dimension measurement are executed while the steps 2 to 5 are sequentially reproduced when the data is opened, and the report is automatically generated. Complete.

一方、位置合わせ用画像が登録されていた場合は、操作2以降を再現する前に、まず登録されている位置合わせ用画像と、測定された対象物の観察画像を比較し、位置合わせ用画像の位置、角度に合わせて対象物の測定データを移動、回転させて位置を合わせる。このとき、測定データ側ではなく、テンプレートに記憶されている各種解析・寸法計測の位置情報を測定データに合わせて移動、回転させても良い。位置合わせ用画像と対象物の測定データの位置合わせが完了した後で、操作2〜5を順次再現しながら、各種画像処理、解析・寸法計測を実行してレポート生成まで自動的に完了させる。   On the other hand, when the registration image has been registered, the registered registration image and the measured observation image of the target object are first compared before reproducing the operation 2 and the subsequent operations. The measurement data of the object is moved and rotated according to the position and angle of, and the position is adjusted. At this time, instead of the measurement data side, the position information of various analysis / dimension measurements stored in the template may be moved and rotated according to the measurement data. After the alignment of the alignment image and the measurement data of the object is completed, various image processing, analysis / dimension measurement are executed while the operations 2 to 5 are sequentially reproduced, and the report generation is automatically completed.

なお、二次元の位置合わせを行う領域と、三次元の位置合わせを行う領域とを、同じ領域とする他、同じ領域とせずに異なる領域を指定することもできる。例えば二次元は形状に特徴のある部位とし、一方三次元は平滑な面とする。このように二次元の位置合わせをそのまま三次元に適用せず、それぞれの位置補正に適した部位とすることで、より正確な位置合わせが行える。さらに位置合わせ画像は、ユーザが所望の領域を指定する他、自動的に設定することもできる。例えば位置合わせ画像を画像全体としたり、あるいは特徴的な部分を自動的に抽出して位置合わせ画像として設定することもできる。   It should be noted that the area for two-dimensional alignment and the area for three-dimensional alignment can be the same area, or different areas can be designated without being the same area. For example, 2D is a part with a characteristic shape, while 3D is a smooth surface. In this way, more accurate alignment can be performed by applying a two-dimensional alignment as it is to a portion suitable for each position correction without directly applying the alignment to the three-dimensional. Furthermore, the alignment image can be automatically set in addition to the user specifying a desired area. For example, the alignment image can be the entire image, or a characteristic part can be automatically extracted and set as the alignment image.

このように、ユーザは特定の対象物に対して所望の解析・寸法計測を一度行えば、二回目以降は同じ種類の対象物に対して、全く同じデータ取得〜解析・寸法測定を計測顕微鏡装置に自動実行させることができる。この結果、前回の測定位置や計測条件などをユーザがメモするなどして記憶しておく必要が無く、また記憶違いやユーザによるばらつき等の影響を受けず、簡単に安定した三次元計測を繰り返し実行することができる。   In this way, once a user performs a desired analysis / dimension measurement for a specific object, the measurement microscope apparatus performs the same data acquisition to analysis / dimension measurement for the same type of object for the second and subsequent times. Can be automatically executed. As a result, it is not necessary for the user to take note of the previous measurement position, measurement conditions, etc., and it is easy to repeat stable and stable three-dimensional measurement without being affected by memory differences or user variations. Can be executed.

特に、高さ画像の取得に必要な測定画像の撮像条件は三角測距特有のものであり、例えば三角測距に基づいて縞投影する際には照明光の方向によって光量が大きく異なる。よって、例えば似たような対象物を、基準となる対象物と比較するような場合は、同じ条件で撮像しないと測定画像がばらついてしまい、正確な測定が困難となる。そこで、上述の通り撮像時の条件を記憶させて、呼び出して再現可能とすることで、同一の条件で異なる対象物の高さ画像の取得を容易に再現でき、測定の精度向上のみならず、撮像作業の省力化も図られる。   In particular, the measurement image capturing conditions necessary for obtaining the height image are specific to triangulation, and for example, when performing fringe projection based on triangulation, the amount of light varies greatly depending on the direction of illumination light. Therefore, for example, when comparing a similar target object with a reference target object, measurement images vary unless imaging is performed under the same conditions, making accurate measurement difficult. Therefore, by storing and recalling the conditions at the time of imaging as described above, it is possible to easily reproduce the acquisition of height images of different objects under the same conditions, not only improving measurement accuracy, Labor saving of imaging work is also achieved.

上述の通り、比較計測を行うためには対象物の比較基準画像データのみならず、比較対象画像データが必要となる。よって、比較計測をテンプレートによって再現する場合は、テンプレートデータの中に含まれる解析計測パラメータデータ内に、比較対象画像RIの測定データそのものを含める必要がある。この比較対象の測定データとして、例えば同じ種類の対象物の良品サンプルやマスターピースの測定データを選択しておけば、テンプレートによる画像の撮像及び比較計測の自動実行により、対象物と良品サンプルやマスターピースとの比較を次々に行うことができる。この比較は、単なる二次元画像としての見た目だけの比較ではなく、三次元形状同士の比較となるため、二次元画像では判別し難い平面部分の緩やかなうねりや歪み、欠け/異物の判断等、高さ情報を活かしたより正確な比較計測が実現できる。   As described above, in order to perform comparative measurement, not only comparison reference image data of an object but also comparison object image data is required. Therefore, when the comparative measurement is reproduced by the template, it is necessary to include the measurement data of the comparison target image RI in the analysis measurement parameter data included in the template data. For example, if measurement data of a non-defective sample or master piece of the same type of object is selected as the measurement data of the comparison target, the object and the non-defective sample or master piece are automatically captured by image capture and comparison measurement using a template. Can be compared one after another. This comparison is not just a comparison of the appearance as a two-dimensional image, but a comparison of three-dimensional shapes, so that a gentle swell or distortion of a plane portion that is difficult to distinguish with a two-dimensional image, judgment of missing / foreign matter, etc. More accurate comparative measurement using height information can be realized.

以上のように、テンプレートを用いた測定〜解析・寸法測定の自動実行は、同じ種類の対象物を複数測定する場合の手間を大きく削減しながら、人手による誤差を極力排除して正確に、簡単に、繰り返し解析することを可能にする。特に、対象物のデータを取得するための撮像条件の正確な再現は、その後のすべての解析・寸法計測に影響するため、非常に重要である。通常の二次元観察、計測用の顕微鏡やデジタルマイクロスコープとは異なり、計測顕微鏡装置のような三次元形状を測定する、特に三角測距を利用する(測定にクセのある)装置の撮像条件は、見た目で直感的に再現しにくいものであり、一度設定した条件をその時測定したデータと紐づけて記憶できれば、三次元形状の安定した計測に大変役立つと言える。テンプレートデータは元の対象物の測定データと紐づいている方が管理しやすい、と言うこともあるので、例えばテンプレートデータを保存した際、PC上で表示されるファイルアイコンに、サムネイルとして対象物の画像や計測画面をはめ込んでも良い。また、テンプレートデータのファイル名の一部に、実行した計測機能名、又はそれが分かる略号を自動的にはめ込んでも良い。このようにしておけば、テンプレートデータがより便利で扱いやすいものになる。
(画像連結モードの詳細)
As described above, automatic execution of measurement to analysis / dimension measurement using a template greatly reduces the time and labor required when measuring multiple objects of the same type, and eliminates human error as much as possible and is accurate and simple. In addition, it is possible to analyze repeatedly. In particular, the accurate reproduction of the imaging conditions for acquiring the object data is very important because it affects all subsequent analysis and dimension measurement. Unlike normal two-dimensional observation and measurement microscopes and digital microscopes, the imaging conditions of devices that measure three-dimensional shapes such as measurement microscope devices, especially those that use triangulation (having a peculiarity in measurement) are It is difficult to reproduce intuitively, and it can be said that it is very useful for stable measurement of a three-dimensional shape if conditions once set can be stored in association with data measured at that time. It may be said that template data is easier to manage if it is linked to the measurement data of the original object. For example, when template data is saved, the object is displayed as a thumbnail on the file icon displayed on the PC. The image and the measurement screen may be inserted. Further, the name of the executed measurement function or an abbreviation that understands it may be automatically inserted into a part of the file name of the template data. In this way, the template data becomes more convenient and easy to handle.
(Details of image connection mode)

また計測顕微鏡装置操作プログラムは、異なる位置で撮像した複数枚の画像を連結して、より広い連結領域を示した連結画像を生成する画像連結機能を備える。画像連結手段225は、対象物の所定の領域を連結領域として指定し、この連結領域を複数のサブ領域に分割する。このようにして設定された各サブ領域に対して、連結用のマージンを含めた連結用高さ画像及び連結用観察画像を撮像手段100で各々撮像する。そして得られた複数枚の連結用高さ画像及び連結用観察画像を連結して、連結領域を示す連結画像を生成する。これによって、高精度に撮像した視野の狭い画像を連結して、より広い視野の画像を得ることできる。   The measurement microscope apparatus operation program includes an image connection function for connecting a plurality of images captured at different positions to generate a connected image showing a wider connection area. The image connecting means 225 designates a predetermined area of the object as a connected area, and divides this connected area into a plurality of sub areas. For each of the sub-regions set in this way, a connection height image including a connection margin and a connection observation image are captured by the image capturing unit 100. Then, the obtained plurality of connection height images and connection observation images are connected to generate a connection image indicating a connection region. As a result, images with a narrow field of view captured with high accuracy can be connected to obtain an image with a wider field of view.

画像連結手段225は、連結画像を生成するために連結させる必要のある連結用画像の枚数や各連結用画像のサイズを予め規定する。一例として、連結領域の始点と終点を指定する。例えば矩形状の連結領域に対して、左上の頂点を始点として、対角線上に位置する右下の頂点を終点として、画像表示領域410上で表示された対象物の、所望の領域をマウスなどのポインティングデバイスを用いて指定する。なお対象物は一のみに限られず、画像表示領域中に表示された複数のワークを含めるように連結領域を設定可能であることはいうまでもない。   The image connecting means 225 predefines the number of connecting images that need to be connected to generate a connected image and the size of each connecting image. As an example, the start point and end point of a connected area are specified. For example, with respect to a rectangular connected area, a desired area of a target displayed on the image display area 410 with a top left apex as a start point and a lower right apex located on a diagonal line as an end point, such as a mouse Specify using a pointing device. Needless to say, the number of objects is not limited to one, and the connection area can be set to include a plurality of works displayed in the image display area.

また、連結領域の指定方法は、この方法に限られるものでなく、他の方法も適宜利用できる。例えば連結領域の始点と、この位置を基準として連結領域の縦横の長さを指定する方法でも良い。長さの指定は数値で入力する他、所定の選択肢から選択させてもよい。さらに他の方法として、連結領域の始点と、この位置を基準として縦横に何枚の連結用画像を配置するかを指定する方法も採用できる。加えて、連結領域を複数のサブ領域に分割した状態で、どのような順序で連結用画像を撮像するかを指定することもできる。あるいは、設定された連結領域に応じて、自動で連結用画像の撮像枚数や撮像順を決定したり、又はこれら枚数や撮像順を固定値としても良い。加えて、連結用画像同士を連結させやすくするために、隣接する連結用画像同士が部分的に重なるように、オーバーラップさせるためのマージンの量も設定することができる。一例として図50に示すように、矩形状の連結領域を9等分に分割して、左上から各行毎に順次撮像し(例えば1行目は左から右方向)、行を終えると次行に移動して、先程の行とは逆方向に(図50の例では右から左方向)に順次撮像していき、このようにして各行の連結用画像SPを撮像していく。また、マージンはユーザが任意に調整する。なお、連結領域の指定は必ずしも事前に行う必要は無い。撮像されている画像を表示しながら、ユーザが所望の位置で連結用画像を取込んでいくことにより、画像を連結していくことも可能である。このように、自由にステージを動かしながら所望の位置の画像を取込んで連結画像を生成する方法は、ダイナミック画像連結と呼ばれる。   Further, the method for designating the connection area is not limited to this method, and other methods can be used as appropriate. For example, a method may be used in which the start and end lengths of the connected area are specified on the basis of this position. The designation of the length may be entered from a numerical value or selected from predetermined options. As another method, a method of designating the start point of the connection area and the number of connection images to be arranged vertically and horizontally based on this position can also be adopted. In addition, it is also possible to specify in what order the images for connection are to be captured in a state where the connection region is divided into a plurality of sub-regions. Alternatively, the number of captured images and the order of capturing may be automatically determined according to the set connected region, or the number of images and the order of capturing may be fixed values. In addition, in order to easily connect the connecting images, the amount of margin for overlapping can be set so that adjacent connecting images partially overlap each other. As an example, as shown in FIG. 50, a rectangular connection region is divided into nine equal parts, and images are taken sequentially from the upper left for each row (for example, the first row is from the left to the right). The image is moved and sequentially imaged in the opposite direction to the previous row (from the right to the left in the example of FIG. 50), and the connection image SP of each row is thus imaged. The margin is arbitrarily adjusted by the user. It is not always necessary to specify the connection area in advance. It is also possible to connect images by displaying a captured image while a user captures a connection image at a desired position. A method of generating a connected image by capturing an image at a desired position while freely moving the stage in this way is called dynamic image connection.

また連結の前に、複数枚の連結用画像がそれぞれ同じ姿勢となるように、位置合わせ手段215で移動又は回転させて位置合わせすることが好ましい。位置合わせ手段215は、上述の通りパターンマッチング等により自動で各連結用画像の姿勢を一致させる。また、手動で各画像の姿勢を調整してもよく、或いは自動位置合わせ後に微調整することもできる。このように位置合わせ手段215は、自動による位置合わせ、手動による位置合わせのいずれでも実現できる。なお、画像が同じ姿勢で撮像されている場合、あるいは対象物が治具で固定されている場合など、位置合わせが不要な場合はこれを省略することもできる。   Further, before the connection, it is preferable to perform alignment by moving or rotating the alignment images 215 so that the plurality of images for connection have the same posture. The alignment means 215 automatically matches the postures of the images for connection by pattern matching or the like as described above. Further, the posture of each image may be adjusted manually, or fine adjustment may be performed after automatic alignment. As described above, the alignment means 215 can be realized by either automatic alignment or manual alignment. Note that this can be omitted if alignment is not necessary, such as when the images are taken in the same orientation or when the object is fixed with a jig.

また、各連結用画像の撮像に際して、測定光を所定のパターンで投光した連結用高さ画像を表示部400に表示させた状態で、測定異常領域表示手段212でもって第一測定光投光手段又は第二測定光投光手段の少なくとも何れかで測定結果が異常となる測定異常領域を重ねて表示させることで、測定画像撮像条件の再設定をユーザに促すこともできる。ユーザは、各連結画像について、測定異常領域表示手段212で測定異常領域が生じると表示された連結用高さ画像に対して、測定異常領域を低減させるように測定画像撮像条件設定手段を操作して、測定画像撮像条件を再撮像条件に調整する。なお、測定光を所定のパターンで投光した連結用高さ画像は、高さを測定する前の画像であるため、この時点で表示部400に表示される測定異常領域は、取得された測定画像から推定された領域である。これにより、精度が高いものの撮像可能な視野が狭い画像を複数枚撮像しつつ、これらを連結することで広視野で高精度な画像を得ることが可能となる。特に、テクスチャ画像として使用する観察画像でなく、テクスチャ画像としては使用しない高さ画像の撮像条件を変更して撮像することで、測定異常領域を排除しつつ、連結された連結画像の見栄えが部位毎に大幅に変化する事態を回避でき、高品質な連結画像を得ることが可能となる。   Further, when each connection image is captured, the first measurement light projection is performed by the measurement abnormal region display unit 212 in a state where the connection height image in which the measurement light is projected in a predetermined pattern is displayed on the display unit 400. It is also possible to prompt the user to reset the measurement image imaging condition by displaying the measurement abnormal region where the measurement result is abnormal in at least one of the means and the second measurement light projecting means. For each connected image, the user operates the measurement image capturing condition setting unit so as to reduce the measurement abnormal region with respect to the connection height image displayed when the measurement abnormal region is generated in the measurement abnormal region display unit 212. Then, the measurement image capturing condition is adjusted to the re-imaging condition. Note that the connection height image in which the measurement light is projected in a predetermined pattern is an image before the height is measured, and thus the measurement abnormal region displayed on the display unit 400 at this time is the acquired measurement. This is an area estimated from an image. Thereby, it is possible to obtain a high-accuracy image with a wide field of view by connecting a plurality of images with high accuracy but having a narrow field of view that can be captured. In particular, it is not an observation image to be used as a texture image, but by changing the imaging condition of a height image that is not used as a texture image, and removing the abnormal measurement area, the connected connected image looks good It is possible to avoid a situation that changes greatly every time and to obtain a high-quality connected image.

測定異常領域表示手段212は、測定光を所定のパターンで投光した測定画像を画像表示領域410に表示させた状態で、高さを測定することなく測定が不十分な部位を表示可能に構成できる。例えば、リアルタイムで画像処理して、測定画像の高さを測定せずに、影や潜り込み、光量不足、飽和点等、うまく高さを測定できない部分を表示させることができる。ユーザはこれに応じて、所望の箇所が測定できるように撮像条件を変更して測定を行うことができる。また測定異常領域表示手段212は上述の通り、測定異常領域に着色や黒く塗り潰し、斜線付加、点滅などの強調を施すことで、他の領域と視覚的に区別することができる。または、測定異常領域を非表示として、部分的に欠けた画像として表示させることもできる。このような非表示も、測定異常領域表示手段による峻別の処理に含まれる。   The measurement abnormal region display means 212 is configured to display a portion where measurement is insufficient without measuring the height in a state where a measurement image in which measurement light is projected in a predetermined pattern is displayed on the image display region 410. it can. For example, by performing image processing in real time, it is possible to display a portion where the height cannot be measured well, such as a shadow, submergence, insufficient light amount, and saturation point, without measuring the height of the measurement image. In response to this, the user can perform measurement by changing the imaging conditions so that a desired location can be measured. Further, as described above, the measurement abnormal area display means 212 can be visually distinguished from other areas by emphasizing the measurement abnormal area by coloring or blacking, adding diagonal lines, and blinking. Alternatively, the abnormal measurement area can be hidden and displayed as a partially missing image. Such non-display is also included in the distinct processing by the measurement abnormal region display means.

あるいは測定異常領域表示手段212でもって、高さ画像の高さを測定した後に確認するようにしてもよい。この場合は、高さの測定を行った上で測定が不十分な部位を、測定異常領域表示手段212で判別して表示できるため、ユーザは測定が不調となった領域を確認した上で、所望の部位が正しく測定できていない場合のみ撮像条件を変更して再度測定を行うことができる。
(画像連結機能)
Or you may make it confirm after measuring the height of a height image with the measurement abnormal area | region display means 212. FIG. In this case, since the site where the measurement is insufficient after performing the height measurement can be determined and displayed by the measurement abnormal region display means 212, the user confirms the region where the measurement has failed, Only when the desired part cannot be measured correctly, the imaging conditions can be changed and the measurement can be performed again.
(Image connection function)

計測顕微鏡装置操作プログラムを用いて画像連結を行うには、画像連結機能を用いる。画像連結機能を設けた計測顕微鏡装置操作プログラムの例を、図51のイメージ図に示す。この図に示す計測顕微鏡装置操作プログラムのGUI画面では、操作領域420の下段に画像連結機能の一態様として「連結モード」選択欄570を設けている。この「連結モード」選択欄570のチェックボックスをONすると、画像連結モードが選択され、後述する通りステージ140をXY平面で移動させながら、観察画像及び高さ画像を順次撮像、生成し、これらを連結して一の連結画像として結合することができる。またこの「連結モード」選択欄570のチェックボックスをOFFすることで、画像連結モードをOFFに切り替えることが可能となる。
(手動画像連結)
In order to perform image connection using a measurement microscope apparatus operation program, an image connection function is used. An example of a measurement microscope apparatus operation program provided with an image connection function is shown in the image diagram of FIG. In the GUI screen of the measurement microscope apparatus operation program shown in this figure, a “connection mode” selection field 570 is provided as one aspect of the image connection function in the lower part of the operation area 420. When the check box of the “connection mode” selection field 570 is turned on, the image connection mode is selected, and the observation image and the height image are sequentially captured and generated while moving the stage 140 on the XY plane as described later. The images can be combined to form a single connected image. Further, the image connection mode can be switched to OFF by turning off the check box in the “connection mode” selection field 570.
(Manual image connection)

画像連結は、ユーザが手動で各連結用画像を撮像して、これを重ねて連結していく方法と、自動で複数枚の連結用画像を撮像して連結させる方法の2通りがある。さらに、上述の通り、撮像条件設定モードには簡単モードの「フルオート」、「フルオート解除(セミオート)」、応用モードが存在する。ここでは、簡単モードのフルオートモードを選択した場合に、手動で画像連結を行う手順を、図52のフローチャート、及び図51〜図68のGUI画面に基づいて説明する。
(フルオートモードでの手動画像連結手順)
There are two types of image connection: a method in which a user manually captures images for connection and superimposes them for connection, and a method for automatically capturing and connecting a plurality of connection images. Furthermore, as described above, the imaging condition setting mode includes simple modes “full auto”, “full auto release (semi-auto)”, and application modes. Here, the procedure for manually connecting images when the full auto mode of the simple mode is selected will be described based on the flowchart of FIG. 52 and the GUI screens of FIGS.
(Manual image connection procedure in full auto mode)

まずステップS5201において、ステージ140のXY位置を初期化する。次にステップS5202において、対象物をステージ140上に配置する。ここでは、連結時にステージ140を最も広い範囲で動かせることが可能な位置に、ステージ140を配置することが好ましい。   First, in step S5201, the XY position of the stage 140 is initialized. Next, in step S5202, the object is placed on the stage 140. Here, it is preferable to arrange the stage 140 at a position where the stage 140 can be moved in the widest range at the time of connection.

さらにステップS5203において、画像表示領域410における表示倍率を決定する。倍率の設定は、図51の上段に設けられた「倍率切り替え」欄で「高倍率カメラ」、「低倍率カメラ」を選択し、さらに「倍率」欄でドロップダウンボックスから所望の倍率を選択する。なお、倍率を数値で指定したり、マウスのスクロールボタンで連続的に変化させることもできる。   In step S5203, the display magnification in the image display area 410 is determined. To set the magnification, select "High magnification camera" and "Low magnification camera" in the "Switch magnification" field provided in the upper part of FIG. 51, and select the desired magnification from the drop-down box in the "Magnification" field. . Note that the magnification can be designated by a numerical value or can be changed continuously with the scroll button of the mouse.

そしてステップS5204において、画像連結モードに切り替える。ここでは、図51の画面において画像表示領域410に表示された観察画像の表示倍率を設定した後、「連結モード」選択欄570のチェックボックスをONさせる。すると画像連結モードが開始され、図53の画面に遷移する。この画面の操作領域420の下段には、画像連結の作業状況を示すガイダンスが表示される。ここでは図50と同様に、生成したい連結画像の連結領域を分割した状態と、撮像すべき連結用画像の順序を矢印で示したイメージを表示させると共に、現在撮像しようとする連結用画像を位置(図53の例では1枚目である左上)をハイライトさせて表示している。これによってユーザは、現在撮像しようとしている連結画像の位置と、これから撮像すべき残りの連結画像の数、現在の作業状況などを視覚的に確認できる。この状態でユーザは、ステージ140のXY位置を手動で調整して(ステップS5205)、ピントを合わせる(ステップS5206)。ピントの調整は、図53の上段に設けた「フォーカス」欄572で行う。この例では、マウスの左ダブルクリック動作によって、クリック位置を中心としたオートフォーカスが実行される。なお、自動でオートフォーカスを実行する場合は、この工程を省略できる。またフルオートモードにおいては、画像表示領域410で表示される画像を切り替えることはできず、連結用画像SPである観察画像SOの表示に固定されている。したがって、ステージ位置やピント調整はすべて観察画像を用いて行われる。   In step S5204, the mode is switched to the image connection mode. Here, after setting the display magnification of the observation image displayed in the image display area 410 on the screen of FIG. 51, the check box of the “connection mode” selection field 570 is turned ON. Then, the image connection mode is started and the screen is changed to the screen shown in FIG. In the lower part of the operation area 420 of this screen, guidance indicating the work status of image connection is displayed. Here, as in FIG. 50, a state in which the connection region of the connection image to be generated is divided and an image in which the order of the connection images to be picked up is indicated by arrows are displayed, and the connection image to be picked up at the current position is displayed. (In the example of FIG. 53, the upper left, which is the first sheet) is highlighted and displayed. As a result, the user can visually confirm the position of the connected image to be imaged, the number of remaining connected images to be imaged, the current work status, and the like. In this state, the user manually adjusts the XY position of the stage 140 (step S5205) and focuses (step S5206). The focus adjustment is performed in a “focus” column 572 provided in the upper part of FIG. In this example, autofocusing centered on the click position is executed by the left double-click operation of the mouse. Note that this step can be omitted when auto-focusing is automatically performed. In the full auto mode, the image displayed in the image display area 410 cannot be switched, and is fixed to the display of the observation image SO that is the connection image SP. Accordingly, the stage position and focus adjustment are all performed using the observation image.

このようにしてステージ位置とピントが決定されると、ステップS5207において撮像を実行する。ここでは図53の画面で「測定」ボタン430を押下することで、観察画像の撮像と高さ画像の取得が行われ、さらに高さ画像に観察画像をテクスチャ画像として合成した合成画像STが生成される。ここでは図54に示すように画像表示領域410に、連結用画像SPである合成画像STが表示され、操作領域420に設けられた画像表示切替手段454の「3D」ボタン455が選択されている。この状態で「テクスチャ」ボタン456を押下すると、図55の画面に切り替えられ、画像表示領域410上に観察画像が表示される。同様に画像表示切替手段454で「高さ」ボタン457を押下すると、図56に示すように画像表示領域410の表示が高さ画像SHの等高線状表示に切り替えられる。このように、ユーザは必要に応じて画像表示切替手段454で得られた各画像を確認して、連結用画像が得られていることを確認する(ステップS5208)。得られた画像に問題が無い場合は、操作領域420下段に設けられた「登録」ボタン573を押して、得られた連結用画像を保存する。もし問題がある場合は、ステップS5207に戻って撮像をやり直す。ここでは「再測定」ボタン574を押下すると、画像の保存を破棄して再び画像の撮像の画面に戻る。   When the stage position and focus are determined in this way, imaging is executed in step S5207. Here, by pressing the “Measure” button 430 on the screen of FIG. 53, an observation image is captured and a height image is acquired, and a composite image ST is generated by combining the height image with the observation image as a texture image. Is done. Here, as shown in FIG. 54, the composite image ST, which is the connection image SP, is displayed in the image display area 410, and the “3D” button 455 of the image display switching means 454 provided in the operation area 420 is selected. . When the “texture” button 456 is pressed in this state, the screen is switched to the screen shown in FIG. 55 and an observation image is displayed on the image display area 410. Similarly, when the “height” button 457 is pressed by the image display switching means 454, the display of the image display area 410 is switched to the contour display of the height image SH as shown in FIG. As described above, the user checks each image obtained by the image display switching unit 454 as necessary, and confirms that a connection image is obtained (step S5208). If there is no problem with the obtained image, a “registration” button 573 provided in the lower part of the operation area 420 is pressed to save the obtained connection image. If there is a problem, the process returns to step S5207 to perform imaging again. Here, when the “remeasure” button 574 is pressed, the image storage is canceled and the screen returns to the image capturing screen.

ステップS5208で問題が無い場合はステップS5209に進み、連結画像の生成に必要なすべての数の連結用画像が取得されたか否かを判定し、未だの場合はステップS5205に戻り、次の連結用画像を得るためのステージ140のXY位置の調整を行う。ここでは、図57に示す画面に切り替えられ、2枚目の連結用画像を行うための準備として、ステージ140を移動させるようにユーザに促す。操作領域420の中段には、撮像済みの一枚目の連結用画像の観察画像が表示されると共に、現在表示中の観察画像の位置が赤枠で表示される。また画像表示領域410には、既に撮像された一枚目の連結用画像の観察画像が表示されると共に、これに重ねて現在の観察画像が表示される。この際、画像の重なり具合が確認しやすいよう、いずれか一方の画像の透過率を変更することが好ましい。この例では、撮像済みの連結用画像を半透明で表示させている。この状態でユーザはステージ140を手動で操作して、撮像済みの連結用画像と境界部分で連続するように画像表示領域410を参照しながら位置合わせを行う(図58)。そして図59に示すように、撮像済み連結用画像と調整中の画像とが部分的に重複するようにマージンを取りつつ、境界部分で連続するようにステージ140の位置を調整した後、ピントの調整(ステップS5206)を行い、「測定」ボタン430を押下して撮像を実行する(ステップS5207)。   If there is no problem in step S5208, the process advances to step S5209 to determine whether or not all the number of connection images necessary for generating a connection image have been acquired. If not, the process returns to step S5205 to determine the next connection. The XY position of the stage 140 for obtaining an image is adjusted. Here, the screen is switched to the screen shown in FIG. 57, and the user is prompted to move the stage 140 as preparation for performing the second connection image. In the middle of the operation area 420, an observation image of the first connected image that has been captured is displayed, and the position of the currently displayed observation image is displayed in a red frame. In the image display area 410, an observation image of the first connection image that has already been captured is displayed, and the current observation image is displayed on top of this. At this time, it is preferable to change the transmittance of one of the images so that the overlapping state of the images can be easily confirmed. In this example, the imaged connection image is displayed translucently. In this state, the user manually operates the stage 140 and performs alignment while referring to the image display area 410 so as to be continuous with the captured connection image at the boundary (FIG. 58). Then, as shown in FIG. 59, after adjusting the position of the stage 140 so that the captured connection image and the image being adjusted partially overlap with each other while taking a margin so that the image is in focus, Adjustment is performed (step S5206), and the “measurement” button 430 is pressed to execute imaging (step S5207).

そしてステップS5208において、再度得られた画像を確認し、問題が無い場合はステップS5209に進み、再度必要な連結用画像がすべて撮像されたか否かを判定する。ここでは図60に示す連結プレビュー画面576のように、得られた連結用画像同士を重ね合わせて、仮想的に連結した状態で表示させる。測定を継続する場合は、「測定を続ける」ボタン577を押下すると、次の連結用画像の撮像画面に進む(ステップS5205)。一方、連結用画像の取得を止めて画像の連結を行う場合は「連結実行」ボタン578を押下する(ステップS5210)。   In step S5208, the re-obtained image is confirmed. If there is no problem, the process proceeds to step S5209, and it is determined again whether all necessary connection images have been captured. Here, like the connection preview screen 576 shown in FIG. 60, the obtained connection images are superimposed and displayed in a virtually connected state. When the measurement is continued, when the “continue measurement” button 577 is pressed, the process proceeds to the next connection image capturing screen (step S5205). On the other hand, if the acquisition of the connection image is stopped and the images are connected, the “execute connection” button 578 is pressed (step S5210).

このようにして、順次連結用画像を撮像していく。中間過程の一例として図61に、4枚目の連結用画像を撮像する様子を示す。このようにして、すべての連結用画像の撮像を終えると、ステップS5209からステップS5210に進み、連結用画像の連結作業に進む。ここでは、9枚目の連結用画像を撮像し終えた図62に示す連結プレビュー画面576において、「連結実行」ボタン578を押下する。   In this way, images for connection are sequentially captured. As an example of the intermediate process, FIG. 61 shows a state where a fourth connection image is captured. In this way, when all of the images for connection are captured, the process proceeds from step S5209 to step S5210, and the process for connecting the images for connection is performed. Here, the “execute connection” button 578 is pressed on the connection preview screen 576 shown in FIG. 62 after the ninth connection image has been captured.

次にステップS5211で、自動又は手動で連結用画像の位置調整を行い、連結を実行する。ここでは図63の連結確認画面580から、任意の連結用画像を選択して位置を手動で調整する。ここでは操作領域420に設けられた矢印ボタン581でもって、選択された連結用画像の位置を微調整する。また、画像表示領域410上で、直接連結用画像をマウスでドラッグして位置を調整しても良い。さらに操作領域420の上段に設けられた「自動位置調整」ボタン582を押下すると、画像処理により自動で連結用画像の位置が調整される。図64に、自動位置調整機能を実行した結果を示す。ここまでの位置調整作業はすべて観察画像を用いて行う。言い換えると、XY方向での平面内の調整のみを行っており、高さ方向の位置合わせは行われていない。   Next, in step S5211, the position of the connection image is adjusted automatically or manually, and connection is executed. Here, an arbitrary connection image is selected from the connection confirmation screen 580 in FIG. 63, and the position is manually adjusted. Here, the position of the selected connection image is finely adjusted with the arrow button 581 provided in the operation area 420. Also, the position may be adjusted by dragging the direct connection image with the mouse on the image display area 410. Further, when an “automatic position adjustment” button 582 provided in the upper stage of the operation area 420 is pressed, the position of the connecting image is automatically adjusted by image processing. FIG. 64 shows the result of executing the automatic position adjustment function. All the position adjustment operations so far are performed using the observation image. In other words, only the adjustment in the plane in the XY directions is performed, and the alignment in the height direction is not performed.

このようにして位置調整を終えると、「連結実行」ボタン578を押下して、連結用画像を連結した一の連結画像を生成する。すなわち、XY平面における観察画像の連結と、XY平面及び高さ方向(Z軸方向)における高さ画像又は合成画像の連結が行われる。この結果、図65に示す連結結果確認画面584の例では、得られた連結画像SCが画像表示領域410に表示される。またツールバーに設けられた画像切替アイコン585を選択することで、図65に示す観察画像SOの表示から、図66に示す高さ画像SHの表示に切り替えることができる。   When the position adjustment is completed in this way, the “execute connection” button 578 is pressed to generate one connected image obtained by connecting the images for connection. That is, the observation image on the XY plane is connected to the height image or the combined image in the XY plane and the height direction (Z-axis direction). As a result, in the example of the connection result confirmation screen 584 shown in FIG. 65, the obtained connection image SC is displayed in the image display area 410. Further, by selecting an image switching icon 585 provided on the toolbar, it is possible to switch from the display of the observation image SO shown in FIG. 65 to the display of the height image SH shown in FIG.

そしてステップS5212で、連結画像SCを必要に応じて保存する。ここでは、図65、図66等の画面から「連結結果を保存」ボタン586を押下し、連結画像SCのデータファイルをハードディスク等の記憶装置240に保存する。そしてステップS5213で、必要に応じて連結画像SCに対して計測を行う。ここでは、「連結結果を保存」ボタン586を押下して連結画像SCを保存すると、図67のように自動的に確認ダイヤログ587が表示されて、「保存された連結結果を解析アプリケーションで開きますか?」等と選択を促される。この画面で「はい」を選択すると、解析アプリケーションとして三次元画像計測プログラムが起動されると共に、保存された連結画像データが自動的に読み込まれ、連結画像SCに対する計測操作が可能となる。また、このような連結画像SCの生成操作に関しても、図68のプロファイル計測結果レポート画面564に示すように、レポートを作成することができる。作成されたレポートRTには、連結画像SCが表示される。また画像連結の一連の動作をテンプレートとして保存することもできる。以上のようにして、撮像可能な視野よりも大きい連結画像を高精度に生成することができる。
(セミオート、応用モードでの画像連結操作)
In step S5212, the connected image SC is saved as necessary. Here, the “Save Link Result” button 586 is pressed from the screen of FIG. 65, FIG. 66, etc., and the data file of the linked image SC is saved in the storage device 240 such as a hard disk. In step S5213, the connected image SC is measured as necessary. Here, when the “Save Link Result” button 586 is pressed to save the linked image SC, a confirmation dialog 587 is automatically displayed as shown in FIG. 67, and “Open Saved Link Result with Analysis Application” is displayed. You are prompted to choose. When “Yes” is selected on this screen, the three-dimensional image measurement program is started as an analysis application, and the saved linked image data is automatically read, and the linked image SC can be measured. Further, regarding such a generation operation of the connected image SC, a report can be created as shown in the profile measurement result report screen 564 of FIG. A concatenated image SC is displayed on the created report RT. Also, a series of image connection operations can be saved as a template. As described above, a connected image larger than the field of view that can be captured can be generated with high accuracy.
(Semi-auto, image linking operation in advanced mode)

以上の例では、フルオートモードでの画像連結操作の手順を説明した。ただ、本実施の形態では、フルオートモード以外の、フルオート解除(セミオート)簡単モードや、応用モードでも実行できる。この様子を、図69のフローチャート及び図70〜図74のGUI画面例に基づいて説明する。なお、上述したフルオートの画像連結と同様の作業については、詳細説明を省略する。まずステップS6901において、ステージ140のXY位置を初期化し、次にステップS6902において対象物をステージ140上に配置する。次にステップS6903において、画像表示領域410における表示倍率を決定する。ここまでの手順は上述したフルオードモードの例と同じである。   In the above example, the procedure of the image connection operation in the full auto mode has been described. However, in the present embodiment, it can also be executed in a full auto release (semi-auto) simple mode other than the full auto mode or an application mode. This will be described based on the flowchart of FIG. 69 and the GUI screen examples of FIGS. Note that detailed description of operations similar to the above-described full-automatic image connection is omitted. First, in step S6901, the XY position of the stage 140 is initialized, and then in step S6902, the object is placed on the stage 140. In step S6903, the display magnification in the image display area 410 is determined. The procedure so far is the same as the example of the full mode described above.

そしてステップS6904において、画像連結モードに切り替える。ここでもフルオートモード以外と同様に「連結モード」選択欄570のチェックボックスをONさせると画像連結モードが開始される。また、操作領域420の下段に画像連結の作業状況を示すガイダンスが表示される点も同様である。この状態でユーザは、ステージ140のXY位置を手動で調整して(ステップS6905)、ピントを合わせる(ステップS6906)。   In step S6904, the mode is switched to the image connection mode. Here, as in the case other than the full auto mode, when the check box of the “connection mode” selection field 570 is turned on, the image connection mode is started. The same is true in that guidance indicating the image connection work status is displayed in the lower part of the operation area 420. In this state, the user manually adjusts the XY position of the stage 140 (step S6905) and focuses (step S6906).

さらにステップS6907において、測定画像撮像条件の設定を行うかどうかを判定できる。行わない場合はステップS699にジャンプし、行う場合はステップS698に進み、図70、図72に示す測定画像撮像条件設定画面441において、測定画像撮像条件を設定する。ここでは、セミオートモードの場合は、測定画像撮像条件の一として、測定画像SMの明るさを調整できる。図70に示す測定画像撮像条件設定画面441の例では、「測定用明るさ調整」欄440において、スライドバーを調整して測定画像SMの明るさを調整できる。明るさの調整には、露光時間や測定光投光手段の光量調整等が利用できる。なおセミオートモードにおいては、画像切替手段である「観察画像」ボタン427と「測定画像」ボタン428とを切り替えることで、画像表示領域410で表示される画像を観察画像SOと測定画像SMとに切り替えることができる。ただし、観察画像SOに関しては、図71に示すように観察画像撮像条件を調整することはできない。   Furthermore, in step S6907, it can be determined whether or not to set the measurement image imaging condition. When not performing, it jumps to step S699, and when performing, it progresses to step S698 and sets a measurement image imaging condition on the measurement image imaging condition setting screen 441 shown in FIGS. Here, in the semi-auto mode, the brightness of the measurement image SM can be adjusted as one of the measurement image imaging conditions. In the example of the measurement image capturing condition setting screen 441 shown in FIG. 70, the brightness of the measurement image SM can be adjusted by adjusting the slide bar in the “measurement brightness adjustment” column 440. For the adjustment of the brightness, the exposure time, the light amount adjustment of the measuring light projecting means, and the like can be used. In the semi-auto mode, an image displayed in the image display area 410 is switched between the observation image SO and the measurement image SM by switching between the “observation image” button 427 and the “measurement image” button 428 as image switching means. be able to. However, regarding the observation image SO, the observation image capturing condition cannot be adjusted as shown in FIG.

一方、応用モードでは、測定画像の明るさに加えて、より多くの測定画像撮像パラメータを調整できる。一例として図72の測定画像撮像条件設定画面441の画面右側の操作領域420に示すように、「測定モード」選択欄472で測定モードを変更したり、各測定モードのeプレビューを行ったり、あるいは「測定方向」選択欄470から測定光の測定方向を変更できる。例えば「eプレビュー」ボタン471を押下すると、eプレビューが実行されて図73のeプレビュー画面473に切り替わり、図24等と同様に、測定モードに応じた測定画像SMが簡易的に表示される。eプレビュー設定欄474に設けられたeプレビュー測定モード選択欄477のラジオボタンでいずれかの測定モードを選択すると、選択された測定モードと対応するeプレビュー画像が、画像表示領域410中で緑色の枠にて表示され、対応関係が示される。さらに各eプレビュー画像の右下には、測定モードの種別がテキストで表示される。   On the other hand, in the application mode, more measurement image capturing parameters can be adjusted in addition to the brightness of the measurement image. As an example, as shown in the operation area 420 on the right side of the measurement image capturing condition setting screen 441 in FIG. 72, the measurement mode is changed in the “measurement mode” selection field 472, the e-preview of each measurement mode is performed, or The measurement direction of the measurement light can be changed from the “measurement direction” selection column 470. For example, when the “e preview” button 471 is pressed, the e preview is executed and the screen is switched to the e preview screen 473 of FIG. 73, and the measurement image SM corresponding to the measurement mode is simply displayed as in FIG. When one of the measurement modes is selected with the radio button of the e preview measurement mode selection field 477 provided in the e preview setting field 474, an e preview image corresponding to the selected measurement mode is displayed in green in the image display area 410. Displayed in a frame, showing the correspondence. Furthermore, in the lower right of each e preview image, the type of measurement mode is displayed as text.

また測定画像SMの明るさに関しても、図72の測定画像撮像条件設定画面441では手動調整と自動調整とを切り替えることができる。加えて、画像表示領域410における測定異常領域の表示の有無を、測定異常領域表示手段212の一形態である「欠測点・飽和点表示」欄588のON/OFFによって切り替えることができる。   Also regarding the brightness of the measurement image SM, manual adjustment and automatic adjustment can be switched on the measurement image imaging condition setting screen 441 of FIG. In addition, the presence / absence of display of the measurement abnormality area in the image display area 410 can be switched by ON / OFF of the “missing point / saturation point display” column 588 which is one form of the measurement abnormality area display means 212.

さらに応用モードにおいては、測定画像のみならず、観察画像の撮像条件も変更できる。具体的には図74に示すように「測定画像」ボタン428から「観察画像」ボタン427に切り替えると、図53や図71と異なり、操作領域420に各種のボタンが表示される。この例では、「画像改善」ボタン481、テクスチャ画像選択手段460等が表示される。テクスチャ画像選択手段460では、合成画像STの生成時に貼り付けるテクスチャ画像として「テクスチャ画像の選択」欄から通常画像、HDR画像、深度合成画像の選択が可能となっている。上述の通り、「画像改善」ボタン481を押下すると、図14に示したような画像改善パネル480が表示されて、エッジ強調やオフセット、ガンマ補正、ホワイトバランス等を調整できる。このように、画像改善すなわち画質改善のためのパラメータとしては、ガンマ補正やエッジ強調等の各種フィルタが利用できる。   Further, in the application mode, not only the measurement image but also the imaging condition of the observation image can be changed. Specifically, as shown in FIG. 74, when the “measurement image” button 428 is switched to the “observation image” button 427, various buttons are displayed in the operation area 420, unlike FIG. 53 and FIG. In this example, an “image improvement” button 481, texture image selection means 460, etc. are displayed. The texture image selection means 460 can select a normal image, an HDR image, and a depth composite image from the “texture image selection” column as a texture image to be pasted when the composite image ST is generated. As described above, when the “image improvement” button 481 is pressed, an image improvement panel 480 as shown in FIG. 14 is displayed, and edge enhancement, offset, gamma correction, white balance, and the like can be adjusted. As described above, various filters such as gamma correction and edge enhancement can be used as parameters for image improvement, that is, image quality improvement.

このようにして測定画像撮像条件が設定されると、ステップS699に進み、撮像を実行する。ここでは図70、図72等の測定画像撮像条件設定画面441で「測定」ボタン430を押下することで、観察画像と測定画像の撮像が行われ、高さ画像が生成され、さらに高さ画像に観察画像をテクスチャ画像として合成した合成画像STが生成される。以下、フルオートモードと同様に、画像表示領域410に合成画像STが表示されるので、ユーザは連結用画像が正しく得られていることを確認し(ステップS6910)、得られた画像に問題が無い場合は、連結用画像を保存し、問題がある場合はステップS6907に戻って撮像をやり直す。ステップS6910で問題が無い場合はステップS6911に進み、連結画像の生成に必要なすべての連結用画像が取得されたか否かを判定し、未だの場合はステップS6905に戻って上記の作業を繰り返す。すべての連結用画像が取得された場合は、ステップS6912に進み、連結用画像の連結作業に進む。次にステップS6913で、自動又は手動で連結用画像の位置調整を行い、連結を実行する。そしてステップS6914で連結画像を必要に応じて保存し、ステップS6915で必要に応じて連結画像に対して計測を行う。以上のようにして、測定画像撮像条件を必要に応じて調整しながら、連結画像を生成することが可能となる。   When the measurement image capturing condition is set in this manner, the process proceeds to step S699, and imaging is executed. Here, by pressing the “measurement” button 430 on the measurement image imaging condition setting screen 441 of FIGS. 70 and 72, an observation image and a measurement image are captured, a height image is generated, and a height image is further generated. A synthesized image ST is generated by synthesizing the observation image as a texture image. Subsequently, since the composite image ST is displayed in the image display area 410 as in the full auto mode, the user confirms that the connection image is obtained correctly (step S6910), and there is a problem with the obtained image. If there is no link, the connection image is saved, and if there is a problem, the process returns to step S6907 to perform imaging again. If there is no problem in step S6910, the process proceeds to step S6911 to determine whether all the connection images necessary for generating the connection image have been acquired. If not, the process returns to step S6905 to repeat the above operation. If all the connection images have been acquired, the process proceeds to step S6912 and the connection image connection process is performed. Next, in step S6913, the position of the connection image is adjusted automatically or manually, and the connection is executed. In step S6914, the connected image is stored as necessary. In step S6915, the connected image is measured as necessary. As described above, it is possible to generate a connected image while adjusting the measurement image capturing condition as necessary.

なお、以上説明した手順は、必要に応じて一部の工程を省いたり、入れ替えることも可能である。例えば、ステージ位置の初期化は省略してもよい。また、倍率の決定は、画像連結モードをONした後に、あるいはXY位置の調整後に、さらにはピント合わせの後に行わせてもよい。
(自動画像連結)
The procedure described above can be omitted or replaced as necessary. For example, the initialization of the stage position may be omitted. The magnification may be determined after the image connection mode is turned on, after adjustment of the XY position, or after focusing.
(Automatic image connection)

以上は、手動で複数枚の連結用画像を撮像して連結させる手順を説明した。一方で本発明は、自動で複数枚の連結用画像を撮像して連結させることもできる。この場合は、ステージ140を手動でなく自動で移動可能として、ステージ140の移動作業も自動化する。以下、自動で画像連結を行う手順を、図75のフローチャート及び図76〜図83のGUI画面例に基づき、説明する。なお、上述した手動画像連結と同様の作業については、詳細説明を省略する。また、自動画像連結も手動画像連結と同様、フルオートモード、セミオートモード、応用モードのいずれにおいても実行可能としているが、ここでは応用モードについて説明する。   The procedure for manually capturing and connecting a plurality of connecting images has been described above. On the other hand, the present invention can automatically capture and connect a plurality of images for connection. In this case, the stage 140 can be moved automatically instead of manually, and the moving operation of the stage 140 is also automated. Hereinafter, the procedure for automatically connecting images will be described based on the flowchart in FIG. 75 and the GUI screen examples in FIGS. Detailed description of the same operation as the manual image connection described above will be omitted. In addition, automatic image connection can be executed in any of full-auto mode, semi-auto mode, and application mode, as in manual image connection. Here, application mode will be described.

まず、ステップS7501において電動式XYステージの位置を初期化する。次にステップS7502において、対象物をステージ上に載置する。さらにステップS7503において表示倍率を決定する。さらにまたステップS7504においてピントを調整する。   First, in step S7501, the position of the electric XY stage is initialized. Next, in step S7502, the object is placed on the stage. In step S7503, the display magnification is determined. In step S7504, the focus is adjusted.

そしてステップS7505において、自動画像連結モードを開始する。ここでは、図76に示すように、応用モードの操作領域420の下段において、「連結モード」選択欄570のチェックボックスをONさせると画像連結モードが開始される。そして図77に示す、自動画像連結の設定を行う自動連結設定画面591を開く。自動連結設定画面591では、自動画像連結を行う連結領域を指定する(ステップS7506)。図77の例では、操作領域420の中段に広域画像表示欄592が設けられており、生成したい連結画像を縮小表示できる。広域画像は、「倍率切替」欄593でカメラを低倍率カメラに切り替えて、低倍率で観察画像を撮像して取得している。また「より広い視野を取り込む」ボタン594を押下することで、さらに視野の異なる広域画像を取得できる。   In step S7505, the automatic image connection mode is started. Here, as shown in FIG. 76, when the check box of the “connection mode” selection column 570 is turned on in the lower part of the operation area 420 of the application mode, the image connection mode is started. Then, an automatic connection setting screen 591 for setting automatic image connection shown in FIG. 77 is opened. On the automatic connection setting screen 591, a connection area for performing automatic image connection is designated (step S7506). In the example of FIG. 77, a wide area image display field 592 is provided in the middle of the operation area 420, and a connected image to be generated can be reduced and displayed. The wide-area image is acquired by switching the camera to a low-magnification camera in the “magnification switching” column 593 and capturing an observation image at a low magnification. Further, by pressing a “capture a wider field of view” button 594, a wide-area image with a different field of view can be acquired.

また、「連結領域指定」ボタン595を押下すると、図78の連結領域指定画面596が表示される。連結領域指定画面596では、画像表示領域410に表示された観察画像上から、連結領域を指定させる。この例では、2×2の計4枚の連結用画像を撮像するよう設定された様子を示している。   Also, when a “link area designation” button 595 is pressed, a link area designation screen 596 of FIG. 78 is displayed. On the connection area designation screen 596, a connection area is designated from the observation image displayed in the image display area 410. In this example, a state in which a setting is made to capture a total of four 2 × 2 connection images is shown.

また、「連結領域指定」ボタン595を押下すると、図78の連結領域指定画面596が表示される。連結領域指定画面596では、画像表示領域410に表示された観察画像上から、連結領域を指定させる。この例では、2×2の計4枚の連結用画像を撮像するよう設定された様子を示している。   Also, when a “link area designation” button 595 is pressed, a link area designation screen 596 of FIG. 78 is displayed. On the connection area designation screen 596, a connection area is designated from the observation image displayed in the image display area 410. In this example, a state in which a setting is made to capture a total of four 2 × 2 connection images is shown.

さらに自動連結設定画面591の操作領域420の下段には、ステージの動作を設定するためのステージ設定欄597が設けられている。ステージ設定欄597では、左側の「ステージ操作」欄598に設けられたボタンを操作して、ステージをXY方向に移動できる。また右側の「ステージ位置」欄599には、ステージのXY座標が表示されており、この欄に数値を直接入力すれば、指定した座標位置にステージを移動させることができる。また、「速度」欄600から、ステージの移動速度を標準又は高速に切り替えることができる。   Further, a stage setting field 597 for setting the operation of the stage is provided in the lower part of the operation area 420 of the automatic connection setting screen 591. In the stage setting column 597, the stage can be moved in the XY directions by operating a button provided in the “stage operation” column 598 on the left side. In the “stage position” column 599 on the right side, the XY coordinates of the stage are displayed. If a numerical value is directly input in this column, the stage can be moved to the designated coordinate position. Further, from the “speed” column 600, the moving speed of the stage can be switched between standard and high speed.

図77の自動連結設定画面591からは、連結領域指定方法を選択する。まず、「領域指定方法」欄601において、「ナビゲーション表示から指定する」か、「ステージ位置から指定する」かをラジオボタンで選択する。ここでは、「ステージ位置から指定する」を選択している。これにより、連結領域はステージの位置を基準に設定される。   From the automatic connection setting screen 591 in FIG. 77, a connection area designation method is selected. First, in the “area designation method” column 601, a radio button is used to select “designate from the navigation display” or “designate from the stage position”. Here, “Specify from stage position” is selected. Thereby, the connection area is set based on the position of the stage.

次に「連結領域の指定方法」欄602において、「始点と終点」、「始点と長さ」、「始点と枚数」のいずれかから選択する。図77に示すように、「連結領域の指定方法」欄602で「始点と終点」を選択すると、連結領域の始点と終点に当たる位置をそれぞれ指定する。ここでは、連結領域の上下左右を、「上端設定」ボタン、「下端設定」ボタン、「左端設定」ボタン、「右端設定」ボタンから、各辺の頂点位置をそれぞれ指定することで規定する。また、現在の設定内容に基づいて、始点と終点の座標位置、必要な連結用画像の枚数がそれぞれ「現在の設定」欄603に表示される。さらに、目標とする連結画像を広域画像表示欄592に表示させた状態で、現在の設定に基づく一枚目の連結用画像の領域が、枠状に表示される。ユーザは、広域画像表示欄592における枠状の大きさを参照しながら、連結領域を設定できる。   Next, in the “connection area designation method” column 602, one of “start point and end point”, “start point and length”, and “start point and number of sheets” is selected. As shown in FIG. 77, when “start point and end point” is selected in the “connected region designation method” column 602, the positions corresponding to the start point and end point of the connected region are respectively designated. Here, the top, bottom, left, and right of the connection area are defined by designating the vertex positions of the respective sides from the “upper end setting” button, “lower end setting” button, “left end setting” button, and “right end setting” button. Further, based on the current setting contents, the coordinate positions of the start point and end point, and the required number of images for connection are displayed in the “current setting” column 603, respectively. Further, in a state where the target linked image is displayed in the wide area image display field 592, the first linked image area based on the current setting is displayed in a frame shape. The user can set the connection area while referring to the frame size in the wide area image display field 592.

また「連結領域の指定方法」欄602において、「始点と長さ」を選択すると、始点と、矩形状の連結領域の縦横の辺の長さを指定する。ここでは図79において、「上端設定」ボタン、「左端設定」ボタンで、連結領域の左上の頂点位置を規定すると共に、縦方向、横方向の長さを数値でそれぞれ指定する。また、このようにして指定された連結領域のイメージと設定内容が、広域画像表示欄592と「現在の設定」欄603に表示され、内容が変更されると変更後の設定でリアルタイムに反映されることは、図77と同様である。   In addition, when “start point and length” is selected in the “connection area designation method” column 602, the start point and the lengths of the vertical and horizontal sides of the rectangular connection area are designated. Here, in FIG. 79, the “upper end setting” button and the “left end setting” button specify the upper left vertex position of the connection area, and specify the lengths in the vertical and horizontal directions respectively by numerical values. In addition, the image and setting contents of the connection area specified in this way are displayed in the wide area image display field 592 and the “current setting” field 603, and when the contents are changed, the changed settings are reflected in real time. This is the same as FIG.

さらに「連結領域の指定方法」欄602において、「始点と枚数」を選択すると、始点と、始点を基準として縦横に何枚の連結用画像を配置するかを指定する。ここでは図80において、「上端設定」ボタン、「左端設定」ボタンで、連結領域の左上の頂点位置を規定すると共に、縦方向、横方向の連結用画像の枚数を数値でそれぞれ指定する。また、このようにして指定された連結領域のイメージと設定内容が、広域画像表示欄592と「現在の設定」欄603に表示され、リアルタイムに反映されることは、図77等と同様である。   Further, when “start point and number of copies” is selected in the “connection region designation method” column 602, the start point and how many concatenated images are arranged vertically and horizontally based on the start point are designated. Here, in FIG. 80, the “upper end setting” button and the “left end setting” button specify the upper left vertex position of the connection area, and specify the number of images for connection in the vertical and horizontal directions, respectively. In addition, the image and setting contents of the connected area specified in this way are displayed in the wide area image display field 592 and the “current setting” field 603 and reflected in real time, as in FIG. 77 and the like. .

以上のようにして連結領域の指定が完了すると、図77等の操作領域420の下段に設けられた「設定完了」ボタン604を押下する(ステップS7507)。次にステップS7508において、測定モードを決定する。測定モードとしては、上述の通りスタンダード測定モード、ファイン測定モード、ハレーション除去測定モード、スーパーファイン測定モード等があり、何れかの測定モードをユーザに選択させる。また、デフォルトの測定モードを予め規定することもでき、この場合はこのステップを省略できる。次いでステップS7509において、測定画像撮像条件を設定するか否かをユーザに選択させ、設定しない場合はステップS7511にジャンプさせ、設定する場合はステップS7510に進み、測定画像撮像条件の設定を行わせる。この詳細は、上述した図69のステップS698と同様の方法が利用できる。そしてステップS7511において連結用画像の撮像をユーザに指示させる。そしてステップS7512において、オートフォーカスでピントを調整した後撮像実行する。次にステップS7513で、すべての連結用画像の撮像が終了したか否かを計測顕微鏡装置操作プログラム側で判定する。終了した場合はステップS7515に進み、未だの場合はステップS7514に進んで、ステージを次の連結用画像を撮像するための撮像位置まで自動で移動させた上で、ステップS7512に戻って、連結用画像の撮像を繰り返す。   When the designation of the connection area is completed as described above, the “setting complete” button 604 provided in the lower part of the operation area 420 in FIG. 77 or the like is pressed (step S7507). Next, in step S7508, the measurement mode is determined. As described above, the measurement mode includes a standard measurement mode, a fine measurement mode, a halation removal measurement mode, a super fine measurement mode, and the like, and allows the user to select one of the measurement modes. Also, a default measurement mode can be defined in advance, and in this case, this step can be omitted. Next, in step S7509, the user selects whether or not to set the measurement image capturing condition. If not, the process jumps to step S7511. If set, the process proceeds to step S7510 to set the measurement image capturing condition. For this detail, the same method as in step S698 in FIG. 69 described above can be used. In step S7511, the user is instructed to capture the connection image. In step S7512, the image is executed after the focus is adjusted by autofocus. Next, in step S7513, it is determined on the measurement microscope apparatus operation program side whether or not the imaging of all the connection images has been completed. If completed, the process proceeds to step S7515. If not, the process proceeds to step S7514. The stage is automatically moved to the imaging position for capturing the next connection image, and then the process returns to step S7512. Repeat imaging.

そしてすべての連結用画像の撮像が終了した場合は、ステップS7513からステップS7515に進み、連結結果を表示させる。図81に、連結結果確認画面584の例を示す。図81は観察画像SOを表示しており、図65等と同様、ツールバーの画像切替アイコン585を選択することで、図82に示すような高さ画像SHの表示に切り替えることができる。そしてステップS7516において、連結用画像が正しく得られているか否かを確認し、得られていない場合はステップS7517にジャンプして再測定領域を設定する。
(リカバリーモード)
(再測定領域設定手段226)
If all of the connection images have been captured, the process advances from step S7513 to step S7515, and the connection result is displayed. FIG. 81 shows an example of a connection result confirmation screen 584. FIG. 81 displays an observation image SO, and the display can be switched to the display of the height image SH as shown in FIG. 82 by selecting the image switching icon 585 on the tool bar as in FIG. In step S7516, it is confirmed whether or not the connection image is correctly obtained. If not, the process jumps to step S7517 to set a remeasurement area.
(Recovery mode)
(Remeasurement area setting means 226)

自動画像連結においては、連結用画像の高さ画像の取得が部分的に失敗することが考えられる。この場合に、失敗した連結用画像の撮像の全体又は一部を、測定画像撮像条件を変更して再度撮像するためのリカバリーモードを備えている。リカバリーモードは、再測定領域設定手段226によって実行される。また計測顕微鏡装置操作プログラムにおいては、再測定領域設定手段226の一形態として、図81に示す測定結果確認画面において再測定領域設定機能を実現させている。この例では、高さ画像が正しく取得できなかった測定異常領域AAを、測定異常領域表示手段212によって観察画像に重ねて赤色で示しており、対象物の一部が欠けている様子が確認できる。この画面において、操作領域420の中段に設けられた「再測定の設定」ボタン605を押下すると、リカバリーモードとなり、図83に示すように連結領域指定画面596が表示される。連結領域指定画面596では、測定異常領域を自動的に検出すると共に、この測定異常領域を含む追加連結用画像を撮像するための再測定領域を自動的に演算して、表示領域に重ねて表示している。この例では再測定領域を枠状で囲むと共に、斜線でハイライトして表示させている。また再測定領域が、一回の撮像でカバーできない場合は、複数回に亘って撮像し、連結させる。図83の例では2枚の追加連結用画像を撮像するよう、枠状に表示させている。さらに再測定領域設定機能は、ユーザに対して、リカバリーモードであることの説明と、必要な作業をテキストで説明するガイダンス機能も備えている。この例では、「前回失敗した領域の指定方法(リカバリーモード)前回測定に失敗した領域を撮り直すことができます。左クリック、又は左ドラッグして黄色の斜線を引いた領域が、再試行領域として指定されます。指定したら次へボタンを押して下さい。」とのメッセージを表示している。ユーザはメッセージに従って、必要に応じて再測定領域の大きさや位置を調整した後、「次へ」ボタンを押下すると、指定された位置にステージが移動されて(ステップS7514)、追加連結用画像が再度撮像される(ステップS7512〜7513)。またこの際、必要に応じて測定画像撮像条件設定画面441を表示させ、測定異常領域を低減させる再撮像条件に調整することができる。以下、同様にしてすべての追加連結用画像が撮像されると、ステップS7515に進んで連結結果が表示され、さらにステップS7516において連結用画像が正しく得られているか否かが確認され、否の場合は再度ステップS7517に戻ってリカバリーモードを実行する。一方、連結用画像が正しく得られている場合は、ステップS7518に進み、連結用画像の連結作業に進む。さらにステップS7519で、自動又は手動で連結用画像の位置調整を行い、連結を実行し、ステップS7520で連結画像を必要に応じて保存し、ステップS7521で必要に応じて連結画像に対して計測を行う。以上のようにして、連結画像を自動で生成することが可能となる。   In automatic image connection, it is conceivable that the acquisition of the height image of the connection image partially fails. In this case, a recovery mode is provided in which the whole or a part of the failed connection image capturing is captured again by changing the measurement image capturing condition. The recovery mode is executed by the remeasurement area setting unit 226. In the measurement microscope apparatus operation program, the remeasurement area setting function is realized on the measurement result confirmation screen shown in FIG. 81 as one form of the remeasurement area setting means 226. In this example, the measurement abnormal area AA in which the height image could not be acquired correctly is shown in red superimposed on the observation image by the measurement abnormal area display means 212, and it can be confirmed that a part of the object is missing. . On this screen, when a “re-measurement setting” button 605 provided in the middle of the operation area 420 is pressed, the recovery mode is set, and a linked area designation screen 596 is displayed as shown in FIG. On the connection area designation screen 596, a measurement abnormality area is automatically detected, and a remeasurement area for capturing an additional connection image including the measurement abnormality area is automatically calculated and displayed on the display area. doing. In this example, the re-measurement area is surrounded by a frame and is displayed by being highlighted with diagonal lines. If the remeasurement area cannot be covered by a single imaging, the imaging is performed multiple times and connected. In the example of FIG. 83, a frame is displayed so that two additional connection images are captured. Furthermore, the re-measurement area setting function also includes a guidance function for explaining to the user that the mode is the recovery mode and explaining necessary work in text. In this example, “How to specify the last failed area (Recovery mode) You can retake the area where the previous measurement failed. Left click or left drag and the area with the yellow diagonal line is the retry area. "Please press the next button when you have specified" message is displayed. After the user adjusts the size and position of the re-measurement area according to the message and presses the “Next” button, the stage is moved to the designated position (step S7514), and the additional connection image is displayed. The image is picked up again (steps S7512 to 7513). At this time, if necessary, the measurement image imaging condition setting screen 441 can be displayed to adjust the re-imaging condition to reduce the measurement abnormal area. Thereafter, when all the additional connection images are picked up in the same manner, the process proceeds to step S7515 and the connection result is displayed. In step S7516, it is confirmed whether or not the connection image is correctly obtained. Returns to step S7517 again to execute the recovery mode. On the other hand, if the connecting image is obtained correctly, the process proceeds to step S7518 to proceed to the connecting operation of connecting images. Further, in step S7519, the position of the connection image is adjusted automatically or manually, connection is executed, and in step S7520, the connection image is stored as necessary. In step S7521, the connection image is measured as necessary. Do. As described above, a connected image can be automatically generated.

本発明の計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体は、三角測距の原理を利用した検査装置やデジタイザに好適に利用できる。   The measurement microscope apparatus of the present invention, the measurement method and operation program using the measurement microscope apparatus, and the computer-readable recording medium can be suitably used for an inspection apparatus and a digitizer using the principle of triangulation.

100…撮像手段
110…投光部;110A…第一測定光投光部;110B…第二測定光投光部
111…測定光源
112…パターン生成部
113〜115、122、123…レンズ
120…受光部
121…カメラ
121a…撮像素子
130…照明光出力部
140…ステージ
141…X−Yステージ
142…Zステージ
143…θステージ
144…ステージ操作部
145…ステージ駆動部
150…測定制御部
200…制御手段
210…CPU
211…測定画像合成手段
212…測定異常領域表示手段
213…三次元画像合成手段
214…計測手段
215…位置合わせ手段
216…倍率連動手段
217…表示位置連動手段
218…テンプレート生成手段
219…テンプレート呼出手段
220…ROM
222…レポート作成手段
223…位置合わせ画像登録手段
224…テンプレート検索手段
225…画像連結手段
226…再測定領域設定手段
228…高さ画像取得手段
230…作業用メモリ
240…記憶装置
250…操作部
300…光源部
310…制御基板
320…観察用照明光源
400…表示部
410…画像表示領域
411…第一分割表示領域
412…第二分割表示領域
413…第三分割表示領域
415…種別表示欄
416…第一表示領域
417…第二表示領域
420…操作領域
421…「3Dスキャン」タブ
422…「マイクロスコープ」タブ
424…「1shot−3D」ボタン
425…「エキスパート」ボタン
426…フルオート切替手段
427…「観察画像」ボタン
428…「測定画像」ボタン
430…「測定」ボタン
440…「測定用明るさ調整」欄
441…測定画像撮像条件設定画面
442…測定光明るさ個別調整手段
444…明るさ調整スライダ
446…明るさ調整スライダ
450…「解析アプリへ」ボタン
451…「観察アプリへ」ボタン
452…テクスチャ比率調整手段
453…高さ倍率スライドバー
454…画像表示切替手段
455…「3D」ボタン
456…「テクスチャ」ボタン
457…「高さ」ボタン
460…テクスチャ画像選択手段
470…「測定方向」選択欄
471…「eプレビュー」ボタン
472…「測定モード」選択欄
473…eプレビュー画面
474…eプレビュー設定欄
475…測定方向選択欄
476…「更新」ボタン
477…eプレビュー測定モード選択欄
478…「OK」ボタン
480…画像改善パネル
481…「画像改善」ボタン
484…「データ保存」ボタン
485…「解析アプリで開く」ボタン
490…観察画像撮像条件設定手段
492…カメラ明るさ調整スライダ
500…計測顕微鏡装置
510…結果表示領域
512…合成画像表示領域
513…測定画像表示領域
514…プロファイルグラフ表示領域;514V…縦プロファイルグラフ表示領域
514H…横プロファイルグラフ表示領域
515…プロファイル計測画面
520…計測機能ツールバー
521…「プロファイル」ボタン
522…プロファイルツール
523…プロファイル線ツール
524…補助ツール
525…平均段差計測画面
526…体積面積計測画面
527…平面計測画面
528…線粗さ計測画面
529…表面粗さ計測画面
530…高さ計測ツールボタン
531…平面計測ツールボタン
532…基準面設定画面
533…基準面指定方法欄
534…領域指定ラジオボタン
535…「領域指定」ボタン
536…領域設定画面
537…「矩形」ボタン
538…「OK」ボタン
539…「平面計測」ボタン
540…比較計測画面
542…比較基準画像表示領域
543…比較対象画像表示領域
544…「プロファイル線連動」欄
550…テンプレート呼出画面
562…「レポート作成」ボタン
564…プロファイル計測結果レポート画面
566…テンプレート保存確認画面
570…「連結モード」選択欄
572…「フォーカス」欄
573…「登録」ボタン
574…「再測定」ボタン
576…連結プレビュー画面
577…「測定を続ける」ボタン
578…「連結実行」ボタン
580…連結確認画面
581…矢印ボタン
582…「自動位置調整」ボタン
584…連結結果確認画面
585…画像切替アイコン
586…「連結結果を保存」ボタン
587…確認ダイヤログ
588…「欠測点・飽和点表示」欄
591…自動連結設定画面
592…広域画像表示欄
593…「倍率切替」欄
594…「より広い視野を取り込む」ボタン
595…「連結領域指定」ボタン
596…連結領域指定画面
597…ステージ設定欄
598…「ステージ操作」欄
599…「ステージ位置」欄
600…「速度」欄
601…「領域指定方法」欄
602…「連結領域の指定方法」欄
603…「現在の設定」欄
604…「設定完了」ボタン
605…「再測定の設定」ボタン
606…機能ガイド
607…「比較計測」ボタン
S…対象物
S1…第一測定画像
S2…第二測定画像
SG…合成高さ画像
SM…測定画像
SO…観察画像
ST…合成画像
SH…測定画像
SP…連結用画像
SC…連結画像
BI…比較基準画像;RI…比較対象画像
PL…プロファイル線;VPL…縦プロファイル線;HPL…横プロファイル線
PI…プロファイルグラフ
PIV…縦プロファイルグラフ;PIH…横プロファイルグラフ
ROI1…基準面となる領域
CC1、CC2…計測対象要素
PT…ポイント
RP…レポート
AA…測定異常領域
DESCRIPTION OF SYMBOLS 100 ... Imaging means 110 ... Light projection part; 110A ... First measurement light light projection part; 110B ... Second measurement light light projection part 111 ... Measurement light source 112 ... Pattern generation parts 113-115, 122, 123 ... Lens 120 ... Light reception Unit 121 ... Camera 121a ... Image sensor 130 ... Illumination light output unit 140 ... Stage 141 ... XY stage 142 ... Z stage 143 ... [theta] stage 144 ... Stage operation unit 145 ... Stage drive unit 150 ... Measurement control unit 200 ... Control means 210 ... CPU
211 ... Measured image composition means 212 ... Measurement abnormal area display means 213 ... 3D image composition means 214 ... Measurement means 215 ... Alignment means 216 ... Magnification interlocking means 217 ... Display position interlocking means 218 ... Template generating means 219 ... Template calling means 220 ... ROM
222 ... Report creation means 223 ... Registration image registration means 224 ... Template search means 225 ... Image connection means 226 ... Remeasurement area setting means 228 ... Height image acquisition means 230 ... Work memory 240 ... Storage device 250 ... Operation unit 300 ... light source unit 310 ... control board 320 ... observation illumination light source 400 ... display unit 410 ... image display area 411 ... first divided display area 412 ... second divided display area 413 ... third divided display area 415 ... type display column 416 ... First display area 417 ... second display area 420 ... operation area 421 ... "3D scan" tab 422 ... "microscope" tab 424 ... "1shot-3D" button 425 ... "expert" button 426 ... fully automatic switching means 427 ... “Observation image” button 428... “Measurement image” button 430... “Measurement” button 440. Brightness adjustment for measurement "column 441 ... Measurement image imaging condition setting screen 442 ... Individual measurement light brightness adjustment means 444 ... Brightness adjustment slider 446 ... Brightness adjustment slider 450 ..." To analysis application "button 451 ..." To observation application ""Button 452 ... texture ratio adjusting means 453 ... height magnification slide bar 454 ... image display switching means 455 ..." 3D "button 456 ..." texture "button 457 ..." height "button 460 ... texture image selecting means 470 ..." measurement ""Direction" selection field 471 ... "e preview" button 472 ... "Measurement mode" selection field 473 ... e preview screen 474 ... e preview setting field 475 ... Measurement direction selection field 476 ... "Update" button 477 ... e preview measurement mode selection field 478 ... "OK" button 480 ... Image improvement panel 481 ... "Image improvement" button 84 ... "Data save" button 485 ... "Open with analysis application" button 490 ... Observation image imaging condition setting means 492 ... Camera brightness adjustment slider 500 ... Measurement microscope device 510 ... Result display area 512 ... Composite image display area 513 ... Measurement Image display area 514 ... Profile graph display area; 514V ... Vertical profile graph display area 514H ... Horizontal profile graph display area 515 ... Profile measurement screen 520 ... Measurement function toolbar 521 ... "Profile" button 522 ... Profile tool 523 ... Profile line tool 524 ... Auxiliary tool 525 ... Average step measurement screen 526 ... Volume area measurement screen 527 ... Plane measurement screen 528 ... Line roughness measurement screen 529 ... Surface roughness measurement screen 530 ... Height measurement tool button 531 ... Plane measurement tool button 532 ... Reference surface Setting screen 533 ... Reference plane designation method column 534 ... Area designation radio button 535 ... "Area designation" button 536 ... Area setting screen 537 ... "Rectangle" button 538 ... "OK" button 539 ... "Planar measurement" button 540 ... Comparative measurement Screen 542 ... Comparison reference image display area 543 ... Comparison target image display area 544 ... "Profile line interlock" field 550 ... Template call screen 562 ... "Create report" button 564 ... Profile measurement result report screen 566 ... Template save confirmation screen 570 ... "Connection mode" selection field 572 ... "Focus" field 573 ... "Registration" button 574 ... "Re-measurement" button 576 ... Connection preview screen 577 ... "Continue measurement" button 578 ... "Connection execution" button 580 ... Connection confirmation screen 581 ... Arrow button 582 ... "Automatic position adjustment" button 58 ... Concatenation result confirmation screen 585 ... Image switching icon 586 ... "Save connection result" button 587 ... Confirmation dialog 588 ... "Missing point / saturation point display" field 591 ... Automatic connection setting screen 592 ... Wide area image display field 593 ... “Switch magnification” field 594... “Capture wider field of view” button 595... “Connected area designation” button 596... Connected area designation screen 597... Stage setting field 598 ... “Stage operation” field 599. “Speed” field 601... “Area designation method” field 602... “Connected area designation method” field 603... “Current setting” field 604. “Setting complete” button 605. 607 ... "Comparison measurement" button S ... Object S1 ... First measurement image S2 ... Second measurement image SG ... Composite height image SM ... Measurement image SO ... Observation image ST ... Image SH ... Measurement image SP ... Connection image SC ... Connection image BI ... Comparison reference image; RI ... Comparison image PL ... Profile line; VPL ... Vertical profile line; HPL ... Horizontal profile line PI ... Profile graph PIV ... Vertical profile graph ; PIH ... Horizontal profile graph ROI1 ... Reference areas CC1, CC2 ... Measurement target element PT ... Point RP ... Report AA ... Measurement abnormality area

Claims (14)

対象物に対して斜め方向から測定光を所定のパターンの構造化照明として投光するための測定光投光手段である、第一の方向から対象物に対して第一測定光を照射可能な第一測定光投光手段と、
前記第一測定光投光手段で投光され、対象物で反射された測定光を取得して複数の縞画像を撮像するための撮像手段と、
前記複数の縞画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、
画像を表示させるための表示手段であって、比較の基準となる対象物の比較基準画像を表示させるための比較基準画像表示領域と、比較の対象となる対象物の比較対象画像を表示させるための比較対象画像表示領域とを有する表示手段と、
前記比較基準画像表示領域で表示された比較基準画像、及び比較対象画像表示領域で表示された比較対象画像上の任意の位置に、それぞれ測定の基準となるプロファイル線を設定するためのプロファイル線配置手段と、
前記比較対象画像を、前記比較基準画像と同じ姿勢となるように、該比較対象画像を移動又は回転させる位置合わせ手段と、
前記プロファイル線配置手段で比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線と同じプロファイル線を、比較基準画像又は比較対象画像のいずれか他方の、対応する位置に自動的に配置可能な線連動切替手段と、
前記比較基準画像及び比較対象画像の各々に対応する高さ画像から、各高さ画像上に配置されたプロファイル線に沿った断面形状を示すプロファイルグラフをそれぞれ取得して前記表示手段に表示させた状態で、該比較基準画像と比較対象画像に対して比較計測を行うための計測手段と
を備えることを特徴とする計測顕微鏡装置。
A measuring light projecting means for projecting measuring light as a structured illumination of a predetermined pattern to the object from an oblique direction, and can irradiate the object with the first measuring light from the first direction. First measuring light projecting means;
Imaging means for acquiring the measurement light projected by the first measurement light projecting means and reflected by the object and capturing a plurality of fringe images;
A height image acquisition means for acquiring a height image having height information based on the plurality of stripe images;
Display means for displaying an image, for displaying a comparison reference image display area for displaying a comparison reference image of a target object as a reference for comparison, and a comparison target image of a target object as a comparison target Display means having a comparison target image display area,
Profile line arrangement for setting a profile line as a measurement reference at any position on the comparison reference image displayed in the comparison reference image display area and the comparison target image displayed in the comparison target image display area Means,
Alignment means for moving or rotating the comparison target image so that the comparison target image has the same posture as the comparison reference image;
The profile line that is the same as the profile line placed on either the comparison reference image or the comparison target image by the profile line placement unit is automatically placed at the corresponding position on either the comparison reference image or the comparison target image. Possible line interlock switching means,
From the height images corresponding to each of the comparison reference image and the comparison target image, profile graphs each showing a cross-sectional shape along the profile line arranged on each height image are acquired and displayed on the display unit. A measurement microscope apparatus comprising: a measurement unit for performing comparative measurement on the comparison reference image and the comparison target image in a state.
請求項1に記載される計測顕微鏡装置であって、
前記線連動切替手段は、前記比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線の配置位置が変更されると、他方の画像上に配置されたプロファイル線も追従して配置位置を変更するよう構成してなることを特徴とする計測顕微鏡装置。
A measuring microscope apparatus according to claim 1,
When the arrangement position of the profile line arranged in one of the comparison reference image or the comparison target image is changed, the line interlocking switching unit also follows the profile line arranged on the other image. A measuring microscope apparatus characterized by being configured so as to be changed.
請求項1又は2に記載される計測顕微鏡装置であって、
前記線連動切替手段は、プロファイル線を連動して配置する機能のON/OFFを切り替え可能であり、
前記線連動切替手段をOFFした状態で、プロファイル線を比較基準画像又は比較対象画像の独立した位置に配置可能としてなることを特徴とする計測顕微鏡装置。
A measuring microscope apparatus according to claim 1 or 2,
The line interlock switching means can switch ON / OFF of the function of arranging profile lines in conjunction with each other,
A measuring microscope apparatus, wherein a profile line can be arranged at an independent position of a comparison reference image or a comparison target image in a state where the line interlocking switching unit is turned off.
請求項1〜3のいずれか一に記載される計測顕微鏡装置であって、さらに
対象物の画像に対して高さ方向の基準となる基準面を指定するための基準面指定手段を備えることを特徴とする計測顕微鏡装置。
The measurement microscope apparatus according to any one of claims 1 to 3, further comprising a reference surface designating unit for designating a reference surface serving as a reference in the height direction with respect to the image of the object. A characteristic measuring microscope device.
請求項1〜4のいずれか一に記載される計測顕微鏡装置であって、
前記位置合わせ手段が、自動で位置合わせ可能に構成されてなることを特徴とする計測顕微鏡装置。
A measurement microscope apparatus according to any one of claims 1 to 4,
A measuring microscope apparatus characterized in that the positioning means is configured to be capable of automatic positioning.
請求項1〜4のいずれか一に記載される計測顕微鏡装置であって、
前記位置合わせ手段が、ユーザの入力を受け付けて手動により位置合わせ可能に構成されてなることを特徴とする計測顕微鏡装置。
A measurement microscope apparatus according to any one of claims 1 to 4,
A measuring microscope apparatus characterized in that the positioning means is configured to accept manual input and to be manually positioned.
請求項1〜6のいずれか一に記載される計測顕微鏡装置であって、
前記表示手段において、比較基準画像と比較対象画像とを重ね合わせて表示可能とし、さらに一方又は両方の画像を透過させて表示可能としてなることを特徴とする計測顕微鏡装置。
A measurement microscope apparatus according to any one of claims 1 to 6,
The measurement microscope apparatus characterized in that the display unit can display the comparison reference image and the comparison target image in a superimposed manner, and can further display one or both of the images.
請求項1〜7のいずれか一に記載される計測顕微鏡装置であって、さらに
前記表示手段において、比較基準画像と比較対象画像の表示倍率を、いずれか一方の画像で変更させると、他方の画像でも同様の変更を連動して行わせることが可能な倍率連動手段を備えることを特徴とする計測顕微鏡装置。
The measurement microscope apparatus according to any one of claims 1 to 7, wherein in the display means, when the display magnification of the comparison reference image and the comparison target image is changed in any one of the images, the other A measurement microscope apparatus comprising a magnification interlocking unit capable of performing the same change in conjunction with an image.
請求項1〜8のいずれか一に記載される計測顕微鏡装置であって、さらに
前記表示手段において、比較基準画像と比較対象画像の表示位置をいずれか一方の画像で変更すると、これに連動させて他方の画像の表示位置も自動で追従可能な表示位置連動手段を備えることを特徴とする計測顕微鏡装置。
The measurement microscope apparatus according to any one of claims 1 to 8, wherein in the display unit, when the display position of the comparison reference image and the comparison target image is changed with any one of the images, the display unit is interlocked with this. And a display position interlocking means capable of automatically following the display position of the other image.
請求項1〜9のいずれか一に記載される計測顕微鏡装置であって、
前記比較基準画像及び比較対象画像が、前記観察用照明光源を用いて撮像した観察画像、測定光投光手段を用いて撮像した縞画像に基づき前記高さ画像取得手段で生成された高さ画像、又はこれら観察画像と高さ画像を合成した三次元の合成画像であることを特徴とする計測顕微鏡装置。
A measurement microscope apparatus according to any one of claims 1 to 9,
The comparison reference image and the comparison target image are height images generated by the height image acquisition unit based on the observation image captured using the observation illumination light source and the fringe image captured using the measurement light projecting unit. Or a three-dimensional synthesized image obtained by synthesizing the observation image and the height image.
請求項1〜10のいずれか一に記載される計測顕微鏡装置であって、さらに
前記測定光投光手段である、前記第一の方向とは異なる第二の方向から対象物に対して第二測定光を照射可能な第二測定光投光手段と、
観察画像の撮像時の照明光を発生させるための観察用照明光源と
を備え、
前記撮像手段でもって、前記観察用照明光源を用いてテクスチャ情報を有する観察画像を撮像してなることを特徴とする測定顕微鏡装置。
The measurement microscope apparatus according to any one of claims 1 to 10, wherein the measurement light projecting unit is a second with respect to the object from a second direction different from the first direction. Second measuring light projecting means capable of irradiating measuring light;
An illumination light source for observation for generating illumination light during imaging of the observation image,
A measurement microscope apparatus characterized in that the imaging means captures an observation image having texture information using the observation illumination light source.
対象物に対して斜め方向から測定光を所定のパターンの構造化照明として投光するための測定光投光手段である、第一の方向から対象物に対して第一測定光を照射可能な第一測定光投光手段と、
前記第一測定光投光手段で投光され、対象物で反射された測定光を取得して複数の縞画像を撮像するための撮像手段と、
前記複数の縞画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、
画像を表示させるための表示手段であって、比較の基準となる対象物の比較基準画像を表示させるための比較基準画像表示領域と、比較の対象となる対象物の比較対象画像を表示させるための比較対象画像表示領域とを有する表示手段と
を備える計測顕微鏡装置を用いた計測方法であって、
対象物を、前記第一測定光投光手段を用いて、所定の姿勢にて前記撮像手段で撮像した比較対象画像を取得する工程と、
前記比較対象画像を、別途取得した前記比較基準画像と同じ姿勢となるように、位置合わせ手段でもって移動又は回転させて位置合わせする工程と、
前記比較基準画像表示領域で表示された比較基準画像、及び比較対象画像表示領域で表示された比較対象画像のいずれか一方の任意の位置に、プロファイル線配置手段でプロファイル線を引く工程と、
前記プロファイル線配置手段で比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線と同じプロファイル線を、比較基準画像又は比較対象画像のいずれか他方の、対応する位置に自動的に配置する工程と、
前記比較基準画像及び比較対象画像の各々に対応する高さ画像から、各高さ画像上に配置されたプロファイル線に沿った断面形状を示すプロファイルグラフをそれぞれ取得して前記表示手段に表示させた状態で、該比較基準画像と比較対象画像に対して比較計測を行う工程と
を含むことを特徴とする計測方法。
A measuring light projecting means for projecting measuring light as a structured illumination of a predetermined pattern to the object from an oblique direction, and can irradiate the object with the first measuring light from the first direction. First measuring light projecting means;
Imaging means for acquiring the measurement light projected by the first measurement light projecting means and reflected by the object and capturing a plurality of fringe images;
A height image acquisition means for acquiring a height image having height information based on the plurality of stripe images;
Display means for displaying an image, for displaying a comparison reference image display area for displaying a comparison reference image of a target object as a reference for comparison, and a comparison target image of a target object as a comparison target A measurement method using a measurement microscope apparatus comprising a display means having a comparison target image display area,
Acquiring a comparison target image obtained by imaging the object with the imaging unit in a predetermined posture using the first measurement light projecting unit;
A step of aligning the image to be compared by moving or rotating by an alignment means so as to have the same posture as the separately acquired comparison reference image;
Drawing a profile line with a profile line placement means at any position of either the comparison reference image displayed in the comparison reference image display area or the comparison target image displayed in the comparison target image display area;
The profile line that is the same as the profile line placed on either the comparison reference image or the comparison target image by the profile line placement unit is automatically placed at the corresponding position on either the comparison reference image or the comparison target image. And a process of
From the height images corresponding to each of the comparison reference image and the comparison target image, profile graphs each showing a cross-sectional shape along the profile line arranged on each height image are acquired and displayed on the display unit. And a step of performing comparative measurement on the comparison reference image and the comparison target image in a state.
対象物に対して斜め方向から測定光を所定のパターンの構造化照明として投光するための測定光投光手段である、第一の方向から対象物に対して第一測定光を照射可能な第一測定光投光手段と、
前記第一測定光投光手段で投光され、対象物で反射された測定光を取得して複数の縞画像を撮像するための撮像手段と、
前記複数の縞画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と
を備える計測顕微鏡装置の操作プログラムであって、
比較の基準となる対象物の比較基準画像を比較基準画像表示領域に表示させ、比較の対象となる対象物の比較対象画像を比較対象画像表示領域に表示させる機能と、
前記比較対象画像を、前記比較基準画像と同じ姿勢となるように、該比較対象画像を移動又は回転させる位置合わせ機能と、
前記比較基準画像表示領域で表示された比較基準画像、及び比較対象画像表示領域で表示された比較対象画像上の任意の位置に、それぞれ測定の基準となるプロファイル線を設定するためのプロファイル線配置機能と、
前記プロファイル線配置手段で比較基準画像又は比較対象画像のいずれか一方に配置されたプロファイル線と同じプロファイル線を、比較基準画像又は比較対象画像のいずれか他方の、対応する位置に自動的に配置可能な線連動切替機能と、
前記比較基準画像及び比較対象画像の各々に対応する高さ画像から、各高さ画像上に配置されたプロファイル線に沿った断面形状を示すプロファイルグラフをそれぞれ取得して前記表示手段に表示させた状態で、該比較基準画像と比較対象画像に対して比較計測を行う計測機能と
をコンピュータに実現させることを特徴とする計測顕微鏡装置操作プログラム。
A measuring light projecting means for projecting measuring light as a structured illumination of a predetermined pattern to the object from an oblique direction, and can irradiate the object with the first measuring light from the first direction. First measuring light projecting means;
Imaging means for acquiring the measurement light projected by the first measurement light projecting means and reflected by the object and capturing a plurality of fringe images;
An operation program for a measurement microscope apparatus comprising a height image acquisition means for acquiring a height image having height information based on the plurality of fringe images,
A function for displaying a comparison reference image of a target object for comparison in a comparison reference image display area, and displaying a comparison target image of a target object for comparison in a comparison target image display area;
A positioning function for moving or rotating the comparison target image so that the comparison target image has the same posture as the comparison reference image;
Profile line arrangement for setting a profile line as a measurement reference at any position on the comparison reference image displayed in the comparison reference image display area and the comparison target image displayed in the comparison target image display area Function and
The profile line that is the same as the profile line placed on either the comparison reference image or the comparison target image by the profile line placement unit is automatically placed at the corresponding position on either the comparison reference image or the comparison target image. Possible line interlock switching function,
From the height images corresponding to each of the comparison reference image and the comparison target image, profile graphs each showing a cross-sectional shape along the profile line arranged on each height image are acquired and displayed on the display unit. A measurement microscope apparatus operation program that causes a computer to realize a measurement function for performing comparative measurement on the comparison reference image and the comparison target image in a state.
請求項13に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。   A computer-readable recording medium on which the program according to claim 13 is recorded.
JP2012263872A 2012-11-30 2012-11-30 Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium Expired - Fee Related JP5964220B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012263872A JP5964220B2 (en) 2012-11-30 2012-11-30 Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012263872A JP5964220B2 (en) 2012-11-30 2012-11-30 Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016129448A Division JP6218893B2 (en) 2016-06-29 2016-06-29 Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium

Publications (2)

Publication Number Publication Date
JP2014109493A JP2014109493A (en) 2014-06-12
JP5964220B2 true JP5964220B2 (en) 2016-08-03

Family

ID=51030207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012263872A Expired - Fee Related JP5964220B2 (en) 2012-11-30 2012-11-30 Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium

Country Status (1)

Country Link
JP (1) JP5964220B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715724B2 (en) * 2014-07-29 2017-07-25 Applied Materials Israel Ltd. Registration of CAD data with SEM images
KR101794964B1 (en) * 2015-07-17 2017-11-07 주식회사 고영테크놀러지 Inspection system and inspection method
JP6667395B2 (en) * 2016-07-22 2020-03-18 株式会社キーエンス Magnifying observation device
WO2021161530A1 (en) 2020-02-14 2021-08-19 ヤマザキマザック株式会社 Workpiece mounting method for machining apparatus, workpiece mounting support system, and workpiece mounting support program
CN113689374B (en) * 2020-05-18 2023-10-27 浙江大学 Method and system for determining surface roughness of plant leaf

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124646A (en) * 1996-10-17 1998-05-15 Minolta Co Ltd Three-dimensional measuring device
JP2006153636A (en) * 2004-11-29 2006-06-15 Olympus Corp 3-dimensional measurement method and program making computer perform 3-dimensional measurement method
JP2006153575A (en) * 2004-11-26 2006-06-15 Olympus Corp Three-dimensional measuring instrument
JP5055191B2 (en) * 2008-04-24 2012-10-24 パナソニック株式会社 Three-dimensional shape measuring method and apparatus

Also Published As

Publication number Publication date
JP2014109493A (en) 2014-06-12

Similar Documents

Publication Publication Date Title
JP6091866B2 (en) Measurement microscope apparatus, image generation method, measurement microscope apparatus operation program, and computer-readable recording medium
JP6218893B2 (en) Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium
US10508902B2 (en) Three-dimensional measurement device
JP2014109489A (en) Measurement microscope device and image photographing method employing the same
US9690089B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
US9970745B2 (en) Measurement target measuring program, measurement target measuring method, and magnifying observation device
JP7137346B2 (en) Image observation device, image observation method, image observation program, and computer-readable recording medium
JP5964220B2 (en) Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium
JP5963658B2 (en) Measurement microscope apparatus, measurement method and operation program using the same, and computer-readable recording medium
JP4753711B2 (en) 3D image display device, 3D image display device operation method, 3D image display program, computer-readable recording medium, and recorded device
JP7137345B2 (en) Shape measuring device, shape measuring method, shape measuring program, computer-readable recording medium, and recorded equipment
JP6009288B2 (en) Measurement microscope apparatus, measurement microscope apparatus operation program, and computer-readable recording medium
US20140184778A1 (en) Image processing apparatus, control method for the same, image processing system, and program
JP7157547B2 (en) Shape measuring device, shape measuring method and shape measuring program
JP4536422B2 (en) Magnification observation apparatus, magnification image observation method, magnification observation operation program, and computer-readable recording medium or recorded apparatus
JP2017032340A (en) Three-dimensional image inspection device, three-dimensional image inspection method, three-dimensional image inspection program, and computer readable recording medium
JP2006023820A (en) Magnifying observation device, image file generation device, image file generation program, three-dimensional image display program and computer-readable recording medium or recording device
JP2019190919A (en) Shape measuring device, shape measuring method, shape measuring program, computer readable recording medium, and recorded apparatus
JP4536421B2 (en) Magnification observation apparatus, magnification image observation method, magnification observation operation program, and computer-readable recording medium or recorded apparatus
JP6694248B2 (en) Three-dimensional image inspection apparatus, three-dimensional image inspection method, three-dimensional image inspection program, and computer-readable recording medium
JP7154084B2 (en) Three-dimensional shape measuring device and three-dimensional shape measuring program
JP6799893B2 (en) Three-dimensional measuring device
DE102022201094A1 (en) Device for magnified viewing
JP2004012192A (en) Measuring microscope device, its display method, and its display program
JP2022127539A (en) Enlarging observation device, enlarged image observation method, enlarged image observation program, and computer-readable recording medium, and apparatus storing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160629

R150 Certificate of patent or registration of utility model

Ref document number: 5964220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees