JP6819362B2 - 共焦点計測装置 - Google Patents

共焦点計測装置 Download PDF

Info

Publication number
JP6819362B2
JP6819362B2 JP2017039087A JP2017039087A JP6819362B2 JP 6819362 B2 JP6819362 B2 JP 6819362B2 JP 2017039087 A JP2017039087 A JP 2017039087A JP 2017039087 A JP2017039087 A JP 2017039087A JP 6819362 B2 JP6819362 B2 JP 6819362B2
Authority
JP
Japan
Prior art keywords
measurement
image
core
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017039087A
Other languages
English (en)
Other versions
JP2018146279A (ja
Inventor
慎也 古川
慎也 古川
菅　孝博
孝博 菅
滝政　宏章
宏章 滝政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017039087A priority Critical patent/JP6819362B2/ja
Priority to TW106144467A priority patent/TWI642894B/zh
Priority to KR1020170174109A priority patent/KR102125483B1/ko
Priority to US15/846,204 priority patent/US11226233B2/en
Priority to CN201711379400.8A priority patent/CN108534682B/zh
Publication of JP2018146279A publication Critical patent/JP2018146279A/ja
Application granted granted Critical
Publication of JP6819362B2 publication Critical patent/JP6819362B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237—Adjustable, e.g. focussing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0278—Control or determination of height or angle information for sensors or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/06—Scanning arrangements arrangements for order-selection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02—Optical fibres with cladding with or without a coating
    • G02B6/02042—Multicore optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/32—Optical coupling means having lens focusing means positioned between opposed fibre ends

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、共焦点光学系を用いて計測対象物の変位量を計測する計測装置に関する。特に、計測点の周辺の画像をユーザが確認可能である計測装置に関する。
共焦点光学系を利用して、計測対象物の変位を計測することが可能な共焦点計測装置が従来技術として知られている。例えば、特許文献１には、対物レンズと回折レンズを適切に配置することにより、光の波長による、計測対象物の変位を計測する精度の変動を抑えた共焦点計測装置が開示されている。また、特許文献２には、感度パラメータに応じて調整された画素データに基づいて、超深度画像データを生成し、さらに観察対象物の表面画像データを生成する共焦点顕微鏡システムが開示されている。一方、計測対象物の計測を行う際、当該計測対象物に対する計測位置をユーザに通知する計測装置も、従来技術として知られている。例えば、特許文献３には、計測対象物の画像に対して計測位置のエッジを検出し、検出したエッジ部分に基づいて所定の物理量を計測した結果を表示する画像計測装置が開示されている。
特開２０１２−２０８１０２号公報（２０１２年１０月２５日公開） 特開２０１５−５２８０５号公報（２０１５年３月１９日公開） 特開２０１４−１９７００４号公報（２０１４年１０月１６日公開）
しかしながら、共焦点光学系を用いる計測装置において、これまで、ユーザが計測位置を確認するためには、当該計測位置の確認を目視にて行う必要があった。そのため、例えば、計測範囲が微小領域である場合、および計測位置周辺がセンサヘッドの影に隠れる場合などにおいて、ユーザは、計測位置を正確に把握することが困難であった。また、特許文献３の構成を、共焦点光学系を用いる計測装置に導入すると、撮像装置の追加によるセンサヘッドの大型化が生じ、さらに撮像装置における発熱が計測に影響し、正確な計測が困難になるおそれがあった。具体的には、撮像装置における発熱によって、センサヘッドが備える色収差ユニットにおける光軸上の色収差が影響を受けるおそれがあった。
本発明の一態様は、上記の問題を解決するために、センサヘッドと計測面の相対位置に影響されることなく、計測位置周辺の画像を確認することができる、利便性に優れた共焦点計測装置を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る共焦点計測装置は、光源と、前記光源からの照射光に対して配置される、前記照射光を計測対象物に照射し、前記計測対象物の計測面からの反射光を受光する光学系と、第１コアおよび第２コアから構成された複数のコアを内蔵し、前記光学系に入射した前記反射光を、当該複数のコアによって伝搬する導光部と、前記第１コアによって伝搬された前記反射光を各波長成分に分離する分光器、および、前記分光器による分光方向に対応させて複数の受光素子が配置された検出器を備える変位量測定部と、複数の撮像素子を備えた周辺画像測定部であって、前記第２コアによって伝搬された前記反射光を当該複数の撮像素子上に結像し、前記計測面の計測位置の周辺の画像を生成する周辺画像測定部と、を備えている構成である。
本発明の一態様に係る共焦点計測装置において、前記変位量測定部は、前記検出器の検出結果に基づいて、前記光学系から前記計測対象物の計測面までの距離を算出する構成である。
本発明の一態様に係る共焦点計測装置は、前記周辺画像測定部が前記複数の撮像素子上に結像した画像について、各撮像素子に入射した前記反射光の、波長ごとの強度の分布に基づいて前記計測面の傾斜度を計測する画像処理部をさらに備えている構成である。
本発明の一態様に係る共焦点計測装置は、前記複数のコアの中から前記第１コアを選択するために、前記導光部に対する相対位置を移動させる可動部と、前記可動部の移動を制御する制御部と、をさらに備えている構成である。
本発明の一態様によれば、共焦点計測装置は、反射光を用いて、当該反射光の強度の分布および計測面の計測位置周辺の画像を取得することができる。ゆえに、ユーザは、計測面の上の意図した位置を計測しているか否かを確認することができる。また、計測位置の周辺の画像は、第２コアを伝搬した反射光に基づいて生成されるため、当該周辺の画像を取得するために必要な制限がない。そのため、センサヘッドと計測面との間の距離が短く、計測位置周辺が当該センサヘッドの影に隠れるような場合であっても、計測位置周辺の画像を取得することができる。したがって、センサヘッドと計測面の相対位置に影響されることなく、計測位置周辺の画像を確認することができる、利便性に優れた共焦点計測装置を提供することができるという効果を奏するという効果を奏する。
本発明の実施形態１に係る共焦点計測装置の一例を示す概要図である。 本発明の実施形態１に係る導光部の断面を示す模式図である。 本発明の実施形態２に係る共焦点計測装置の装置構成の一例を示す模式図である。 本発明の実施形態３に係る共焦点計測装置の装置構成の一例を示す模式図である。
〔実施形態１〕
以下、本発明の実施形態１について、図１〜２を用いて詳細に説明する。図１は、本実施形態に係る共焦点計測装置１の一例を示す概要図である。
（共焦点計測装置１の構成）
本実施形態に係る共焦点計測装置１の構成について、図１を用いて説明する。図１は、本実施形態に係る共焦点計測装置１の装置構成の一例を示す模式図である。
共焦点計測装置１は、計測対象物２の計測面に対して光を照射し、照射光が計測面上の計測位置（以下、計測点と呼称する）において焦点を結ぶとき、計測面からの反射光を用いて、当該反射光を受光する光学系から当該計測点までの距離を算出することができる。具体的には、共焦点計測装置１は、反射光のうち、ピンホールを通過した反射光に基づいて、光学系から計測点までの距離を算出することができる。共焦点計測装置１は、さらに、当該計測点の周辺の画像を撮像することができる。共焦点計測装置１は、光源１０、導光部２０、変位量測定用コア２２、周辺画像測定用コア２４、センサヘッド３０、変位量測定部４０、分光器４２、検出器４４、ファイバコア選択部５０、カプラ５２、および周辺画像測定部６０を備えている。
光源１０は、ファイバコア選択部５０に対して複数の波長の光から構成された照射光を入射する。例えば、光源１０は白色光を発生させる白色ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。
ファイバコア選択部５０は、光源１０から入射された照射光を導光部２０へ入射することができる。ファイバコア選択部５０は、計測対象物２の計測面上の計測点にて発生し、導光部２０へ入射した反射光について、カプラ５２を用いて変位量測定用コア２２および周辺画像測定用コア２４のそれぞれへ入射することができる。
カプラ５２は、入力側ケーブル、出力側ケーブル、および導光部２０と光学的に接続された、合波／分波構造を持つカプラである。図示の例において、カプラ５２は、Ｙ分岐カプラに相当する２×１スターカプラ（２入力１出力／１入力２出力）である。図示の例において、光源１０からの照射光は、入力側ケーブルに入射し、カプラ５２を経由した後、導光部２０へ出力される。また、計測面からの反射光は、その一部がカプラ５２に入射し、出力側ケーブルを通して変位量測定用コア２２へ出力される。
導光部２０は、複数のコアを含むケーブルであり、例えば、１つのケーブル内に複数のコアを含む構成である。導光部２０は、光源１０にて発生した照射光について、内蔵する複数のコアを経由してセンサヘッド３０へ伝搬することができる。導光部２０は、センサヘッド３０にて受け付けた、計測対象物２の計測面における反射光について、内蔵する複数のコアを経由してファイバコア選択部５０に伝搬することができる。すなわち、導光部２０は、ファイバコア選択部５０およびセンサヘッド３０と光学的に接続されている。複数のコアを含めた、導光部２０の詳細な構成については後述する。
変位量測定用コア２２は、計測対象物２の計測面からの反射光のうち、導光部２０の特定のコアを伝搬した光を受光する。変位量測定用コア２２は、受光した特定の反射光について、変位量測定部４０へ出力することができる。なお、変位量測定用コア２２は単一のコアであってもよいし、複数のコアから構成されてもよい。
周辺画像測定用コア２４は、計測面からの反射光のうち、変位量測定用コア２２向け以外の光を受光する。なお、導光部２０が有するコアの数と、変位量測定用コア２２の数と周辺画像測定用コア２４の数との合計は、等しいことが好適である。
センサヘッド３０は、光源１０からの照射光について、内蔵する色収差ユニットを用いて光軸上で色収差を生じさせ、同じく内蔵する対物レンズによって集束した後、計測対象物２へ照射することができる。センサヘッド３０は、計測対象物２の計測面の面上で反射した反射光を受光し、導光部２０に伝搬することができる。すなわち、センサヘッド３０は、光源１０からの照射光に対して配置される、当該照射光を計測対象物２に照射し、計測対象物２の計測面からの反射光を受光する光学系として動作する。
変位量測定部４０は、センサヘッド３０に入射した反射光のうち、変位量測定用コア２２を伝搬した反射光を受け付ける。変位量測定部４０は、受け付けた反射光について、当該反射光を波長成分ごとに分離し、波長成分ごとの強度を検出することができる。例えば、変位量測定部４０は、検出器４４における検出結果に基づいて、センサヘッド３０から計測対象物２の計測面までの距離ｄｉを算出することができる。
分光器４２は、導光部２０が備える複数のコアを経由した複数の反射光のうち、変位量測定用コア２２を伝搬した反射光を波長成分ごとに分離することができる。分光器４２は、分離後の反射光について、検出器４４へ伝搬する。例えば、分光器４２は回折格子であってもよい。また、分光器４２は、反射光を波長成分ごとに分離できるのであれば、回折格子以外の任意のデバイスを採用してもよい。
検出器４４は、分光器４２にて波長成分ごとに分離された反射光について、波長成分ごとの強度を検出する。例えば、検出器４４は、分光器４２による分光方向に対応させて複数の受光素子が配置され、当該複数の受光素子における検出結果を出力する構成であってもよい。
周辺画像測定部６０は、センサヘッド３０に入射した反射光のうち、周辺画像測定用コア２４を伝搬した反射光を受け付ける。周辺画像測定部６０は、受け付けた反射光に基づいて、計測点周辺の画像を生成することができる。図示の例において、周辺画像測定部６０は、受け付けた反射光を用いて適当な撮像面上に結像させることができる。例えば、周辺画像測定部６０は、複数の撮像素子が二次元配置された撮像面を備え、当該撮像面における反射光の検出結果から周辺画像を生成する構成であってもよい。
（導光部２０の構成）
導光部２０の詳細な構成について、図２を用いて説明する。図２は、導光部２０の断面を示す模式図である。
図示の例において、斜線にて示された円環部は、導光部２０全体の被覆を示す。また、被覆の内側に示された、複数の小さな円は、導光部２０が備える複数のコアのそれぞれを示す。
図示の例において、導光部２０は、第１コア２６および第２コア２８を備えている。第１コア２６および第２コア２８は、計測点からの反射光を伝搬するものである。計測対象物２の計測面からの反射光は、第１コア２６および第２コア２８を伝搬する。そして、ファイバコア選択部５０において、第１コア２６の中を伝搬した反射光のみ、カプラ５２の出力用ケーブルを通して変位量測定用コア２２へ入射する。一方、第２コア２８の中を伝搬した反射光は、周辺画像測定用コア２４へ入射し、周辺画像測定部６０へ出力される。これにより、導光部２０は、計測面からの反射光について、変位量の測定および計測点の周辺画像の測定の両方に用いるように分配することができる。
なお、図示の例において、第１コア２６は、単一のコアによって構成されていたが、これに限定されなくてもよい。例えば、第１コア２６は、複数のコアによって構成されてもよい。第１コア２６を複数のコアによって構成する場合は、各第１コア２６における距離ｄｉの算出値を平均することによって距離ｄｉの精度を高めることが可能となるが、計測領域の半径が大きくなるため、計測範囲が微小領域である場合の計測には適さない。また、第１コア２６は、必ずしも導光部２０の中央付近に配置される必要はないが、計測点の周辺画像を取得しやすくするためには、導光部２０の中央付近に配置されることが好適である。
（動作の具体例）
本実施形態において、共焦点計測装置１の動作について、図１および図２を用いて具体的に説明する。
まず、光源１０が発光によって複数の波長を有する照射光を発生させると、当該照射光は、入力側ケーブル、カプラ５２の順に伝搬した後、導光部２０に入射する。照射光は、導光部２０の内部を伝搬し、センサヘッド３０において波長ごとに光軸上で色収差を生じさせたあと、対物レンズから計測対象物２の計測面に対して出力される。このとき、照射光のうち、特定の波長を有する光のみ、計測面上に焦点（スポット）を結ぶ。
次に、センサヘッド３０は、対物レンズの受光面にて、計測面からの反射光を受光する。反射光は、導光部２０において、第１コア２６を伝搬した反射光と第２コア２８を伝搬した反射光に分けられる。
第１コア２６を伝搬した反射光は、ファイバコア選択部５０内にて出力される。そして、ファイバコア選択部５０内にて、反射光はカプラ５２、出力側ケーブル、変位量測定用コア２２の順に伝搬し、変位量測定部４０へ出力される。さらに、変位量測定部４０において、反射光は分光器４２にて波長成分に分離された後、検出器４４にて各波長成分のピークが検出される。これにより、計測面からの反射光に基づいて、センサヘッド３０の受光面と計測点との間の距離ｄｉを算出することができる。
一方、第２コア２８を伝搬した反射光は、周辺画像測定用コア２４内を伝搬した後、周辺画像測定部６０へ出力される。周辺画像測定部６０において、反射光に基づいて、計測点周辺の画像を撮像することができる。
以上の動作により、本実施形態に係る共焦点計測装置１は、センサヘッド３０の受光面と計測点との間の距離ｄｉおよび計測点周辺の画像を取得することができる。これにより、ユーザは計測点周辺の画像を確認することができる。また、距離ｄｉと計測点周辺の画像は、導光部２０内を伝搬する反射光から取得されるため、計測対象物２に対して追加で処理を行う必要がない。したがって、簡単な構成で計測位置の画像を撮像する共焦点計測装置１を提供することができるという効果を奏する。
本実施形態に係る共焦点計測装置１は、周辺画像測定部６０がセンサヘッド３０および変位量測定部４０から離れて配置されるため、撮像素子における発熱が計測に与える影響（例えば、レンズの温度特性に基づく測定誤差）を抑制することができる。
なお、共焦点計測装置１は、センサヘッド３０の受光面と計測点との間の距離ｄｉおよび計測点周辺の画像をユーザに対して出力してもよい。例えば、計測点周辺の画像のうち、距離ｄｉの計測位置を示すマーカーを当該画像とともに出力する構成であってもよい。
〔実施形態２〕
（共焦点計測装置の構成）
本発明の実施形態２に係る共焦点計測装置１の構成について、図３を用いて説明する。図３は、本実施形態に係る共焦点計測装置１の装置構成の一例を示す模式図である。
本実施形態において、共焦点計測装置１の基本的な構成は前記実施形態１と同一であるが、画像処理部７０をさらに備えている。
画像処理部７０は、周辺画像測定部６０にて撮像した、計測点周辺の画像に基づいて、計測対象物２の計測面の傾斜度を算出することができる。具体的には、画像処理部７０は、複数の撮像素子上に結像した画像について、各撮像素子に入射した反射光の、波長ごとの強度の分布に基づいて計測面の傾斜度を算出することができる。
（傾斜度の算出方法）
画像処理部７０にて実施する、計測点周辺の画像に基づいて計測面の傾斜度を算出する方法について、以下に説明する。
周辺画像測定部６０において、撮像面に二次元配置された撮像素子を用いて検出する、計測面からの反射光は、波長ごとに光軸上で色収差を生じている。このとき、例えば、センサヘッド３０の受光面と計測面とが互いに平行である場合は、当該計測面上の任意の位置において、センサヘッド３０の受光面と計測面との間の距離ｄｉは一定である。これは、反射光を撮像面にて受光したときに、撮像面上の任意の位置にある複数の撮像素子において、受光量が最大である光の波長は一定であることを示す。
しかし、例えば、計測面がセンサヘッド３０の受光面に対して傾斜している場合、計測面上の異なる位置において、センサヘッド３０の受光面と計測面との間の距離ｄｉは異なる値となる。これは、反射光を撮像面にて受光したときに、撮像面上の異なる位置にある複数の撮像素子において、受光量が最大となる光の波長が互いに異なることを示す。そのため、撮像面における、撮像素子ごとに受光量が最大である光の波長の分布に基づいて、センサヘッド３０の受光面と計測面との間の距離ｄｉに関する分布を取得することができる。具体的には、撮像素子を構成するＲＧＢ（赤、緑、青）の３つの画素の内、受光量が最大であった画素に対応する光の波長から、距離ｄｉを算出することができるため、撮像素子ごとに距離ｄｉを算出することで、距離ｄｉに関する分布を取得することができる。
さらに、距離ｄｉに関する分布から、計測面の傾斜度を算出することができる。例えば、計測面上の２つの異なる位置を、それぞれ位置Ａおよび位置Ｂとする。さらに、位置Ａおよび位置Ｂのそれぞれにおけるセンサヘッド３０の受光面との間の距離を、ｄＡおよびｄＢとし、位置Ａと位置Ｂとの間の距離をＬとする。このとき、位置Ａと位置Ｂとの間の傾斜度θは、θ＝ａｒｃｔａｎ（（ｄＡ−ｄＢ）／Ｌ）によって算出することができる。なお、距離Ｌは、位置Ａおよび位置Ｂのそれぞれに対応する撮像面上の距離から取得できる。
上記の方法によって、画像処理部７０は、位置Ａと位置Ｂとの間の傾斜度を算出することができる。また、位置Ａおよび位置Ｂは、計測面上であればどのような位置であってもよいので、計測面上の複数の位置において上記の方法を適用することにより、計測面全体の傾斜度を算出することができる。したがって、本実施形態において、共焦点計測装置１は、画像処理部７０を用いて計測面の傾斜度を算出することができる。
（動作の具体例）
本実施形態に係る共焦点計測装置１の動作について、図３を用いて具体的に説明する。
光源１０にて発生させた照射光を計測面上に照射し、当該計測面からの反射光に基づいて、センサヘッド３０の受光面と計測点との間の距離ｄｉを算出する動作、および計測点周辺の画像を撮像する動作については前記実施形態１と同一である。
画像処理部７０は、周辺画像測定部６０にて撮像された、計測点周辺の画像に基づいて計測面の傾斜度を算出する。なお、算出結果は、距離ｄｉおよび計測点周辺の画像とともに出力してもよい。
以上の動作により、本実施形態に係る共焦点計測装置１は、センサヘッド３０の受光面と計測点との間の距離ｄｉを取得し、計測点周辺の画像を取得することができる。さらに、計測点周辺の画像に基づいて、計測面の傾斜度を算出することができる。これにより、例えば、ユーザは、算出された傾斜度を補正するように計測対象物２を再配置することができる。したがって、計測位置周辺について、画像を撮像するとともに当該領域の傾斜度を算出する共焦点計測装置１を提供することができるという効果を奏する。
〔実施形態３〕
（共焦点計測装置の構成）
本発明の実施形態３に係る共焦点計測装置１の構成について、図４を用いて説明する。図４は、本実施形態に係る共焦点計測装置１の装置構成の一例を示す模式図である。
本実施形態において、共焦点計測装置１の基本的な構成は前記実施形態１と同一であるが、制御部８０を備えており、さらにファイバコア選択部５０の一部構成が異なる。
制御部８０は、共焦点計測装置１の各部を統合して制御することができる。本実施形態において、制御部８０は、可動部５６の移動を制御し、導光部２０が備える複数のコアの中から、第１コア２６として用いるコアを任意に選択することができる。例えば、制御部８０は、はじめ、導光部２０が備える複数のコアのうち、予め複数本を可動部５６へ接続しておく。そして、当該可動部５６の移動を制御することで複数本のコアの中から特定の１つのコアを第１コア２６として選択することができ、当該第１コア２６について距離ｄｉを取得することができる。そして、当該第１コア２６を用いて計測点周辺の画像を取得することができる。
ファイバコア選択部５０は、可動部５６を備える点が前記実施形態１と異なる。可動部５６は、光源１０からの照射光を導光部２０へ入射し、計測面からの反射光のうち、第１コア２６内を伝搬した反射光について、変位量測定用コア２２へ入射する点は、前記実施形態１におけるカプラ５２を用いた構成と同一である。可動部５６は、さらに、制御部８０の制御にしたがって、導光部２０に対する相対位置を移動させることにより、導光部２０が備える複数のコアの中から、第１コア２６を任意に選択可能な構成である。例えば、可動部５６は、カプラ５２を含み、さらにカプラ５２の向きを変更することが可能なアクチュエータを含む構成であってもよい。このとき、カプラ５２は、アクチュエータの駆動によって、光学的に接続される導光部２０のコアをずらすことができる。これにより、導光部２０が備える複数のコアの中から、第１コア２６として用いるコアを任意に選択することができる。
（動作の具体例）
本実施形態に係る共焦点計測装置１の動作について、図４を用いて具体的に説明する。
まず、制御部８０は、導光部２０が備える複数のコアの中から任意のコアを第１コア２６として選択し、当該第１コア内を伝搬した反射光を受光するように、可動部５６を駆動させる。
その後、光源１０にて発生させた照射光を計測面上に照射し、当該計測面からの反射光に基づいて、センサヘッド３０の受光面と計測点との間の距離ｄｉを算出する動作、および計測点周辺の画像を撮像する動作については前記実施形態１と同一である。
以上の動作により、本実施形態に係る共焦点計測装置１は、特定のコアを用いて、センサヘッド３０の受光面と計測点との間の距離ｄｉ、および計測点周辺の画像の両方を取得することができる。これにより、例えば、計測点周辺の画像に基づいて、ユーザは所望する付近の位置における距離ｄｉを取得することができる。したがって、計測位置周辺について、画像を撮像するとともに所望する位置におけるセンサヘッド３０の受光面と計測点との間の距離ｄｉを算出する共焦点計測装置１を提供することができるという効果を奏する。
〔その他〕
前記各実施形態において、第１コア２６を複数のコアとした場合は、算出する距離ｄｉの精度を高めることはできるものの、計測領域の半径が大きくなるため、微小領域の計測には適さなかった。そこで、例えば、共焦点計測装置１は、計測対象物２の形状および計測を所望する領域の大きさなどに応じて、第１コア２６に割り当てるコアの数を変更することが可能な構成であってもよい。
〔ソフトウェアによる実現例〕
共焦点計測装置１の制御ブロック（特に画像処理部７０および制御部８０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
後者の場合、共焦点計測装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔まとめ〕
本発明の態様１に係る共焦点計測装置（１）は、光源（１０）と、前記光源からの照射光に対して配置される、前記照射光を計測対象物（２）に照射し、前記計測対象物の計測面からの反射光を受光する光学系（センサヘッド３０）と、第１コア（２６）および第２コア（２８）から構成された複数のコアを内蔵し、前記光学系に入射した前記反射光を、当該複数のコアによって伝搬する導光部（２０）と、前記第１コアによって伝搬された前記反射光を各波長成分に分離する分光器（４２）、および、前記分光器による分光方向に対応させて複数の受光素子が配置された検出器（４４）を備える変位量測定部（４０）と、複数の撮像素子を備えた周辺画像測定部（６０）であって、前記第２コアによって伝搬された前記反射光を当該複数の撮像素子上に結像し、前記計測面の計測位置の周辺の画像を生成する周辺画像測定部と、を備えている構成である。
上記の構成によれば、共焦点計測装置は、反射光を用いて、当該反射光の強度の分布および計測面の計測位置周辺の画像を取得することができる。ゆえに、ユーザは、計測面の上の意図した位置を計測しているか否かを確認することができる。また、計測位置の周辺の画像は、第２コアを伝搬した反射光に基づいて生成されるため、当該周辺の画像を取得するために必要な制限がない。そのため、センサヘッドと計測面との間の距離が短く、計測位置周辺が当該センサヘッドの影に隠れるような場合であっても、計測位置周辺の画像を取得することができる。したがって、センサヘッドと計測面の相対位置に影響されることなく、計測位置周辺の画像を確認することができる、利便性に優れた共焦点計測装置を提供することができるという効果を奏する。
本発明の態様２に係る共焦点計測装置（１）は、上記態様１において、前記変位量測定部は、前記検出器（４４）の検出結果に基づいて、前記光学系（センサヘッド３０）から前記計測対象物（２）の計測面までの距離を算出する構成としてもよい。
上記の構成によれば、共焦点計測装置は、光学系から計測面までの距離を算出できる。これにより、ユーザは、計測位置の周辺の画像と、光学面から計測面までの距離を確認することができる。
本発明の態様３に係る共焦点計測装置（１）は、上記態様１または２において、前記周辺画像測定部（６０）が前記複数の撮像素子上に結像した画像について、各撮像素子に入射した前記反射光の、波長ごとの強度の分布に基づいて前記計測面の傾斜度を計測する画像処理部（７０）をさらに備えている構成としてもよい。
上記の構成によれば、計測位置の周辺の画像における、波長ごとの強度の分布に基づいて計測面の傾斜度を計測することができる。これにより、ユーザは、計測面の傾斜度を画像から確認することができる。
本発明の態様４に係る共焦点計測装置（１）は、上記態様１〜３のいずれかにおいて、前記複数のコアの中から前記第１コア（２６）を選択するために、前記導光部（２０）に対する相対位置を移動させる可動部（５６）と、前記可動部の移動を制御する制御部（８０）と、をさらに備えている構成としてもよい。
上記の構成によれば、制御部が可動部を制御することにより、複数のコアの中から第１コアを適当に選択することができる。これにより、計測位置の周辺の画像の範囲において、計測位置を切り替えることができる。例えば、センサヘッドに対して計測対象物を適当な位置に配置した場合であっても、計測点周辺の画像に基づいて、所望する位置が計測位置となるように制御することができる。
１ 共焦点計測装置
２ 計測対象物
１０ 光源
２０ 導光部
２２ 変位量測定用コア
２４ 周辺画像測定用コア
２６ 第１コア
２８ 第２コア
３０ センサヘッド（光学系）
４０ 変位量測定部
４２ 分光器
４４ 検出器
５０ ファイバコア選択部（選択部）
５２ カプラ
５６ 可動部
６０ 周辺画像測定部
７０ 画像処理部
８０ 制御部

Claims (4)

  1. 光源と、
    前記光源からの照射光に対して配置される、前記照射光を計測対象物に照射し、前記計測対象物の計測面からの反射光を受光する光学系と、
    第１コアおよび第２コアから構成された複数のコアを内蔵し、前記光学系に入射した前記反射光を、当該複数のコアによって伝搬する導光部と、
    前記第１コアによって伝搬された前記反射光を各波長成分に分離する分光器、および、前記分光器による分光方向に対応させて複数の受光素子が配置された検出器を備える変位量測定部と、
    複数の撮像素子を備えた周辺画像測定部であって、前記第２コアによって伝搬された前記反射光を当該複数の撮像素子上に結像し、前記計測面の計測位置の周辺の画像を生成する周辺画像測定部と、
    を備えている
    ことを特徴とする共焦点計測装置。
  2. 前記変位量測定部は、前記検出器における検出結果に基づいて、前記光学系から前記計測対象物の計測面までの距離を算出する
    ことを特徴とする請求項１に記載の共焦点計測装置。
  3. 前記周辺画像測定部が前記複数の撮像素子上に結像した画像について、各撮像素子に入射した前記反射光の、波長ごとの強度の分布に基づいて前記計測面の傾斜度を算出する画像処理部をさらに備えている
    ことを特徴とする請求項１または２に記載の共焦点計測装置。
  4. 前記複数のコアの中から前記第１コアを選択するために、前記導光部に対する相対位置を移動させることが可能な可動部と、
    前記可動部の移動を制御する制御部と、をさらに備えている
    ことを特徴とする請求項１〜３のいずれか１項に記載の共焦点計測装置。
JP2017039087A 2017-03-02 2017-03-02 共焦点計測装置 Expired - Fee Related JP6819362B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017039087A JP6819362B2 (ja) 2017-03-02 2017-03-02 共焦点計測装置
TW106144467A TWI642894B (zh) 2017-03-02 2017-12-18 共焦測量裝置
KR1020170174109A KR102125483B1 (ko) 2017-03-02 2017-12-18 공초점 계측 장치
US15/846,204 US11226233B2 (en) 2017-03-02 2017-12-19 Confocal measuring apparatus
CN201711379400.8A CN108534682B (zh) 2017-03-02 2017-12-19 共焦测量装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017039087A JP6819362B2 (ja) 2017-03-02 2017-03-02 共焦点計測装置

Publications (2)

Publication Number Publication Date
JP2018146279A JP2018146279A (ja) 2018-09-20
JP6819362B2 true JP6819362B2 (ja) 2021-01-27

Family

ID=63354998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017039087A Expired - Fee Related JP6819362B2 (ja) 2017-03-02 2017-03-02 共焦点計測装置

Country Status (5)

Country Link
US (1) US11226233B2 (ja)
JP (1) JP6819362B2 (ja)
KR (1) KR102125483B1 (ja)
CN (1) CN108534682B (ja)
TW (1) TWI642894B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969453B2 (ja) * 2018-03-12 2021-11-24 オムロン株式会社 光学計測装置
DE102018130901A1 (de) * 2018-12-04 2020-06-04 Precitec Optronik Gmbh Optische Messeinrichtung
KR102655064B1 (ko) * 2020-11-05 2024-04-09 세메스 주식회사 거리 측정 시스템 및 거리 측정 방법
JP7551058B2 (ja) * 2021-01-08 2024-09-17 オムロン株式会社 変位センサ

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0620458A4 (en) * 1992-09-07 1995-02-01 Nippon Kogaku Kk OPTICAL WAVEGUIDE AND OPTICAL INSTRUMENT USING THE SAME.
US6181474B1 (en) * 1999-03-22 2001-01-30 Kovex Corporation Scanning confocal microscope with objective lens position tracking
JP3869589B2 (ja) * 1999-09-02 2007-01-17 ペンタックス株式会社 ファイババンドル及び内視鏡装置
US6663560B2 (en) * 1999-12-17 2003-12-16 Digital Optical Imaging Corporation Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
US6429968B1 (en) * 2000-03-09 2002-08-06 Agere Systems Guardian Corp Apparatus for photoluminescence microscopy and spectroscopy
JP3726028B2 (ja) * 2001-03-30 2005-12-14 住友重機械工業株式会社 ３次元形状計測装置
JP2004317437A (ja) * 2003-04-18 2004-11-11 Olympus Corp 光イメージング装置
JP4995720B2 (ja) * 2004-07-02 2012-08-08 ザ ジェネラル ホスピタル コーポレイション ダブルクラッドファイバを有する内視鏡撮像プローブ
JP4895255B2 (ja) * 2005-09-22 2012-03-14 富士フイルム株式会社 共焦点顕微鏡装置
US7379181B2 (en) * 2006-01-19 2008-05-27 Centice Corporation Structured coded aperture fiber bundles
FR2922308B1 (fr) * 2007-10-11 2012-03-16 Mauna Kea Technologies Dispositif d'imagerie modulaire, module pour ce dispositif et procede mis en oeuvre par ce dispositif
DE102008029459B4 (de) * 2008-06-20 2011-07-14 MEL Mikroelektronik GmbH, 85386 Verfahren und Vorrichtung zur berührungslosen Abstandsmessung
CN101881600A (zh) * 2009-05-07 2010-11-10 财团法人工业技术研究院 干涉振动位移决定方法、振动频率决定方法和干涉装置
JP5790178B2 (ja) 2011-03-14 2015-10-07 オムロン株式会社 共焦点計測装置
CN102749027B (zh) * 2011-04-18 2015-08-12 陈亮嘉 线型彩色共焦显微系统
TWI434022B (zh) * 2011-11-29 2014-04-11 Univ Nat Taipei Technology 彩色共焦顯微系統及其訊號處理方法
JP5973756B2 (ja) * 2012-03-14 2016-08-23 株式会社東光高岳 焦点位置変更装置およびこれを用いた共焦点光学装置
WO2014133455A1 (en) * 2013-02-28 2014-09-04 Heptagon Micro Optics Pte. Ltd. Measurement of focal points and other features in optical systems
JP5966982B2 (ja) * 2013-03-15 2016-08-10 オムロン株式会社 共焦点計測装置
TWI465683B (zh) * 2013-08-20 2014-12-21 Univ Nat Taiwan 差動濾波式彩色共焦量測系統
JP2014197004A (ja) 2014-04-21 2014-10-16 株式会社キーエンス 画像計測装置
JP6420600B2 (ja) * 2014-09-02 2018-11-07 株式会社ミツトヨ 光学観察装置及び光学観察方法
JP6219257B2 (ja) * 2014-10-16 2017-10-25 日本分光株式会社 近接場測定方法および近接場光学顕微鏡
CN104374324B (zh) 2014-11-13 2017-10-03 长沙德自信息技术有限公司 基于图像识别的位移测量装置
JP5847282B2 (ja) 2014-12-01 2016-01-20 株式会社キーエンス 共焦点顕微鏡システム
JP6767753B2 (ja) 2015-03-02 2020-10-14 株式会社ミツトヨ クロマティック共焦点センサ及び測定方法
JP6819370B2 (ja) * 2017-03-09 2021-01-27 オムロン株式会社 共焦点計測装置

Also Published As

Publication number Publication date
CN108534682A (zh) 2018-09-14
US11226233B2 (en) 2022-01-18
US20180252582A1 (en) 2018-09-06
TWI642894B (zh) 2018-12-01
KR102125483B1 (ko) 2020-06-22
TW201833511A (zh) 2018-09-16
KR20180101157A (ko) 2018-09-12
CN108534682B (zh) 2020-06-02
JP2018146279A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6819362B2 (ja) 共焦点計測装置
EP3176538B1 (en) Optical measurement device
JP6692651B2 (ja) クロマティック共焦点センサ
US10247610B2 (en) Chromatic confocal sensor and measurement method
JP2008268387A (ja) 共焦点顕微鏡
TWI500901B (zh) 測量裝置
TW201800720A (zh) 光學系統及使用該系統之物體表面或內部光反射介面三維形貌偵測方法
JP7568639B2 (ja) 設定可能焦点オフセットによって試料表面を追跡するための自動焦点調節システム
KR102135999B1 (ko) 조명 패터닝을 이용하는 압축 감지
US11137345B2 (en) Apparatus for implementing confocal image using chromatic aberration lens
JP2008039750A (ja) 高さ測定装置
JP6615604B2 (ja) 共焦点変位計
JP2010121960A (ja) 測定装置及び被検物の測定方法
JP2005351871A (ja) 物体情報入力装置および物体生成装置
JP4792833B2 (ja) 重ね合わせ測定装置
JP2008215833A (ja) 光学特性測定装置および光学特性測定方法
JP5086197B2 (ja) 共焦点顕微鏡
JP6324114B2 (ja) 光学系および光沢計
JP2007187623A (ja) 三次元形状測定装置及び三次元形状測定方法
JP2006292513A (ja) 屈折率分布型レンズの屈折率分布測定方法
CN210070874U (zh) 超光谱线扫描3d测量装置
JP2018109568A (ja) 分光測定方法および分光測定装置
JP2023509081A (ja) 共焦点距離測定によるワークピースの制御された機械加工方法及び装置
JP2006162462A (ja) 画像測定装置
CN111664805A (zh) 超光谱线扫描3d测量装置及测量方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R150 Certificate of patent or registration of utility model

Ref document number: 6819362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees