JP6025533B2 - 光学顕微鏡 - Google Patents

光学顕微鏡 Download PDF

Info

Publication number
JP6025533B2
JP6025533B2 JP2012262717A JP2012262717A JP6025533B2 JP 6025533 B2 JP6025533 B2 JP 6025533B2 JP 2012262717 A JP2012262717 A JP 2012262717A JP 2012262717 A JP2012262717 A JP 2012262717A JP 6025533 B2 JP6025533 B2 JP 6025533B2
Authority
JP
Japan
Prior art keywords
light
measurement
unit
optical
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012262717A
Other languages
English (en)
Other versions
JP2014109615A (ja
Inventor
田中 雅和
雅和 田中
純平 山下
純平 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2012262717A priority Critical patent/JP6025533B2/ja
Publication of JP2014109615A publication Critical patent/JP2014109615A/ja
Application granted granted Critical
Publication of JP6025533B2 publication Critical patent/JP6025533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は光学顕微鏡に関する。
光学顕微鏡は特許文献1、2などに見られるように電子化に伴って進化し続けている。特に特許文献2は、暗室を必要とせず、日常業務を行うデスクの上に置いて対象物を観察できる倒立型顕微鏡を提案している。
光学顕微鏡は、周知のように、光学系の配置によって正立型と倒立型とに大別される。正立型顕微鏡は、ステージの下方に配置した光源から照明光を、上方に位置するステージ上の対象物に向けて照射し、そして、ステージの上方に配置した対物レンズ(受光部)で受光する構成が採用されている。
他方、倒立型顕微鏡は、ステージの上方に配置した光源から照明光を下方に位置するステージ上の対象物に向けて照射し、そして、ステージの下方に配置した対物レンズ(受光部)で受光する構成が採用されている。
正立型、倒立型のいずれであっても近時の光学顕微鏡は受光部に画像素子を備えたカメラを有し、カメラで撮影した画像をモニタで表示するのが定番になっている。なお、人間の目を通して対象物を観察するための接眼レンズは受光部の光学系の途中に組み込まれるが、特許文献1、2に見られるように接眼レンズ無しの光学顕微鏡も出現し、この種の光学顕微鏡はデジタルマイクロスコープとも呼ばれている。デジタルマイクロスコープは被写界深度が深いという利点を備えている。
特開2008−164642号公報 特開2012−18818号公報
顕微鏡の照明用光源には高い光量と適切なスペクトルが要求されるが、高い光量と適切なスペクトルの両者を同時に満たす光源は殆ど存在しない。特に複数の光源を使った場合に色ムラの問題が発生し易く、例えば観察領域の中央部分では色ムラのない均一な白色照明が実現できたとしても外周部分では例えば赤味を帯びた色合いとなる現象が現れる。この問題は理論的には観察領域の全領域で各光源の配光特性を一様にすることで改善できる。
顕微鏡照明の光源として典型的には白色LEDが用いられている。図30は典型的な白色LEDのスペクトルを示す。この図30から分かるように480nmの帯域で光量が相対的に少なく演色性が悪くなっている。このことから分かるように、顕微鏡照明の光源として一般的に用いられている白色LEDは励起光及び蛍光体に基づく特有のスペクトルを持ち、相対強度が弱い帯域での演色性が必ずしも良いとは言えない。
仮に単一の光源がそのような問題を有していたとしても複数の光源からの光を重ね合わせることで所望のスペクトルに近づければ良いと考えることができる。しかし、この考えに基づいた時には新たな問題が発生する。この問題は説明すると、各光源は夫々配光特性を持っている。すなわち各光源は、光の出射方向毎に光の強度が異なり、この出射方向による光の強度差に起因して照射面(観察領域)の各部で照度のムラ(シェーディング)が各光源毎に現れる。したがって複数の光源からの光を合成したとしても、観察領域の所々で色ズレ(スペクトル差)が発生してしまうという新たな問題が発生する。
複数の光源を使って高い光量と適切なスペクトルの両者を同時に満たす他の手法として、各光源の照度を一様化することができるように光学系を各光源毎に配置することが考えられる。この考えに立脚する場合には、各光源の配光特性に基づいて適切な光学系を設計すればよい。しかし、このことは机上論であり、光学系の僅かな狂いが直ちに色ズレとなって現れ、これを補正する次の対策が必要となる。
本発明の目的は、比較的簡単な構成でありながら複数の光源の配光特性を一様化し、複数の光源の光を合成しても色ズレの発生を抑制することのできる光学顕微鏡を提供することにある。
上記の技術的課題は、本発明によれば、
互いに異なる波長の光を発する複数の光源と、
前記複数の光源のそれぞれに隣接して配置され、各光源が出射する光を受けて一様な配光分布を有する平行光を出射する複数のコリメータレンズと、
前記コリメータレンズから出射された各波長の光を、前記配光分布を維持した状態で伝播し、集光して出射するテレセントリックレンズ系と、
前記テレセントリックレンズ系が出射した各波長の光が入光し、入光した光を伝播する複数の光ファイバで構成された光ケーブルと、
前記光ケーブルから光を受けて、観察領域に向かって照明する照明光出力部とを備え、
前記テレセントリックレンズ系は、前記コリメータレンズから出射された各波長の光を受ける複数のレンズと、前記コリメータレンズの瞳が前記光ケーブルの入光部に結像するように、前記各波長の光を集光する共通レンズとを含むことを特徴とする光学顕微鏡を提供することにより達成される。
発明の好ましい実施形態では、前記複数の光源が、各光源の発光面の全域で略一様な照度分布を有している。また、前記複数の光ファイバの各々のファイバ軸が互いに不規則に錯綜している。
本発明の典型的な適用例として、観察領域に対して斜め上方から測定用の光を照射する投光部を存する光学顕微鏡を挙げることができ、また、モノクロ撮像素子を含む光学顕微鏡を挙げることができる。
本発明の作用効果及び他の目的は本発明の実施例の詳細な説明から明らかになろう。
本発明の一実施の形態に係る光学顕微鏡の構成を示すブロック図である。 図1の光学顕微鏡の測定部の構成を示す模式図である。 光が照射された状態の測定対象物の模式図である。 光が照射された状態の測定対象物の模式図である。 画像を2画面表示するGUIの一例を示す図である。 三角測距方式の原理を説明するための図である。 測定光の第1のパターンを説明するための図である。 測定光の第2のパターンを説明するための図である。 測定光の第3のパターンを説明するための図である。 測定対象物の特定の部分における画素データ(受光された光の強度)と画素データが得られた画像の順番(何番目か)の関係を示す図である。 測定光の第4のパターンを説明するための図である。 実施例の光学顕微鏡の操作及び動作を説明するためのフローチャートである。 三次元形状を計測可能な光学顕微鏡の筐体をコンパクトにするために投光光軸及び/又は受光光軸を屈折させる例を示すものであり、投光光軸の最終段にミラーを配し、また、投光部とその光源との間にパターン生成部(DMD)を傾斜して配置して光軸を屈折させる例の正面図である。 投光部の最終段に配置したミラーにより光軸を屈折された光学顕微鏡の右側面図である。 投光部の最終段にミラーを配置しなかった場合の問題点を説明するための顕微鏡の正面図である。 倍率の異なる第1、第2の受光部を配置する場合に、低倍率の第1受光部の観察中心軸の途中にハーフミラーを配置して、比較的長尺の高倍率の第2受光部を横方向に延在させる例を示す概念図である。 ステージを含むステージ系と、光学系を含むヘッド光学系とを別の筐体に収容し、ヘッド光学系の筐体をステージ系の筐体から取り外し可能にした例を示す光学顕微鏡の側面図である。 ヘッド光学系筐体の中に投光部及び受光部と干渉しない且つこれらに沿って回路基板の起立した状態で配置した光学顕微鏡を示し、(A)は正面図であり、(B)は右側面図である。 実施例の光学顕微鏡の斜視図であり、ヘッド光学系筐体(ヘッド上部)がステージ系筐体(ヘッド下部)から分離可能であることを示す図である。 ヘッド光学系筐体に収容される各種の要素を取り付けるための光学ベース部材の斜視図である。 図20に図示の光学ベース部材に一対の投光部と低倍率と高倍率の受光部を取り付けた状態を示す斜視図である。 図21の光学ベース部材の正面図である。 図20に図示の光学ベース部材に対する一対の投光部(投光レンズユニット)の組み付けを説明するための図である。 図20に図示の光学ベース部材に対する投光光軸を屈折させるためのミラー部材(光軸屈折部)の組み付けを説明するための図である。 光学ベース部材に組み付けた一対の投光部に対する光源ユニットの組み付けを説明するための図である。 投光部、受光部、光源ユニットを組み付けた光学ベース部材に対する回路基板の組み付けを説明するための図である。 ヘッド光学系筐体で覆うために光学ベース部材に筐体取付用部材630を設置した状態を示す図である。 光学ベース部材に対する投光部の取り付け方法の変形例を説明するための図である。 投光部(投光レンズユニット)にミラー部材(光軸屈折部)を直接的に固定する例を説明するための図である。 典型的な白色LEDのスペクトルを示す図である。 複数の面光源を使って本発明に係る照明装置を構築した一例を説明するための概念図である。 面光源に隣接して配置したコリメータレンズの作用を説明するための図である。 コリメータレンズに続いて配置した両側テレセントリックレンズ系の作用を説明するための図である。 複数の光ファイバで構成された光ケーブルの各光ファイバの作用を説明するための図である。 ファイバ軸に対してθの角度を持つ光の束が光ファイバに入射したときに光ファイバから円錐状の光の束が出力されることを説明するための図である。 本発明に係る照明装置において、ダイクロックミラーを使ってRGBの3色を合成する例を説明するための概念図である。 測定用光源を備えた光学顕微鏡に追加の照明装置として本発明に従う照明装置を設置した例を説明するための図である。 測定用光源を備えた光学顕微鏡の照明装置としてのハーフミラーを使った同軸落射光源に本発明を適用した例を説明するための図である。 例えば480nm付近で光量の少ない光源を採用したときに、他の光源として480nm付近で光量のピークを備えた光源を採用して本発明に係る照明装置を構築したときの効果を説明するための図である。 光学顕微鏡に脱着可能なリング照明器の内部構造を説明するための図である。
本発明の具体的な適用例を説明する前に、本発明の基本的な概念を説明する。図31は本発明の好ましい実施形態の一例を示す。図31に図示の照明装置700は光ファイバ702c(図34)の束で構成される導光ケーブル702を有し、この導光ケーブル702に含まれる複数の光ファイバ702cは互いに編み込むなど複数の光ファイバ702cが互いに何回も交差する形態で導光ケーブルが構成されている。導光ケーブル702は、光源704からの光を伝搬して光出力部702aから光を出射して顕微鏡706の観察領域Sを照明する。
光源704は、この例では第1、第2の2つの光源704a、704bで構成され、この2つの光源704a、704bが出射した光は光学部品708で合成され、そして、合成した光が光学部品708から導光ケーブル702の入光部702bに入る。
光学部品708はコリメータレンズ712と両側テレセントリックレンズ系714とで構成されている。コリメータレンズ712は、第1の光源704aに対応し且つ第1光源704aに隣接して配置された第1コリメータレンズ712aと、第2の光源704bに対応し且つ第2光源704bに隣接して配置された第2コリメータレンズ712bとで構成されている。
第1、第2の光源704a、704bは例えば白色LEDで構成され、これら第1、第2の光源704a、704bの発光面は同じ形状を有しているが配光特性は異っていてもよい。この複数(2つ)の光源704a、704bは、最も好ましくは、例えば第1光源704aが不均一なスペクトルを有している場合に、これを補完する、つまりその不均一さを埋めることのできるスペクトルを有する第2光源704bを選択するのがよい。
光源704に隣接して配置したコリメータレンズ712によって絞り込む瞳での配光特性は光源704の発光面での照度分布と等しくなり、例えば発光面の照度分布が一様であれば瞳での配光特性は一様となる。換言すれば、光源704に隣接して配置したコリメータレンズ712は、光源704からの光の配光特性を一様化する方向に作用する。
図32を参照して説明すると、図32の左側の照度分布及び配光分布は光源704に関するものである。図32の右側の照度分布及び配光分布はコリメータレンズ712の瞳での照度分布及び配光分布を示す。ここに、照度分布の横軸は照射位置であり、横軸の中央が視野中心である。照度分布の縦軸は照射強度である。他方、配光分布の横軸は照射方向であり、中央が光軸に対して0°の方向である。配光分布の縦軸は照射強度である。光源704の照度分布とコリメータレンズ712の瞳での照度分布とを見比べ、また、光源704の配光分布とコリメータレンズ712の瞳での配光分布とを見比べると、次のことが理解できるであろう。コリメータレンズ712の入光側の焦点位置に光源704を配置した時に、コリメータレンズ712の瞳での照度特性つまり瞳の各部分での明るさは光源704の配光特性つまり角度毎の明るさに依存し、瞳での配光特性は光源704の照度特性に依存する。つまり、光源704の照度分布がコリメータレンズ712の瞳の配光分布となり、他方、光源704の配光分布がコリメータレンズ712の瞳の照度分布となる。
本発明では光源704として面発光する光源が採用される。面発光する光源は一般的に発光面の全域でほぼ一様な照度分布を有している。ただし、微視的には部分部分で僅かな明暗がある。この僅かな明暗は後に説明する導光ケーブル702で光伝搬される過程において等角度内で平均化される。
図31に戻って、光学部品708は、コリメータレンズ712に続いて配置された両側テレセントリックレンズ系714を有する。コリメータレンズ712によって配光特性が一様化した光の束は両側テレセントリックレンズ系714を通過する過程で配光特性の一様性を保持する。また、両側テレセントリックレンズ系714は必要に応じて変倍つまり光の束を拡大又は縮小して光を伝搬し、そして集光した光を導光ケーブル702に向けて出射する。
図33を参照して、両側テレセントリックレンズ系714は、コリメータレンズ712の瞳を導光ケーブル702の入光部702bに結像させる機能を有している。つまりケーラー効果を生成するために両側テレセントリックレンズ系714が配置されている。この両側テレセントリックレンズ系714によってコリメータレンズ712の瞳の一様な配光特性は両側テレセントリックレンズ系714での光伝搬において維持される。
再び図31に戻って、第1の光源704aに対応する第1の両側テレセントリックレンズ系714aを伝搬する第1の光の束と、第2の光源704bに対応する第2の両側テレセントリックレンズ系714bを伝搬する第2の光の束は、途中に配置されたハーフミラーなどの光を合成する要素716によって同軸上に合成される。勿論、第1の両側テレセントリックレンズ系714aを出た光と第2の両側テレセントリックレンズ系714bを出た光とを同軸上に合成するようにしてもよい。
上記の説明から分かるように、光源704と導光ケーブル702の間に介在する光伝搬路720は、光源704の配光特性を一様化する機能と、一様化した光の束の配光特性を保持しつつ光を伝搬する機能と、光の束の面積を必要に応じて変える機能(変倍機能)と、集光して導光ケーブル702の複数の光ファイバに入射させる機能とを有している。
上記の機能を発揮する光学系は、コリメータレンズ712と両側テレセントリックレンズ系714の上記の組み合わせの他に、レンズ系によって変倍し、拡散板によって配光特性を一様化するようにしてもよい。
導光ケーブル702を構成する複数の光ファイバ702cの各々は、光ファイバ702cの軸に対する光の角度を保存する特性を有している。したがって光伝搬路720から受け取った光の束が保有する配光特性は各光ファイバ702c内の光伝搬においても保持される。
好ましい態様として、導光ケーブル702を構成する複数の光ファイバ702cは、これを編み込んで互いに交差させる、複数の光ファイバ702cに捻りを加えて互いにランダムに交差させるなどの手法を使って、各光ファイバ702cで構成される光伝搬路の束を互いに不規則に錯綜させるのがよい。このように導光ケーブル702を、互いに錯綜した複数の光ファイバ702cの束で構成することで照度ムラの問題を改善できる。
図35を参照して、光ファイバ702cへ入る入射光の束に関し、ファイバ軸に対してθの角度を持つ光の束が光ファイバ702cに入射したときには、光ファイバ702cから円錐状の光の束が出力される。しかし、光ファイバ702c内の光伝搬の過程で十分にランダムな光伝搬系を通過した後に出力される。したがって円錐状の光の束の各方向での明るさを一様化できる。
図36はダイクロックミラーを使ってRGBの3色を合成する例を示す。ダイクロックミラー718は特定の波長の光を反射する機能を有し、例えば落射型蛍光顕微鏡を用いた蛍光観察において励起光を照射して観察対象の蛍光だけを透過させるのに用いられている。図36の実施形態の説明において図31に図示の実施形態と同じ要素には同じ参照符号を付すことによりその説明を省略する。
図36の参照符号722はR(赤)光源(LED)を示し、724はG(緑)光源(LED)を示し、726はB(青)光源(LED)を示す。RGBの3色を合成して白色光を生成することは周知である。図36に図示の実施形態においても、図31の実施形態と同様に、RGBの各光源722、724、726の発光面は、必ずしも必須ではないが同じ形状を有しているのが好ましい。RGBの各光源722、724、726の発光面の各々が一様な照度分布を有していれば異なる形状を有していてもよい。
この図36の実施形態においても、RGBの各光源722、724、726に隣接して配置したコリメータレンズ712によって絞り込む瞳での配光特性は各光源722、724、726の発光面での照度分布と等しくなり、発光面の照度分布が一様であれば瞳での配光特性は一様となる。
各両側テレセントリックレンズ系714は、各コリメータレンズ712の瞳を導光ケーブル702の入光部702bに結像させるケーラー効果を発揮させる機能を有し、これによりRGBの各光源722、724、726の配光特性を一様化し且つ合成した光を導光ケーブル702の入光部702bに向けて出射することから、色ズレ(スペクトル差)の問題を改善することができる。勿論、導光ケーブル702に関して、導光ケーブル702を構成する複数の光ファイバ702c(図34)は、これを編み込んで互いに交差させる、複数の光ファイバ702cに捻りを加えて互いにランダムに交差させるなどの手法を使って、各光ファイバ702cで構成される光伝搬路の束を互いに不規則に錯綜させるのがよい。これにより照度ムラの問題を改善することができる。
本発明の照明装置700は、図37に図示の例えば測定用光源740を備えた光学顕微鏡742に対して脱着可能な追加の照明装置として用いられる。測定用光源740は、後に説明する本発明を適用した光学顕微鏡500(図2)の詳しい説明から明らかになるが、観察領域Sを斜め上方から照射して三角測距方式により測定対象物の立体形状を測定するのに用いられる。
本発明の照明装置700は、図37に図示の光学顕微鏡742の受光部の観察中心軸640と同軸のリング状の照明器具であってもよいが、図38に図示のようにハーフミラー744を使って同軸落射光源として用いてもよい。
前述したようにRGBの各色のLED722、724、726を使って高演色の白色光源として用いる場合のように、複数の色のLEDを使って白色光源又は紫外線波長の光源、赤外線波長の光源を設計する場合に、互いにスペクトルを補うように複数のLEDを構成することで、高光量の且つ高演色性の用途に効果的に採用可能な照明装置を設計することができる。
図39は、480nm付近で光量の少ない光源Aを採用したときには、他の光源として480nm付近で光量のピークを備えた光源Bを採用するのがよい。図示を省略したが、これに追加の光源を加えて合計3種類の光源で本発明の照明装置700を構築し、そして、複数の光源A、Bの光を合成することすることで、図39の下のグラフで示すように演色性の高い白色光源を実現できる。
実施例の光学顕微鏡の全体構成(図1、図2など)
本発明を適用した実施例の光学顕微鏡を説明する。図1は、実施例の光学顕微鏡500の構成を示すブロック図である。図2は、図1の光学顕微鏡500の測定部の構成を示す模式図である。図1、図2を参照して、光学顕微鏡500は、測定部100、PC(パーソナルコンピュータ)200、制御部300および表示部(モニタ)400を備えている(図1)。
測定部100は、投光部110、受光部120、照明光出力部130、ステージ140および制御基板150を含む。投光部110は、測定光源111、パターン生成部112および複数のレンズ113、114、115を含む。受光部120は、カメラ121および複数のレンズ122、123を含む。ステージ140上に測定対象物Sが載置される。
投光部110は、ステージ140の斜め上方に配置された投光ユニットで構成されている。投光部110は測定対象物Sの表面に対して斜め上方から光を照射する。測定部100は、複数の投光部110を含んでもよい。図2の例においては、測定部100は2つの投光部110を含む。以下、2つの投光部110を区別する場合は、一方の投光部110を第1の投光部110Aと呼び、他方の投光部110を第2の投光部110Bと呼ぶ。一対の第1、第2の投光部110A、110Bは受光部120の光軸を挟んで鏡像対称に配置される。受光部120の光軸に対して投光部110からの光が斜めに照射されるため凹凸を含む立体形状の測定対象物Sに影が発生する。これに対して一対の第1、第2の投光部110A、110Bを鏡像対称に配置することで、この影の発生を抑えることができる。
第1、第2の投光部110A、110Bの測定光源111は典型的には白色光を出射するハロゲンランプで構成される。測定光源111として、白色光を出射する白色LED(発光ダイオード)等の他の光源であってもよい。測定光源111から出射された光(以下、測定光と呼ぶ)は、レンズ113により適切に集光された後、パターン生成部112に入射する。ここに、第1、第2の投光部110A、110Bはテレセントリック光学系が採用されており、これにより高い計測精度を確保することができる。すなわち、テレセントリック光学系は、レンズと対象物Sとの距離に左右されることなくパターンの結像サイズが一定であるため、立体である対象物Sの表面高さが一定でない場合(例えば凹凸面)であってもパターン寸法が変化しないため、高い精度で計測することができる。
パターン生成部112は、典型的にはDMD(デジタルマイクロミラーデバイス)で構成される。ここにDMDは表示素子の一種であり、数μm角のマイクロミラーが画素のように数十万個配置されており、各マイクロミラーが独立して傾きを変えることができる。この特性により、マイクロミラーの向きによって光を光軸方向に反射させたり(明/ON)、光軸から外に偏向させることができる(暗/OFF)。このマイクロミラーは最大で数kHzの高速でON/OFFを切り替えることができるため、明るさの階調はPWM制御によって調整することができる。つまり、例えばRGB各色16bitで60Hzのカラー表示が可能である。パターン生成部112によって生成される照明パターンは縞パターン(図9:マルチスリット法)だけでなく任意の二次元パターンを生成することができる。
パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)またはマスクで構成してもよい。パターン生成部112に入射した測定光は、予め設定されたパターンおよび予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察及び測定が可能な視野よりも大きい径を有する光に変換された後、ステージ140上の測定対象物Sを照射する。
受光部120は、カメラ121とレンズユニット122、123とで構成され、ステージ140の上方に配置される。測定対象物Sにより反射した光は、ステージ140の上方に進み、受光部120の複数のレンズ122、123により集光及び結像され、そしてこの反射光はカメラ121によって受光される。
カメラ121は撮像素子121aおよびレンズを含むカメラで構成される。実施例では、精度を優先して固定倍率のテレセントリック光学系の受光レンズユニットを採用しているが、ズームレンズを採用して広範な倍率で使用できるようにしてもよい。撮像素子121aは、好ましくはモノクロの例えばCCD(電荷結合素子)で構成される。撮像素子121aとしてCMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子を採用してもよい。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、受光信号と呼ぶ)が制御基板150に出力される。
カラーの撮像素子を採用した場合、各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。これに対して、モノクロの撮像素子121aを採用し、後述する照明光出力部130からRGBの各LED光源に夫々対応した照明を時分割で照射(シーケンシャル照射)して撮像することにより、カラー画像を取得することができる。このような構成にすることにより、計測精度を低下させずに測定物の二次元カラーテクスチャ画像を取得することができる。
勿論、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGB照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。
制御基板150には、図示しないA/D変換器(アナログ/デジタル変換器)およびFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、制御部300による制御に基づいて、制御基板150のA/D変換器により一定のサンプリング周期でサンプリングされるとともにデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次制御用PC200に転送される。
図1に示すように、制御用PC200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240および操作部250を含む。また、操作部250は、キーボードおよびポインティングデバイスを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。
ROM220にはシステムプログラムが記憶される。作業用メモリ230はRAM(ランダムアクセスメモリ)で構成され、種々のデータの処理のために用いられる。記憶装置240はハードディスク等からなる。記憶装置240には、画像処理プログラムおよび形状測定プログラムが記憶される。また、記憶装置240は、制御基板150から与えられる画素データ等の種々のデータを保存するために用いられる。
CPU210は、制御基板150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うとともに、画像データに基づく画像を表示部400に表示させる。さらに、CPU210は、後述するステージ駆動部145に駆動パルスを与える。表示部400は、好ましくは薄型ディスプレイ、例えばLCDパネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。
図2において、測定対象物Sが載置されるステージ140上の平面(以下、載置面と呼ぶ)内で互いに直交する2方向をX方向およびY方向と定義し、それぞれ矢印X、Yで示す。ステージ140の載置面に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向(矢印θで図示)をθ方向と定義する。
ステージ140は、X−Yステージ141、Zステージ142およびθステージ143を含む。X−Yステージ141はX方向移動機構およびY方向移動機構を有する。Zステージ142はZ方向移動機構を有する。θステージ143はθ方向回転機構を有する。これらX−Yステージ141、Zステージ142およびθステージ143によって、ステージ140が構成される。また、ステージ140は、その載置面に測定対象物Sを固定する図示しない固定部材(クランプ)をさらに含む。ステージ140は、その載置面に平行な軸を中心に回転可能な機構を有するチルトステージを更に含んでもよい。
ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構およびθ方向回転機構は、それぞれ独立して駆動制御できる駆動源を備えているのが良く、この駆動源の典型例としてステッピングモータを挙げることができる。ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構およびθ方向回転機構は、図1のステージ操作部144またはステージ駆動部145により駆動される。
使用者は、ステージ操作部144を手動で操作することにより、ステージ140の載置面を受光部120に対して相対的にX方向、Y方向もしくはZ方向に移動させるか、またはθ方向に回転させることができる。ステージ駆動部145は、PC200より与えられる駆動パルスに基づいて、ステージ140のステッピングモータに電流を供給することにより、受光部120に対してステージ140を相対的にX方向、Y方向もしくはZ方向に移動させるか、またはθ方向に回転させることができる。
ここに、図2に示すように、左右の投光部110の中心軸(光軸)と受光部120の中心軸(光軸)は、ステージ140の焦点が最も合うピント平面で互いに交差するように、受光部120、投光部110、ステージ140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向にステージ140が回転した際に、測定対象物が視野から外れることなく、回転軸を中心に視野内で回転するようになっている。また、Z方向移動機構に対して、これらX、Y、θ及びチルト移動機構は支持されている。
すなわち、ステージ140をθ方向に回転させたり、チルトさせた状態であっても、受光部120の観察中心軸(光軸)と、Z方向の移動軸にずれが生じない構成になっている。このようなステージ機構により、測定対象物の位置や姿勢を変化させた状態であっても、Z方向にステージ140を移動させて異なる焦点位置の画像を複数撮像して合成することが可能となる。なお、本実施の形態ではステッピングモータにより駆動させることが可能な電動ステージを例に説明したが、手動でのみ変位させることが可能な手動ステージであっても良い。
制御部300は、制御基板310および照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、PC200のCPU210からの指令に基づいて、投光部110、受光部120および制御基板150を制御する。
照明光源320は、例えば赤色光(R)、緑色光(G)および青色光(B)を出射する3種類のLEDを含む。各LEDから出射される光の輝度を制御することにより、照明光源320から任意の色の光を発生することができる。照明光源320が発生する光(以下、照明光と呼ぶ)は、導光部材(ライトガイド)を通してリング状の照明光出力部130から出力される。なお、制御部300に照明光源320を設けずに、測定部100に照明光源320を設けてもよい。この場合、測定部100には照明光出力部130が設けられない。RGB照明光出力部130を使って照射してカラー画像を生成する場合には、例えば各色の光源は300Hzでシーケンシャルに切り替えられる。
図2の照明光出力部130は前述した照明装置700の出力部に相当し、この実施例では観察中心軸を中心とする円環形状を有するリング形照明が採用されている。リング状の照明光出力部130は、前述した導光ケーブル702に相当する導光ケーブル132を介してRGB光源320(図2)に連結される。RGB光源320、導光ケーブル132、リング状光出力部130は図36を参照して説明した本発明に従う照明装置700を構成している。図2では、図示を省略してあるが、RGB光源320の各色のLEDに隣接してコリメータレンズ712が配置され、また、両側テレセントリックレンズ系714が配設されている。
リング形の照明光出力部130は、受光部120を包囲した状態でステージ140の上方に配置される。これにより影が発生しないように照明光出力部130から測定対象物Sに照明光が照射される。すなわち、リング形状の照明を受光部120の光軸の周囲に配置したことで、測定対象物Sをほぼ影無しで観察することができる。したがって、測定対象物Sに対して斜めに投光する投光部110だけでは観察することのできない穴の底もリング状の照明出力部130を使うことで観察することができる。
図3および図4は、光が照射された状態の測定対象物Sの模式図である。図3および図4の例においては、測定対象物Sは上面の略中央に孔Shを有する。また、図3(a)、(c)および図4(a)においては、影Ssをハッチングにより表わしている。
図3(a)は第1の投光部110A(図2)からの測定光が照射された状態の測定対象物Sの平面図であり、図3(b)は図3(a)のA−A線断面図である。図3(a)、(b)に示すように、第1の投光部110Aから測定光を測定対象物Sに照射した場合、孔Shの深さによっては、孔Shの底部にまで測定光が到達せず、影Ssが発生する。したがって、測定対象物Sの一部を観察することができない。
図3(c)は第2の投光部110B(図2)からの測定光が照射された状態の測定対象物Sの平面図であり、図3(d)は図3(c)のB−B線断面図である。図3(c)、(d)に示すように、第2の投光部110Bから測定光を測定対象物Sに照射した場合、孔Shの深さによっては、孔Shの底部にまで測定光が到達せず、影Ssが発生する。したがって、測定対象物Sの一部を観察することができない。
図4(a)は第1、第2の投光部110A、110Bの両方からの測定光が照射された状態の測定対象物Sの平面図であり、図4(b)は図4(a)のC−C線断面図である。図4(a)、(b)に示すように、第1、第2の投光部110A、110Bの両方から測定光を測定対象物Sに照射した場合、第1又は第2の投光部110A又は110Bから測定光を測定対象物Sに照射した場合に比べて、孔Shの底部にまで到達しない測定光が減少するため、発生する影Ssが減少する。したがって、観察することができる測定対象物Sの部分が増加する。
図4(c)は図2の照明光出力部130からの照明光が照射された状態の測定対象物Sの平面図であり、図4(d)は図4(c)のD−D線断面図である。図4(c)、(d)に示すように、照明光は測定対象物Sの略真上から照射されるので、孔Shの深さによらず、孔Shの底部にまで照明光が到達する。したがって、測定対象物Sの大部分を観察することができる。
なお、第1の投光部110Aから測定光が照射された測定対象物Sの画像と、第2の投光部110Bから測定光が照射された測定対象物Sの画像とが横並びに表示部400に表示(2画面表示)されてもよい。
PC(パソコン)200は受光部120(制御基板150)から送信されるカメラ画像データを受け取って処理を実行する。表示部400は、光学顕微鏡500を制御するためのモニタとして機能し、カメラ撮影画像や制御用プログラムのGUIを表示し、使用者はマウス、キーボードなどの入力手段を使って操作することができる。
図5は、画像を2画面表示するGUI(Graphical User Interface)の一例を示す図である。図5に示すように、表示部400には2つの画像表示領域410、420が並ぶように設けられる。画像を2画面表示する場合には、投光部110A、110Bから測定対象物Sに測定光が切り替わるように交互に照射される。画像表示領域410には、第1の投光部110Aから測定光が照射された場合における測定対象物Sの画像が表示される。画像表示領域420には、第2の投光部110Bから測定光が照射された場合における測定対象物Sの画像が表示される。これにより、使用者は第1、第2の投光部110A、110Bの各々により測定光を照射された場合における測定対象物Sの画像を区別して認識することができる。
なお、第1、第2の投光部110A、110Bからの測定光の切り替えの頻度は、使用者が夫々を少なくとも動画と感じられる程度の値(例えば数Hz以上)に設定される。したがって、使用者には、測定部100において両方の投光部110A、110Bから測定対象物Sに測定光が略同時に照射され、同時に動画が更新されるように観測される。すなわち、投光部110A、110Bからの測定光を照射して得た夫々の画像は、そのいずれも動画(ライブ画像)のように使用者に認識される。
引き続き図5を参照して、表示部400には2つの明るさ設定バー430、440が表示される。明るさ設定バー430は、水平方向に移動可能なスライダ430sを有する。明るさ設定バー440は、水平方向に移動可能なスライダ440sを有する。明るさ設定バー430上のスライダ430sの位置は、第1の投光部110Aから出射される測定光の明るさまたは110Aからの測定光で画像を撮影する際のカメラ露光時間に対応する。明るさ設定バー440上のスライダ440sの位置は、第2の投光部110Bから出射される測定光の明るさまたは110Bからの測定光で画像を撮影する際のカメラ露光時間に対応する。
使用者は、図1のPC200の操作部250(典型的にはマウス)を操作して明るさ設定バー430のスライダ430sを水平方向に移動させることにより、第1の投光部110Aから出射される測定光の明るさ又はこの第1の投光部110Aに対応するカメラ露光時間を変更することができ、その結果がリアルタイムに表示部400の表示画像に反映される。同様に、使用者は、操作部250(典型的にはマウス)を操作して明るさ設定バー440のスライダ440sを水平方向に移動させることにより、第2の投光部110Bから出射される測定光の明るさまたは第2の投光部110Bに対応するカメラ露光時間を変更することができ、その結果がリアルタイムに表示部400の表示画像に反映される。
上記のように、画像表示領域410、420には、投光部110A、110Bの各々により測定光を照射された場合における測定対象物Sの画像が並ぶように表示される。したがって、使用者は、画像表示領域410、420に表示された測定対象物Sの画像を見ながら、明るさ設定バー430、440のスライダ430s、440sの位置をそれぞれ移動させることにより、投光部110A、110Bの各々から出射される測定光の明るさまたはそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。
また、投光部110A、110Bから出射される測定光の適切な明るさと照明光出力部130から出射される照明光の適切な明るさ又は夫々の照明に対応したカメラ露光時間との間に相関がある場合がある。この場合、投光部110A、110Bの各々から出射される測定光の明るさまたはそれぞれの投光部に対応したカメラ露光時間は、照明光出力部130から出射される照明光の明るさまたは照明光に対応したカメラ露光時間に基づいて自動的に調整されてもよい。
あるいは、照明光出力部130から出射される照明光の明るさまたは照明光に対応したカメラ露光時間に基づいて、投光部110A、110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切にするための調整ガイドが表示部400に表示されてもよい。この場合、使用者は、調整ガイドに基づいて明るさ設定バー430、440のスライダ430s、440sの位置をそれぞれ移動させることにより、投光部110A、110Bの各々から出射される測定光の明るさまたはそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。
光の照射方向が異なれば、光の反射方向も異なるため、結果として得られる画像の明るさは、同じ部位であっても光の照射方向によって異なる。すなわち、計測に適した照明の明るさ、撮像素子の露光時間は照射方向によって異なることになる。この実施例では、複数の投光部110A、110Bから光を照射して撮像されたそれぞれの画像の明るさを個別に調整可能とすることにより、照射方向毎に適切な照明の明るさ又は露光時間を設定することができる。また、明るさ調整中の画像は、画像表示領域410、420に更新されながら表示されるため、調整後の画像を確認しながら明るさを調整できる。この際に、画像表示領域410、420に表示された画像の中で、明るすぎて白とびしている部分や、暗すぎて黒つぶれしている部分を識別可能に表示することで、ユーザにとって明るさが適切に調整できているか否かをよりわかりやすく表示することも可能である。
測定対象物の形状測定
(1)三角測距方式による形状測定(図6)
測定部100においては、三角測距方式により測定対象物Sの立体形状が測定される。図6は、三角測距方式の原理を説明するための図である。図6に示すように、投光部110から出射される測定光の光軸と受光部120に入射する測定光の光軸(受光部120の光軸)との間の角度αが予め設定される。角度αは0度よりも大きく90度よりも小さい。
ステージ140上に測定対象物Sが載置されない場合、投光部110から出射される測定光は、ステージ140の載置面の点Oにより反射され、受光部120に入射する。一方、ステージ140上に測定対象物Sが載置される場合、投光部110から出射される測定光は、測定対象物Sの表面の点Aにより反射され、受光部120に入射する。
点Oと点Aとの間のX方向における距離を「d」で示すと、ステージ140の載置面に対する測定対象物Sの点Aの高さhは、h=d÷tan(α)により与えられる。図1のPC200のCPU210は、制御基板150により与えられる測定対象物Sの画素データに基づいて、X方向における点Oと点Aとの間の距離dを測定する。また、CPU210は、測定された距離dに基づいて、測定対象物Sの表面の点Aの高さhを算出する。測定対象物Sの表面の全ての点の高さを算出することにより、測定対象物Sの三次元的な形状を測定できる。しかしながら、測定対象物Sの表面の全ての点を計測するには、測定対象物Sの視野範囲内全域に対して測定光(測定点)を例えばラスタースキャンするなどの処理が必要であり、その処理に多大な時間が必要となる。
このことから、ライン状の照射パターンを測定対象物Sの表面に当てて一方向にスキャンする光切断法、縞状の照射パターンを測定対象物Sの表面に当て一方向にスキャンする縞投影法が周知である。そして、このようにして獲得した三次元形状データに対して、均一照明を測定対象物Sに当てて得た対象物画像を表面テクスチャ情報としてマッピングすることで対象物Sの三次元形状を表示部400にディスプレイすることができる。三次元形状データを獲得するために実施例に採用可能な照射パターンを以下に例示的に説明する。ここに、マッピングとは、その典型例を具体的に説明すれば、三次元形状測定データと二次元テクスチャ画像とを同一のカメラで取得し、二次元テクスチャ画像の各ピクセルのデータと、三次元形状測定によって得られた高さ画像の同一ピクセルのデータとを対応付けして三次元テクスチャ画像を生成することを意味する。
(2)測定光の第1の照射パターン(図7:ライン状投影法)
図7は、測定光の第1のパターンを説明するための図である。図7(a)は、ステージ140上の測定対象物Sに投光部110から測定光を照射した状態を示す。図7(b)は、測定光が照射された測定対象物Sの平面図を示す。図7(a)に示すように、第1のパターンとして、Y方向に平行な直線状の断面を有する測定光(以下、ライン状測定光と呼ぶ)が投光部110から出射される。この場合、図7(b)に示すように、ステージ140に照射されたライン状測定光の部分と測定対象物Sの表面に照射されたライン状測定光の部分とは、測定対象物Sの表面の高さhに対応する距離dだけX方向に互いにずれる。したがって、距離dを測定することにより、測定対象物Sの高さhを算出することができる。
測定対象物Sの表面のY方向に沿った複数の部分が異なる高さを有する場合には、各部分について上記の距離dを測定することにより、Y方向に沿った複数の部分の高さhを算出することができる。
また、図1のCPU210は、X方向の一の位置でY方向に沿った複数の部分について距離dを測定した後、Y方向に平行なライン状測定光をX方向に走査することにより、X方向の他の位置でY方向に沿った複数の部分について距離dを測定する。これにより、X方向の複数の位置におけるY方向に沿った測定対象物Sの複数の部分の高さhが算出される。受光部120の観察及び測定可能な視野よりも広い範囲でライン状測定光をX方向に走査することにより、測定対象物Sの表面の全ての点の高さhを算出することができる。これにより、測定対象物Sの三次元形状データを獲得することができる。
(3)測定光の第2の照射パターン(図8:正弦波位相シフト法)
図8は、測定光の第2のパターンを説明するための図である。図8に示すように、第2のパターンとして、Y方向に平行な直線状の断面を有しかつX方向に強度が正弦波状に変化するパターンを有する測定光(以下、正弦波状測定光と呼ぶ)が投光部110から複数回(本例においては4回)出射される。正弦波位相シフト法では、最低3回の撮影で高さhを求めることができる。後に説明するように、90度(π/2)ずつ位相をシフトして4回撮影すると、計算式が非常に簡単になるという利点がある。
図8(a)は、1回目に出射される正弦波状測定光を示す。1回目に出射される正弦波状測定光の強度は、測定対象物Sの表面上の任意の位置POにおいて、初期位相φを有する。この正弦波状測定光が出射されることにより、測定対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が測定対象物Sの画素データに基づいて測定される。測定対象物Sの表面上の任意の部分POにより反射された光の強度(輝度)をI1とする。
図8(b)は、2回目に出射される正弦波状測定光を示す。2回目に出射される正弦波状測定光の強度は、測定対象物Sの表面上の任意の位置POにおいて、位相(φ+π/2)を有する。この正弦波状測定光が出射されることにより、測定対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が測定対象物Sの画素データに基づいて測定される。測定対象物Sの表面上の部分POにより反射された光の強度(輝度)をI2とする。
図8(c)は、3回目に出射される正弦波状測定光を示す。3回目に出射される正弦波状測定光の強度は、測定対象物Sの表面上の任意の位置POにおいて、位相(φ+π)を有する。この正弦波状測定光が出射されることにより、測定対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が測定対象物Sの画素データに基づいて測定される。測定対象物Sの表面上の部分POにより反射された光の強度(輝度)をI3とする。
図8(d)は、4回目に出射される正弦波状測定光を示す。4回目の正弦波状測定光の強度は、測定対象物Sの表面上の任意の位置POにおいて、位相(φ+3π/2)を有する。この正弦波状測定光が出射されることにより、測定対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が測定対象物Sの画素データに基づいて測定される。測定対象物Sの表面上の部分POにより反射された光の強度(輝度)をI4とする。
初期位相φは、φ=tan−1[(I1−I3)/(I2−I4)]で与えられる。この4点法を使うことにより、元になる正弦波の振幅や輝度中心を知る必要がなく、計測したI1〜I4から初期位相φを求めることにより測定対象物Sの任意の部分の高さhが算出される。より詳しく説明すると、測定対象物Sの表面上の任意の位置POにおいて、対象物Sが存在していないときの初期位相φoと、対象物Sが存在することによってシフトした初期位相φsとの位相差(図6の距離dに相当)を求めることで高さhが算出される。すなわち、この方式によれば、4回の光の強度の測定により、測定対象物Sの全ての部分の初期位相φを高速かつ容易に算出することができる。なお、初期位相φは、最低3回、位相の異なる測定光を照射し、受光される光の強度(輝度)を測定することにより算出することができる。そして、測定対象物Sの表面上の全ての部分の高さhを算出することにより、測定対象物Sの三次元的な形状を測定することができる。この正弦波位相シフト法によれば、撮影枚数が最低3枚であり少ない撮影回数で立体情報を入手できるため高速で三次元形状データを獲得できるという利点がある。
(4)測定光の第3の照射パターン(図9:マルチスリット法)
図9は、測定光の第3のパターンを説明するための図である。図9に示すように、第3のパターンとして、Y方向に平行でかつX方向に並ぶような直線状の断面を有する複数の細線状のパターン測定光(以下、縞状測定光と呼ぶ)が投光部110から複数回(本例においては16回)出射される。すなわち、スリット幅よりも狭いピッチで照明パターンを移動させて複数回の撮影が行われる。実施例では、このマルチスリット法と後に説明する空間コード法との組み合わせが採用されている。
縞状測定光においては、Y方向に平行な直線状の明部分およびY方向に平行な直線状の暗部分がX方向に周期的に配列される。ここで、パターン生成部112がDMDである場合には、マイクロミラーの寸法を1単位とする。縞状測定光の各明部分のX方向の幅は、例えば3単位であり、縞状測定光の各暗部分のX方向の幅は、例えば13単位である。この場合、縞状測定光のX方向の周期は16単位である。なお、明部分および暗部分の単位は、図2のパターン生成部112の構成により異なる。例えば、パターン生成部112が液晶である場合には、1単位は1画素の寸法である。
1回目の縞状測定光が出射されることにより、測定対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が、測定対象物Sの1番目の撮影画像の画素データに基づいて測定される。図9(a)は、1回目の縞状測定光に対応する測定対象物Sの1番目の撮影画像である。
2回目の縞状測定光は、1回目の縞状測定光から明部分および暗部分をX方向に1単位だけ移動させたパターンを有する。2回目の縞状測定光が出射されることにより、測定対象物Sの表面で反射された光が、受光部120により受光される。受光された光の強度が測定対象物Sの2番目の撮影画像の画素データに基づいて測定される。
3回目の縞状測定光は、2回目の縞状測定光から明部分および暗部分をX方向に1単位だけ移動させたパターンを有する。3回目の縞状測定光が出射されることにより、測定対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が、測定対象物Sの3番目の撮影画像の画素データに基づいて測定される。
同様の動作が繰り返されることにより、4〜16回目の縞状測定光に対応する光の強度が、測定対象物Sの4〜16番目の撮影画像の画素データに基づいてそれぞれ測定される。X方向の周期が16単位である縞状測定光が16回出射されることにより、測定対象物Sの表面の全ての部分に縞状測定光が照射される。なお、図9(b)は、7回目の縞状測定光に対応する測定対象物Sの7番目の撮影画像である。図9(c)は、13回目の縞状測定光に対応する測定対象物Sの13番目の撮影画像である。
図10は、測定対象物Sの特定の部分における、画像が撮影されたタイミング(何番目か)と受光された光の強度との関係を示す図である。図10の横軸は撮影画像の番号を示し、縦軸は受光された光の強度を示す。上述のように、測定対象物Sについて、1〜16番目の撮影画像が生成される。また、生成された1〜16番目の撮影画像の各画素に対応する光の強度(輝度)が測定される。
図10に示すように、撮影画像の番号に対応する画像内の各部分の光の強度(輝度)を図示することにより散布図が得られる。得られた散布図に例えばガウシアン曲線、スプライン曲線または放物線をフィッティングさせることにより、光の強度が最大になるときの撮影画像の番号(何番目か)を、1未満の精度で推定することができる。図10の例においては、フィッティングされた点線で示す曲線により、9番目と10番目との間である9.38番目の撮影画像(このような撮影画像は実際にはなく、あくまで計算推定上としてのみ存在する)において、光の強度が最大になることが推定される。
また、フィッティングされた曲線により、光の強度の最大値を推定することもできる。測定対象物Sの各部分において推定された光の強度が最大値を取る撮影画像の番号に基づいて、これにマイクロミラー1単位が対象物S上で何μmに相当するかという数値を掛け合わせることで図6の「d」に相当する距離を求め、そして、この値dに基づいて、測定対象物Sの各部の高さhを算出することができる(h=d÷tan(α))。この方法によれば、S/N(信号/ノイズ)比が十分に大きい光の強度に基づいて測定対象物Sの三次元的な形状を測定できるので測定対象物Sの形状測定の精度を向上させることができる。
なお、正弦波状測定光または縞状測定光の周期的な投影パターンを用いた測定対象物Sの形状測定においては、測定対象物Sの表面の各部分の相対的な高さ(高さの相対値)が測定される。これは、個々の周期的な縞が区別できず、縞1周期分(2π)の整数倍に相当する不確かさが存在するため、絶対位相が求まらないからである。そのため、測定対象物Sの一の部分の高さとその部分に隣接する部分の高さが連続的に変化しているという仮定に基づいて、測定された高さのデータに公知のアンラッピング処理が行われてもよい。
このマルチスリット法によれば、16画素周期、3画素幅のスリット光、移動ピッチ1画素の場合、撮影枚数は16枚となる。画素毎に最大輝度となる撮影タイミング(何枚目の画像か)を補間計算で求める際に、常に輝度の高いデータを利用するため、精度を安定的に高め易い。
(5)測定光の第4の照射パターン(図11:空間コード法)
図11は、測定光の第4のパターンを説明するための図である。図11に示すように、第4のパターンとして、Y方向に平行な直線状の断面を有しかつ明部分と暗部分とがX方向に並ぶ測定光(以下、コード状測定光と呼ぶ)が投光部110から複数回(本例においては4回)出射される。コード状測定光の明部分および暗部分の割合は、それぞれ50%である。
実施例では、測定対象物Sの表面がX方向において複数(図11の例では16)の領域に分割される。以下、複数に分割されたX方向における測定対象物Sの領域をそれぞれ第1〜第16の領域と呼ぶ。
図11(a)は、1回目に出射されるコード状測定光を示す。1回目に出射されるコード状測定光は、測定対象物Sの第1〜第8の領域に照射される明部分を有する。また、1回目に出射されるコード状測定光は、測定対象物Sの第9〜第16の領域に照射される暗部分を有する。これにより、1回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、1回目に出射されるコード状測定光の明部分および暗部分の割合は夫々50%である。
図11(b)は、2回目に出射されるコード状測定光を示す。2回目に出射されるコード状測定光は、測定対象物Sの第5〜第12の領域に照射される明部分を有する。また、2回目に出射されるコード状測定光は、測定対象物Sの第1〜第4および第13〜第16の領域に照射される暗部分を有する。これにより、2回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、2回目に出射されるコード状測定光の明部分および暗部分の割合は、それぞれ50%である。
図11(c)は、3回目に出射されるコード状測定光を示す。3回目に出射されるコード状測定光は、測定対象物Sの第1、第2、第7〜第10、第15および第16の領域に照射される明部分を有する。また、3回目に出射されるコード状測定光は、測定対象物Sの第3〜第6および第11〜第14の領域に照射される暗部分を有する。これにより、3回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、3回目に出射されるコード状測定光の明部分および暗部分の割合は、それぞれ50%である。
図11(d)は、4回目に出射されるコード状測定光を示す。4回目に出射されるコード状測定光は、測定対象物Sの第1、第4、第5、第8、第9、第12、第13および第16の領域に照射される明部分を有する。また、4回目に出射されるコード状測定光は、測定対象物Sの第2、第3、第6、第7、第10、第11、第14および第15の領域に照射される暗部分を有する。これにより、4回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、4回目に出射されるコード状測定光の明部分および暗部分の割合は、それぞれ50%である。
コード状測定光の明部分に論理“1”が割り当てられ、コード状測定光の暗部分が論理“0”が割り当てられる。また、測定対象物Sの各領域に照射される1回目〜4回目のコード状測定光の論理の並びを符号と呼ぶ。この場合、測定対象物Sの第1の領域には、符号“1011”のコード状測定光が照射される。これにより、測定対象物Sの第1の領域は、符号“1011”に符号化される。
測定対象物Sの第2の領域には、符号“1010”のコード状測定光が照射される。これにより、測定対象物Sの第2の領域は、符号“1010”に符号化される。測定対象物Sの第3の領域には、符号“1000”のコード状測定光が照射される。これにより、測定対象物Sの第3の領域は、符号“1000”に符号化される。同様に、測定対象物Sの第16の領域には、符号“0011”のコード状測定光が照射される。これにより、測定対象物Sの第16の領域は、符号“0011”に符号化される。
このように、測定対象物Sの隣り合う領域の間では、符号のいずれかの桁が“1”のみ異なるようにコード状測定光が測定対象物Sに複数回照射される。すなわち、コード状測定光は、明部分および暗部分がグレイコード状に変化するように、複数回測定対象物Sに照射される。
測定対象物Sの表面の各領域で反射された光が受光部120により受光される。受光された光によってコード状測定光画像が生成され(この例では4枚の画像)、これらの画像から各領域の符号を測定する。この符号と、領域毎に、測定対象物Sが存在しない場合の符号との差分を求めることで、図6の「d」に相当する距離が求まる。この際、画像内のX軸方向には前述の符号は1回のみ出現するというコード化法の特徴から、「d」の絶対的な値が求まる。ここから、測定対象物Sのその領域の絶対的な高さ(高さの絶対値)が算出される。測定対象物Sの表面上の全ての領域の高さを算出することにより、測定対象物Sの三次元的な形状を測定することができる。
上記の説明においては、測定対象物Sの表面がX方向において16の領域に分割され、コード状測定光が投光部110から4回出射されたが、これに限定されない。測定対象物Sの表面がX方向において2の領域(Nは自然数)に分割され、コード状測定光が投光部110からN回出射されてもよい。上記の説明においては、理解を容易にするためにNは4に設定されている。本実施の形態における形状測定処理においては、Nは例えば8に設定される。したがって、測定対象物Sの表面はX方向において256の領域に分割される。
コード状測定光を用いた測定対象物Sの形状測定においては、縞をコードとして分離できる最小距離、すなわち1画素分に相当する距離が最小の分解能となる。したがって、受光部120のX方向における視野の画素数が1024画素である場合、高さが例えば10mmの測定対象物Sを10mm÷1024≒10μmの分解能で計測することができる。実施例では、このコード状測定光を用いた形状測定(絶対値が求まるが分解能が不足する)と上述したマルチスリット法とを組み合わせたアルゴリズムを使って三次元形状データが生成される。変形例として、上述したコード法と正弦波位相シフト法とを組み合わせたアルゴリズムを使って三次元形状データを生成するようにしてもよい。相対値しか求まらないが分解能が高いマルチスリット法又は正弦波位相シフト法とコード法との組み合わせによって、測定対象物Sの距離dの絶対値をより高い分解能で算出することができる。
特に、図9の縞状測定光を用いた測定対象物Sの形状測定においては、分解能を1/100画素にすることができる。なお、1/100画素の分解能は、受光部120のX方向における視野の画素数が1024画素である場合、測定対象物Sの表面をX方向において約100000の領域に分割すること(すなわちN≒17)に相当する。
このコード状測定光を用いた形状測定法によれば絶対位相を求めることができるという利点があるが、分解能は比較的低い。したがって、絶対位相を知ることのできる空間コード法と、相対位相しか求めることのできない正弦波位相シフト法やマルチスリット法とを組み合わせることで、高分解能で且つ絶対値を得ることのできる計測法となる。つまり、このコード状測定光を用いた形状測定と縞状測定光を用いた形状測定とを組み合わせることにより、測定対象物Sの高さの絶対値をさらに高い分解能で算出することができる。
上述したライン状の測定光を測定対象物上で走査する方法(第1照射パターン:図7)は一般に光切断法と呼ばれる。一方、正弦波状の測定光を照射する方法(第2照射パターン:図8)、縞状の測定光を照射する方法(第3照射パターン:図9)、あるいはコード状の測定光を照射する方法(第4照射パターン:図11)は、パターン投影法に分類される。また、パターン投影法の中でも、正弦波状の測定光を照射する方法と縞状の測定光を照射する方法は位相シフト法に分類され、コード状の測定光を照射する方法は空間コード法に分類される。
正弦波位相シフト法(第2、第3の照射パターン:図8、図9)は、周期的な投影パターンである正弦波や複数のスリット光を照射した際に、測定対象物Sが存在しない場合の基準高さ位置から反射した受光量に基づいて計算された位相と、測定対象物が存在する場合の測定対象物Sの表面から反射した受光量に基づいて計算された位相の位相差から測定対象物Sの高さを求める。位相シフト法は、個々の周期的な縞が区別できず、縞1周期分(2π)の整数倍に相当する不確かさが存在するため、絶対位相が求まらないという欠点があるが、光切断法に比べ取得する画像の枚数が少ないため計測時間が比較的短く、また、計測分解能が高いという長所がある。一方、空間コード法(第4照射パターン:図11)は、対象物の領域毎に、対象物Sが存在することによって変化した符号が得られ、この符号と対象物Sが存在しない場合の符号との差分を領域毎に求めることで対象物の絶対的な高さを求めることができる。空間コード法も比較的少ない画像枚数で計測が可能であり、絶対的な高さを求めることができるという長所があるが、正弦波位相シフト法に比べると計測分解能に限界がある。
これらの投影法は、各々短所、長所を有しているが、いずれも三角測量の原理を用いている点は共通である。実施例では、上述したように第3の照射パターン(図9:マルチスリット法)と空間コード法(図11)とを組み合わせたアルゴリズムが採用されているが、マルチスリット法に代えて正弦波位相シフト法を採用して、この正弦波位相シフト法と空間コード法とを組み合わせたアルゴリズムを採用してもよい。
実施例の光学顕微鏡500は、真下に光を照射するリング状のRGB照明光出力部130と、斜めに光を照射する投光部110とを使い分けて撮像する。対象物Sを観察するだけのときには、RGB照明光出力部130と投光部110の照明を適宜選択する又は一緒に使って最適な照明状態で対象物Sを観察することができる。3Dテクスチャ画像を生成するときには、リング状のRGB照明光出力部130を使って撮影したカラー画像(二次元テクスチャ画像)を取得し、また、投光部110を使って計測した三次元立体データを取得する。そして二次元テクスチャ画像を三次元立体データにマッピングして生成した3Dテクスチャ画像を表示部400に表示する。表示部400に表示された3Dテクスチャ画像は、測定対象物Sを目視したときの立体輪郭を忠実に再現するものであり、このリアルな3Dテクスチャ画像データをPC200に組み込んだ任意のプログラムを使って任意の方向から観察したり、計測や解析を行うことができる。
換言すると、従来の光学顕微鏡では、測定対象物の綺麗な画像をモニタ表示できるものが二次元(2D)画像であるため立体感やリアル感に乏しい。これに対して、実施例の光学顕微鏡500によれば、綺麗な三次元(3D)テクスチャ画像をモニタ表示するため、これを観察する使用者にリアルな感覚を提供することができる。したがって、実施例の光学顕微鏡500は、そのリアルな3Dテクスチャ画像が瞬時に表示されるのを見た使用者に対して、リアルな3Dテクスチャ画像のモニタ表示が瞬時に行われることに対する驚きを与え且つPC200の表示部400内に対象物Sがそのまま取り込まれたかのような驚きを与えることができる。
実施例では、投光部110及び受光部120にテレセントリック光学系を採用することで対象物Sの光学像を極めて低い歪みで結像させ、また、撮像素子121aにモノクロの撮像素子を採用することで、高感度、高S/N比の高画質画像を取得することができる。そして、この画像から高精度な三次元形状データを生成できる。同様に、照明出力部130による照明画像(2Dテクスチャ画像)も共通の受光部120を経て高画質に取得することができる。そして、三次元形状データと2D(二次元テクスチャ画像)とを組み合わせることで高画質の3D(三次元)テクスチャ画像を生成できる。この高画質の3Dテクスチャ画像が前述したリアリティを備えていることは言うまでもない。
上述したように撮像素子121aとしてモノクロ素子を採用するのが精度を高める上で望ましい。このモノクロ素子を使ってカラー観察を実現する方法として、撮像素子121aの前にカラーフィルタを配置すればよく、このカラーフィルタによって受光する照明光を三色分けることで色情報を取得できる。換言すると、モノクロ撮像素子でカラー画像を取得する場合には、照明やカラーフィルタの切替えによって色画像を取得する必要がある。
しかしながら、照明色を切替えて各色の画像を取得し、そしてこれを合成する場合に僅かでもシェーディングの差が存在すると、色ズレ(スペクトル差)つまり擬色が発生してしまう。
本発明に従う照明装置700(図32乃至図36)に従う照明出力部130の照明を使って観察することでシェーディングの差を低減でき、擬色を含まないカラー画像を生成することができる。
光学顕微鏡500の動作及び操作(図12)
図12を参照して光学顕微鏡500の動作及び操作を説明するが、光学顕微鏡500の動作は、複数の動作モードから使用者が選択したモードに従って実行される。動作モードを例示的に説明すると、光学顕微鏡500は顕微鏡モード又は形状計測モードを使用者が選択できる。「顕微鏡モード」が選択されると、光学顕微鏡500はデジタルマイクロスコープとして動作することになり、通常の顕微鏡(マイクロスコープ)と同様に明るさ調整、フォーカス調整、倍率切り替え、寸法計測などができる。他方、「形状計測モード」が選択されると、光学顕微鏡500は対象物Sの三次元形状測定を行って三次元形状データを生成すると共に、二次元テクスチャ画像を取得し、この二次元テクスチャ画像と三次元形状データとを組み合わせて三次元テクスチャ画像を生成して、これを表示する。
光学顕微鏡500は、また、簡単測定モードと応用測定モードとを有し、使用者は簡単測定モード又は応用測定モードを選択できる。なお、「簡単測定モード」では、2Dテクスチャ画像の明るさの目標値を使用者が調整できるのが好ましい。ここに、明るさの目標値とは明るさをフィードバック制御により調整する際、2Dテクスチャ画像の明るさをどのような明るさに収束させるかを設定するための目標値をいう。2Dテクスチャ画像の明るさは、多くの場合使用者の好みに左右されることから「簡単測定モード」において各種のパラメータを自動調整するにしても、明るさの目標値は使用者が調整できるようにするのが好ましい。簡単測定モードにおいて使用者がその目標値を設定した後に、表示部400に表示されている「測定」ボタンを使用者が押すと、適切な明るさのテクスチャ画像と、適切な明るさで取得された形状測定結果が表示され、リアルな3Dテクスチャ画像が取得される。
簡単測定モード及び応用測定モードのいずれにあっても、その結果である三次元テクスチャ画像を表示部400の3Dビューア上に表示することができる。使用者は、マウスをドラッグして対象物Sの立体形状を確認することができる。
図12は光学顕微鏡500の基本動作とこれを実行させるために必要とされる使用者の操作を説明するためのフローチャートである。図12のフローチャートに従って光学顕微鏡500の動作及び操作を具体的に説明すると、先ず、使用者はステージ140上に測定対象物Sを載置し、次のステップS2で形状測定モード又は顕微鏡モードを選択する。顕微鏡モードが選択されたときには、従来から知られている顕微鏡と同じに測定対象物Sを観察することができる。その際、照明光出力部130を使ったリング照明が用いられる。
いま、使用者が形状測定モードを選択したとすると、次のステップS3に進んで使用者は簡単測定モード又は応用測定モードを選択する。応用測定モードを選択したときにはステップS4に進む。他方、簡単測定モードを選択したときには簡単測定モードの動作が実行される。
応用測定モード
応用測定モードの工程がステップS4以降に示されている。ステップS4において、使用者は、ステージ140上に載置した測定対象物Sを映し出す表示部(モニタ)400を見ながらピント、視野位置、明るさ又はカメラ露光時間などを調節する。この観察に使用する照明として、投光部110から均一照明を使用しても良いが、一般的には照明光出力部130を使ったリング照明が用いられる。
次のステップS5において、照明をリング照明130から投光部110に切り替えて、投光部110の明るさ又はカメラ露光時間を調整する。投光部110による照明は測定対象物Sに対して斜めから当たるため、その表面性状の凹凸など立体形状による影が発生する。また、測定対象物Sの表面状態によってはステージ140をチルトさせたほうが良好な見え方になる場合もある。また、必要に応じて測定対象物Sの位置や姿勢を再調整する。
前述の投光部110での調整で対象物Sを動かした場合は、再び照明光出力部130を使ったリング照明での対象物Sの見え方の確認、リング照明の明るさ又はカメラ露光時間の再調整などを行う(ステップS6)。勿論、この作業が不要であれば省略できる。対象物Sの姿勢、位置、ピント、及び投光部110を使う計測用の照明条件が確定したら(ステップS7)、使用者は計測開始ボタンを押し下げる(ステップS8)ことで、この指令に基づいて、投光部110のパターン生成部112とカメラ121とを同調制御して複数のパターンを投影しながら対象物Sの画像をカメラ121で取得し、そして制御基板150で適切な処理を施した後に制御用PC200に送信する。すなわち、光学顕微鏡500は投光部110を使って複数の縞パターンでスキャンしながらカメラ121で複数の縞画像を取得する(ステップS9)。そして、制御基板150で適切な処理を施した後に制御用PC200に送信する。
次のステップS10では、また、カメラ121の光軸と同軸に配置されたリング照明130または投光部110の全白による均一照明を使って対象物の表面状態の画像(テクスチャ画像)をカメラ121で取得し、これを制御用PC200に転送する。
制御用PC200は、受け取った画像データを上述した計測アルゴリズムによって適切に画像処理及び解析して立体形状データを生成し(ステップS11)、そして専用プログラムによって前述の立体形状データに二次元テクスチャ画像をマッピングして生成した3Dテクスチャ画像を表示部(モニタ)400に表示する。
上記のステップS4について説明すると、使用者は、リング状の照明光出力部130から測定対象物Sに光を照射して表示部400に表示される画像を見ながら、対象物Sの位置や姿勢、受光部120の焦点、照明の明るさ又はカメラ露光時間などの撮影に関する第1調整を行う。
上記のステップS5について説明すると、上記ステップS4での第1調整が完了したら、次に測定のための第2の調整を行う(ステップS5)。この第2の調整では、測定対象物Sに対して斜め上方から光を照射する投光部110が使用される。すなわち、第1の調整で使用したリング状の照明光出力部130から投光部110に切り替えて第2調整が行われる。この第2調整では、投光部110から対象物Sに光を照射して表示部400に表示される画像を見ながら、使用者は、対象物Sの位置や姿勢、照明の明るさ又はカメラ露光時間などを調整する。
第2の調整が完了したら、念のため次のステップS6で、照明をリング状照明光出力部130に切り替えて画像の見え方に問題が発生していないかを確認し、そして、仮に問題があればステップS7からステップS4に戻って第1、第2の再調整を行う。そして、満足できる画像表示になったらステップS8に進んで、表示部400のGUIに用意された「計測開始ボタン」を押す。
PC200は計測開始ボタンの操作を受けて(ステップS8)、投光部110を使った計測を開始させる(ステップS9)。投光部110から前述した第3照明パターン及び第4照明パターンの照明に同期してカメラ121で撮像した測定対象物Sの計測用の画像を取得する。この計測用画像の取込みに際し、各種のモードを用意しておき、使用者が選択したモードに従って行うようにしてもよい。具体的に説明すると、例えば凹凸の高さが比較的小さい滑らかな表面性状の対象物Sの場合には、第1又は第2の投光部110A又は110Bのいずれか一方だけの照明で計測するモード、反射率の高い表面性状と低い表面性状が混在した対象物Sの場合にシャッター速度を変えて複数回撮影した画像を合成するハレーション除去モードなどを用意してもよい。勿論、この計測工程を反復的に行うモードを用意してもよい。
次のステップS10において、照明を投光部110からリング状の照明光出力部130に切り替えて対象物Sの2Dテクスチャ画像を取得する。前述したように、リング状の照明光出力部130の照明に加えて投光部110からの照明を付加してもよい。
次のステップS11は、上述したステップS9で取得した計測用の画像データのセットを前述した計測アルゴリズムに従って処理することで各画素毎に高さを求めて立体形状データを生成する。すなわち、CPU210は、取得した縞パターン画像のセットを所定の計測アルゴリズムで処理することにより、測定対象物Sの三次元形状データを生成し、この三次元形状データは、作業用メモリ230に記憶される。
そして、次のステップS12でこの三次元形状データに2D(二次元)テクスチャ画像をマッピングすることで3D(三次元)カラー画像が生成され、この3Dカラー画像は表示部(モニタ)400の3Dビューア上に表示される(S13)。
使用者は、計測開始ボタンを押す操作(S8)を行っただけで、表示部(モニタ)400の表示が、ほぼ瞬時と言って良いほどの僅かな時間で、ステップS4〜S7で見え方を調整したカラー観察画像からリアルなカラー3Dテクスチャ画像に変化することに驚きを覚えるであろう。
使用者は、その後、必要に応じて、対象物Sの目的とする箇所のデータが正しく取得できたかを表示部400の3Dテクスチャ画像によって確認してNOであれば、最初からやり直せばよい。使用者が目的とするデータが取得できているのであれば、PC200に組み込んである任意のプログラム(例えば計測用ソフト)を使って、例えば測定対象物Sの断面、エッジの角度、表面荒さなどの各種の計測及び解析を実行することになる(S15)。
簡単測定モード(高速計測モード)
簡単測定モードでは、リング状の照明光出力部130で照明しながら、表示部400に映し出されている画像を見ながら対象物Sの位置や姿勢、ピント合わせを行う。画像の明るさは、使用者が予め設定した目標値に従って自動調整される。そして、表示部400に表示されている計測開始ボタンを使用者が押すと、これをPC200が受け付けて、左右の投光部110A、110Bを個別的にONして、表示部400に映し出されている画像が最適な明るさとなるように、露光時間又は照明の明るさの自動調整が行われる。そして、投光部110を使って複数の縞パターンでスキャンし、そしてこれに同期してカメラ121で複数の縞画像を取得する。
また、カメラ121の光軸と同軸に配置されたリング照明130または投光部110の全白による均一照明を使って対象物の表面状態の画像(2Dテクスチャ画像)をカメラ121で取得する。制御用PC200は、受け取った画像データを上述した計測アルゴリズムによって適切に画像処理及び解析して立体形状データを生成する。そして、この立体形状データに二次元テクスチャ画像をマッピングして生成した3Dテクスチャ画像を表示部(モニタ)400の3Dビューア上に表示する。
この簡単測定モードを光学顕微鏡500が備えることにより、使用者は、計測開始ボタンを押すだけで、その直後に表示部400に表示される3Dテクスチャ画像を確認することができる。そして、この3Dテクスチャ画像が満足できるものであれば、PC200に搭載してある種々のアプリケーション(例えば解析アプリケーション)を使って、対象物Sの解析などを行い、また、そのレポートを出力させることができる。
上述した実施例では、リング状の照明光出力部130を用いた例を挙げたが、照明光出力部130は必ずしも必須ではない。このリング状の照明光出力部130は撮影画像に陰を作らないための照明要素に過ぎないことから他の照明器具を採用してもよいし、前述した投光部110のように斜め上方から対象物Sを照明する器具を採用してもよい。また、受光部120の光軸と同軸に配置された同軸落射照明を採用してもよい。
実施例の光学顕微鏡500によれば、従来の顕微鏡やデジタルマイクロスコープなどで必要とされる作業と同じ作業を使用者に求めるだけであり、使用者にとって特別な操作を必要無しに、GUIに表示の「計測開始ボタン」を押すだけで三次元形状データを獲得でき、また、「計測開始ボタン」を押してからほぼ瞬時に表示部400にリアルなカラー3Dテクスチャ画像を表示させることができる。
このことは、三次元計測に余り馴染みのない使用者にとって、三次元形状データを取得するためのハードルが極めて低くなったことを意味する。したがって使用者は簡単な操作で三次元形状データを取得できる、その気軽さの中で、この三次元形状データを使った様々な計測、解析にエネルギを集中することができる。
以上、本発明の実施例を説明したが、表示部400にリアルなカラー3Dテクスチャ画像を表示させるために必要な操作の全て又は殆どを自動化してもよい。例えば前述した簡単測定モード(高速測定モード)において明るさ調整を自動で行うように設計することで、使用者にとって非常に簡単な操作だけでカラー3Dテクスチャ画像を表示部400に表示させることができる。ただし、使用者の簡易さだけを追求しても、そのことが直ちに計測時間の短縮に結びつかない場合、例えば計測のための第2の調整(図12のステップS5)のように使用者に操作を委ねる方が適切な操作は使用者の操作に委ね、その結果を表示部400にリアルタイムに表示される静止画像で確認しながら調整することで結局は測定時間を短縮できる。
光学顕微鏡500のハード構成(図13〜図45)
光学顕微鏡500の筐体Cの中に投光部110と受光部120とを収容し且つ筐体をコンパクトな形状寸法に抑えるという目的の下での取り得る構成を検討すると次の通りである。
(1)投光部110、受光部120の少なくともいずれか一方の光軸を途中で屈折させる。投光部110に関して左右一対又は周方向に等間隔に例えば4つの投光部110を設けた場合、その光軸の屈折方向を整合させることで筐体をコンパクトにすることができる。特に、光軸長さが大きいテレセントリック光学系を採用したときには、光軸を屈折させることによって筐体をコンパクト化できる効果は大きい。
(2)投光部110と受光部120とを極力接近させる構成を採用するのが筐体をコンパクト化するのに有効であるだけでなく、光学顕微鏡500の安定性を高める上で有効である。
(3)投光部110及び受光部120の光学系と、熱源となる電子部品(典型的にはCPU)を備えた制御基板150、310とを切り離して位置決めするのが光学系の安定的な性能を維持する上で望ましい。
(4)ステージ140周りの空間を極力大きくとるのに、投光部110、受光部120の光学系とステージ140との間に部品を配置しない。
(5)低倍率用の撮像素子二次元アレイとこれと組となる低倍率光学系の他に、高倍率用の撮像素子二次元アレイとこれと組となる高倍率光学系の2系統の受光部120を用意し、光軸が長い高倍率光学系の光軸を屈折させることで筐体のコンパクト化が実現できる。低倍率光学系と高倍率光学系の光軸の一部を共通化することで筐体の一層のコンパクト化が実現できる。
図13〜図15は投光部110の光軸を折り曲げた例を示す。図13は光学顕微鏡500を正面から見た図であり、図14は光学顕微鏡500の右側面図であり、図15は光学顕微鏡500を上から見た平面図である。なお、この図13〜図15では投光部110を一つだけ備えた光学顕微鏡500を例示的に図示してあるが、左右一対の投光部110A、110Bを備えている場合にあっても、左右の投光部110A、110Bの光軸を共に屈折させ、投光部110A、110Bを同じ方向に且つ横方向に延在するように配置するのがよい。
投光部110とステージ140との間に第1のミラー600を配置した例が図13に図示されている。投光部110とステージ140との間に第1のミラー600を配置することにより投光部110を横方向に延びる形態で位置決めすることができる(図14)。したがって、特にテレセントリック光学系を採用した投光部110の場合には、筐体Cの高さ寸法を顕著に小さく設計することができる。
例えば、図15は第1のミラーを配置しなかった場合の顕微鏡500の正面図である。投光部110はステージ140に対して斜めに光を照射するものであるため、図15に示すようにステージ140に対して所定の角度で投光部110が配置されることになる。したがって、投光部110を、第1のミラー600で奥行き方向に折り返して配置しないと、筐体C全体の高さ方向及び横方向の両サイズに大きな影響が出る。
また、投光部110の測定光源111を、前述したレンズ113〜115からなるレンズユニット602から切り離し、測定光源111と投光レンズユニット602との間に配置したパターン生成部112を光軸に対して傾斜した状態で配置し、このDMD二次元アレイで構成されたパターン生成部112をミラーとして使うことで投光部110の長さ寸法を短縮することができる(図14)。
図16は、受光部120の光軸を鉛直線に整合させた構成を示し、図16は受光部120の光軸に第2のミラー604(ハーフミラー)を配置して、受光光軸を横方向に屈折させた例を示す。この横方向に延びる1系統の受光部120が相対的に高倍率の場合には、顕微鏡500の筐体Cの高さ寸法を小さく設計することができる(図16)。
投光部110と受光部120とを包括してヘッド光学系608と呼び、ステージ140及びこれに関連した要素(ステージ操作部144、ステージ駆動部145)をステージ系610と呼ぶと、顕微鏡500の側面図である図17に図示するように、ヘッド光学系608とステージ系610とを構造的に分離し、ヘッド光学系608とステージ系610とを電気的なケーブルだけで接続する構造を採用するのがよい。この構成は、ステージ140の上方に投光部110を配置するだけでなく受光部120を配置することにより採用できる構成であり、これによりステージ140周りに上下方向及び左右方向に大きな作業空間612を形成することができる。
図18の(A)は顕微鏡500の正面図であり、(B)は右側面図である。熱源となる制御基板150(図1)は投光部110と受光部120から離間し且つ側方起立した状態で配置することで筐体Cのコンパクト化と投光部110及び受光部120の熱的影響の抑制との両立を実現することができる。制御基板150を配置するための筐体C内の空間は、投光部110及び/又は受光部120の光軸を屈折させることにより生じた空間的な余裕によって確保することができる。この空間的な余裕は、投光部110及び/又は受光部120にテレセントリック光学系を採用することで顕著となる。
この図18は、また、測定光源111と投光レンズユニット602との間に配置したパターン生成部112を光軸に対して傾斜した状態で配置し、このパターン生成部112をミラー119として使う、図14と同様の構成を有する例を示すが、このパターン生成部112(ミラー119)の傾斜角度を調整することで、三次元測定で最も重要な投光部110の照射角度つまり受光部120の光軸に対する入射角度δ(図18(A))の最適値を確保することができ、この受光部120の入射角度つまり照射角度δの最適値を確保するための設計が容易となる。
図18の(A)を参照して、受光部120とステージ140との間の離間距離D1に対して投光部110とステージ140との間の離間距離D2の方が大きくなるように投光部110の光学系が設計されている(D1<D2)。これによりステージ140周りの使用者の作業空間612を大きくすることができる。
図17に戻って、ステージ系610とヘッド光学系608とをケーブル(図示せず)で接続する構成を採用することで、ヘッド光学系608を脱着可能にすることもできる。すなわち、ヘッド光学系608を独立した第1筐体C1で構成し、また、ステージ系610及び支柱部614を別の独立した第2筐体C2で構成し、第1筐体C1を第2筐体C2から分離可能に構成してもよい。これによれば、ヘッド光学系608の第1筐体C1を取り外して計測計として使用することが可能になる。
光学顕微鏡500の構造(図19)
図19は光学顕微鏡500の具体的な外形を示す図であり、ヘッド光学系608を収容した第1筐体C1(ヘッド上部)を、ステージ系610及び支柱部614を収容した第2筐体C2(ヘッド下部)から分離した状態を示す。図17を参照して前述したように、ヘッド光学系筐体C1(ヘッド上部)を取り外すことで、他の計測のために第2筐体C2のステージ系610(ヘッド下部)を使うことができる。勿論、ヘッド光学系筐体C1(ヘッド上部)を第2筐体C2(ヘッド下部)に合体させることで光学顕微鏡500になる。
ヘッド光学系608を収容したヘッド上部の構造(図20〜図27)
ヘッド光学系608は図20に示す光学ベース部材620を有し、光学ベース部材620に全ての構成要素が組み付けられる。光学ベース部材620は、軽量且つ熱伝導性に優れた例えばアルミニウム製の成型品で構成され、水平方向に延びる平板状の基部622の幅方向中央から前方に延びる受光系設置部624と、この受光系設置部624の基端から左右に延び且つ基部622の前端から上方に延びる左右の起立壁626とを有する。左右の起立壁626には夫々筒部628が形成され、この左右の一対の筒部628は水平方向に且つ前後方向に延び且つ互いに平行である。
図21は、光学系部品を取り付けた光学ベース部材620を斜め横方向から見た斜視図であり、図22はその正面図である。図23〜図26を参照して、光学ベース部材620への各部材の組み付けを説明するが、各部材は光学ベース部材620を基準に取り付けられる。したがって、複数の関連する部材間の相対的な位置は光学ベース部材620によって規定される。
光学ベース部材620の左右一対の筒部628には、夫々、投光レンズユニット602が組み付けられる。この組み付けは、投光レンズユニット602を筒部628に挿入することにより行われる。
投光レンズユニット602の先端には第1ミラー600(図14)が組み付けられ、この第1ミラー600は、光学ベース部材620の受光系設置部624の側面624aに固定される(図24)。具体的に説明すると、第1ミラー600は、光学ベース部620に直接的に取り付けられており、投光レンズユニット602(図26)に対しては独立している。したがって、投光レンズユニット602の組み付け精度の影響を受けることなく第1ミラー600の反射方向を一定に維持することができる。
投光レンズユニット602の後端には投光系光源ユニットが組み付けられ、この投光系光源ユニットは、光学ベース部材620の起立壁626にネジ止めされる(図25)。この投光系光源ユニットは、図14を参照して説明したDMD二次元アレイで構成されたパターン生成部112と、LEDからなる測定光源111とで構成され、測定光源111が出射する光は、傾斜して配置されたパターン生成部112で反射されて、水平方向に延びる投光レンズユニット602に入射される(図14)。換言すると、測定光源111の光軸は投光レンズユニット602の前段でパターン生成部112により屈折される。
図21、図22に戻って、左右一対の水平方向に且つ互いに平行に延びる投光部110(110A、110B)に挟まれて受光部120が配置されている。受光部120は、相対的に低倍率の第1受光部120Aと、相対的に高倍率の第2受光部120Bとで構成されている。低倍率の第1受光部120Aの光軸は鉛直方向に延びており、この光軸の途中に光軸屈折部124が設けられ、この光軸屈折部124を介して高倍率の第2受光部120Bが接続され、この第2受光部120Bは、左右一対の投光部110A、110Bの間に且つこれら投光部110A、110Bと同様に水平方向に延びている。第1、第2の受光部120A、120Bには、夫々、第1、第2のカメラ121A、121Bが取り付けられている。
光軸屈折部124は第2のミラー604(図16)を内蔵し、この第2のミラーはハーフミラーで構成されている。相対的に高倍率の第2受光部120Bの光軸は上記第2のミラー604によって屈折される。
光軸屈折部124は、その下端が光学ベース部材620(受光系設置部624の先端部)にネジ止めされ、また、水平方向に延びる高倍率の第2受光部120Bが光学ベース部材620(受光系設置部624)にネジ止めされる。
図21、図26から理解できるように、光学ベース部材620の前部に第1、第2の投光部110A、110Bと第1、第2の受光部120A、120Bとを束ねた状態で配置し且つ共通の光学ベース部材620を基準に且つ光学ベース部材620に直接的に取り付けたことから光学系の剛性を高めることができる。換言すれば、これら光学系を光学ベース部材620に固定することで光学ベース部材620の剛性を高めることができる。
上述したように、2つの受光部120A、120Bに関し、第2のミラー604(図16)によって分岐された後の高倍率計測用の受光部120Bの光軸は横方向に延びている。他方、第1、第2の投光部110A、110Bの光軸は、第1ミラー600により鉛直方向に屈折される前は横方向に延びている。
そして、高倍率計測用の受光部120Bの横方向に延びる光軸と、第1、第2の投光部110A、110Bの横方向に延びる光軸が互いに並行に配置され、そして、その第1、第2の投光部110A、110B及び高倍率計測用の受光部120Bは光学ベース部材620を基準として配置されている。また、低倍率計測用の受光部120Aも光学ベース部材620を基準として配置されている。したがって、第1、第2の投光部110A、110Bと低倍率計測用の受光部120Aとの相対的な位置関係、また、第1、第2の投光部110A、110Bと高倍率計測用の受光部120Bとの相対的な位置関係は、成形品である光学ベース部材620によって確保することができ、高い測定精度を維持できる。
上述したように、第1、第2の投光部110A、110Bはテレセントリック光学系が採用されている。このテレセントリック光学系を採用することにより、対象物Sに対して正規の角度で光を照射することが可能であり、ステージ140上に照射された測定用の縞パターンの歪みの発生を抑制できる。
テレセントリック光学系は複数のレンズにより構成される。このことから投光レンズユニット602が比較的光軸方向に長い。図21から最も良く分かるように、2つの投光レンズユニット602は顕微鏡と対面する使用者から離れる方向に水平方向に延びている。2つの投光レンズユニット602を縦方向に配置させる場合に比べて顕微鏡500の高さ寸法を小さく設計することができる。また、2つの投光レンズユニット602は互いに平行に延びている。これより顕微鏡500の幅寸法を小さく設計することができる。つまり、顕微鏡500は、高さ寸法及び幅寸法が小さなコンパクトな外形輪郭を有している。
更に、実施例の顕微鏡500は、相対的に低倍率の第1受光部120Aと、相対的に高倍率の第2受光部120Bとを備えているのは上述した通りである。低倍率の第1受光部120Aよりも相対的にワーキングディスタンスが長い高倍率計測用の受光部120Bの光軸を横方向に屈折させると共に第1、第2の投光部110A、110Bの横方向に延びる光軸と平行となるように配置したことで、低倍率、高倍率の2つの受光部120A、120Bを備えた顕微鏡500の高さ寸法を小さく設計できる。
また、図22から最も良く分かるように、前述した図18の(A)を参照して説明した受光部120とステージ140との間の離間距離D1に対して投光部110とステージ140との間の離間距離D2の方が大きくなるように投光部110の光学系が設計されていることから、ステージ周りの作業空間612を拡大することができる。
図26を参照して、図1に図示した制御基板150、310は物理的に一つの基板で構成されて光学ベース部材620の後端部に起立して配置される。
光学ベース部材620には筐体取付用部材630がネジ止めされ(図27)、この筐体取付用部材630は、光学ベース部材620の基部622と受光系設置部624の後部を跨ぐ形状を有し、光学ベース部材620の後端と受光系設置部624の途中部分にネジ止めされる。そして、この筐体取付用部材630に第1の筐体C1が固定される。
第1の筐体C1で包囲されたヘッド上部には、熱源となる制御基板150、310が後部に配置され、光学系部品が前部に配置されていることから、熱に敏感な光学系部品を熱源から引き離すことができ、これにより制御基板150、310の熱によって光学系部品が影響を受けるのを抑えることができる。
リング状の照明光出力部(リング照明)130を設置する場合には、この照明光出力部130は、図21、図22から分かるように、光学ベース部材620の受光系設置部624の先端部に脱着自在に取り付けられ、この照明光出力部130とRGB照明光源320とは導光ケーブル132(図34、図35のケーブル702に相当)に接続される。この導光ケーブル132は、図34、図35などを参照して前述したように、導光ケーブル132を構成する複数の光ファイバを編み込んで互いに交差させる、複数の光ファイバに捻りを加えて互いにランダムに交差させるなどによって、各光ファイバで構成される光伝搬路の束を互いに不規則に錯綜させるのがよい。これにより照度ムラの問題を改善できる。
図40を参照して、リング状の照明光出力部130を構成するリング照明器730はリング状のケース732を有しており、このケース732の側面にコネクタ連結部734が形成されている。このコネクタ連結部734に上述した導光ケーブル132が連結される。導光ケーブル132を構成する光ファイバ702c(図34)の束は、その各々が、ケース732の内部に配置された光ファイバ736に光学的に接続され、ケース732内の複数の光ファイバ736は、その出力端部736aがケース732の周方向に等間隔に位置決めされている。この位置決めはケース732の内部に配置されたリング状のプレート部材738によって行われている。ケース732の内部の光ファイバ736の出力端部736aはステージ140の観察領域Sに向けて傾め内方に指向されている。
ヘッド光学系608を収容したヘッド上部の変形例(図28、図29)
図23を参照して投光部110を筒部628に挿入する例を前述したが、図28に示すように、光学ベース部材620の受光系設置部624の側面624aに投光部110の側面をネジ止めするようにしてもよい。
また、図24を参照して投光部110の光軸を屈折させる第1ミラー600を光学ベース部材620の受光系設置部624の側面624aにネジ止めする例を説明したが、この第1ミラー600を投光レンズユニット602の先端に固定するようにしてもよい(図29)。
700 照明装置
702 導光ケーブル(光ファイバの束)
702a 導光ケーブルの光出力部
702b 導光ケーブルの入光部
704 光源
712 コリメータレンズ
714 両側テレセントリックレンズ系
716 ハーフミラー(光合成要素)
718 ダイクロックミラー
720 光伝搬路
722 R光源(赤色LED)
724 G光源(緑色LED)
726 B光源(青色LED)
120 受光部
120A 低倍率の第1受光部
120B 高倍率の第2受光部
121 カメラ
130 リング状の照明光出力部
132 導光ケーブル
140 ステージ
640 受光部の光軸(観察中心軸)
S 顕微鏡の観察領域

Claims (6)

  1. 互いに異なる波長の光を発する複数の光源と、
    前記複数の光源のそれぞれに隣接して配置され、各光源が出射する光を受けて一様な配光分布を有する平行光を出射する複数のコリメータレンズと、
    前記コリメータレンズから出射された各波長の光を、前記配光分布を維持した状態で伝播し、集光して出射するテレセントリックレンズ系と、
    前記テレセントリックレンズ系が出射した各波長の光が入光し、入光した光を伝播する複数の光ファイバで構成された光ケーブルと、
    前記光ケーブルから光を受けて、観察領域に向かって照明する照明光出力部とを備え、
    前記テレセントリックレンズ系は、前記コリメータレンズから出射された各波長の光を受ける複数のレンズと、前記コリメータレンズの瞳が前記光ケーブルの入光部に結像するように、前記各波長の光を集光する共通レンズとを含むことを特徴とする光学顕微鏡。
  2. 前記テレセントリックレンズ系は、前記コリメータレンズから出射された各波長の光を受ける複数のレンズと、前記光ケーブルの入光部に各波長の光を集光する共通レンズの間に、各波長の光を選択的に反射及び透過させるダイクロイックミラーを備えることを特徴とする請求項1に記載の光学顕微鏡
  3. 前記互いに異なる波長の光を発する複数の光源を時分割で点灯させる制御部と、
    該時分割で照射された各波長の光を観察領域に照射した光を撮像するモノクロ撮像素子とを備え、
    前記制御部は、前記モノクロ撮像素子から得られた画素データに基づいてカラー画像を生成することを特徴とする請求項1又は2に記載の光学顕微鏡。
  4. 前記観察領域に対して斜め上方から測定用の周期的な投影パターンを位相をシフトさせて、前記観察領域に複数回照射する投光部を有し、
    前記モノクロ撮像素子は、前記投光部により観察領域に照射した光を撮像し、
    前記制御部は、前記モノクロ撮像素子から得られた画素データに基づいて複数の測定光画像を生成するとともに、該複数の測定光画像に基づいて三次元形状測定データを生成することを特徴とする請求項に記載の光学顕微鏡。
  5. 前記制御部は、前記三次元形状測定データに前記カラー画像をマッピングした三次元テクスチャ画像を生成することを特徴とする請求項4に記載の光学顕微鏡
  6. 前記照明光出力部が、前記光学顕微鏡の観察中心軸を中心とするリング状の形状を有することを特徴とする請求項1〜のいずれか一項に記載の光学顕微鏡。
JP2012262717A 2012-11-30 2012-11-30 光学顕微鏡 Active JP6025533B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012262717A JP6025533B2 (ja) 2012-11-30 2012-11-30 光学顕微鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012262717A JP6025533B2 (ja) 2012-11-30 2012-11-30 光学顕微鏡

Publications (2)

Publication Number Publication Date
JP2014109615A JP2014109615A (ja) 2014-06-12
JP6025533B2 true JP6025533B2 (ja) 2016-11-16

Family

ID=51030297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012262717A Active JP6025533B2 (ja) 2012-11-30 2012-11-30 光学顕微鏡

Country Status (1)

Country Link
JP (1) JP6025533B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6160206U (ja) * 1984-09-25 1986-04-23
JPH10239037A (ja) * 1997-02-27 1998-09-11 Nikon Corp 観察装置
JP2002090686A (ja) * 2000-09-19 2002-03-27 Mejiro Precision:Kk 光照射装置
JP2006064380A (ja) * 2004-08-24 2006-03-09 Nikon Corp 照明光学装置
JP2008139820A (ja) * 2006-11-02 2008-06-19 Olympus Corp 顕微鏡照明装置
JP5036423B2 (ja) * 2007-06-28 2012-09-26 株式会社キーエンス 画像撮像装置

Also Published As

Publication number Publication date
JP2014109615A (ja) 2014-06-12

Similar Documents

Publication Publication Date Title
JP6029394B2 (ja) 形状測定装置
US8885176B2 (en) Shape measuring device, shape measuring method, and shape measuring program
US9151600B2 (en) Shape measuring device, shape measuring method, and shape measuring program
JP6116164B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
US10415958B2 (en) Measuring device
JP6279048B2 (ja) 形状測定装置
JP6004851B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP6009288B2 (ja) 計測顕微鏡装置及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体
JP6161775B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP5969867B2 (ja) 光学顕微鏡
JP6736383B2 (ja) 測定装置
WO2018229832A1 (ja) 内視鏡システム
JP6161253B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP2014092491A (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP6077287B2 (ja) 光学顕微鏡及びパターン投影計測方法
JP6695748B2 (ja) 測定装置
JP2014055814A (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP6046997B2 (ja) 光学顕微鏡
JP6025533B2 (ja) 光学顕微鏡
JP2014056059A (ja) 光学顕微鏡
JP6025466B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP2020046394A (ja) 三次元形状測定装置および三次元形状測定プログラム
JP6574101B2 (ja) 内視鏡システム
JP2014109490A (ja) 計測顕微鏡装置及びこれを用いた画像撮像方法
JP2018004280A (ja) 測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161011

R150 Certificate of patent or registration of utility model

Ref document number: 6025533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250