JP6971653B2

JP6971653B2 - 顕微鏡装置、表示制御方法、プログラム

Info

Publication number: JP6971653B2
Application number: JP2017121360A
Authority: JP
Inventors: 貴大古川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-06-21
Filing date: 2017-06-21
Publication date: 2021-11-24
Anticipated expiration: 2037-06-21
Also published as: JP2019008022A

Description

本明細書の開示は、顕微鏡装置、表示制御方法、プログラムに関する。

顕微鏡装置は、目視では検出することが困難な欠陥等を検出することが可能であり、様々な被検物の検査装置又は解析装置として利用されている（例えば、特許文献１参照）。

検査装置又は解析装置として利用される顕微鏡装置では、例えば特許文献１に記載されるように、同形状を有するように設計された複数の要素（以降、この要素を繰り返し要素と記す。）を含む被検物を検査又は解析の対象とする機会が数多く存在する。複数の繰り返し要素を含む被検物としては、例えば、マイクロレンズアレイ、シリンドリカルレンズアレイ、導光板、ボールバンプが形成された基板、繊維、ワイヤーなどが挙げられる。

特開２０１５−０５５５６１号公報

従来技術では、顕微鏡装置は、撮像素子で取得した二次元画像に基づいて被検物中に存在する繰り返し要素を検出する。このため、繰り返し要素を検出できる否かは二次元画像に表れる繰り返し要素の外観（大きさ、輝度、色等）に大きく影響されてしまう。例えば、被検物が傾いている等の理由により被検物に含まる複数の繰り返し要素の見かけ上の大きさが異なる場合などには、一部の繰り返し要素が検出できないといった事態が生じ得る。

特定の繰り返し要素の検出に失敗すると、その特定の繰り返し要素が有する欠陥等を見逃す虞があるだけではなく、被検物に含まれる複数の繰り返し要素が有する全体的な傾向を把握することが困難になることがある。

以上のような実情を踏まえ、本発明の一側面に係る目的は、被検物に含まれる複数の繰り返し要素が有する全体的な傾向の把握を支援することである。

本発明の一態様に係る顕微鏡装置は、被検物の三次元データと前記被検物に含まれる繰り返し要素の形状の種類と前記種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値とに少なくとも基づいて前記被検物に含まれる複数の繰り返し要素を検出する検出手段と、少なくとも前記三次元データに基づいて前記複数の繰り返し要素を解析する解析手段と、前記複数の繰り返し要素を含む画像を前記複数の繰り返し要素に対応する部分が前記解析手段による解析結果に応じた表示態様で表示されるように表示装置に表示させる表示制御手段と、前記種類と前記基準値を設定する設定手段と、を備える。前記検出手段は、前記三次元データと、前記設定手段で設定された前記種類及び前記基準値と、に少なくとも基づいて、前記複数の繰り返し要素を検出する。

本発明の一態様に係る表示制御方法は、被検物に含まれる繰り返し要素の形状の種類と、前記種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値を設定し、前記被検物の三次元データと、設定された前記種類及び前記基準値と、に少なくとも基づいて、前記複数の繰り返し要素を検出し、少なくとも前記三次元データに基づいて前記複数の繰り返し要素を解析し、前記複数の繰り返し要素を含む画像を、前記複数の繰り返し要素に対応する部分が前記複数の繰り返し要素を解析した解析結果に応じた表示態様で表示されるように、表示装置に表示させる。

本発明の一態様に係るプログラムは、コンピュータに、被検物に含まれる繰り返し要素の形状の種類と、前記種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値を設定し、前記被検物の三次元データと、設定された前記種類及び前記基準値と、に少なくとも基づいて、前記複数の繰り返し要素を検出し、少なくとも前記三次元データに基づいて前記複数の繰り返し要素を解析し、前記複数の繰り返し要素を含む画像を、前記複数の繰り返し要素に対応する部分が前記複数の繰り返し要素を解析した解析結果に応じた表示態様で表示されるように、表示装置に表示させる、処理を実行させる。

上記の態様によれば、被検物に含まれる複数の繰り返し要素が有する全体的な傾向の把握を支援することができる。

一実施形態に係る顕微鏡装置のハードウェアの構成の一例を示した図である。コンピュータのハードウェアの構成の一例を示した図である。コンピュータの機能ブロック図の一例である。コンピュータが行う表示制御処理の一例を示すフローチャートである。コンピュータが行う条件設定処理の一例を示すフローチャートである。検出条件を自動で設定する時の設定画面の一例を示した図である。球の特徴パラメータについて説明するための図である。円柱の特徴パラメータについて説明するための図である。法線方向の異なる２平面の特徴パラメータについて説明するための図である。検出条件を手動で設定する時の設定画面の一例を示した図である。検出用ＲＯＩを設定する画面の一例を示した図である。解析結果表示画面の一例を示した図である。繰り返し要素の見かけ上の大きさが異なる例を示した図である。画像表示領域の別の例を示した図である。画像表示領域の更に別の例を示した図である。画像表示領域の更に別の例を示した図である。コンピュータが行う表示制御処理の別の例を示すフローチャートである。

［第１の実施形態］
図１は、本実施形態に係る顕微鏡装置１００の構成を例示した図である。顕微鏡装置１００は、繰り返し要素を含む被検物Ｓを解析してその解析結果を表示する装置である。顕微鏡本体１０は、図１に示すように、顕微鏡本体１０、コンピュータ２０、表示装置３０、及び、入力装置４０を備えている。

顕微鏡本体１０は、共焦点レーザ走査型顕微鏡であり、レーザ光を出射するレーザ１と、被検物Ｓにレーザ光を照射する対物レンズ８と、被検物Ｓを載置するステージ９と、対物レンズ８を介して入射する被検物Ｓからの光を検出する光検出器１３を備える。

顕微鏡本体１０は、さらに、レーザ１から出射したレーザ光がステージ９に載置された被検物Ｓへ至る照明光路上に、ミラー２、ハーフミラー３、走査部４、ミラー５、レンズ６、準焦部７、対物レンズ８を備える。

レーザ１は、レーザ光を平行光として出射する光源である。レーザ１から出射されるレーザ光の光量は、コンピュータ２０からの入力に基づいて制御される。具体的には、例えば、レーザ１の駆動電流がコンピュータ２０からの入力によって変更されることで、レーザ１からの出射光量が変化する。

走査部４は、ステージ９に載置された被検物Ｓを対物レンズ８の光軸と交わる方向に二次元に走査する二次元走査装置である。走査部４は、走査位置を互いに直交する方向に移動させるスキャナ４ａとスキャナ４ｂを含んでいる。なお、走査位置とは、対物レンズ８から被検物Ｓへ向けて出射したレーザ光が集光し光スポットが形成される位置のことである。

スキャナ４ａは、対物レンズ８の光軸と直交するX方向に被検物Ｓを走査する、例えば、ガルバノスキャナ、共振スキャナ、音響光学素子である。スキャナ４ｂは、対物レンズ８の光軸及びX方向と直交するY方向に被検物Ｓを走査する、例えば、ガルバノスキャナである。

走査部４は、後述する走査制御部１４により、例えば、ラスタースキャンを行うように制御される。この場合、スキャナ４ａはラインスキャンを行い、スキャナ４ｂよりも高速に被検物Ｓを走査する。スキャナ４ｂはスキャナ４ａの走査方向（X方向）と直交するY方向に被検物Ｓを走査する。

レンズ６は、対物レンズ８の瞳を走査部４に投影する瞳投影光学系である。準焦部７は、対物レンズ８とともに対物レンズ８の光軸の方向（以降、光軸方向、又はZ方向と記す）に移動して、ステージ９と対物レンズ８との距離を変更する。ステージ９は、例えば、対物レンズ８の光軸と直交するX方向とY方向に移動する可動ステージである。ステージ９は、電動ステージであっても手動ステージであってもよい。

顕微鏡本体１０は、さらに、被検物Ｓで反射したレーザ光が光検出器１３へ至る検出光路上に、上述した、対物レンズ８、準焦部７、レンズ６、ミラー５、走査部４、ハーフミラー３に加えて、レンズ１１及び共焦点絞り１２を備える。

レンズ１１は、被検物Ｓで反射したレーザ光を集光させるレンズである。共焦点絞り１２は、ピンホールが形成されたピンホール板であり、レンズ１１の焦点位置にピンホールが位置するように配置される。

共焦点絞り１２の後段に配置された光検出器１３は、例えば、フォトマルチプライヤ（PMT）、アバランシェフォトダイオード（APD）などである。光検出器１３は、検出光量に応じたアナログ信号を画像出力部１８へ出力する。光検出器１３内でのアナログ信号の増幅率は、コンピュータ２０からの入力に基づいて制御される。具体的には、例えば、光検出器１３であるフォトマルチプライヤ又はアバランシェフォトダイオードへの印加電圧がコンピュータ２０からの入力によって変更されることで、増幅率が変化し、アナログ信号の信号強度が変化する。

顕微鏡本体１０は、さらに、走査制御部１４、変位計１５、準焦駆動部１６、準焦制御部１７、及び画像出力部１８を備えている。

走査制御部１４は、コンピュータ２０からの入力に基づいて、例えば、走査部４がラスタースキャンを行うように、走査部４を制御する。さらに、走査制御部１４は、フレーム有効信号（ＦＶＡＬ）、ライン有効信号（ＬＶＡＬ）、データ有効信号（ＤＶＡＬ）などの同期信号を画像出力部１８へ出力する。フレーム有効信号は、走査部４による２次元走査の１フレーム分に相当するタイミング（垂直走査）を通知する同期信号である。ライン有効信号は、走査部４による２次元走査の１ライン分に相当するタイミング（水平走査）を通知する同期信号である。データ有効信号は、走査部４による２次元走査中に得られる画素データが有効なデータであるかを通知する同期信号である。

変位計１５は、準焦部７の光軸方向の位置を検出する位置検出部である。変位計１５は、例えば、光学式のリニアスケールであり、準焦部７の光軸方向への移動によって生じる変位量、即ち、対物レンズ８とステージ９との距離の変化量、を測定して画像出力部１８へ出力する。なお、変位計１５は、静電容量式の変位計、その他の変位計であってもよい。

準焦駆動部１６は、例えばモータを備え、準焦部７を駆動し光軸方向に移動させる。準焦制御部１７は、コンピュータ２０からの入力に基づいて、準焦駆動部１６を介して準焦部７の光軸方向への移動を制御する。

画像出力部１８は、光検出器１３からのアナログ信号に基づいて取得した画像データをコンピュータ２０へ出力する。具体的には、例えば、走査制御部１４から出力される同期信号に基づいてサンプリングクロックを生成する。さらに、生成したサンプリングクロックに従って光検出器１３からのアナログ信号をサンプリングし、取得した画素データをコンピュータ２０へ出力する。さらに、画像出力部１８は、変位計１５からの信号に基づいて取得された準焦部７の位置を示す位置データをコンピュータ２０へ出力する。

顕微鏡本体１０では、レーザ１から出射したレーザ光は、ミラー２を反射し、ハーフミラー３、走査部４を介してミラー５へ入射する。ミラー５で対物レンズ８の光軸方向に反射したレーザ光は、レンズ６により所定の光束径に拡大されて、対物レンズ８によりステージ９に載置された被検物Ｓに照射される。被検物Ｓを反射したレーザ光は、再び対物レンズ８に入射し、レンズ６、ミラー５、走査部４を介してハーフミラー３に入射する。ハーフミラー３で反射したレーザ光は、レンズ１１により集光し共焦点絞り１２に形成されたピンホールを通って光検出器１３で検出される。

走査部４が走査位置をX方向及びY方向に移動させながら、つまり、２次元走査を行いながら、画像出力部１８が光検出器１３からの信号のサンプリングを繰り返すことで、X方向とY方向の二次元に分布した各サンプリング位置のデジタル信号（つまり、画素データからなる画像データ）がコンピュータ２０へ出力される。さらに、変位計１５をZ方向に移動させながら、つまり、３次元走査を行いながら、上述の処理を繰り返すことで、X方向、Y方向及びZ方向の３次元に分布した各サンプリング位置のデジタル信号（つまり、複数の画像データ）がコンピュータ２０へ出力される。

表示装置３０は、コンピュータ２０から出力されたデータに基づいて、画像を表示するディスプレイである。表示装置３０は、例えば、液晶ディスプレイであってもよく、又は、有機ＥＬディスプレイであってもよい。

入力装置４０は、ユーザの操作に応じた命令をコンピュータ２０へ入力する入力装置である。入力装置４０は、例えば、マウス、キーボード、タッチパネルなどである。なお、表示装置３０と入力装置４０は、コンピュータ２０と一体に構成されていても良く、コンピュータ２０の一部であってもよい。

図２は、コンピュータ２０のハードウェアの構成を例示した図である。コンピュータ２０は、例えば、標準的なコンピュータであり、図２に示すように、プロセッサ２１、メモリ２２、入出力インターフェース２３、ストレージ２４、及び、可搬記録媒体２６が挿入される可搬記録媒体駆動装置２５を備える。そして、これらの構成要素はバス２７によって相互に接続されている。なお、図２は、コンピュータ２０のハードウェア構成の一例であり、コンピュータ２０はこの構成に限定されるものではない。

プロセッサ２１は、例えば、CPU（Central Processing Unit）、MPU（Micro Processing Unit）、DSP（Digital Signal Processor）などであり、プログラムを実行してプログラムされた処理を行う。プロセッサ２１がプログラムを実行することにより、例えば、図３に示す各種の機能が実現され、また、図４及び図５に示す処理が行われる。

メモリ２２は、例えば、RAM（Random Access Memory）であり、プログラムの実行の際に、ストレージ２４または可搬記録媒体２６に記録されているプログラムまたはデータを一時的に記憶する。入出力インターフェース２３は、コンピュータ２０以外の装置（例えば、顕微鏡本体１０、表示装置３０、入力装置４０など）と信号をやり取りする回路である。

ストレージ２４は、例えば、ハードディスク、フラッシュメモリであり、主に各種データやプログラムの記録に用いられる。可搬記録媒体駆動装置２５は、光ディスクやコンパクトフラッシュ（登録商標）等の可搬記録媒体２６を収容するものである。可搬記録媒体２６は、ストレージ２４を補助する役割を有する。

図３は、コンピュータ２０の機能ブロック図の一例である。コンピュータ２０は、図３に示すように、各種データを記憶する記憶部（マスタデータ記憶部２８ａ、三次元データ記憶部２８ｂ、設定情報記憶部２８ｃ、要素情報記憶部２８ｄ、解析結果記憶部２８ｅ）と、各種機能を実現する機能部（三次元データ生成部２９ａ、設定部２９ｂ、検出部２９ｃ、解析部２９ｄ、表示制御部２９ｅ）と、を備えている。

図４は、コンピュータ２０が行う表示制御処理の一例を示すフローチャートである。図５は、コンピュータ２０が行う条件設定処理の一例を示すフローチャートである。コンピュータ２０では、プロセッサ２１がプログラムを実行することで、上記の機能部が以下の処理を行う。

まず、三次元データ生成部２９ａが被検物Ｓの三次元データを生成する（ステップＳ１０）。ここでは、三次元データ生成部２９ａは、顕微鏡本体１０からコンピュータ２０へ出力された画像データ及び位置データ（以降、これらをまとめてマスタデータと記す）をマスタデータ記憶部２８ａから読み出して、三次元データを生成する。三次元データ生成部２９ａが生成した三次元データは、三次元データ記憶部２８ｂに記憶される。

具体的には、三次元データ生成部２９ａは、例えば、画素毎に輝度変化曲線（以降、ＩＺカーブと記す）を生成してもよい。そして、ＩＺカーブに基づいて各画素における被検物Ｓの高さを特定することで、被検物Ｓの形状を示す三次元データを生成してもよい。

次に、設定部２９ｂが被検物Ｓに含まれる繰り返し要素を検出するための検出条件を設定する（ステップＳ２０）。ここでは、設定部２９ｂは、少なくとも、被検物Ｓに含まれる繰り返し要素の形状の種類と、その種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値とを検出条件として設定する。設定部２９ｂが設定した検出条件は、設定情報記憶部２８ｃに記憶される。

ステップＳ２０についてさらに詳細に説明すると、図５に示すように、設定部２９ｂは、まず、被検物Ｓに含まれる繰り返し要素の形状の種類を設定する（ステップＳ２１）。ここでは、顕微鏡装置１００の利用者は、図６に示すような検出条件を設定するための画面３１が表示装置３０に表示されている状態で、入力装置４０を用いて画面３１上で繰り返し要素の形状の種類を選択する。繰り返し要素の形状の種類は、例えば、球、円柱、異なる法線ベクトルを有する２平面、などから選択される。設定部２９ｂは、利用者が入力装置４０を用いて選択した形状の種類を検出条件として設定する。なお、図６には、領域３１ａ内の“球”に対応するボタンが押下されることで、繰り返し要素の形状の種類として“球”が設定された様子が示されている。

形状の種類が設定されると、設定部２９ｂは、検出条件を手動で設定するか否かを判断する（ステップＳ２２）。ここでは、設定部２９ｂは、例えば、領域３１ｂ内において、“手動設定”タブが選択されているか、“自動設定”タブが選択されているかによって判断しても良い。

ステップＳ２２で検出条件を手動で設定すると判断すると、設定部２９ｂは、検出条件を設定する（ステップＳ２３）。ここでは、設定部２９ｂは、利用者が入力装置４０を用いて指定した少なくとも１つの特徴パラメータの基準値を検出条件として設定する。なお、特徴パラメータとは、形状の種類毎に設けられたその形状を特定するためのパラメータであり、見かけ上の大きさに依存しないパラメータである。従って、特徴パラメータは、形状の一部からでも算出することができる。例えば、球の特徴パラメータは、図７に示すように、球の半径Ｒｓである。円柱の特徴パラメータは、図８に示すように、円柱底面の半径Ｒｃ、及び、軸ベクトルＶａである。２平面の特徴パラメータは、図９に示すように、２平面の法線ベクトルＶｎ１、Ｖｎ２である。また、基準値とは、繰り返し要素を検出する際に、繰り返し要素と比較する形状が有する特徴パラメータの値である。

ステップＳ２３では、特徴パラメータの基準値の他に、種々の条件が検出条件として設定されても良い。例えば、設定部２９ｂは、図６に示すように、特徴パラメータである半径（１００μｍ）に加えて、見かけ上のサイズ（１００×１００ｐｉｘｅｌ）、類似許容度、などを検出条件として設定してもよい。なお、見かけ上のサイズとは、二次元画像上における繰り返し要素のサイズのことである。類似許容度とは、後述する検出処理においてどの程度異なる形状まで類似した形状とみなすかを指定する値である。換言すると、特徴パラメータにより特定される形状と検出される繰り返し要素の形状との違いをどの程度許容するかを示す値である。

一方、ステップＳ２２で検出条件を自動で設定すると判断すると、設定部２９ｂは、まず、検出用関心領域（以降、検出用ＲＯＩと記す）を設定する（ステップＳ２４）。ここでは、例えば、図１０に示すような“自動設定”タブが選択されている状態で、利用者が入力装置４０を用いて領域３１ｂ内の“ＲＯＩ指定”ボタンを押下すると、図１１に示すような、被検物Ｓの画像３２ａを表示した画面３２が表示装置３０に表示される。その後、利用者が入力装置４０を用いて画像３２ａ上でＲＯＩ３２ｂを指定することで、設定部２９ｂは、ＲＯＩ３２ｂを検出用ＲＯＩに設定する。図１１には、繰り返し要素のひとつが検出用ＲＯＩ内に含まれるように検出用ＲＯＩを設定した様子が示されている。なお、ステップＳ２１で形状の種類として２平面が設定されている場合には、ステップＳ２４では、検出用ＲＯＩは２つ設定される。

検出用ＲＯＩが設定されると、設定部２９ｂは、検出用ＲＯＩから検出条件を算出して設定する（ステップＳ２５）。ここでは、設定部２９ｂは、検出用ＲＯＩの三次元データに対して、ステップＳ２１で設定された種類の形状をフィッティングすることで、少なくとも１つの特徴パラメータの基準値を算出する。具体的なアルゴリズムは特に限定されないが、例えば、形状のフィッティングには最小二乗フィッティングが用いられ、フィッティングを用いた基準値の算出には、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法が用いられる。その後、設定部２９ｂは、算出した少なくとも１つの基準値を検出条件として設定する。

また、ステップＳ２５では、少なくとも１つの基準値に加えて、類似許容度を検出条件として設定してもよい。類似許容度は、図１０に示すように利用者に指定された値であってもよく、最小二乗フィッティングで使用されたフィッティングデータと検出用ＲＯＩの三次元データに基づいて算出してもよい。例えば、最小二乗フィッティングのフィッティングデータと三次元データの差についての二乗平均平方根を許容度に設定してもよい。

検出条件が設定されると、検出部２９ｃが被検物Ｓに含まれる複数の繰り返し要素を検出する（ステップＳ３０）。ここでは、検出部２９ｃは、被検物Ｓの三次元データとステップＳ２０で設定した検出条件に基づいて、複数の繰り返し要素を検出する。換言すると、検出部２９ｃは、被検物Ｓの三次元データと、被検物Ｓに含まれる繰り返し要素の形状の種類と、その種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値と、に少なくとも基づいて、複数の繰り返し要素を検出する。検出部２９ｃが検出した繰り返し要素の情報は、要素情報記憶部２８ｄに記憶される。

具体的には、検出部２９ｃは、例えば、ＲＡＮＳＡＣ（Random sample consensus）を利用して、被検物Ｓから特徴パラメータの基準値により特定される形状（例えば、半径100μｍの球）の一部又は全部に類似した形状を有する領域を推定し、推定した領域をセグメント化し、セグメント化した複数の領域の各々を繰り返し領域として検出してもよい。検出した複数の領域にはそれぞれ識別番号が付与される。

複数の繰り返し要素が検出されると、解析部２９ｄが複数の繰り返し要素を解析する（ステップＳ４０）。ここでは、解析部２９ｄは、少なくとも被検物Ｓの三次元データに基づいて、複数の繰り返し要素を解析する。解析部２９ｄは、繰り返し要素毎に、検出処理と同様に、例えば最小二乗フィッティングを行い、そのフィッティング結果に基づいて特徴パラメータ等を算出してもよい。解析部２９ｄが解析した解析結果は、解析結果記憶部２８ｅに記憶される。

具体的には、解析部２９ｄは、複数の繰り返し要素の各々に対して、ステップＳ２０で設定された種類の形状を特徴付ける少なくとも１つの特徴パラメータの値を算出してもよい。より具体的に説明すると、少なくとも１つの特徴パラメータは、繰り返し要素の形状の種類が球であれば、図７に示すように球の半径である。また、繰り返し要素の形状の種類が円柱であれば、図８に示すように円柱底面の半径Ｒｃ、及び、軸ベクトルＶａである。また、繰り返し要素の形状の種類が２平面であれば、図９に示すように、２平面の法線ベクトルＶｎ１、Ｖｎ２である。

また、解析部２９ｄは、複数の繰り返し要素の各々に対して、その繰り返し要素を代表する座標を算出してもよい。より具体的に説明すると、代表する座標は、繰り返し要素の形状の種類が球であれば、図７に示すように球の中心座標Ｐ１であり、繰り返し要素の形状の種類が円柱であれば、図８に示すように円柱の中心軸上の点であって原点に最も近い点Ｐ２の座標であり、繰り返し要素の形状の種類が２平面であれば、図９に示すように２平面の交線上の点であって原点に最も近い点Ｐ３の座標である。

また、解析部２９ｄは、複数の繰り返し要素の各々に対して、その繰り返し要素の形状とステップＳ２０で設定された基準値に基づいて決定される形状との差分（以降、理想形状との差分と記す）を算出してもよい。

さらに、設定部２９ｂは、複数の繰り返し要素間の関係についての情報（以降、要素間情報と記す。）を算出してもよい。より具体的に説明すると、要素間情報は、繰り返し要素の形状の種類が球であれば、球の中心座標間の距離と位置関係であり、繰り返し要素の形状の種類が円柱であれば、円柱の中心軸間の距離と平行度であり、繰り返し要素の形状の種類が２平面であれば、２平面間のなす角度、及び、２平面の交線の情報、交線の平行度である。

最後に、表示制御部２９ｅが複数の繰り返し要素を含む画像を表示装置３０に表示させて（ステップＳ５０）、表示制御処理が終了する。ここでは、表示制御部２９ｅは、複数の繰り返し要素を含む画像を、それらの複数の繰り返し要素に対応する部分がステップＳ４０の解析結果に応じた表示態様で表示されるように、表示装置３０に表示させる。

具体的には、表示制御部２９ｅは、複数の繰り返し要素に対応する部分を解析結果に応じて色付けした画像を表示するように、表示装置３０を制御してもよい。より具体的には、表示制御部２９ｅは、複数の繰り返し要素に対応する部分を解析結果に応じて繰り返し要素単位で色付けした画像を表示するように、表示装置３０を制御してもよい。また、表示制御部２９ｅは、複数の繰り返し要素に対応する部分を解析結果に応じてパターン化した画像を表示するように、表示装置３０を制御してもよい。より具体的には、表示制御部２９ｅは、複数の繰り返し要素に対応する部分を解析結果に応じて繰り返し要素単位でパターン化した画像を表示するように、表示装置３０を制御してもよい。ここで、パターン化とは、例えば、網掛けやドット等を該当部分に付すことをいい、網掛けやドットの色はパターン毎に異なっていても同じであってもよい。

更に具体的には、表示制御部２９ｅは、ステップＳ４０で特徴パラメータの値が算出されている場合であれば、複数の繰り返し要素の各々に対して算出された特徴パラメータの値に応じた色でその繰り返し要素に対応する部分を色付けした画像を表示するように、表示装置３０を制御してもよい。また、表示制御部２９ｅは、ステップＳ４０で座標が算出されている場合であれば、複数の繰り返し要素の各々に対して算出された座標に応じた色でその繰り返し要素に対応する部分を色付けした画像を表示するように、表示装置３０を制御してもよい。また、表示制御部２９ｅは、ステップＳ４０で理想形状との差分が算出されている場合であれば、複数の繰り返し要素の各々に対して算出された理想形状との差分に応じた色でその繰り返し要素に対応する部分を色付けした画像を表示するように、表示装置３０を制御してもよい。

図１２は、ステップＳ５０の画像表示処理により、表示装置３０に表示された画面３３の一例である。領域３４には、複数の繰り返し要素を含む画像３４ａが表示されている。画像３４ａは、コントロール３４ｂで指定された繰り返し要素の特徴パラメータである半径（の大きさ）に応じて画像３４ａに含まれる繰り返し要素の表示態様を異ならせた画像であり、半径が大きい繰り返し要素ほど濃い網掛けが付されている。画像３４ａを参照することで、画像中の右上部分に半径が比較的大きい繰り返し要素が、画像中の左下部分に半径の比較的小さい繰り返し要素が、存在することをひと目で把握することが可能であり、複数の繰り返し要素の全体的な傾向を把握することができる。なお、領域３４に表示される画像は、特徴パラメータの値に応じて表示態様を異ならせた画像に限られない。例えば中心座標などの座標情報、理想形状との差分に応じて表示態様を異ならせてもよい。

また、領域３５には、ヒストグラム３５ａが表示されている。ヒストグラム３５ａは、コントロール３５ｂで指定されている繰り返し要素の特徴パラメータ（半径）についてのヒストグラムである。ヒストグラム３５ａを参照することで、半径のばらつき、半径の平均的な大きさなどを把握することができる。なお、領域３５に表示されるヒストグラムは、特徴パラメータについてヒストグラムに限らない。例えば中心座標などの座標情報についてのヒストグラム、理想形状との差分についてのヒストグラムが表示されてもよい。なお、領域３５には、ヒストグラムに限らず、任意のグラフを表示してもよい。

また、領域３６には、表３６ａが表示されている。表３６ａは、繰り返し要素毎の、識別番号（ＩＤ）、中心座標、半径を含んでいる。表３６ａを参照することで、各繰り返し要素の数値情報を正確に把握することができる。なお、表３６ａに含まれる情報は、特徴パラメータや座標について情報に限らない。繰り返し要素の形状が２平面であれば、２平面のなす角度などを含んでも良い。なお、領域３６には、表形式に限らず、任意の形式で数値情報を表示してもよい。

上述したように、顕微鏡装置１００では、三次元データと特徴パラメータの基準値を用いて複数の繰り返し要素が検出される。このため、二次元画像に基づいてパターンマッチング処理などを利用して繰り返し要素を検出する場合とは異なり、見かけ上の大きさ（つまり、二次元画像上での大きさ）に左右されることなく繰り返し要素を検出することができる。

図１３は、繰り返し要素の見かけ上の大きさが異なる例を示した図である。より具体的に説明すると、例えば、図１３に示すように、繰り返し要素Ｅ３が他の繰り返し要素（繰り返し要素Ｅ１、Ｅ２、Ｅ４−Ｅ６）と比較して低い位置に形成された場合であれば、繰り返し要素Ｅ３の露出部分の大きさＤ３が他の繰り返し要素の露出部分の大きさ（大きさＤ１、Ｄ２、Ｄ４−Ｄ６）と比較して小さくなる。このため、二次元画像に基づいて検出処理を行うと、見かけ上の大きさの違いが主要な原因で繰り返し要素Ｅ３が検出されないことがある。しかしながら、顕微鏡装置１００では、特徴パラメータの基準値により特定される三次元形状と、三次元データに基づいて特定される繰り返し要素Ｅ３の三次元形状と、が比較されるため、見かけ上の大きさが小さい場合であっても繰り返し要素Ｅ３を検出することができる。

また、Ｘ方向及びＹ方向の長さに比べてＺ方向の長さが短い被検物Ｓが多く存在し、例えば、マイクロレンズアレイ、シリンドリカルレンズアレイなどもしばしば上記のような特徴を有している。このため、これらの被検物Ｓに対して二次元画像に基づいて検出処理を行うと、三次元形状を推定することが困難であることが一要因となり、繰り返し要素を検出することができないことがある。しかしながら、顕微鏡装置１００では、特徴パラメータの基準値により特定される三次元形状と、三次元データに基づいて特定される繰り返し要素の三次元形状と、が比較されるため、Ｚ方向の長さが短い被検物Ｓであっても繰り返し要素を検出することができる。

さらに、顕微鏡装置１００では、複数の繰り返し要素を含む画像のうちの複数の繰り返し要素に対応する部分が解析結果に応じた表示態様で表示装置３０に表示される。このため、顕微鏡装置１００の利用者は、表示装置３０に表示された画像を参照することで、複数の繰り返し要素が有する全体的な傾向をひと目で把握することができる。例えば、製造誤差の偏り、不良な繰り返し要素の存在などを、即座に把握することができる。

従って、顕微鏡装置１００によれば、顕微鏡装置１００の利用者に対して、被検物Ｓに含まれる複数の繰り返し要素が有する全体的な傾向の把握を支援することができる。また、顕微鏡装置１００では、設定された条件に従って、繰り返し要素の検出、解析、表示が自動的に行われる。このため、利用者の作業負担が小さく、且つ、利用者によらずに同じ結果を得ることができる。

なお、図１２に示す画面３３は、画像表示処理により表示装置３０に表示される画面の一例であり、表示装置３０に表示される画面は、画面３３に限らない。例えば、図１４に示すように、画像３４ａ上にドロネー三角形分割により算出された繰り返し要素の中心間を結ぶ線３４ｃを描画してもよい。線３４ｃは線分の長さに応じて色や線種を変えてもよい。

また、繰り返し要素内を同じ表示態様（例えば、単色）で表示する代わりに、繰り返し要素内で表示態様を異ならせても良い。例えば、図１５に示すように、繰り返し要素内の各位置における理想形状との差異（誤差）に応じて表示態様を異ならせても良い。これにより、繰り返し要素内で特に誤差の大きい部分等を特定することができる。

また、複数の繰り返し要素を含む画像は、二次元画像に限らない。例えば、図１６に示すような三次元画像である画像３４ｅが、複数の繰り返し要素を含む画像として、表示装置３０に表示されてもよい。

また、繰り返し要素を識別する識別番号は、図１２に示すように、画像３４ａ上に表示されることが望ましい。画像３４ａ中の繰り返し要素を選択することで、選択した繰り返し要素に対応する表３６ａ中の行（つまり、識別番号によって関連付けられた行）の表示が変化してもよい。例えば、繰り返し要素の選択によって対応する行が強調して表示されてもよい。また、反対に、表３６ａの行を選択することで、選択した行に対応する画像３４ａ中の繰り返し要素の表示が変化しても良い。例えば、行の選択によって、対応する繰り返し要素を強調表示してもよく、対応する繰り返し要素にピンを立てたり線で囲ったりするなどして目印を表示してもよい。さらに、表３６ａの行を選択することで、選択した行に対応する繰り返し要素以外の繰り返し要素を非表示にしても良い。

また、顕微鏡装置１００を検査装置として使用する場合には、予め特徴パラメータについて登録された公差に基づいて、繰り返し要素毎に良否を判定してもよい。検査結果は、例えば、合格した繰り返し要素と不合格の繰り返し要素を異なる色で表示するなどして、画像３４ａ上に表示してもよい。また、検査結果は、表３６ａに合否を示す列を追加するなどして、表３６ａ上に表示してもよい。

［第２の実施形態］
図１７は、コンピュータが行う表示制御処理の別の例を示すフローチャートである。なお、本実施形態に係る顕微鏡装置は、図４に示す表示制御処理の代わりに、図１７に示す表示制御処理を行う点を除き、第１の実施形態に係る顕微鏡装置１００と同様である。このため顕微鏡装置１００と同じ構成要素については同じ符号で参照する。

図１７のステップＳ１１０からステップＳ１５０の処理は、図４に示すステップＳ１０からステップＳ５０の処理と同様である。コンピュータ２０は、複数の繰り返し要素を含む画像が表示されると、繰り返し要素の追加指示があるかどうかを判定する（ステップＳ１６０）。そして、コンピュータ２０は、利用者から追加指示が入力された場合には、画像更新処理を行う（ステップＳ１７０）。利用者は、例えば、画像３４ａ上で繰り返し要素として扱われるべき領域を指定することで、繰り返し要素の追加を指示する。

画像更新処理では、コンピュータ２０は、まず、利用者が指定した領域を特定し、その領域に識別番号を付して、繰り返し要素として管理する。その後、コンピュータ２０は、その繰り返し要素の三次元データに対してステップＳ１４０と同様の解析処理を行い、解析結果に基づいてその繰り返し要素を追加で表示する。

本実施形態に係る顕微鏡装置によれば、自動検出処理（図４のステップＳ３０、図１７のステップＳ１３０）では検出できない繰り返し要素についても解析することができるため、繰り返し要素の全体的な傾向をより正確に把握することができる。従って、本実施形態に係る顕微鏡装置の利用は、画像取得時に大きなノイズが生じる場合や被検物Ｓに理想形状からかけ離れた繰り返し要素が含まれる場合などに、特に効果的である。

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡装置、表示制御方法、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

例えば、図１では、共焦点レーザ走査型顕微鏡が例示されているが、上述した顕微鏡装置は、三次元データを取得することができる限り、任意の顕微鏡に適用可能である。例えば、デジタルマイクロスコープ、測定顕微鏡、白色干渉顕微鏡などにも適用可能である。

また、図６では、選択可能な繰り返し要素の形状の種類として、球、円柱、２平面を例示しているが、形状の種類はこれらに限らない。例えば、円錐等を含んでもよい。

また、図１７では、自動検出処理で検出できなかった領域中から繰り返し要素とすべき領域を指定する例を示したが、任意の領域を繰り返し要素として指定してもよい。例えば、自動検出処理を行うことなく、利用者が任意の領域を繰り返し要素として指定してもよい。自動検出処理を省略して利用者が繰り返し要素を指定することで、被検物Ｓの一部の領域のみを解析したい場合などに、より短時間で目的とする領域を解析することが可能となる。

また、画面３１で設定した検出条件は、ストレージ２４に格納してもよい。そして、同種の被検物Ｓを検査する場合に、ストレージ２４から検出条件を読み出して再利用してもよい。これにより、同種の被検物Ｓに対して同じ条件で繰り返し要素を検出することができるため、作業者によって検査結果が異なるといった事態を回避することができる。

１・・・レーザ、２、５・・・ミラー、３・・・ハーフミラー、４・・・走査部、４ａ、４ｂ・・・スキャナ、６、１１・・・レンズ、７・・・準焦部、８・・・対物レンズ、９・・・ステージ、１０・・・顕微鏡本体、１２・・・共焦点絞り、１３・・・光検出器、１４・・・走査制御部、１５・・・変位計、１６・・・準焦駆動部、１７・・・準焦制御部、１８・・・画像出力部、２０・・・コンピュータ、２１・・・プロセッサ、２２・・・メモリ、２３・・・入出力インターフェース、２４・・・ストレージ、２５・・・可搬記録媒体駆動装置、２６・・・可搬記録媒体、２７・・・バス、２８ａ・・・マスタデータ記憶部、２８ｂ・・・三次元データ記憶部、２８ｃ・・・設定情報記憶部、２８ｄ・・・要素情報記憶部、２８ｅ・・・解析結果記憶部、２９ａ・・・三次元データ生成部、２９ｂ・・・設定部、２９ｃ・・・検出部、２９ｄ・・・解析部、２９ｅ・・・表示制御部、３０・・・表示装置、３１、３２、３３・・・画面、３１ａ、３１ｂ、３４、３５、３６・・・領域、３２ａ、３４ａ、３４ｄ、３４ｅ・・・画像、３２ｂ・・・ＲＯＩ、３４ｂ、３５ｂ・・・コントロール、３４ｃ・・・線、３５ａ・・・ヒストグラム、３６ａ・・・表、４０・・・入力装置、１００・・・顕微鏡装置、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６・・・大きさ、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６・・・繰り返し要素、Ｓ・・・被検物

Claims

被検物の三次元データと、前記被検物に含まれる繰り返し要素の形状の種類と、前記種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値と、に少なくとも基づいて、前記被検物に含まれる複数の繰り返し要素を検出する検出手段と、
少なくとも前記三次元データに基づいて前記複数の繰り返し要素を解析する解析手段と、
前記複数の繰り返し要素を含む画像を、前記複数の繰り返し要素に対応する部分が前記解析手段による解析結果に応じた表示態様で表示されるように、表示装置に表示させる表示制御手段と、
前記種類と前記基準値を設定する設定手段と、を備え、
前記検出手段は、前記三次元データと、前記設定手段で設定された前記種類及び前記基準値と、に少なくとも基づいて、前記複数の繰り返し要素を検出する
ことを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置において、
前記表示制御手段は、前記複数の繰り返し要素に対応する部分を前記解析結果に応じて色付けした前記画像を表示するように、前記表示装置を制御する
ことを特徴とする顕微鏡装置。
請求項２に記載の顕微鏡装置において、
前記表示制御手段は、前記複数の繰り返し要素に対応する部分を前記解析結果に応じて前記繰り返し要素単位で色付けした前記画像を表示するように、前記表示装置を制御する
ことを特徴とする顕微鏡装置。
請求項１乃至請求項３のいずれか１項に記載の顕微鏡装置において、
前記解析手段は、前記複数の繰り返し要素の各々に対して、前記少なくとも１つの特徴パラメータの値を算出する
ことを特徴とする顕微鏡装置。
請求項４に記載の顕微鏡装置において、
前記表示制御手段は、前記複数の繰り返し要素の各々に対して算出された前記値に応じた色で当該繰り返し要素に対応する部分を色付けした前記画像を表示するように、前記表示装置を制御する
ことを特徴とする顕微鏡装置。
請求項１乃至請求項３のいずれか１項に記載の顕微鏡装置において、
前記解析手段は、前記複数の繰り返し要素の各々に対して、当該繰り返し要素を代表する座標を算出する
ことを特徴とする顕微鏡装置。
請求項６に記載の顕微鏡装置において、
前記表示制御手段は、前記複数の繰り返し要素の各々に対して算出された前記座標に応じた色で当該繰り返し要素に対応する部分を色付けした前記画像を表示するように、前記表示装置を制御する
ことを特徴とする顕微鏡装置。
請求項１乃至請求項３のいずれか１項に記載の顕微鏡装置において、
前記解析手段は、前記複数の繰り返し要素の各々に対して、当該繰り返し要素の形状と前記基準値に基づいて決定される形状との差分を算出する
ことを特徴とする顕微鏡装置。
請求項８に記載の顕微鏡装置において、
前記表示制御手段は、前記複数の繰り返し要素の各々に対して算出された前記差分に応じた色で当該繰り返し要素に対応する部分を色付けした前記画像を表示するように、前記表示装置を制御する
ことを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置において、
前記設定手段は、少なくとも前記三次元データと前記種類に基づいて前記被検物の指定された領域から算出した前記基準値を設定する
ことを特徴とする顕微鏡装置。
被検物に含まれる繰り返し要素の形状の種類と、前記種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値を設定し、
前記被検物の三次元データと、設定された前記種類及び前記基準値と、に少なくとも基づいて、前記複数の繰り返し要素を検出し、
少なくとも前記三次元データに基づいて前記複数の繰り返し要素を解析し、
前記複数の繰り返し要素を含む画像を、前記複数の繰り返し要素に対応する部分が前記複数の繰り返し要素を解析した解析結果に応じた表示態様で表示されるように、表示装置に表示させる
ことを特徴とする表示制御方法。
コンピュータに
被検物に含まれる繰り返し要素の形状の種類と、前記種類の形状を特徴付ける少なくとも１つの特徴パラメータの基準値を設定し、
前記被検物の三次元データと、設定された前記種類及び前記基準値と、に少なくとも基づいて、前記複数の繰り返し要素を検出し、
少なくとも前記三次元データに基づいて前記複数の繰り返し要素を解析し、
前記複数の繰り返し要素を含む画像を、前記複数の繰り返し要素に対応する部分が前記複数の繰り返し要素を解析した解析結果に応じた表示態様で表示されるように、表示装置に表示させる
処理を実行させることを特徴とするプログラム。