JP7273995B2 - 顕微鏡検査装置およびナビゲーション方法 - Google Patents

Description

本発明は、顕微鏡検査装置およびナビゲーション方法に関するものである。

電子部品、自動車および医療機器等の工業製品の製造工程において、傷、欠陥、不純物および汚れ等の異常の目視検査が行われている。技術革新のスピードおよび顧客ニーズの変化のペースが速まるのに伴い、製品のライフサイクルが短期化し、少量多品種対応への需要が増大している。センシング能力の高い熟練の技能者が顕微鏡を手動操作して行う目視検査は、自動光学検査装置と比較して、コスト、フレキシビリティ、品質保証の観点等において有利である。

目視検査において、作業者は、検査対象または顕微鏡のステージを手動で移動させることによって顕微鏡による検査対象の観察領域を移動させ、検査対象の全体を観察する。一般的に、作業者は、検査対象内の特定位置を目印として観察領域を移動させることによって、観察領域のおおよその位置を確認する。しかし、観察領域を手動で移動させる場合、検査対象の全体を確実に観察することは難しい。未観察領域が確認された場合、作業者は、対物レンズを高倍率のものから低倍率のものに切り替え、広い視野内で未観察領域の位置を確認して視野の中心に未観察領域を移動させ、対物レンズを高倍率のものに戻して未観察領域を観察する。このように、観察対象を手動で移動させる目視検査は、手間および時間がかかる。また、観察領域は非常に狭いため、作業者は、観察が済んだ領域および未観察領域の位置が分からなくなり、検査対象の全体を観察できたか否かの判断が難しい。

一方、マルチウェルプレートの観察において、１つのウェルの全体を含むナビゲーション画像に顕微鏡の現在の視野範囲を重ねて表示する顕微鏡システムが知られている（例えば、特許文献１参照。）。作業者は、ナビゲーション画像上の視野範囲の位置に基づいて、現在の観察位置を把握することができる。

特開２０１５－８２０９９号公報

特許文献１の顕微鏡システムは、位置の自動制御が可能な電動ステージを備え、ステージの位置に基づいて現在の観察位置を取得している。すなわち、特許文献１の顕微鏡システムは、観察領域を手動で移動させる目視検査には適用することができない。
また、作業者は、特許文献１のナビゲーション画像から現在の観察領域の位置を知ることはできるが、未観察領域が存在するのか否か、および、未観察領域へどのようにアクセスすればよいかを知ることはできない。

本発明は、上述した事情に鑑みてなされたものであって、手動操作による顕微鏡検査において、検査対象の未観察領域へのアクセス方法を作業者に容易に認識させることができる顕微鏡検査装置およびナビゲーション方法を提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、顕微鏡装置によって観察される検査対象の観察領域を撮像し該観察領域の画像を取得する撮像部と、基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像である、位置合わせ部と、前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成するナビゲーションマップ生成部と、前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域である、アクセス算出部と、前記移動方向に基づいて前記未観察領域へのアクセス方法を提示するナビゲーション提示部と、を備える顕微鏡検査装置である。

本態様によれば、顕微鏡装置を使用した作業者による検査対象の目視検査と並行して、顕微鏡検査装置によって検査対象の観察領域の画像の取得およびナビゲーションマップの生成が行われる。すなわち、撮像部によって観察領域の画像が取得され、位置合わせ部によって観察領域の画像が基準画像に対して位置合わせされる。そして、ナビゲーションマップ生成部によって、基準画像に観察領域の画像の位置が記録される。

作業者は、検査対象または検査対象が載置された顕微鏡装置のステージを手動で移動させることによって観察領域を移動させ、検査対象の全体を目視検査する。観察領域の移動に伴い、検査対象の異なる位置の観察領域の画像が撮像部によって取得され、基準画像に観察領域の位置が追加される。これにより、基準画像に作業者が観察した領域の位置が順番に記録され、基準画像からナビゲーションマップが生成される。検査対象内に、作業者が未だ観察していない未観察領域が残っている場合、ナビゲーションマップは、観察領域の画像の位置が記録されていない未観察領域を含む。次に、ナビゲーションマップ内の未観察領域への移動方向がアクセス算出部によって算出され、未観察領域へのアクセス方法がナビゲーション提示部によって提示される。

作業者は、ナビゲーションマップに基づいて、検査対象内に未観察領域が存在するか否かを容易に認識することができる。また、未観察領域が存在する場合、作業者は、ナビゲーション提示部が提示するアクセス方法に基づいて、顕微鏡装置による観察領域を未観察領域へ移動させるための方法を容易に認識することができる。また、基準画像と観察領域の画像との位置合わせを利用することによって、手動で移動させられる観察領域の位置を検出することができる。

上記態様において、前記アクセス算出部が、前記未観察領域への移動量をさらに算出し、前記ナビゲーション提示部が、前記移動方向および前記移動量に基づいて前記アクセス方法を提示してもよい。
この構成によれば、未観察領域までのより具体的なアクセス方法を提示することができる。

上記態様において、前記顕微鏡装置に取り付けられ、該顕微鏡装置のステージの位置を検出するエンコーダを備え、前記位置合わせ部が、前記エンコーダによって検出された前記ステージの位置に基づいて、前記基準画像内の前記観察領域の画像と対応する領域の位置を算出してもよい。
この構成によれば、観察領域の画像を位置合わせすべき基準画像内の位置を少ない計算量で算出することができ、基準画像に対する観察領域の画像の位置合わせの所要時間を短縮することができる。また、基準画像に対する観察領域の画像の位置合わせ精度を向上することができる。

上記態様において、２以上の前記未観察領域のアクセス順序を決定するアクセス順序決定部を備え、前記ナビゲーション提示部が、前記アクセス順序に従って前記２以上の未観察領域にアクセスするための前記アクセス方法を提示してもよい。
この構成によれば、ナビゲーションマップに２以上の未観察領域が存在する場合、２以上の未観察領域にアクセスする順序を作業者に指示することができる。

上記態様において、前記未観察領域に向かって移動中の前記観察領域の位置を検出する位置検出部を備え、前記ナビゲーション提示部が、前記位置検出部によって検出された前記観察領域の位置に基づいてアクセス速度を提示し、該アクセス速度は、前記検出された観察領域の位置から前記未観察領域までの距離に応じて変化してもよい。
アクセス速度は、未観察領域への観察領域の移動速度、すなわち検査対象またはステージの移動速度である。この構成によれば、未観察領域までの距離に応じた適切なアクセス速度を作業者に提示することができる。

上記態様において、前記ナビゲーション提示部が、前記アクセス速度の大きさを表す表示を前記ナビゲーションマップ上に表示してもよい。あるいは、前記ナビゲーション提示部が、前記顕微鏡装置のステージを手動操作するハンドルに設けられたハプティックデバイスを備え、該ハプティックデバイスが、前記ハンドルを操作する作業者の手に前記アクセス速度の大きさに応じた触覚を提示してもよい。
この構成によれば、アクセス速度が視覚的に、または触覚的に、作業者に提示される。これにより、作業者は、アクセス速度をより直感的に認識することができる。

本発明の他の態様は、顕微鏡装置によって観察される検査対象の観察領域を誘導するナビゲーション方法であって、前記観察領域を撮像し該観察領域の画像を取得し、基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像であり、前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成し、前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域であり、前記移動方向に基づいて前記未観察領域へのアクセス方法を提示する、ナビゲーション方法である。

本発明によれば、手動操作による顕微鏡検査において、検査対象の未観察領域へのアクセス方法を作業者に容易に認識させることができるという効果を奏する。

本発明の第１実施形態に係る顕微鏡検査装置および顕微鏡検査システムの全体構成図である。 図１の顕微鏡装置の一例の構成図である。 ナビゲーションマップ用の基準画像の一例である。 図３Ａの基準画像から生成されたナビゲーションマップの一例を示す図である。 ナビゲーションマップ上の未観察領域へのアクセス方法の表示の一例を示す図である。 ナビゲーションマップ上の未観察領域へのアクセス方法の表示の他の例を示す図である。 図１の顕微鏡検査装置の動作を示すフローチャートである。 図５Ａの基準画像に対する観察画像の位置合わせ処理を示すフローチャートである。 図５Ａのナビゲーションマップの生成処理を示すフローチャートである。 図１の顕微鏡検査装置および顕微鏡検査システムの変形例の全体構成図である。 図６の顕微鏡検査装置の動作を示すフローチャートである。 図７Ａの未観察領域のアクセス順序決定処理を示すフローチャートである。 未観察領域のアクセス順序の決定方法の一例を説明する図である。 本発明の第２の実施形態に係る顕微鏡検査装置の動作を示すフローチャートである。 アクセス速度の表示の一例を示す図である。 アクセス速度の表示の一例を示す図である。 アクセス速度の表示の他の例を示す図である。 アクセス速度の表示の他の例を示す図である。 本発明の第３の実施形態に係る顕微鏡検査装置および顕微鏡検査システムの全体構成図である。 図１２の顕微鏡検査装置の動作を示すフローチャートである。 図１３Ａの基準画像に対する観察画像の位置合わせ処理を示すフローチャートである。

（第１の実施形態）
本発明の第１の実施形態に係る顕微鏡検査装置１について図面を参照して説明する。
図１は、顕微鏡検査装置１を備える顕微鏡検査システム１００の全体構成を示している。顕微鏡検査システム１００は、顕微鏡装置２０および表示装置３０を備え、顕微鏡検査装置１は、顕微鏡装置２０および表示装置３０と接続されている。

顕微鏡装置２０は、対物レンズによる検査対象Ｓの観察領域を作業者が手動で移動させる方式の光学顕微鏡装置であり、検査対象Ｓの目視検査に使用される。検査対象Ｓは、例えば、回路基板のような電子部品や、自動車、航空機または医療機器等の工業製品の部品である。顕微鏡検査装置１は、顕微鏡装置２０を使用した目視検査において、観察領域を検査対象Ｓの未観察領域に誘導するためのナビゲーションマップ（図３Ｂから図４Ｂ参照。）を生成し、ナビゲーションマップを表示装置３０に表示させる。

図２は、顕微鏡装置２０の一例を示している。図２の顕微鏡装置２０は、検査対象Ｓが載置されるステージ２１と、ステージ２１上の検査対象Ｓを観察する対物レンズ２２と、作業者がステージ２１を手動操作するためのハンドル２３ａ，２３ｂと、接眼レンズ２４とを備える。ハンドル２３ａは、対物レンズ２２の光軸に直交するＸ方向およびＹ方向にステージ２１を移動させるためのものであり、ハンドル２３ｂは、対物レンズ２２の光軸に沿うＺ方向にステージ２１を移動させるためのものである。作業者は、接眼レンズ２４を通して、対物レンズ２２によって形成された検査対象Ｓの観察領域の光学像を観察することができる。
顕微鏡装置２０は、作業者が検査対象Ｓを手で持って移動させる実体顕微鏡装置であってもよい。

表示装置３０は、顕微鏡装置２０の外部に配置された液晶ディスプレイ等の任意の種類の表示装置である。あるいは、表示装置３０は、接眼レンズ２４の視野内に配置されたディスプレイ、または、顕微鏡装置２０と接続され接眼レンズ２４の視野に画像を投影させるディスプレイであってもよい。

接眼レンズ２４の視野のデジタル画像が、顕微鏡装置２０の外部の表示装置３０に表示されてもよい。この場合、作業者は、接眼レンズ２４を通して検査対象Ｓの光学像を観察することに代えて、表示装置３０に表示されたデジタル画像を観察してもよい。作業者がデジタル画像とナビゲーションマップとを相互に比較し易いように、表示装置３０は、デジタル画像およびナビゲーションマップを並列表示してもよい。

顕微鏡検査装置１は、図１に示されるように、撮像部２と、撮像制御部３と、記憶部４と、基準画像入力部５と、位置合わせ部７、ナビゲーションマップ生成部８およびアクセス算出部９を含む処理部６と、ナビゲーション提示部１０とを備える。

撮像部２は、撮像素子およびメモリを有するデジタルカメラであり、顕微鏡装置２０のカメラポートに接続されている。撮像部２は、対物レンズ２２によって形成された検査対象Ｓの観察領域の光学像を撮像し、観察領域のデジタル画像である観察画像を取得する。観察画像は、撮像部２から処理部６に入力される。

撮像制御部３は、観察領域の移動および撮影条件に基づいて、撮像部２にライブ画像または観察画像である静止画像の取得を実行させる。例えば、撮像制御部３は、撮像部２によって取得されるライブ画像に基づいて観察領域が移動しているか、または静止しているかを検出し、観察領域が静止したタイミングで、作業者によって予め設定された撮影条件で、撮像部２に静止画像の取得を実行させる。あるいは、撮像制御部３は、ライブ画像を撮影している撮像部２に所定の時間間隔で静止画像の取得を実行させてもよい。観察領域が静止したタイミングでの静止画像の取得と、所定の時間間隔での静止画像の取得の両方を併用してもよい。また、同一視野の複数の静止画像が取得されることを防止し静止画像を効率良く取得するために、撮像制御部３は、ライブ画像に基づいて視野の切り替わりを検知し、視野が切り替わったときに静止画像の取得を実行させてもよい。

記憶部４は、検査対象Ｓの基準画像およびプログラムを予め記憶している。
基準画像は、検査対象Ｓの全体を含む画像である。例えば、基準画像は検査対象Ｓの設計図面であり、記憶部４は、設計図面のＣＡＤデータを記憶している。
プログラムは、撮像制御部３、基準画像入力部５、処理部６およびナビゲーション提示部１０による処理をプロセッサに実行させるための顕微鏡検査プログラムである。すなわち、撮像制御部３、基準画像入力部５、処理部６およびナビゲーション提示部１０の後述の機能は、プロセッサによって実現される。

基準画像入力部５は、記憶部４から検査対象Ｓの基準画像を取得し、基準画像を処理部６に入力する。基準画像入力部５は、他の方法で基準画像を取得してもよい。例えば、基準画像入力部５は、検査開始前に任意の撮影装置によって取得された基準画像を顕微鏡検査装置１の外部の装置から取得してもよい。

処理部６は、撮像部２からの観察画像および基準画像入力部５からの基準画像を使用してナビゲーションマップを生成するとともに、未観察領域への誘導に必要な情報をナビゲーションマップに基づいて算出する。

位置合わせ部７は、基準画像内の観察画像と対応する領域に当該観察画像を位置合わせする。位置合わせには、既存の技術が使用される。
一例において、位置合わせ部７は、基準画像入力部５から基準画像を受け取る。また、位置合わせ部７は、撮像部２から観察画像を読み込み、観察画像から、位置合わせ用の観察画像として設計画像を作成する。設計画像は、観察画像の観察領域の設計図面に相当する線図であり、機械学習によって生成された学習モデルを用いて観察画像から作成される。次に、位置合わせ部７は、基準画像の一部領域と設計画像との間の類似度を算出し、基準画像内の最も類似度が高い領域に設計画像を位置合わせする。

一例において、設計画像の作成には、予め構築された学習済みネットワークが使用される。例えば、ｐｉｘ２ｐｉｘ等の画像生成技術を用いて観察画像と設計画像との対を学習することによって、観察画像から設計画像を生成する設計画像生成ネットワークが構築される。設計画像生成ネットワークに観察画像を入力することによって、設計画像が得られる。

一般に、学習データに含まれる偏りをなくすことによって、汎化性能および学習速度の向上を期待することができる。そのため、正規化、標準化、無相関化、白色化等の前処理が施された観察画像および設計画像が学習に使用されてもよい。
学習済みネットワークは、作業者が、検査対象Ｓを指定し学習を実行させることによって検査開始直前に作成されてもよい。

基準画像に対する設計画像の位置合わせには、既存のマッチングアルゴリズムが使用される。例えば、観察画像または基準画像に対して所定サイズ（ｍ画素×ｎ画素）のカーネルを移動および回転させ、画素値の差分の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出し、ＳＡＤが最小となる位置に基づいて観察画像を位置合わせする。カーネルの拡大または縮小が必要である場合、顕微鏡装置２０の光学系の倍率から得られる観察画像のサイズと、設計画像の実寸情報とに基づいて、カーネルのサイズ調整が行われる。

設計画像の作成および位置合わせには、他の方法を使用してもよい。例えば、観察画像のエッジ検出によって観察画像から設計画像としてエッジ画像を作成し、基準画像に対してエッジ画像を位置合わせしてもよい。エッジ検出には、古典的なフィルタ処理または深層学習によるエッジ推定（Ruohui Wang、Edge Detection Using Convolutional Neural Network、Advances in Neural Network - ISNN2016、13th International Symposium on Neural Network、pp12-20、2016）等が使用される。

ナビゲーションマップ生成部８は、図３Ａに示されるように、基準画像から、ナビゲーションマップ用の基準画像Ａを作成する。例えば、ナビゲーション用の基準画像Ａは、基準画像のコピーである。以下、ナビゲーション用の基準画像Ａをコピー基準画像という。図３Ａの例において、コピー基準画像Ａは、電子回路が形成される２つの領域Ｓ１，Ｓ２を含む。
次に、ナビゲーションマップ生成部８は、位置合わせ部７による基準画像に対する設計画像の位置合わせ結果に基づき、コピー基準画像Ａに、設計画像が位置合わせされた基準画像内の領域と対応する領域の位置を記録する。位置の記録は、例えば、コピー基準画像Ａ内の、設計画像が位置合わせされた基準画像内の領域と対応する領域に設計画像を配置し登録することによって行われる。設計画像の登録は、対応する領域を塗りつぶすことによって行われてもよい。

位置合わせ部７およびナビゲーションマップ生成部８は、検査完了通知を受け取るまで、設計画像の位置合わせおよびコピー基準画像Ａへの位置の記録を繰り返す。これにより、図３Ｂに示されるように、ナビゲーションマップ生成部８によって、コピー基準画像Ａから、作業者によって既に観察された観察領域の位置が記録されたナビゲーションマップＢが生成される。図３Ｂにおいて、破線の矩形が、観察画像または設計画像の位置が記録された領域を示し、ハッチングが掛けられた矩形が、観察画像または設計画像の位置が最後に記録された領域Ｄを示している。図面が煩雑になることを避けるために、図３Ｂ以降の図において、領域Ｓ１，Ｓ２内の詳細な構造の図示は省略している。検査完了通知は、作業者による顕微鏡検査装置１への入力に基づいて処理部６に入力される。例えば、検査対象Ｓの目視検査が完了したときに、顕微鏡検査装置１に設けられた操作部を作業者が操作することによって、検査完了通知が操作部から処理部６に送信される。

ナビゲーションマップ生成部８は、検査完了通知を受け取ったときに、ナビゲーションマップＢの生成を終了する。検査対象Ｓ内に作業者が観察していない未観察領域が存在する場合、生成されたナビゲーションマップＢは、設計画像の位置が記録されていない未観察領域を含む。

アクセス算出部９は、図４Ａに示されるように、ナビゲーションマップＢから未観察領域Ｅを検出する。観察領域の移動は作業者によって手動で行われるため、未観察領域のサイズは一定にはならない。アクセス算出部９は、対物レンズ２２の視野である観察領域のサイズと同等のサイズの領域を１つの未観察領域Ｅとして検出してもよい。図４Ａにおいて、ナビゲーションマップＢ内に存在する複数の未観察領域の内、１つのみが実線の矩形で示されている。

次に、アクセス算出部９は、ナビゲーションマップＢ内の現在の観察領域Ｄと未観察領域Ｅとの相対位置に基づいて、現在の観察領域Ｄから未観察領域Ｅへの移動方向および移動量を算出する。例えば、アクセス算出部９は、ナビゲーションマップ生成部８によってナビゲーションマップＢに最後に記録された設計画像の領域を、現在の観察領域Ｄとして用いる。移動方向および移動量は、例えば、ナビゲーションマップＢ上での現在の観察領域Ｄの中心と未観察領域Ｅの中心との間の画素数に基づいて、方向ベクトルとして算出される。

ナビゲーション提示部１０は、アクセス算出部９によって算出された移動方向および移動量、例えば方向ベクトルに基づいて、ナビゲーションマップＢ上に未観察領域Ｅへのアクセス方法Ｃを表示することによって、アクセス方法Ｃを作業者に提示する。図４Ａおよび図４Ｂは、アクセス方法Ｃの表示態様の例を示している。図４Ａにおいて、アクセス方法Ｃの表示は、現在の観察領域Ｄから未観察領域Ｅまでの方向ベクトルを表す矢印である。すなわち、矢印の始点が現在の観察領域Ｄの位置を表し、矢印の終点が未観察領域Ｅの位置を表す。図４Ｂにおいて、アクセス方法Ｃの表示は、方向ベクトルのＸ成分およびＹ成分をそれぞれ表す２つの矢印である。
アクセス方法Ｃの表示は、ステージ２１のＸ方向およびＹ方向のハンドル２３ａの回転方向および回転量を指示するハンドル２３ａのアニメーションであってもよい。

アクセス方法Ｃが表示されたナビゲーションマップＢは、ナビゲーション提示部１０から表示装置３０に出力され、表示装置３０に表示される。生成途中のナビゲーションマップＢが表示装置３０に表示され、表示されるナビゲーションマップＢが逐次更新されてもよい。

次に、顕微鏡検査装置１の作用であって、顕微鏡装置２０による検査対象Ｓの観察領域を未だ観察されていない領域へ誘導するナビゲーション方法について図５Ａから図５Ｃを参照して説明する。
作業者は、接眼レンズ２４を通した検査対象Ｓの観察領域の観察および観察領域の移動を繰り返し、検査対象Ｓの全体を目視検査する。

作業者による目視検査と並行して、観察領域の撮像およびナビゲーションマップＢの生成が顕微鏡検査装置１によって行われる。
具体的には、図５Ａに示されるように、まず、基準画像入力部５によって基準画像が取得され（ステップＳ１）、ナビゲーションマップ作成用のコピー基準画像Ａが基準画像から作成される（ステップＳ２）。また、作業者が観察している観察領域の画像である観察画像が撮像部２によって取得される（ステップＳ３）。
基準画像は基準画像入力部５から処理部６に入力され、観察画像は撮像部２から処理部６に入力される。

次に、位置合わせ部７によって、観察画像が基準画像内の対応する領域に位置合わせされる（ステップＳ４）。具体的には、図５Ｂに示されるように、基準画像および観察画像が読み込まれ（ステップＳ４１，Ｓ４２）、観察画像から、位置合わせ用の観察画像である設計画像が作成される（ステップＳ４３）。次に、基準画像と設計画像との間の類似度が算出され（ステップＳ４４）、基準画像内の類似度が最も高い領域に設計画像が位置合わせされる（ステップＳ４５）。

次に、ナビゲーションマップ生成部８によって、基準画像からナビゲーションマップＢが生成される（ステップＳ５）。具体的には、図５Ｃに示されるように、基準画像からナビゲーション用の基準画像であるコピー基準画像Ａが作成される（ステップＳ５１）。次に、ステップＳ４での位置合わせ結果に基づいて、コピー基準画像Ａに設計画像の位置が記録される（ステップＳ５２）。
作業者による検査対象Ｓの目視検査が完了するまでステップＳ３からＳ５が繰り返されることによって、コピー基準画像Ａに設計画像の位置が追加されナビゲーションマップＢが生成される。

作業者による目視検査が完了後（ステップＳ６のＹＥＳ）、アクセス算出部９によって、ナビゲーションマップＢ内の未観察領域Ｅが検出され、現在の観察領域Ｄから未観察領域Ｅへの移動方向および移動量が算出される（ステップＳ７）。次に、ナビゲーション提示部１０によって、移動方向および移動量を表すアクセス方法ＣがナビゲーションマップＢ上に表示され（ステップＳ８）、アクセス方法Ｃが表示されたナビゲーションマップＢが表示装置３０に表示される。

作業者は、表示装置３０に表示されたナビゲーションマップＢに基づいて、検査対象Ｓ内の既に観察した領域を容易に認識することができる。また、作業者は、ナビゲーションマップＢ上に表示されたアクセス方法に基づいて、未観察領域Ｅが存在するか否か、および、未観察領域Ｅが存在する場合には、現在の観察領域Ｄから未観察領域Ｅへのアクセス方法を容易に認識することができる。特に、アクセス方法Ｃの表示態様として、未観察領域Ｅへの移動方向および移動量を表すグラフィック、例えば矢印またはハンドル２３ａのアニメーションを用いることによって、作業者は、未観察領域Ｅが存在するか否か、および、未観察領域Ｅへのアクセス方法を直感的により容易に認識することができる。

図６は、本実施形態の変形例を示している。
顕微鏡検査装置１０１は、図６に示されるように、アクセス順序決定部１１をさらに備えていてもよい。
図７Ａに示されるように、ナビゲーションマップ生成部８によるナビゲーションマップＢの生成終了後、アクセス順序決定部１１は、ナビゲーションマップＢに２以上の未観察領域が存在する場合、ナビゲートする未観察領域の順序を決定する（ステップＳ９）。

図７Ｂは、アクセス順序の決定方法の一例を示している。図７Ｂの例において、アクセス順序決定部１１は、ナビゲーションマップＢから未観察領域を検出する（ステップＳ９１）。次に、アクセス順序決定部１１は、現在の観察領域Ｄと各未観察領域との間の相対位置を算出するために、ナビゲーションマップＢ内での現在の観察領域Ｄから各未観察領域までの移動方向および移動量を算出する（ステップＳ９２）。移動方向および移動量を算出する方法は、アクセス算出部９による移動方向および移動量の算出方法と同じである。次に、アクセス順序決定部１１は、未観察領域の隣接状態を検出し（ステップＳ９３）、現在の観察領域Ｄから未観察領域までの距離および未観察領域の隣接状態に基づいて、未観察領域のアクセス順序を決定する（ステップＳ９４）。

図８は、アクセス順序の決定方法の具体例を説明している。
この例において、Ｎ個の未観察領域に、現在の観察領域Ｄからの距離に従って距離順位（１位からＮ位）を付ける。図８において、ナビゲーションマップＢ内の実線の矩形が、未観察領域を示している。距離が最も短い未観察領域の距離順位が１位であり、距離が最も遠い未観察領域の距離順位がＮ位である。

次に、距離順位が１位の未観察領域の他の未観察領域との隣接状態を検出し、１位の未観察領域および隣接未観察領域にアクセス順位を付与する。隣接未観察領域は、ある未観察領域の８近傍に存在する未観察領域である。具体的には、距離順位が１位の未観察領域にアクセス順位１－０を付与し、１位の未観察領域の８近傍に存在する隣接未観察領域に、アクセス順位として近傍順位を割り当てる。図８の例において、１位の未観察領域に隣接する２つの隣接未観察領域に、近傍順位として、１－１位および１－２位がそれぞれ割り当てられる。近傍順位は、例えば、時計回りに順番に割り当てられる。近傍順位が割り当てられた隣接未観察領域には、割り当て済みのラベルを付与する。

次に、割り当て済みのラベルが付与された未観察領域を対象外とし、距離順位が次点の未観察領域の隣接状態を検出し、次点の未観察領域およびその隣接未観察領域にアクセス順位を付与する。以降、全ての未観察領域にアクセス順位が付されるまで、同じ手順を繰り返す。アクセス順位がアクセス順序となる。
上記のアクセス順序の決定方法は、一例であって、アクセス順序は、他の方法に従って決定されてもよい。例えば、現在の観察領域Ｄからの移動方向が直線的である未観察領域、例えば、現在の観察領域Ｄと上下方向または左右方向に並ぶ未観察領域が上位となるように、アクセス順序が決定されてもよい。

ナビゲーション提示部１０は、アクセス順序に従って２以上の未観察領域にアクセスするためのアクセス方法をナビゲーションマップＢ上に表示する。
本変形例によれば、現在の観察領域Ｄから近い未観察領域から順に効率的にアクセスするための検査対象Ｓの移動経路を作業者に提示することができ、検査の効率の向上を図ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る顕微鏡検査装置および顕微鏡検査システムについて図面を参照して説明する。
本実施形態に係る顕微鏡検査装置および顕微鏡検査システムは、装置構成において図６の顕微鏡検査装置１０１および顕微鏡検査システム１０２と同一であるが、ナビゲーション提示部１０の処理において、顕微鏡検査装置１０１および顕微鏡検査システム１０２と異なる。

図９に示されるように、未観察領域Ｅまでの観察領域の移動中、ナビゲーション提示部１０は、現在の観察領域から未観察領域Ｅまでのアクセス方法Ｃに加えて、現在の観察領域から未観察領域Ｅまでの距離に応じて変化するアクセス速度をナビゲーションマップＢ上に提示する（ステップＳ１１）。
したがって、観察領域の移動中、観察領域の位置および観察領域から未観察領域Ｅまでの距離が検出され監視される（ステップＳ１０）。

移動中の観察領域の位置は、位置合わせ部（位置検出部）７によって検出される。すなわち、観察領域の移動中、撮像部２によって観察画像が所定のタイミングで取得される。位置合わせ部７は、基準画像に対して観察画像を位置合わせし、基準画像内での観察画像の位置を現在の観察領域の位置として検出する。
位置合わせ部７によって検出された観察領域の位置から未観察領域Ｅまでの距離は、アクセス算出部９によって検出される。アクセス算出部９は、第１の実施形態において説明した現在の観察領域Ｄから未観察領域Ｅまでの移動量の算出方法と同じ方法で、現在の観察領域から未観察領域Ｅまでの距離を算出する。

ナビゲーション提示部１０は、観察領域から未観察領域Ｅまでの距離に基づいて、アクセス速度を示唆する速度表示をナビゲーションマップＢ上に表示させる。観察領域から未観察領域Ｅまでの距離が短い程、速度表示は、アクセス速度を遅くするように示唆する。例えば、図１０Ａおよび図１０Ｂに示されるように、移動方向および移動量を表す矢印Ｃが速度表示であり、矢印Ｃの太さが、アクセス速度の大きさを表す。この場合、観察領域から未観察領域Ｅまでの距離が短い程、矢印Ｃがより細くなる。あるいは、図１１Ａおよび図１１Ｂに示されるように、移動方向および移動量を表す矢印Ｃ内の記号「＜」の数によって、アクセス速度の大きさを示唆してもよい。この場合、示唆すべきアクセス速度が遅い程、記号の数は少なくなる。

本実施形態によれば、第１の実施形態の効果に加えて、以下の効果を奏する。すなわち、未観察領域Ｅへのアクセス中、観察領域から未観察領域Ｅまでの距離の変化に応じてナビゲーションマップＢ上の速度表示が変化するので、作業者は、速度表示に基づいて適切なアクセス速度を直感的に容易に認識することができる。

例えば、観察領域が未観察領域Ｅから遠くに位置するときには対物レンズ２２に対して検査対象Ｓを速く移動させ、観察領域が未観察領域Ｅの近傍に位置するときには対物レンズ２２に対して検査対象Ｓをゆっくり移動させる等、検査対象Ｓの移動速度を適切に調整することができる。

ナビゲーション提示部１０が、ハンドル２３ａに設けられたハプティックデバイスを備え、ハプティックデバイスが、ハンドル２３ａを操作する作業者の手にアクセス速度の大きさに応じた触覚を提示してもよい。
例えば、ハプティックデバイスが、作業者によるハンドル２３ａの操作に対する反力を発生させ、アクセス速度が速い程、反力が小さくなってもよい。

（第３の実施形態）
次に、本発明の第３の実施形態に係る顕微鏡検査装置１０３および顕微鏡検査システム３００について図面を参照して説明する。
本実施形態に係る顕微鏡検査装置１０３は、ステージ２１を備える顕微鏡装置２０に適用される。顕微鏡検査装置１０３は、図１２に示されるように、顕微鏡装置２０に取り付けられ、ステージ２１の位置を検出するエンコーダ１２をさらに備える。顕微鏡検査装置１０３および顕微鏡検査システム３００のその他の構成は、図６の顕微鏡検査装置１０１および顕微鏡検査システム１０２と同一である。
エンコーダ１２は、目視検査中および目視検査後にステージ２１の位置を検出する。エンコーダ１２によって検出されるステージ２１の位置は、検査開始位置に対する相対位置である。

図１３Ａに示されるように、目視検査の開始前、作業者は、観察領域を検査開始位置に移動させ、検査開始位置での観察画像の取得を撮像部２に実行させる（ステップＳ１２）。検査開始位置は、検査対象Ｓ内の予め決められた位置である。
作業者は、観察領域を手動で移動させるので、観察領域の位置が所定の検査開始位置からずれる可能性がある。検査開始位置が、作業者が設定した観察領域の位置に自動補正されてもよい。例えば、検査開始位置での観察画像を基準画像に対して位置合わせすることによって基準画像内での観察領域の位置を検出し、検査開始位置を検出された位置に変更してもよい。
次に、エンコーダ１２の設定が初期化される（ステップＳ１３）。その後、目視検査が開始され、観察領域の移動に基づいて撮像部２によって観察画像が取得される（ステップＳ３）。

ステップＳ４において、位置合わせ部７は、エンコーダ１２によって検出されたステージ２１の位置に基づいて、基準画像に対して観察画像を位置合わせする。
具体的には、図１３Ｂに示されるように、位置合わせ部７は、検査開始位置と、エンコーダ１２によって検出されたステージ２１の位置とに基づいて、基準画像内の設計画像の位置を算出し（ステップＳ４６）、算出された位置に設計画像を位置合わせする（ステップＳ４５）。

基準画像に対して設計画像が回転している場合もある。位置合わせ部７は、設計画像を一度位置合わせした後に、基準画像に対して設計画像を回転させ、異なる回転角度における基準画像と設計画像との間の類似度を算出し（ステップＳ４４）、類似度が最も高い回転角度で設計画像を基準画像に対して最終的に位置合わせしてもよい（ステップＳ４５）。
ステップＳ１０においても、位置合わせ部７は、検査開始位置およびエンコーダ１２によって検出されたステージ２１の位置に基づいて、移動中の観察領域の位置を検出する。

本実施形態によれば、エンコーダ１２によって検出されたステージ２１の位置を利用することによって、基準画像内の観察画像と対応する領域の探索に要する時間を短縮することができる。また、基準画像に対する観察画像の位置合わせの精度および移動中の観察領域の位置検出の精度を向上し、未観察領域Ｅへのナビゲート精度を向上することができる。これにより、位置合わせ誤差等による未観察領域Ｅの見落としを回避することができる。

上記各実施形態において、アクセス算出部９が、未観察領域Ｅへの移動方向および移動量を算出することとしたが、これに代えて、未観察領域Ｅへの移動方向のみを算出してもよい。この場合、ナビゲーション提示部１０は、移動方向のみに基づいてアクセス方法を提示する。例えば、ナビゲーション提示部１０は、現在の観察領域Ｄから未観察領域Ｅに向かう任意の長さの矢印をナビゲーションマップＢに表示させる。作業者は、矢印が指す方向に観察領域を移動させることによって、未観察領域Ｅに到達することができる。

１，１０１，１０３ 顕微鏡検査装置
２ 撮像部
３ 撮像制御部
４ 記憶部
５ 基準画像入力部
６ 処理部
７ 位置合わせ部、位置検出部
８ ナビゲーションマップ生成部
９ アクセス算出部
１０ ナビゲーション提示部
１１ アクセス順序決定部
１２ エンコーダ
２０ 顕微鏡装置
２１ ステージ
３０ 表示装置
１００，１０２，３００ 顕微鏡検査システム
Ｂ ナビゲーションマップ
Ｓ 検査対象

Claims (8)

1. 顕微鏡装置によって観察される検査対象の観察領域を撮像し該観察領域の画像を取得する撮像部と、
   基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像である、位置合わせ部と、
   前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成するナビゲーションマップ生成部と、
   前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域である、アクセス算出部と、
   前記移動方向に基づいて前記未観察領域へのアクセス方法を提示するナビゲーション提示部と、を備える顕微鏡検査装置。
2. 前記アクセス算出部が、前記未観察領域への移動量をさらに算出し、
   前記ナビゲーション提示部が、前記移動方向および前記移動量に基づいて前記アクセス方法を提示する、請求項１に記載の顕微鏡検査装置。
3. 前記顕微鏡装置に取り付けられ、該顕微鏡装置のステージの位置を検出するエンコーダを備え、
   前記位置合わせ部が、前記エンコーダによって検出された前記ステージの位置に基づいて、前記基準画像内の前記観察領域の画像と対応する領域の位置を算出する、請求項１または請求項２に記載の顕微鏡検査装置。
4. ２以上の前記未観察領域のアクセス順序を決定するアクセス順序決定部を備え、
   前記ナビゲーション提示部が、前記アクセス順序に従って前記２以上の未観察領域にアクセスするための前記アクセス方法を提示する、請求項１から請求項３のいずれかに記載の顕微鏡検査装置。
5. 前記未観察領域に向かって移動中の前記観察領域の位置を検出する位置検出部を備え、
   前記ナビゲーション提示部が、前記位置検出部によって検出された前記観察領域の位置に基づいてアクセス速度を提示し、該アクセス速度は、前記検出された観察領域の位置から前記未観察領域までの距離に応じて変化する、請求項１から請求項４のいずれかに記載の顕微鏡検査装置。
6. 前記ナビゲーション提示部が、前記アクセス速度の大きさを表す表示を前記ナビゲーションマップ上に表示する、請求項５に記載の顕微鏡検査装置。
7. 前記ナビゲーション提示部が、前記顕微鏡装置のステージを手動操作するハンドルに設けられたハプティックデバイスを備え、該ハプティックデバイスが、前記ハンドルを操作する作業者の手に前記アクセス速度の大きさに応じた触覚を提示する、請求項５に記載の顕微鏡検査装置。
8. 顕微鏡装置によって観察される検査対象の観察領域を誘導するナビゲーション方法であって、
   前記観察領域を撮像し該観察領域の画像を取得し、
   基準画像内の前記観察領域の画像と対応する領域に当該観察領域の画像を位置合わせし、前記基準画像が前記検査対象の全体を含む画像であり、
   前記基準画像内の前記観察領域の画像の位置を当該基準画像に記録することによって、前記基準画像からナビゲーションマップを生成し、
   前記ナビゲーションマップ内の未観察領域への移動方向を算出し、該未観察領域は前記観察領域の画像の位置が記録されていない領域であり、
   前記移動方向に基づいて前記未観察領域へのアクセス方法を提示する、ナビゲーション方法。

Images