JP7251957B2 - 拡大観察装置 - Google Patents

拡大観察装置 Download PDF

Info

Publication number
JP7251957B2
JP7251957B2 JP2018223952A JP2018223952A JP7251957B2 JP 7251957 B2 JP7251957 B2 JP 7251957B2 JP 2018223952 A JP2018223952 A JP 2018223952A JP 2018223952 A JP2018223952 A JP 2018223952A JP 7251957 B2 JP7251957 B2 JP 7251957B2
Authority
JP
Japan
Prior art keywords
imaging lens
objective lens
image
lens
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018223952A
Other languages
English (en)
Other versions
JP2020086298A (ja
Inventor
宇範 康
龍太郎 平林
昌平 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2018223952A priority Critical patent/JP7251957B2/ja
Publication of JP2020086298A publication Critical patent/JP2020086298A/ja
Application granted granted Critical
Publication of JP7251957B2 publication Critical patent/JP7251957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

本発明は拡大観察装置に関する。
一般に顕微鏡は観察対象物を精度よく観察するために高い光学性能を有する光学系が求められてきた。また、観察画像をリアルタイムで表示器に表示する顕微鏡が登場し、観察対象物のありのままの姿をいかにして正確かつ詳細に表示できるかについて、顕微鏡メーカーの間で競争されてきた。
一方で、画像処理チップの性能が向上し、顕微鏡にも採用可能となってきた。また、顕微鏡のユーザも生物等の研究者だけでなく、工場で生産された製品の検査(拡大観察)をする検査者に広がってきた。そのため、従来の光学性能追求志向とは異なる志向の顕微鏡の市場ニーズが生まれた。これは従来の顕微鏡とは区別して、拡大観察装置と呼ばれることもある(特許文献1)。
特開2018-013734号公報 特開2017-531201号公報
拡大観察装置は複数の対物レンズを有しているが、ユーザが希望する観察倍率は、対物レンズと結像レンズとの組み合わせによって決定される。一般の顕微鏡では、結像レンズが一つであるため、ユーザはレボルバを回転させて対物レンズを選択することで、所望の倍率を実現できる。しかし、これでは実現可能な倍率の数は、対物レンズの数と同数に制限されてしまう。そこで、発明者は、複数の結像レンズを拡大観察装置に搭載することで、より多くの数の観察倍率を提供することを考えた。この場合、ユーザは、希望する観察倍率が実現されるように、対物レンズと結像レンズとの組み合わせを手動で選択しなければならず、利便性に欠ける。そこで、本発明は、倍率変更時に適切な解像度を維持しつつもユーザの利便性を損なわない拡大観察装置を提供することを目的とする。
本発明は、たとえば、
第一結像レンズと、
第二結像レンズと、 前記第一結像レンズと、前記第二結像レンズとを観察光路に対して直交した方向にスライドさせるよう、第一フレームに対してスライド可能に前記第一結像レンズと前記第二結像レンズとを保持する第一スライド部材と、
前記第一結像レンズとともに前記観察光路に対して直列に配置可能な第三結像レンズと、
前記第三結像レンズを前記観察光路に対して直交した方向にスライドさせる第二スライド部材と、
前記第一結像レンズ前記第二結像レンズおよび前記第三結像レンズのうち、前記第一結像レンズのみを前記観察光路に配置するか、前記第二結像レンズのみを前記観察光路に配置するか、または、前記第一結像レンズと前記第三結像レンズとを前記観察光路に配置するかのいずれかを選択して前記観察光路に配置する第一選択部と、 第一対物レンズと、
第二対物レンズと、
前記第一対物レンズと前記第二対物レンズとのいずれかを選択して前記観察光路に配置する第二選択部と、
前記第二選択部により選択された対物レンズを認識する認識部と、
光学系の倍率を選定する倍率選定部と、
前記観察光路に配置された絞りと、
前記倍率選定部により選定された光学系の倍率と、前記認識部により認識された対物レンズとに基づき結像レンズを決定する結像レンズ決定部と、
前記第一結像レンズ前記第二結像レンズおよび前記第三結像レンズのうち前記結像レンズ決定部により決定された前記第一結像レンズのみ、前記第二結像レンズのみ、または、前記第一結像レンズと前記第三結像レンズが前記観察光路に配置されるよう前記第一選択部を制御する制御部とを有し、
前記観察光路に対して直交した方向における前記第一スライド部材の第一端部が前記第一フレームに設けられた第一停止部材に接触して停止すると、前記第二結像レンズが前記観察光路に位置決めされ、
前記観察光路に対して直交した方向における前記第一スライド部材の第二端部が前記第一フレームに設けられた第二停止部材に接触して停止し、第二スライド部材の端部が第二フレームに設けられた停止部材に接触して停止すると、前記第一結像レンズと前記第三結像レンズとが前記観察光路に位置決めされる
ことを特徴とする拡大観察装置を提供する。
本発明によれば、倍率変更時に適切な解像度を維持しつつもユーザの利便性を損なわない拡大観察装置を提供することが可能となる。
拡大観察装置100の概要を説明する図 制御部などを説明する図 画像プロセッサを説明する図 深度合成および凹凸強調を説明する図 ユーザーインタフェースの一例を示す図 ユーザーインタフェースの一例を示す図 拡大観察処理を説明するフローチャート 光学系を説明する図 結像レンズの切り替えを説明する図 結像レンズの切り替えを説明する図 結像レンズの切り替えを説明する図 結像レンズの切り替えを説明する図 対物レンズを説明する図 対物レンズを説明する図 対物レンズを説明する図 同軸落射照明の光源を説明する図 リング照明を説明する図 リング照明を説明する図 照明の選択方法を示すフローチャート 観察倍率から開口数を決定するテーブルを説明する図 撮像制御部を説明する図
<拡大観察装置>
図1は、拡大観察装置100を示している。拡大観察装置100は、例えば微小物体等の試料や電子部品、被加工物等のワーク(以下、これらを観察対象物という。)を拡大して表示する装置である。使用者は拡大観察装置100を使用して観察対象物の外観を検査したり、寸法計測等を行ったりすることができる。拡大観察装置100は、顕微鏡やデジタルマイクロスコープと呼ばれてもよい。観察対象物は、上述した例に限定されるものではなく、各種物体が観察対象物となりうる。
観察部1は、ベース部10、スタンド部20、ヘッド部22、載置台30を有している。ベース部10は、観察部1をぐらつくことなく、机等に置いておくための部分であり、観察部1の略下半部を構成している。ベース部10には、載置台30が設けられている。載置台30は、ベース部10の前後方向中央部近傍から前側の部分に支持されており、該ベース部10から上方へ突出している。載置台30は、観察対象物を載置するための部分であり、この実施形態では、電動載置台で構成されている。すなわち、観察対象物を電動載置台の幅方向(X方向)及び奥行き方向(Y方向)の両方向に移動可能に支持することができるとともに、上下方向(Z方向)及びZ軸回りに回動できるようになっている。スタンド部20はベース部10に対して揺動可能となっている。たとえば、スタンド部20は、観察部1を正面から見て右回りおよび左回りに搖動させるこができる。スタンド部20が搖動することで、ヘッド部22も搖動する。スタンド部20およびヘッド部22は、Z軸方向に移動可能に取り付けられている。ヘッド部22は、対物レンズ、結像レンズ、照明装置および撮像素子などを有する。ヘッド部22は、載置台30に載置された観察対象物に照明光を照射し、該照明光の観察対象物からの反射光又は透過光の受光量を検出して観察対象物の画像を生成する。なお、観察部1の構成と機能の詳細は、本件と同一出願人の特願2018-161347に開示されている、その開示の全ては本明細書の一部として援用(incorporation herein by reference)される。
表示部2は、例えば、液晶表示パネルや有機ELパネル等のようなカラー表示可能な表示画面2aを有しており、外部から電力が供給されるようになっている。表示画面2aにタッチ操作パネル(受付部の一例)を組み込むようにしてもよい。また、この実施形態では、表示部2に制御部60を組み込んだ例で説明しているが、これに限らず、制御部60は観察部1に組み込むようにしてもよいし、コンソール部3に組み込むようにしてもよいし、表示部2、観察部1及びコンソール部3とは別体の外部ユニットとしてもよい。表示部2と、観察部1とはケーブル5によって信号の送受が可能に接続されている。観察部1への電力供給は、ケーブル5によって行ってもよいし、図示しない電源ケーブルによって行ってもよい。
コンソール部3は制御部60に接続されており、一般的なキーボードやマウスとは異なっており、観察部1を操作したり、各種情報の入力や選択操作、画像の選択操作、領域指定、位置指定等を行ったりすることが可能な専用の操作デバイスである。制御部60にはポインティングデバイスとしてマウス4が接続されている。コンソール部3およびマウス4は、拡大観察装置100を操作することができればよいので、例えばタッチパネル式の入力装置、音声入力装置等であってもよい。タッチパネル式の入力装置の場合、表示部2と一体化することができ、表示部2に表示されている表示画面上の任意の位置の検出を可能に構成することができる。コンソール部3およびマウス4は、表示部2に表示された画像上で使用者によって指定された任意の位置の入力を受け付ける受付部である。
拡大観察装置100には、上述した機器や装置以外にも、操作や制御を行うための装置、プリンタ、その他の各種処理を行うためのコンピュータ、記憶装置、周辺機器等を接続することもできる。この場合の接続は、例えば、IEEE1394、RS-232xやRS-422、USB等のシリアル接続、パラレル接続、あるいは10BASE-T、100BASE-TX、1000BASE-T等のネットワークを介して電気的、あるいは磁気的、光学的に接続する方法等を挙げることができる。また、有線接続以外にも、IEEE802.x等の無線LANやBluetooth(登録商標)等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や各種設定の保存等を行うための記憶装置に用いる記憶媒体としては、例えば、各種メモリカードや磁気ディスク、光磁気ディスク、半導体メモリ、ハードディスク等を利用することができる。拡大観察装置100は、上記各種ユニットや装置、機器を組み合わせた拡大観察システムということもできる。
<制御部>
図2が示すように、制御部60は、CPU61や画像プロセッサ66、記憶部67などを有している。CPU61は記憶部67のROM領域に記憶されているプログラムを実行することで様々な機能を実現する。撮像制御部62は、ヘッド部22に設けられたレボルバ21を回転させるためにレボルバ駆動部24を制御する。これにより、対物レンズ23の倍率が変更される。つまり、ある倍率の対物レンズ23から他の倍率の対物レンズ23に切り替わる。撮像制御部62は、対物レンズ23と通信することで対物レンズ23を識別する識別部(認識部)を有していてもよい。ヘッド部22は複数の結像レンズ41を有してもよい。撮像制御部62は、結像レンズ駆動部42(例:モータ)を駆動することで、結像レンズ41を切り換える。これにより、対物レンズ23と結像レンズ41とを含む光学系の倍率が変更される。なお、複数の対物レンズ23と複数の結像レンズ41を区別する際には参照符号の末尾に小文字のアルファベットが付与される。電動絞り37はヘッド部22の内部や対物レンズ23の内部に設けられた可変絞りである。電動絞り37も撮像制御部62によって制御される。
撮像制御部62は、対物レンズ23の合焦位置を変更するためにヘッド部22を上下させるZ方向駆動部28を制御する。撮像制御部62は、載置台駆動部29を通じて載置台30をX方向、Y方向、Z方向に移動させたり、載置台30をθ回転させたりする。撮像制御部62は、ヘッド部22に設けられた撮像部25を制御し、撮像部25に観察対象物Wを撮像させ、観察対象物Wの画像を取得する。
表示制御部63は観察対象物Wの画像などを表示部2に表示させる。照明制御部64は、ヘッド部22に設けられたリング照明26や同軸落射照明27の点灯と消灯とを制御する。UI部65は、表示制御部63を通じて表示部2にUI(ユーザーインタフェース)を表示したり、コンソール部3やマウス4から入力されるユーザ指示を受け付けたりする。画像プロセッサ66は、撮像部25により取得された画像信号から様々な画像データを作成する。画像プロセッサ66はCPU61により実現されてもよい。記憶部67はROM領域やRAM領域、メモリカードなどを有する。
検知部68は、載置台30の静止と移動を検知したり、レボルバ21により対物レンズ23の倍率が変更されたかどうかを検知したりする。コンソール部3は、載置台30をX方向に移動させたり、Y方向に移動させたりすることを指示するためのジョイスティックを有していてもよい。この場合、検知部68は、コンソール部3のジョイスティックがいずれかの方向に倒されていれば載置台30が移動していると検知し、ジョイスティックが中立位置に静止していれば載置台30が静止していると検知する。また、コンソール部3またはマウス4を通じてレボルバ21の回転、つまり、対物レンズ23の倍率変更が指示され、レボルバ駆動部24がレボルバを回転させると、検知部68は、倍率が変更されたと検知する。倍率変更が指示されていなければ、検知部68は、倍率が変更されていないと検知する。検知部68はユーザによるピント位置の手動調整を検知してもよい。
<画像プロセッサ>
図3が示すように、画像プロセッサ66において、輝度画像生成部31は、撮像制御部62を通じて撮像部25により取得された画像信号から輝度画像を作成する。HDR処理部32は、撮像制御部62を通じて撮像部25を制御することで、それぞれ露光時間が異なる複数のサブ輝度画像を取得し、複数のサブ輝度画像をHDR処理することで輝度画像を生成する。HDRはハイダイナミックレンジの略称である。深度合成部33は、撮像制御部62を通じて撮像部25を制御することで、それぞれ合焦位置の異なる複数のサブ輝度画像を取得し、複数のサブ輝度画像を深度合成することで深度合成画像を生成する。なお、サブ輝度画像はHDR処理された輝度画像であってもよい。凹凸強調部34は、第一照明方向から照明された観察対象物Wの第一輝度画像と、第二照明方向から照明された観察対象物Wの第二輝度画像とを合成することで、観察対象物Wの表面の凹凸が強調された凹凸強調画像を作成する。第一照明方向と第二照明方向は相互に光軸A1を挟んで対称となっている。なお、第一輝度画像と第二輝度画像はそれぞれ深度合成された深度合成画像であってもよい。たとえば、凹凸強調部34は、第一深度合成画像と第二深度合成画像との輝度の差分に基づき凹凸強調画像を生成してもよい。第一深度合成画像における画素(座標x、y)の輝度値i1と、第二深度合成画像における画素(座標x、y)の輝度値i2とから凹凸強調画像における画素(座標x、y)の画素値Ixyは、次式から求められてもよい。
Ixy=(i1-i2)/(i1+i2) ・・・(1)
凹凸強調画像の画素値は、一対の画素値の差分を、一対の画素値を足した合計で割ることで得られる。画素値の差分が正規化されるのであれば、(1)の式とは異なる式が採用されてもよい。
着色部36は、撮像部25により取得された観察対象物Wについてのカラー画像から色情報を取得して凹凸強調画像をカラー化する。高さ画像生成部35は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物Wの表面の高さを求め、当該高さを各画素とする高さ画像を生成する。高さ画像生成部35は、高さ画像の各画素を、各画素の高さに応じて着色することでカラー高さ画像を生成してもよい。
<深度合成と凹凸強調の原理>
図4(A)はリング照明26の一部を点灯させることで第一照明方向から観察対象物Wに照明光を照射していることを示している。リング照明26は、四つの光源領域140A、140B、140C、140Dを有している。つまり、リング照明26は、四つの光源領域140A、140B、140C、140Dを選択的に点灯および消灯することで、四つの照明方向から照明光を観察対象物Wに照射できる。光源領域140Aの照明方向と光源領域140Cの照明方向とは光軸A1に対して対称となっている。光源領域140Bの照明方向と光源領域140Dの照明方向とは光軸A1に対して対称となっている。図4(A)では光源領域140Aだけが点灯している。
図4(B)は第一照明方向から観察対象物Wに照明光を照射することで取得された輝度画像I1を示している。SHは観察対象物Wの影を示している。
図4(C)は光源領域140Cだけを点灯することで第二照明方向から観察対象物Wに照明光を照射することを示している。図4(C)は第二照明方向から観察対象物Wに照明光を照射することで取得された輝度画像I2を示している。
図4(E)は第一照明方向から観察対象物Wに照明光を照射し、かつ、合焦位置を変えながら取得されたn個の第一輝度画像I11~I1nを示している。深度合成部33は、n個の第一輝度画像I11~I1nを深度合成することで、第一深度合成画像Ia1を作成する。たとえば、深度合成部33は、複数の第一輝度画像I11~I1nにおいてそれぞれ画素位置が同じである複数の画素を解析し、当該複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置でそれぞれ合焦画素からなる第一深度合成画像I1aを生成する。
図4(F)は第二照明方向から観察対象物Wに照明光を照射し、かつ、合焦位置を変えながら取得されたn個の第二輝度画像I21~I2nを示している。深度合成部33は、n個の第二輝度画像I21~I2nを深度合成することで、第二深度合成画像I2aを作成する。たとえば、深度合成部33は、複数の第二輝度画像I21~I2nにおいてそれぞれ画素位置が同じである複数の画素を解析し、当該複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置でそれぞれ合焦画素からなる第二深度合成画像I2aを生成する。
凹凸強調部34は、第一深度合成画像I1aと第二深度合成画像I2aとを用いて凹凸強調画像を生成する。凹凸強調部34は、第一深度合成画像I1aと第二深度合成画像I2aとの輝度の差分に基づき凹凸強調画像を生成する。
<載置台の移動と画像の表示>
UI部65は、凹凸強調部34により生成された凹凸強調画像を表示部2に表示する。ユーザは観察対象物Wの一部を拡大観察するために凹凸強調画像を利用する。ここで、観察対象物Wの複数の箇所が拡大観察の対象となる場合がある。この場合に、ユーザはコンソール部3を操作することで、載置台30をX方向やY方向に移動させたり、θ方向に回転させたりする。CPU61はコンソール部3からX方向への移動指示が入力されると、載置台駆動部29により載置台30をX方向へ移動させ、CPU61はコンソール部3からY方向への移動指示が入力されると、載置台駆動部29により載置台30をY方向へ移動させる。このような移動指示が入力されている限り、CPU61は移動指示にしたがって連続的に載置台30を移動する。ユーザによる移動指示の入力が停止すると、CPU61は載置台駆動部29による載置台30の移動を停止させる。
ここで、凹凸強調画像を生成するためには、ある程度の処理時間が必要となるため、載置台30が移動している期間においては、UI部65は、凹凸強調部34により生成された凹凸強調画像を表示部2に表示できない。そこで、載置台30が移動している期間において、UI部65は、輝度画像生成部31が生成した観察対象物Wの輝度画像を表示部2に表示する。これにより、ユーザは表示部2に表示された輝度画像を確認することで、次の観察部位が撮像部25の視野範囲に位置しているかどうかを確認できるようになる。ここで、UI部65は、一定時間ごとに観察対象物Wの輝度画像を更新することで、表示部2には動画のように観察対象物Wの輝度画像が表示される。CPU61は、移動指示の入力が停止したこと(載置台30の停止)を検知すると、画像プロセッサ66に凹凸強調画像の生成を指示する。これにより、上述した輝度画像の取得、深度合成、および凹凸強調画像が再度実行され、新たな観察位置での凹凸強調画像が表示部2に表示される。ユーザが凹凸強調画像の再生成を指示しなくても、載置台30の停止に応じて、凹凸強調画像が再生成される。そのため、ユーザは効率よく複数の観察部位を観察できるようになろう。
<凹凸強調画像の着色>
凹凸強調画像を構成する各画素は、観察対象物Wの表面の凹凸を示しており、表面の色情報を含まない。そのため、ユーザは、観察部位の色と凹凸の位置との関係を把握しにくい。そこで、着色部36は、リング照明26の光源領域140A~140Dをすべて点灯させ、撮像部25に観察対象物Wを撮像させる。こにより、輝度画像生成部31は観察対象物Wのカラー画像(輝度画像)を生成する。着色部36は、カラー画像から色情報を取得し、凹凸強調画像に色情報をマッピングして凹凸強調画像をカラー化し、表示部2に表示する。これによりユーザは、観察部位の色と凹凸の位置との関係を把握しやすくなる。
<HDR処理>
観察対象物Wの表面が金属である場合、輝度画像において白飛びした画素や黒つぶれした画素が発生することがある。このような場合に、最終的に生成される凹凸強調画像において凹凸を確認しにくくなる。そこで、HDR処理部32が採用されてもよい。HDR処理部32は、一つの合焦位置について、露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで一つの輝度画像を生成する。HDR処理部32は、合焦位置が変更されるたびに、露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで一つの輝度画像を生成する。これにより、第一輝度画像I11~I1nと第二輝度画像I21~I2nはいずれもHDR処理された画像となる。よって、深度合成部33は、HDR処理された第一輝度画像I11~I1nを深度合成して、第一深度画像I1aを生成し、HDR処理された第二輝度画像I21~I2nを深度合成して、第二深度画像I2aを生成する。さらに、凹凸強調部34は、HDR処理された第一深度画像I1aおよびHDR処理された第二深度画像I2aを合成することで、HDR処理された凹凸強調画像を生成する。これにより、白飛びや黒つぶれが発生しにくくなるため、ユーザは、凹凸強調画像を確認することで、観察対象物Wにおける凹凸をより正確に把握しやすくなろう。
<高さ画像>
上述された凹凸強調画像は観察対象物Wの表面の高さ情報を含まない。そのため、クレーター錯視が発生する。クレーター錯視とは、画像として凹形状と凸形状とが区別できないために、観察者が凹部と凸部とを誤って認識してしまう現象である。そこで、高さ画像生成部35は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物Wの表面の高さを求め、当該高さを各画素とする高さ画像を生成し、表示部2に表示してもよい。さらに、高さ画像生成部35は、高さ画像の各画素の高さデータを色情報に変換し、凹凸強調画像に対して色情報をマッピングすることで、高さに応じて異なる色で着色された凹凸強調画像を生成し、表示部2に表示してもよい。これにより、ユーザは、色情報に基づき観察対象物Wの表面における凹形状と凸形状とを区別しやすくなろう。
<その他>
図4においては光源領域140A、140Cについて説明されたが、この説明は光源領域140B、140Dにも適用可能である。つまり、画像プロセッサ66は、光源領域140A、140Cとのペアを用いて凹凸強調画像を生成してもよいし、光源領域140B、140Dとのペアを用いて凹凸強調画像を生成してもよい。光源領域140Bの照明方向は第三照明方向と呼ばれてもよい。光源領域140Dの照明方向は第四照明方向と呼ばれてもよい。第三照明方向と第四照明方向とは光軸A1を挟んで対称(線対称)となっている。
輝度画像生成部31は、リング照明26を制御することで観察対象物Wに対して第一照明方向および第二照明方向と異なる第三照明方向から照明光を観察対象物Wに対して照射する。輝度画像生成部31は、Z方向駆動部28や撮像部25を制御し、それぞれ異なる複数の合焦位置のそれぞれで観察対象物Wを撮像することで複数の第三輝度画像を取得する。同様に、輝度画像生成部31は、リング照明26を制御することで観察対象物Wに対して第四照明方向から照明光を観察対象物Wに対して照射する。輝度画像生成部31は、Z方向駆動部28や撮像部25を制御し、それぞれ異なる複数の合焦位置のそれぞれで観察対象物Wを撮像することで複数の第四輝度画像を取得する。画像プロセッサ66は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうちUI部65により選択された照明方向に対応した凹凸強調画像を、複数の第一輝度画像、複数の第二輝度画像、複数の第三輝度画像および複数の第四輝度画像のうち選択された照明方向に対応した複数の輝度画像を用いて生成する。表示部2は、選択された照明方向に対応した凹凸強調画像を表示する。上述の実施形態では、第一照明方向が選択されているが、第二照明方向が選択されてもよい。この場合、(1)式におけるi1とi2とが入れ替わる。第三照明方向が選択された場合、(1)式において、第三輝度画像の各画素の輝度値がi1となり、第四輝度画像の各画素の輝度値がi2となる。第四照明方向が選択された場合、(1)式において、第四輝度画像の各画素の輝度値がi1となり、第三輝度画像の各画素の輝度値がi2となる。
<変形例>
上述した実施形態では深度合成が実行された後で凹凸強調が実行されている。しかし、凹凸強調が先に実行され、その後に深度合成が実行されてもよい。
凹凸強調部34は、第一輝度画像I11と第二輝度画像I21とを用いてサブ凹凸強調画像I1xを生成する。同様に、凹凸強調部34は、第一輝度画像I12と第二輝度画像I22とを用いてサブ凹凸強調画像I2xを生成する。以下の同様に繰り返し、最終的に、凹凸強調部34は、第一輝度画像I1nと第二輝度画像I2nとを用いてサブ凹凸強調画像Ixnを生成する。これにより、深度合成部33は、n個のサブ凹凸強調画像Ix1~Ixnを深度合成し、最終的な凹凸強調画像を生成し、表示部2に表示する。
なお、リング照明26は、対物レンズ23の周囲に配置されていてもよいし、対物レンズ23を通じて照明光を観察対象物Wに照射するように構成されていてもよい。
<ユーザーインタフェース>
図5はUI部65が表示部2に表示するユーザーインタフェース70を示している。画像表示領域71aは、画像プロセッサ66から表示制御部63を通じて出力される画像を表示する。この画像は、観察対象物Wのライブ画像、深度合成された凹凸強調画像、観察対象物Wの表面の色に応じて着色された凹凸強調画像、高さデータに基づき着色されたか凹凸強調画像(カラー高さ画像)などである。載置台30が移動していたり、対物レンズ23の切り替えが指示されたりしたことを検知部68が検知すると、UI部65は、観察対象物Wのライブ画像を画像表示領域71aに表示する。倍率の変更が完了し、かつ、載置台30が静止したことを検知部68が検知すると、UI部65は、深度合成された凹凸強調画像を画像表示領域71aに表示する。凹凸強調画像が表示されているときに載置台30が移動することが検知されると、UI部65は、ライブ画像を画像表示領域71aに表示する。照明方向選択部72は、光源領域140A~140Dに対応した四つのボタンを有している。上述したように、光源領域140Aと光源領域140Cとがペアを形成しているため、光源領域140Aに対応したボタンがポインタ74により選択されると、光源領域140Aの照明方向が第一照明方向に決定され、光源領域140Cの照明方向が第二照明方向に決定される。同様に、光源領域140Dに対応したボタンがポインタ74により選択されると、光源領域140Dの照明方向が第一照明方向に決定され、光源領域140Bの照明方向が第二照明方向に決定される。倍率選択部73は、レボルバ21に装着された複数の対物レンズ23のうち、いずれか一つの対物レンズ23を選択するためのプルダウンリストである。たとえば、UI部65は、レボルバ21に取り付けられた複数の対物レンズ23のそれぞれの倍率を対物レンズ23の設定情報から取得し、プルダウンリストを作成する。ユーザがポインタ74を操作していずれかの倍率を選択すると、UI部65は選択された倍率(対物レンズ23)をレボルバ駆動部24に通知する。レボルバ駆動部24は、通知された倍率の対物レンズ23が撮影光軸A1上に位置するようにレボルバ21を回転させる。レボルバ駆動部24は回転が終了すると、回転終了信号をCPU61に出力する。検知部68は、回転終了信号を受信すると、倍率変更が完了したと判定する。通常、倍率変更が完了すると、視野範囲内で観察部位の位置を調整することが必要となる。ユーザは、載置台30が移動することで、視野範囲内の所望の位置に観察部位を位置づける。載置台30が静止すると、UI部65は、画像プロセッサ66に凹凸強調画像の生成を指示する。UI部65は、ライブ画像に代えて深度合成された凹凸強調画像を画像表示領域71aに表示する。
なお、凹凸強調画像の表示と、ライブ画像の表示とを明示的に切り換えるための切替ボタンがユーザーインタフェース70に設けられてもよい。これによりユーザは、凹凸強調画像が完成した後に、凹凸強調画像とライブ画像とを切り換えて表示することで両者を対比してもよい。
図5においてテーブル選択部78は、絞り量を決定するためのテーブルとして、深度優先テーブルと解像度優先テーブルとのどちらかを選択するために使用される。
図6はUI部65が表示部2に表示する他の例のユーザーインタフェース70を示している。この例では、画像表示領域71aはライブ画像を表示し、画像表示領域71bは、深度合成された凹凸強調画像、観察対象物Wの表面の色に応じて着色された凹凸強調画像、高さデータに基づき着色されたか凹凸強調画像(カラー高さ画像)などを表示する。図6において画像表示領域71a、71bは縦方向に並んでいるが、横方向に並べられてもよい。
着色指定部76は、観察対象物Wの表面の色情報に基づいて、深度合成された凹凸強調画像に着色することを指示するためのラジオボタンと、観察対象物Wの表面の高さ情報に基づき、深度合成された凹凸強調画像に着色することを指示するためのラジオボタンと、着色しないことを指示するためのラジオボタンとを有している。UI部65は着色指定部76において指定された着色指示を画像プロセッサ66に通知する。着色指定部76は、図5に示されたユーザーインタフェース70にも設けられてもよい。深度合成指示部77は、深度合成を有効にするか無効にするかを指定するためのチェックボックスである。深度合成指示部77において深度合成が無効にされている場合、凹凸強調部34は、(1)式にしたがって、第一輝度画像と第二輝度画像とを用いて凹凸強調画像を生成する。この場合、画像表示領域71bは、深度合成されていない凹凸強調画像を表示する。
<拡大観察処理のフローチャート>
図7は拡大観察処理を示すフローチャートである。マウス4またはコンソール部3により開始が指示されると、CPU61は以下の処理を実行する。
凹凸強調画像が画像表示領域71に表示されている場合で説明する。
S0でCPU61はマウス4またはコンソール部3などにより入力される移動指示にしたがって載置台駆動部29を制御し、載置台30を移動させる。
S1で移動開始が検知されると、画像表示領域71にはライブ画像が表示される。つまり、CPU61は撮像制御部62および照明制御部64を介して撮像部25およびリング照明26を制御し、観察対象物Wを撮像させ、画像プロセッサ66を制御し、観察対象物Wのライブ画像(一定時間ごとに更新される輝度画像)を生成させ、表示制御部63を介して表示部2にライブ画像を表示させる。ライブ画像は画像表示領域71に表示される。照明制御部64は、ライブ画像のために四つの光源領域140A~140Dをすべて点灯する。ユーザはライブ画像を見ながら、撮像部25の視野範囲内に観察対象物Wが入るように載置台30をX方向、Y方向、Z方向、θ方向に移動させる。
S2でCPU61は検知部68を用いて載置台30の移動が終了したかどうかを判定する。たとえば、マウス4またはコンソール部3などによる移動指示の入力が終了し、かつ、一定時間が経過するか、または、明示的な撮像指示が入力されると、CPU61(検知部68)は載置台30の移動が終了したと判定する。CPU61は、載置台30の移動が終了したと判定すると、S3に進む。
S3でCPU61は移動終了したときのライブ画像を画像表示領域71に表示する。仮にS4からS10までの期間において表示領域に観察対象物Wの画像が表示されないと、ユーザは観察対象物Wを把握しにくくなってしまう。そのため、CPU61は、凹凸強調画像を生成中に、必要に応じて凹凸強調画像を生成する直前の観察対象物Wの画像を画像表示領域71に表示してもよい。
S4でCPU61は第一照明方向についてそれぞれ合焦位置が異なる複数の第一輝度画像I11~I1nを生成する。照明制御部64は、光源領域140A~140Dのうち第一照明方向に対応する一つの光源領域を点灯させる。撮像制御部62は、Z方向駆動部28を通じて対物レンズ23の合焦位置を少しずつ変えながら撮像部25および輝度画像生成部31に第一輝度画像I11~I1nを取得させる。
S5でCPU61は第二照明方向についてそれぞれ合焦位置が異なる複数の第二輝度画像I21~I2nを生成する。照明制御部64は、光源領域140A~140Dのうち第二照明方向に対応する一つの光源領域を点灯させる。撮像制御部62は、Z方向駆動部28を通じて対物レンズ23の合焦位置を少しずつ変えながら撮像部25および輝度画像生成部31に第二輝度画像I21~I2nを取得させる。
S6でCPU61は深度合成部33を用いて第一輝度画像I11~I1nを深度合成することで第一照明方向についての第一深度画像I1aを生成する。
S7でCPU61は深度合成部33を用いて第二輝度画像I21~I2nを深度合成することで第二照明方向についての第二深度画像I2aを生成する。
S8でCPU61は凹凸強調部34を用いて第一深度画像I1aと第二深度画像I2aとに基づき凹凸強調画像を生成する。
S9でCPU61は着色部36または高さ画像生成部35を用いて凹凸強調画像を着色する。これにより、観察対象物Wの表面の色が凹凸強調画像に付与されたり、高さ画像から取得した高さデータに応じて凹凸強調画像に着色が施されたりする。着色処理を実行するか否かと何の着色処理を実行するかは、着色指定部76においてどのラジオボタンが押されているかに依存する。
S10でCPU61はUI部65および表示制御部63を通じて表示部2に凹凸強調画像を表示する。つまり、画像表示領域71aには観察対象物Wのライブ画像に代えて凹凸強調画像が表示される。なお、図6に示されたユーザーインタフェース70では、画像表示領域71aに観察対象物Wのライブ画像が表示され、画像表示領域71bに深度合成された凹凸強調画像が表示される。
S11でCPU61は拡大観察処理の終了指示が入力されたかどうかを判定する。マウス4などから終了指示が入力されると、CPU61は拡大観察処理を終了する。終了指示が入力されていなければ、CPU61はS12に進む。
S12でCPU61は検知部68を用いてマウス4などから載置台30の移動指示または倍率変更指示が入力されているかどうかを判定する。移動指示と倍率変更指示との両方ともが入力されていなければ、CPU61はS11に戻る。移動指示または倍率変更指示が入力されれば、CPU61はS1に戻り、観察対象物Wのライブ画像を表示部2に表示する。その後、載置台30の移動が停止すると、CPU61は凹凸強調画像の生成を再度実行する。
<ヘッド部22の内部構成>
図8はヘッド部22の内部構成を示している。レボルバ21は少なくとも三つのマウント50a、50b、50cを有している。マウント50a、50b、50cにはそれぞれ対物レンズ23a、23b、23cが接続されている。対物レンズ23aは、たとえば、低倍率の対物レンズである。対物レンズ23aの瞳位置には電動絞り37aが設けられている。電動絞り37aはモータなどにより駆動されて絞り量が変化する可変絞りである。この例では、対物レンズ23aが観察光軸A1に配置されている。対物レンズ23aの鏡筒の周囲にはリング照明26が設けられている。対物レンズ23bも電動絞り37bを有しているが、リング照明26を有していない。対物レンズ23cの瞳位置は鏡筒の外部に存在するため、鏡筒内には絞りが設けられていない。電動絞り37cは、対物レンズ23とハーフミラー38との間に配置された絞りである。この例では、電動絞り37cは対物レンズ23cの瞳位置に設けられている。ハーフミラー38は観察光軸A1に配置されており、同軸落射照明27からの照明光を対物レンズ23に導く。ハーフミラー38は、対物レンズ23からの入射光を、結像レンズ41などを介して撮像部25へ導く。同軸落射照明27とハーフミラー38との間には集光レンズ39が配置されている。同軸落射照明27と集光レンズ39との間には電動絞り37dが配置されている。電動絞り37a~37dはCPU61の撮像制御部62により制御される。
結像レンズ群は、狭視野の結像レンズ41a、広視野の結像レンズ41b、レンズアダプタ43を有している。結像レンズ41aと結像レンズ41bはスライド部材49aに保持されている。結像レンズ41a、結像レンズ41b、レンズアダプタ43の各瞳位置が電動絞り37cの設置位置となるように、結像レンズ41a、結像レンズ41b、レンズアダプタ43は設計されている。スライド部材49aはフレーム40aに対してスライド可能に保持されている。この例ではスライド部材49aは結像レンズ駆動部42により駆動されることで、図8において左右にスライドする。なお、図8における左右は、拡大観察装置100の前後に相当する。フレーム40aの両端には停止部材44a、44bが設けられている。図9が示すように、スライド部材49aが停止部材44bに接触して停止することで、結像レンズ41aが観察光軸A1に位置決めされる。図10が示すように、スライド部材49aが停止部材44aに接触して停止することで、結像レンズ41bが観察光軸A1に位置決めされる。レンズアダプタ43はスライド部材49bに保持されている。スライド部材49bはフレーム40bに対してスライド可能に保持されている。この例ではスライド部材49bは結像レンズ駆動部42により駆動されることで、図8において左右にスライドする。なお、レンズアダプタ43は結像レンズ41aと組み合わされて使用される。レンズアダプタ43は、たとえば、倍率を二倍等に変更するレンズである。図9、図10が示すように、スライド部材49bが停止部材44cに接触して停止することで、レンズアダプタ43が観察光軸A1から離間する。図11が示すように、スライド部材49bが停止部材44dに接触して停止することで、レンズアダプタ43が観察光軸A1に位置決めされる。
図12は、ヘッド部22がチルトしていない状態における結像レンズ41a、結像レンズ41bおよびフレーム40aおよび停止部材44a、44bを示している。スライド部材49aの図示は省略されている。図13は、ヘッド部22がチルトしている状態における結像レンズ41a、結像レンズ41b、フレーム40aおよび停止部材44a、44bを示している。図12と図13とからわかるように、結像レンズ41aおよび結像レンズ41bのスライド方向とチルト軸とは平行である。そのため、ヘッド部22がチルトしても、結像レンズ41aと結像レンズ41bはスライドしにくくなっている。なお、レンズアダプタ43とスライド部材49bについても同様である。さらに、スライド方向と鉛直方向とが直交することで、ヘッド部22がチルトしても、結像レンズ41a、41bにかかる重力は変化しない。これは、スライド部材49をスライドさせるモータの負荷が重力の影響を受けないことを意味する。
このように結像レンズ41の切替方式としてスライド方式が説明された。スライド方式では、停止部材44によって結像レンズ41やレンズアダプタ43が位置決めされるため、スライド部材49をスライドさせるためのギア機構のバックラッシュの影響を受けにくい。スライド方式に代えて、レボルバ方式などが採用されてもよい。
レンズアダプタ43は倍率変換アダプタとして機能する。結像レンズ41a、41bの焦点位置が撮像部25のCMOSセンサの受光面に一致するように結像レンズ41a、41bは保持されている。
スライド方式ではフレーム40に対して三つ以上の結像レンズ41を保持させてもよい。しかし、停止部材44による位置決め機構を採用する場合、一つのフレーム40に対して二つの結像レンズ41が保持される。結像レンズ41の切り替えによる三段階以上の観察倍率切替を実現するために、フレーム40の多段化が採用されてもよい。たとえば、フレーム40bにそれぞれ倍率の異なる二つのレンズアダプタ43が搭載されてもよい。なお、結像レンズ41aにレンズアダプタ43が組み合わされたときの焦点位置はやはりCMOSセンサの受光面に一致するようにレンズアダプタ43が設計されている。これにより、レンズアダプタ43が観察光軸A1に配置されてもピントのずれは発生しない。
<対物レンズ>
図14、15は対物レンズ23とマウント50との関係を示している。対物レンズ23は接続部59を有している。接続部59はマウント50に対して嵌合または螺合することで、対物レンズ23をレボルバ21に固定する。接続部59とマウント50の固定方式としては、たとえば、螺合式とバヨネット式とがある。螺合式では、接続部59に設けられた内ねじと、マウント50に設けられた外ねじとが螺合する。図15が示すように、接続部59はフランジ75を有している。フランジ75のフランジ面は光軸に対して垂直である。これにより、観察光軸A1に対して対物レンズ23の光軸を位置決めしやすくなる。フランジ75は位置決め穴45と電子接点46とを有している。図14が示すように、レボルバ21に設けられた位置決めピン51が位置決め穴45に挿入されることで、対物レンズ23がレボルバ21に対して位置決めされる。電子接点46aはレボルバ21側の電子接点46bと電気的に接続する。電子接点46a、46bは電力供給用の接点や通信用の接点などを含む。制御基板47は、電子接点46a、46bを介してCPU61から制御信号を受信し、制御信号にしたがって電動絞り37aを駆動するモータ48やリング照明26を制御する。制御基板47は、CPU、通信回路、メモリ、光源を駆動する駆動回路、モータ48を駆動する駆動回路などを有していてもよい。制御基板47の通信回路はCPU61から識別情報の要求を受信すると、メモリから識別情報を読み出して、CPU61に送信する。このように、メモリは対物レンズ23の識別情報などを記憶している。電動絞り37aはモータ48と絞り羽とを含む。
<同軸落射照明>
図16は同軸落射照明27における光源の配置を示している。光源群54aは第一照明方向から照明光を観察対象物Wに照射するための複数のLED53a、53e、53f、53i、53j、53k、53qを有している。光源群54cは第二照明方向から照明光を観察対象物Wに照射するための複数のLED53c、53e、53g、53h、53m、53n、53oを有している。光源群54bは第三照明方向から照明光を観察対象物Wに照射するための複数のLED53b、53e、53g、53l、53k、53mを有している。光源群54dは第四照明方向から照明光を観察対象物Wに照射するための複数のLED53d、53e、53h、53i、53o、53p、53qを有している。
たとえば、高倍率観察ではLED53eだけが点灯してもよい。高倍率の対物レンズ23を用いて第一照明方向から照明光を偏射する場合には、LED53aだけが点灯してもよい。高倍率の対物レンズ23を用いて第二照明方向から照明光を偏射する場合には、LED53cだけが点灯してもよい。中倍率の対物レンズ23を用いて第一照明方向から照明光を偏射する場合には、LED53a、53jが同時に点灯してもよい。中倍率の対物レンズ23を用いて第二照明方向から照明光を偏射する場合には、LED53c、53nが同時に点灯してもよい。
ところで、低倍率の対物レンズのワーキングディスタンスは長く、高倍率の対物レンズのワーキングディスタンスは短い。そのため、低倍率の対物レンズ23aはリング照明26を採用することで、観察対象物Wの表面観察と凹凸観察が実現可能となる。一方、高倍率の対物レンズ23にリング照明26を採用すると、暗視野観察となる。そのため、エッジ部分のみが光り、表面からの反射光が得にくくなる。そのため、高倍率の対物レンズ23に同軸落射照明27を適用することで、観察対象物Wの表面観察が実現される。
図4を用いて説明したように、リング照明26を用いて二方向から照明光を偏射することで凹凸強調画像が得られる。そこで、同軸落射照明27についても二方向から照明光を偏射することで高倍率の対物レンズ23でも凹凸強調画像が得られるようになる。同軸落射照明27を用いた偏射はハレーション除去された観察画像を生成するために利用されてもよい。同軸落射照明27を用いた深度合成も実現可能である。
<リング照明>
図17は、低倍率の対物レンズ23に採用されるリング照明26の構造を示している。複数のLED55はリング状の基板上に取り付けられている。LED55から出力された照明光は集光レンズ56により集光され、照明レンズ57を介して観察対象物Wに照射される。集光レンズ56と照明レンズ57との間には拡散板58が採用されてもよい。LED55は一次光源として機能するが、拡散板58は二次光源として機能する。照明レンズ57は二次光源からの照明光をリレーするリレーレンズとして機能している。これらにより、リング照明26はケーラー照明に近い照明を実現している。照明レンズ57は径方向にのみ曲率を有するため、光量ロスが発生しうる。そこで、半径方向に曲率を持たせるために、集光レンズ56としてトロイダルレンズが採用されてもよい。これにより光量ロスが軽減される。
図18は、高倍率の対物レンズ23に採用されるリング照明26の構造を示している。複数のLED55はリング状の基板上に取り付けられている。LED55から出力された照明光は集光レンズ56により集光され、照明レンズ57と拡散板58を介して観察対象物Wに照射される。図18においては照明レンズ57がミラーにより構成されている。高倍率の対物レンズ23では狭い視野に効率よく照明光を集中させなければならない。光量ロスを軽減するには、LED55からの光をできる限り平行光として観察対象物Wに照射することが求められる。そのため、照明光は対物レンズ23の外周から視野領域に向かって強く屈折しなければならない。そこで、照明レンズ57として、高屈折率の材料が採用されるか、反射光学系が採用される。ただし、このような光学部品を採用すると、光源が視野領域に写り込んでしまう可能性がある。これを解決するために、拡散板58が採用されている。
このように対物レンズ23のNA(開口数)や視野に合わせてリング照明26が設計される。なお、一つのLED55につき一つの集光レンズ56が設けられることで、導光効率が向上する。
<照明の自動切替>
複数の種類の照明装置を有している拡大観察装置100ではユーザが点灯すべき照明装置を選択する作業が必要となる。しかし、対物レンズ23の倍率ごとに適切な照明装置は異なるため、ユーザにとって適切な照明装置を選択することは困難な場合があった。
図19は照明の自動切替を示すフローチャートである。S21でCPU61はコンソール部3などからレボルバ21の回転指示(倍率切替指示)が入力されたかどうかを判定する。回転指示が入力されると、CPU61は、回転指示に基づいてレボルバ駆動部24を制御し、レボルバ21を回転させ、S22に進む。
S22でCPU61は対物レンズ23の識別情報を取得する。たとえば、CPU61は電子接点46a、46bを介して制御基板47と通信することで、制御基板47のメモリに保持されている識別情報を取得してもよい。識別情報は、対物レンズ23の機種名を示す情報であってもよいし、対物レンズ23の倍率を示す倍率情報、照明装置の有無または種類を示す照明情報などを含んでもよい。CPU61は、対物レンズ23の機種名に基づき、対応する倍率情報や照明情報を記憶部67から取得してもよい。
S23でCPU61は対物レンズ23の識別情報に基づき照明を選択する。たとえば、対物レンズ23がリング照明26を有していることを識別情報が直接的または間接的に示している場合、CPU61はリング照明26を照明装置として選択する。対物レンズ23がリング照明26を有していないことを識別情報が直接的または間接的に示している場合、CPU61は同軸落射照明27を照明装置として選択する。直接的とは、対物レンズ23から取得される識別情報に、リング照明26の有無を示す情報が含まれていることを示す。間接的とは、対物レンズ23から取得される識別情報にリング照明26の有無を示す有無情報が含まれていないものの、対物レンズ23から取得される識別情報に紐付されている有無情報が記憶部67などから取得可能であることを示す。
S24でCPU61はユーザにより選択された観察手法に基づき点灯すべき光源と、同時に点灯する各光源の照明光量とを決定する。観察手法としては、たとえば、表面観察と凹凸観察とがあってもよい。また、表面観察には、表面反射による白飛びを軽減するモード(ハレーション除去)などが含まれてもよい。
対物レンズ23aを用いた表面観察が指定されると、CPU61は、リング照明26を選択する。また、CPU61は、光源領域140A~140Dを同時に点灯させることを選択し、光源領域140A~140Dの照明光量の合計値が所定光量となるように、光源領域140A~140Dの各照明光量を決定する。なお、ユーザによりハレーション除去が選択されると、CPU61は光源領域140A~140Dを一つずつ点灯させて、四つの輝度画像を生成する。画像プロセッサ66は、四つの輝度画像における同一位置の四つの画素の輝度値を比較し、最も輝度値の大きな画素を除いた残りの三つの画素を用いてその位置の画素の輝度値を演算(例:平均値演算)する。この場合、光源領域140A~140Dを一つずつ点灯するため、光源領域140A~140Dの各照明光量が所定光量となるようにCPU61は照明光量を決定する。凹凸観察が選択されると、CPU61は、凹凸観察に使用される光源領域140A、140C(または光源領域140B、140D)の各照明光量が所定光量となるようにCPU61は照明光量を決定する。
対物レンズ23b、23cが選択されると、CPU61は同軸落射照明27を選択する。表面観察において、最高倍率の対物レンズ23が選択されると、CPU61はLED53eだけを選択して点灯させてもよい。CPU61はLED53eの照明光量が所定量となるようにLED53eに流れる駆動電流を制御する。凹凸観察において高倍率の対物レンズ23が選択されると、CPU61はLED53a、53cのペア(またはLED53b、53dのペア)を選択して点灯させる。
中倍率の対物レンズ23において表面観察が選択されると、CPU61は、LED53a~53iを選択し、これらの合計光量が所定光量となるように、LED53a~53iの各駆動電流を制御する。中倍率の対物レンズ23において凹凸観察が選択されると、CPU61は、LED53a、53cのペア(またはLED53b、53dのペア)を選択して点灯させる。LED53a、53cは同時に点灯しないため、LED53a、53cの各光量が所定光量となるようにCPU61はそれぞれの駆動電流を制御する。
リング照明26を有しない低倍率の対物レンズ23において表面観察が選択されると、CPU61は、LED53a~53qを選択し、これらの合計光量が所定光量となるように、LED53a~53qの各駆動電流を制御する。低倍率の対物レンズ23において凹凸観察が選択されると、CPU61は、LED53a、53jと、LED53c、53nとからなるペア(またはLED53b、53lと、LED53d、53pとのペア)を選択して点灯させる。LED53a、53jは同時に点灯するため、LED53a、53jの合計光量が所定光量となるように、CPU61はLED53a、53jの駆動電流を制御する。同様に、LED53c、53nは同時に点灯するため、LED53c、53nの合計光量が所定光量となるように、CPU61はLED53c、53nの駆動電流を制御する。
なお、対物レンズ23の種類や観察手法に依存して、リング照明26と同軸落射照明27との両方が点灯してもよい。
<絞り量の決定>
金属顕微鏡や生物顕微鏡は無限遠補正光学系を採用している。無限遠補正光学系は、固定焦点距離の結像レンズ(焦点距離ft)と、レボルバによって切り替え可能な複数の固定焦点距離の対物レンズ(焦点距離fo)とを有している。倍率Mは、焦点距離ftを焦点距離foで除算することで算出される。複数の対物レンズは、その取付部から焦点位置までの距離が同一(同焦点距離)となるように設計されている。これにより、対物レンズが切り替えられてもピントずれが発生しない。
一般に、対物レンズの倍率M(例:5倍、10倍、100倍など)は、それらの対物レンズを、顕微鏡に備わっている結像レンズに組み合わせたときの観察倍率を示している。たとえば、一般的な顕微鏡の結像レンズ(ft=180mm)に焦点距離foが18mmの対物レンズを組み合わせられると、観察倍率は10倍となる。
このような光学系では、観察倍率に応じた専用の対物レンズが用意される。つまり、使用目的に応じた解像度や作動距離の対物レンズが設計される。そのため、観察倍率の数だけ対物レンズが必要となり、顕微鏡システムが大掛かりで、かつ、高価になる。
一方、実体顕微鏡では、結像レンズとして、1倍から10倍まで倍率を可変できるズーム光学系が採用されることがある。これにより、1本の対物レンズによって幅広い倍率帯がカバー可能となる。ただし、ズーム操作によってズームレンズ内のレンズが移動すると共に、結像光学系と対物レンズとの間に存在する、解像度制御のための絞りの径(絞り量)が変更され、開口数(NA:Numerical Aperture)が変更される。一般的に低倍率(広視野)だと絞り径は小さく、高倍率(挟視野)だと絞り径は大きくなる。ズームレンズに対して、倍率の異なる複数の対物レンズを組み合わせることで、1倍から100倍までの観察倍率がカバーされてもよい。ただし、結像レンズの入射瞳位置はズーム倍率によって大きく変化するため、対物レンズの射出瞳位置と一致しなくなってしまう。これは視野の外周での光量低下(シェーディング)やテレセントリック性の劣化を招く。観察倍率に応じて適切な解像度を設定するためには、対物レンズの射出瞳位置に対応する位置に設けられた電動絞りを制御して、対物レンズの開口数が変更される必要がある。しかし、射出瞳位置は対物レンズの設計によって異なる。低倍率の対物レンズでは対物レンズの外側に射出瞳位置が存在し、高倍率の対物レンズでは内部に射出瞳位置が存在する。そのため、複数の対物レンズを切り替えて使用する切替式では、複数の対物レンズに好適な絞り位置でのNA制御を単一の絞により提供することができない。よって、シェーディングやテレセントリック性の劣化が発生しうる。
そこで、本実施形態では、焦点距離を変更可能な結像レンズ群を有し、ユーザの倍率指定指示に基づき結像レンズの焦点距離が設定される。また、複数の電動絞りのうち対物レンズに対して適切な位置に配置された電動絞りが制御される。電動絞りの絞り量は、対物レンズの倍率に対して適切となるように決定される。電動絞りは対物レンズの光学設計上の開口位置(瞳位置)に相当する位置に設置される。図8に示したように、電動絞り37aは対物レンズ23aの瞳位置に設置されている。電動絞り37bは対物レンズ23bの瞳位置に設置されている。電動絞り37cは対物レンズ23cの瞳位置に設置されている。結像レンズ41の入射瞳位置が電動絞り37cの近傍になるように結像レンズ41を設計できるため、画質の向上に役立つ。
ところで、絞り量はユーザが求める解像度に応じて決定される。また、解像度は開口数NAに相関する。撮像部25側の光学分解能(像側NAi)が一定となるようにCPU61は絞り量を決定してもよい。
NAi=NAo/M・・・(1)
ここでNAoは対物レンズ側のNAである。Mは観察倍率である。この場合に絞り量φは次式により求められる。
φ=NAi/ft・・・(2)
これは焦点距離が2倍になったら瞳径も2倍にするように絞り量を制御することで、像側NAiが一定になることを意味している。
ここで像側NAiは次のようにして決定されうる。
(i)ユーザが分解能(像側NAi)を直接指定する。
(ii)撮像部25の画素数に基づいて像側NAiを計算する。
(iii)解像度と被写界深度とについてのユーザの要求に基づき像側NAiを決定する。
(iv)各対物レンズと各観察倍率に応じて求められる光学特性を考慮して予め作成されたテーブルに基づき観察倍率を像側NAiに変換する。
被写界深度(ピントの深さ)はNAoの自乗に反比例する。顕微鏡においては低倍率で視野を探す際に被写界深度が深いことが好まれる。
●テーブルの例
図20は観察倍率Mを像側NAiに変換するテーブルの一例を示している。テーブルC1は、観察倍率Mに依存することなく一定の像側NAiを出力するテーブルである。テーブルC2は低倍率側で深度を優先して像側NAiを小さくし、高倍率側で解像度を優先して像側NAiを大きくするテーブルである。テーブルC3は、ある倍率までは一定の像側NAiを出力するが、ある倍率を超えると徐々に像側NAiを減少させるテーブルである。高倍率の対物レンズ23においては、理論上、NAoが0.95以下となる。これは、倍率が大きくなると瞳径を大きく取ることができなくなることを意味する。対物レンズ23の特性に依存してテーブルC3が採用されてもよい。
●撮像制御部
図21は撮像制御部62を説明する図である。対物レンズ認識部81は、対物レンズ23と通信することで対物レンズ23の識別情報を取得し、識別情報に基づき対物レンズ23を認識する。UI部65は、倍率選択部73を通じて観察倍率Mを受け付けたり、テーブル選択部78を通じて深度優先テーブル84と解像度優先テーブル85とのうちのどちらかの選択を受け付けたりする。なお、UI部65は、像側NAiの入力を受け付けたり、解像度と被写界深度とについてのユーザの要求を受け付けたりしてもよい。
結像レンズ決定部82はUI部65を通じて入力された観察倍率Mと、対物レンズ認識部81により認識された対物レンズ23の焦点距離foとに基づき、結像レンズ41の焦点距離ftを求める。さらに、結像レンズ決定部82は、求められた焦点距離ftの結像レンズ41が観察光軸A1に位置するように結像レンズ駆動部42を制御する。なお、結像レンズ決定部82は、記憶部67に記憶されている結像レンズ情報86を参照することで、結像レンズ41a、41b、レンズアダプタ43の各焦点距離ftを取得する。絞り量決定部83は、UI部65で受け付けられた観察倍率Mとユーザの好み(深度優先/場解像度優先など)に基づき絞り量φを決定する。たとえば、ユーザの好みが深度優先であれば、絞り量決定部83は、記憶部67に保持されている深度優先テーブル84を参照し、入力された観察倍率Mに対応する像側NAiを決定し、さらに、像側NAiと結像レンズ41の焦点距離ftとから絞り量φを決定する。ユーザの好みが解像度優先であれば、絞り量決定部83は、記憶部67に保持されている解像度優先テーブル85を参照し、入力された観察倍率Mに対応する像側NAiを決定し、さらに、像側NAiと結像レンズ41の焦点距離ftとから絞り量φを決定する。絞り量決定部83は、対物レンズ認識部81により認識された対物レンズ23に対応する電動絞り37に絞り量φを設定する。
●デジタルズーム
撮像部25と画像プロセッサ66を採用しているため、デジタルズームが容易に実現可能である。撮像部25の画素数(例:10メガピクセル)と比較して、表示部2の画素数(例:2メガピクセル)は少ない。表示部2に全視野を表示することがユーザにより指示されると、画像プロセッサ66は画像をデジタル縮小して表示部2に表示してもよい。この場合、観察視野が変わるため、絞り量決定部83は、視野が狭くなるにつれて連続的に絞り量を小さくしてもよい。これにより、ズームレンズの倍率切替のような連続的な視野の切替と解像度の変更が実現されてもよい。
●シームレスな倍率変更
観察倍率Mは、結像レンズ41の焦点距離と対物レンズ23の焦点距離との組み合わせにより実現される。しかし、結像レンズ41の数と対物レンズ23のとは有限であることから、結像レンズ41の焦点距離と対物レンズ23の焦点距離との組み合わせにより実現不可能な観察倍率Mもある。この場合、画像プロセッサ66は、ユーザにより指定された観察倍率Mの画像が表示部2に表示されるよう、撮像部25により取得された画像をデジタル拡大/縮小してもよい。これによりシームレスな倍率変更が実現されてもよい。
画像プロセッサ66は、第一の焦点距離の結像レンズ41aを第二の焦点距離の結像レンズ41bに切り替えるが開始されてから完了するまでの切替期間において、結像レンズ41aを用いて取得された画像に基づき、結像レンズ41bによる観察倍率の画像を疑似的に生成して、表示部2に表示してもよいし、拡大・縮小を示すアニメーションを表示してもよい。
対物レンズ23と結像レンズ41の組み合わせを変更すると、画像の明るさが変化する。そこで、CPU61は、絞り量φ、対物レンズ23の焦点距離、および結像レンズ41の焦点距離から画像の明るさの変化量を計算し、変化量を補償するように照明光量を補正してもよい。
●同軸落射照明の絞り
射出瞳径の小さい対物レンズ23を使用するケースや、広視野観察および深度優先観察のために対物レンズ23の電動絞りを絞るケースでは、同軸落射照明27で照明を行うことがある。この場合、同軸落射照明27は瞳径の外部に照明光を照射することになるため、対物レンズ23の電動絞りなどで反射した光により不必要な迷光が発生する。このような迷光は画像のコントラストを低下させる。
そこで、図8が示すように、同軸落射照明27の開口絞りとして電動絞り37dが設けられてもよい。撮像制御部62は、電動絞り37dを制御することで、同軸落射照明27の光束径を、現在の観察状態の射出瞳径と略同一に制御する。これにより同軸落射照明27に起因した迷光が生じにくくなり、画像のコントラスが向上する。現在の観察状態の射出瞳径は、観察光軸A1に配置された対物レンズ23の射出瞳系である。電動絞り37a、37b、37cの絞り量など、観察光軸A1に配置された対物レンズ23の絞り量に応じて電動絞り37dの絞り量が決定される。
<まとめ>
図1などを用いて説明したように、ヘッド部22は対物レンズと結像レンズとを含む光学系として機能する。載置台30は少なくともX方向とY方向とに光学系に対して相対的に移動可能なXYステージの一例である。検知部68は光学系に対するXYステージの相対的な移動を検知する検知部として機能する。リング照明26は光学系の視野に載置された観察対象物Wに対してそれぞれ異なる方向から照明光を照射する照明部として機能する。撮像部25は光学系を介して観察対象物Wからの光を受光して観察対象物Wの輝度画像を生成する。Z方向駆動部28は、光学系の光軸A1に沿って光学系の合焦位置を変化させる変化部として機能する。制御部60は照明部、撮像部および変化部を制御する制御部として機能する。表示部2は観察対象物Wの画像である観察画像を表示する表示部として機能する。画像プロセッサ66は、(i)照明部を制御することで観察対象物に対して第一照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第一輝度画像を取得し、(ii)照明部を制御することで観察対象物に対して第一照明方向に対して光軸を挟んで対称となる第二照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第二輝度画像を取得し、(iii)複数の第一輝度画像と複数の第二輝度画像とについて深度合成および凹凸強調することで観察対象物の表面の凹凸が強調され、かつ、撮像部により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を生成する画像生成部として機能する。表示部2は、観察画像として、凹凸強調画像を表示する。これにより、深度合成された凹凸強調画像が提供される。
表示部2は、検知部68がXYステージの相対的な移動を検知している間は、観察画像として、撮像部25により取得された観察対象物Wの動画像(ライブ画像)を表示する。表示部2は、検知部68がXYステージの相対的な移動の停止を検知すると、観察画像として、XYステージの相対的な移動の停止後に画像生成部により生成された凹凸強調画像を表示する。これにより、ユーザは、撮像部25の視野範囲と観察対象物Wとの関係を確認しながら、XYステージを移動させることが可能となる。また、ユーザは、XYステージが静止すると、すぐに深度合成された凹凸強調画像を見ることができるため、効率よく観察対象物Wを観察することが可能となる。
検知部68は、光学系の倍率の変更をさらに検知するように構成されていてもよい。表示部2は、検知部68がXYステージの相対的な移動を検知している間は、観察画像として、撮像部25により取得された観察対象物Wの動画像を表示する。さらに、表示部2は、検知部68がXYステージの相対的な移動の停止と、光学系の倍率の変更とを検知すると、観察画像として、XYステージの相対的な移動の停止と倍率の変更後に画像生成部により生成された凹凸強調画像を表示してもよい。
図5や図6に示したように、表示部2は、動画像の表示領域と凹凸強調画像の表示領域とを有していてもよい。
検知部68は対物レンズ23のマニュアルまたはオートフォーカスによるピント調整が完了したことを検知してもよい。対物レンズ23の倍率が変更されると、撮像制御部62はZ方向駆動部28を制御し、オートフォーカスを実行する。よって、倍率が変更され、対物レンズ23のピント調整が完了したことをトリガーとして凹凸強調画像が生成されてもよい。
UI部65は、さらに、ユーザーインタフェース70とは別にナビ画像を表示する別ウインドウを表示部2に表示してもよい。ナビ画像とは、倍率の低い対物レンズ23を用いて取得された観察対象物Wの画像などである。ユーザがナビ画像における観察部位をポインタ74で指定すると、UI部65は、ナビ画像における指定位置を載置台30の座標上の位置に変換し、載置台30を当該位置へ移動させる。これにより、簡単に観察部位を視野範囲内に収めることが可能となる。
深度合成部33は、複数の第一輝度画像を深度合成することで第一深度合成画像を生成するとともに、複数の第二輝度画像を深度合成することで第二深度合成画像を生成する深度合成部として機能する。凹凸強調部34は第一深度合成画像と第二深度合成画像との輝度の差分に基づき凹凸強調画像を生成する強調画像生成部として機能する。
深度合成部33は、複数の第一輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる第一深度合成画像を生成してもよい。なお、合焦度は、隣接した複数の画素からなる画素領域ごとに求められてもよい。深度合成部33は、複数の第二輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる第二深度合成画像を生成してもよい。
載置台30は、観察対象物Wを載置され、少なくともX方向とY方向とに移動可能なXYステージの一例である。載置台駆動部29はXYステージを駆動する駆動部の一例である。S12に関連して説明されたように、CPU61はXYステージが移動した後に静止したことを検知する検知部として機能してもよい。CPU61および画像プロセッサ66は、XYステージが移動した後に静止したことを検知部が検知すると、凹凸強調画像の生成を再度実行してもよい。これにより、ユーザは凹凸強調画像の生成を明示的に指示する手間を省略できるようになる。
CPU61によりXYステージが移動していることが検知されると、CPU61は、撮像部25により取得される動画像(ライブ画像)を表示部2に表示するように構成されていてもよい。CPU61はXYステージが静止したことを検知すると、画像プロセッサ66に凹凸強調画像の生成を再度実行させ、表示部2に凹凸強調画像を表示させてもよい。
着色部36は、撮像部25により取得された観察対象物Wについてのカラー画像から色情報を取得して凹凸強調画像をカラー化するカラー合成部として機能してもよい。これにより、ユーザは凹凸と表面色との関係を理解しやすくなろう。
画像プロセッサ66は、第一輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで第一輝度画像を生成ししてもよい。同様に、画像プロセッサ66は、第二輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで第二輝度画像を生成してもよい。このようにHDR処理を応用することで、白飛びや黒つぶれが軽減され、かつ、深度合成された凹凸強調画像が得られるようになる。
高さ画像生成部35は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物の表面の高さを求め、当該高さを各画素とする高さ画像を生成してもよい。さらに、高さ画像生成部35は、高さ画像の各画素を、各画素の高さに応じて着色することでカラー高さ画像を生成してもよい。これにより、クレーター錯視が発生しにくくなり、ユーザはより正確に凹形状と凸形状とを区別できるようになろう。
マウス4、コンソール部3およびCPU61は照明部の照明方向を選択する選択部として機能してもよい。画像プロセッサ66は、照明部を制御することで観察対象物Wに対して第一照明方向および第二照明方向と異なる第三照明方向から照明光を観察対象物Wに対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第三輝度画像を取得してもよい。画像プロセッサ66は、照明部を制御することで観察対象物に対して第三照明方向に対して光軸を挟んで対称となる第四照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第四輝度画像を取得してもよい。さらに、画像プロセッサ66は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうち選択部により選択された照明方向に対応した凹凸強調画像を、複数の第一輝度画像、複数の第二輝度画像、複数の第三輝度画像および複数の第四輝度画像のうち選択部により選択された照明方向に対応した複数の輝度画像を用いて生成してもよい。表示部2は、選択部により選択された照明方向に対応した凹凸強調画像を表示してもよい。
凹凸強調部34は、複数の第一輝度画像と複数の第二輝度画像とからそれぞれ合焦位置が同じである輝度画像のペアを輝度の差分に基づき合成して、複数の合焦位置のそれぞれについて凹凸の強調された複数のサブ凹凸強調画像を生成してもよい。深度合成部33は、複数のサブ凹凸強調画像を深度合成することで、深度合成された凹凸強調画像を生成する深度合成画像生成部として機能してもよい。このように凹凸強調と深度合成との順番はどちらが先であってもよい。
照明部は、対物レンズ23の周囲に配置されたリング照明26でああってもよい。照明部は、対物レンズ23を通じて照明光を観察対象物Wに照射する、ヘッド部22の内部に設けられた照明光源であってもよい。
図8が示すように、対物レンズ23a~23c、結像レンズ41a、41bなどは拡大観察装置100の光学系を形成している。レボルバ21は第一対物レンズと、第二対物レンズとを択一的に光学系の観察光路(観察光軸A1)に配置するレンズ選択部として機能する。リング照明26は第一対物レンズを通過せずに照明光を観察対象物に照射する第一照明部の一例である。同軸落射照明27は第二対物レンズを通過して照明光を観察対象物に照射する第二照明部として機能する。リング照明26の光源領域140Aは観察対象物に対して第一照明方向から照明光を照射する第一光源として機能する。光源領域140Dは観察対象物に対して第二照明方向から照明光を照射する第二光源として機能する。同軸落射照明27のLED53aは観察対象物に対して第一照明方向から照明光を照射する第三光源として機能する。LED53dは観察対象物に対して第二照明方向から照明光を照射する第四光源として機能する。
CPU61は、観察光路に配置されている対物レンズ23に応じて第一照明部と第二照明部とを選択的に使用する。観察光路に配置されている対物レンズ23に応じて照明装置が自動的に選択されるため、拡大観察装置100を利用するユーザの利便性が向上する。
たとえば、CPU61は、第一対物レンズが観察光路に配置されているときに、第一光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第一輝度画像を取得する。CPU61は、第二光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第二輝度画像を取得する。CPU61は画像プロセッサ66を使用して、第一輝度画像と第二輝度画像とに基づき第一観察画像を生成し、表示部2に表示してもよい。CPU61は、第二対物レンズが観察光路に配置されているときに、第三光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第三輝度画像を取得する。CPU61は、第四光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第四輝度画像を取得する。画像プロセッサ66は第三輝度画像と第四輝度画像とに基づき第二観察画像を生成する。
CPU61は、第一対物レンズが観察光路に配置されているときに、第一光源および第三光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第一輝度画像を取得してもよい。また、CPU61は、第二光源および第四光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第二輝度画像を取得してもよい。画像プロセッサ66は、このような第一輝度画像と第二輝度画像とに基づき第一観察画像を生成するように構成されていてもよい。このようにリング照明26による偏射と、同軸落射照明27による偏射とが組み合わされてもよい。
ハーフミラー38は、観察光路に配置され、第三光源からの照明光と第四光源から照明光とを第二対物レンズへ導くハーフミラーとして機能する。このようなハーフミラー38を採用することで、同軸落射照明27が実現されてもよい。ここで、同軸落射照明27の光源はヘッド部22の内部に設けられてもよいし、ヘッド部22の外部に設けられてもよい。
CPU61(照明制御部64)は、第一光源、第二光源、第三光源および第四光源のうち同時に点灯する光源の数に応じて当該同時に点灯する光源の光量を制御することで、観察対象物に照射される照明光の光量を所定量に維持してもよい。
図8が示すようにマウント50a~50cは、第一対物レンズが取り付けられる第一マウントと、第二対物レンズが取り付けられる第二マウントとの一例である。CPU61は、第一マウントを介して第一対物レンズからレンズ識別情報を取得することで第一対物レンズを認識し、第二マウントを介して第二対物レンズからレンズ識別情報を取得することで第二対物レンズを認識してもよい。CPU61はレンズ認識部として機能する。図19が示すように、CPU61は、レンズ識別情報に基づき第一光源、第二光源、第三光源および第四光源の点灯/非点灯を制御してもよい。第一対物レンズのレンズ識別情報は、第一対物レンズの鏡筒の周囲に第一照明部が配置されていることを示す情報を含んでもよい。
画像プロセッサ66は上述した手順にしたがって凹凸強調画像を生成してもよい。凹凸強調画像は、被写界深度の広い(深い)凹凸強調画像であってもよい。画像プロセッサ66は、複数の第一輝度画像と複数の第二輝度画像とについて深度合成および凹凸強調することで観察対象物の表面の凹凸が強調され、かつ、撮像部25により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を、第一観察画像および第二観察画像として生成してもよい。このように、リング照明26と同軸落射照明27とをそれぞれ使用して、被写界深度の広い凹凸強調画像が生成されてもよい。
照明方向選択部72は、観察画像における照明方向を選択する方向選択部の一例である。第一照明部(例:リング照明26)は、観察対象物に対して第三照明方向から照明光を照射する第五光源(光源領域140B)と、観察対象物に対して第四照明方向から照明光を照射する第六光源(光源領域140D)とを有してもよい。第二照明部(同軸落射照明27)は、観察対象物に対して第三照明方向から照明光を照射する第七光源(例:LED53b)と、観察対象物に対して第四照明方向から照明光を照射する第八光源(LED53d)とを有してもよい。CPU61は、第一対物レンズが観察光路に配置されているときに、第一光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第一輝度画像を取得し、第二光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第二輝度画像を取得し、第五光源を点灯することで第三照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第五輝度画像を取得し、第六光源を点灯することで第四照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第六輝度画像を取得してもよい。さらに、CPU61は第二対物レンズが観察光路に配置されているときに、第三光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第三輝度画像を取得し、第四光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第四輝度画像を取得し、第七光源を点灯することで第三照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第七輝度画像を取得し、第八光源を点灯することで第四照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第八輝度画像を取得してもよい。画像プロセッサ66は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうち方向選択部により選択された照明方向に対応した観察画像を、第一輝度画像、第二輝度画像、第三輝度画像、第四輝度画像、第五輝度画像、第六輝度画像、第七輝度画像、第八輝度画像のうち方向選択部により選択された照明方向に対応した複数の輝度画像を用いて生成してもよい。
図8が示すようにスライド部材49aは第一結像レンズ(例:結像レンズ41a)と第二結像レンズ(例:結像レンズ41b)とのいずれかを選択して観察光路に配置する第一選択部として機能する。レボルバ21は第一対物レンズ(例:対物レンズ23a)と第二対物レンズ(例:対物レンズ23b)とのいずれかを選択して観察光路に配置する第二選択部として機能する。図21が示すように、対物レンズ認識部81は第二選択部により選択された対物レンズを認識する認識部として機能する。倍率選択部73は光学系の倍率を選定する倍率選定部として機能する。電動絞り37a、37b、37cは観察光路に配置された絞りの一例である。結像レンズ決定部82は倍率選定部により選定された光学系の倍率と、認識部により認識された対物レンズとに基づき結像レンズを決定する。撮像制御部62および結像レンズ決定部82は第一結像レンズと第二結像レンズとのうち結像レンズ決定部82により決定された結像レンズが観察光路に配置されるよう第一選択部を制御する制御部として機能する。このようにユーザにより指定または選択された観察倍率に対応した結像レンズが観察光路に配置されるため、ユーザの利便性が向上する。
電動絞り37aは、第一対物レンズの瞳位置に配置された第一可変絞りの一例である。電動絞り37cは第二対物レンズの瞳位置に配置された第二可変絞りの一例である。撮像制御部62は認識部により認識された対物レンズが第一対物レンズである場合、第一可変絞りを制御し、認識部により認識された対物レンズが第二対物レンズである場合、第二可変絞りを制御する。このように観察光軸A1に配置された対物レンズ23に適した電動絞り37が選択的に制御されるようになる。
図8が示すように、第一対物レンズは第一可変絞りを内蔵していてもよい。これは、第一対物レンズの瞳位置が第一対物レンズの内部に存在する場合に適した配置である。第二可変絞りは第二対物レンズの外側にある観察光路に配置される。これは、第二対物レンズの瞳位置が第二対物レンズの外部に存在する場合に適した配置である。
図20や図21に例示されたテーブルは光学系の倍率と絞り量との関係を示すテーブルの一例である。絞り量決定部83は、テーブルを参照することで、倍率選定部により選定された光学系の倍率に対応する絞り量を決定する絞り決定部として機能する。撮像制御部62は、絞り決定部により決定された絞り量となるように絞りを制御する。

深度優先テーブル84は深度を優先する第一テーブルの一例であり、解像度優先テーブル85は解像度を優先する第二テーブルの一例である。絞り量決定部83は、第一テーブルと第二テーブルとのうちユーザにより選択されたテーブルを使用してもよい。図5に示したように、ユーザはテーブル選択部78を通じていずれかのテーブルを選択してもよい。このようにユーザの好みに応じてテーブルが選択され、選択されたテーブルに基づき絞り用が適切に決定される。
図8ないし図13が示すように、スライド部材49aは、第一結像レンズと、第二結像レンズとを観察光路に対して直交した方向にスライドさせる第一スライド部材として機能する。第一スライド部材は第一フレーム(例:フレーム40a)に対してスライド可能に保持されている。観察光路に対して直交した方向における第一スライド部材の第一端部が第一フレームに設けられた第一停止部材(例:停止部材44a)に接触して停止すると、第二結像レンズが観察光路に配置される。観察光路に対して直交した方向における第一スライド部材の第二端部が第一フレームに設けられた第二停止部材(例:44b)に接触して停止すると、第一結像レンズが観察光路に配置される。これにより、第一結像レンズと第二結像レンズとは観察光路に対して正確に位置決めされよう。
レンズアダプタ43は第一結像レンズとともに観察光路に対して直列に配置可能な第三結像レンズの一例である。第一選択部は、第三結像レンズを観察光路に対して直交した方向にスライドさせる第二スライド部材(例:スライド部材49b)を有してもよい。第一選択部は、第一結像レンズ、第二結像レンズおよび第三結像レンズのうち、第一結像レンズのみを観察光路に配置するか、第二結像レンズのみを観察光路に配置するか、または、第一結像レンズと第三結像レンズとを観察光路に配置するように構成されていてもよい。これにより、観察倍率を三段階に切り替えることが可能となる。図13が示すように、観察光路に対して直交した方向(スライド方向)は、拡大観察装置100のチルト軸と平行である。これにより、結像レンズ41をスライドさせるモータにかかる負荷が、ヘッド部22のチルトの影響を受けにくくなる。さらに、スライド方向が鉛直方向と直交していれば、結像レンズ41をスライドさせるモータにかかる負荷が、重力の影響を受けにくくなる。通常、回転型のレボルバや、三箇所を平行移動するスライダが用いられる。しかし、本実施形態では、レンズアダプタ43などの光学アダプタを挿入する形を取ることで、二段の押し当て式スライダが導入可能になっている。これにより、位置決め不要で安価な倍率切り替え機構が実現されている。
電動絞り37dは光源とハーフミラーとの間に配置された第三可変絞りの一例である。これにより、照明光に起因した迷光が軽減されるため、画像のコントラストが向上しよう。さらに、電動絞り37dが対物レンズ側の絞り37a、37b、37cの絞り量に応じて変化するように制御されてもよい。これによりさらに迷光が軽減されてもよい。
第二選択部は、レボルバ21により実現されうる。レボルバ21は、第一対物レンズが取り付けられる第一マウント(例:マウント50a)と、第二対物レンズが取り付けられる第二マウント(例:マウント50b)とを有してもよい。図14や図15に関連して説明されたように、第一マウントおよび第二マウントは認識部と通信するための複数の接点(例:電子接点46b)を有している。対物レンズ認識部81は、第一マウントの複数の接点を介して第一対物レンズに設けられ通信部(例:制御基板47)と通信して第一対物レンズの識別情報を取得することで第一対物レンズを認識してもよい。対物レンズ認識部81は、第二マウントの複数の接点を介して第二対物レンズに設けられ通信部と通信することで第二対物レンズの識別情報を取得することで第二対物レンズを認識してもよい。なお、レボルバ21の回転軸にはスリップリングが採用されてもよい。スリップリングとは、リングとブラシとを有する信号伝達機構である。これにより、レボルバ21を回転させたとしても、各マウントに接続された対物レンズの制御基板47と、対物レンズ認識部81とがスリップリングを通じて通信可能となる。このように、スリップリングは、第一マウントおよび第二マウントが認識部と通信するための回転可能な複数の接点の一例である。

Claims (11)

  1. 第一結像レンズと、
    第二結像レンズと、
    前記第一結像レンズと、前記第二結像レンズとを観察光路に対して直交した方向にスライドさせるよう、第一フレームに対してスライド可能に前記第一結像レンズと前記第二結像レンズとを保持する第一スライド部材と、
    前記第一結像レンズとともに前記観察光路に対して直列に配置可能な第三結像レンズと、
    前記第三結像レンズを前記観察光路に対して直交した方向にスライドさせる第二スライド部材と、
    前記第一結像レンズ前記第二結像レンズおよび前記第三結像レンズのうち、前記第一結像レンズのみを前記観察光路に配置するか、前記第二結像レンズのみを前記観察光路に配置するか、または、前記第一結像レンズと前記第三結像レンズとを前記観察光路に配置するかのいずれかを選択して前記観察光路に配置する第一選択部と、
    第一対物レンズと、
    第二対物レンズと、
    前記第一対物レンズと前記第二対物レンズとのいずれかを選択して前記観察光路に配置する第二選択部と、
    前記第二選択部により選択された対物レンズを認識する認識部と、
    光学系の倍率を選定する倍率選定部と、
    前記観察光路に配置された絞りと、
    前記倍率選定部により選定された光学系の倍率と、前記認識部により認識された対物レンズとに基づき結像レンズを決定する結像レンズ決定部と、
    前記第一結像レンズ前記第二結像レンズおよび前記第三結像レンズのうち前記結像レンズ決定部により決定された前記第一結像レンズのみ、前記第二結像レンズのみ、または、前記第一結像レンズと前記第三結像レンズが前記観察光路に配置されるよう前記第一選択部を制御する制御部とを有し、
    前記観察光路に対して直交した方向における前記第一スライド部材の第一端部が前記第一フレームに設けられた第一停止部材に接触して停止すると、前記第二結像レンズが前記観察光路に位置決めされ、
    前記観察光路に対して直交した方向における前記第一スライド部材の第二端部が前記第一フレームに設けられた第二停止部材に接触して停止し、第二スライド部材の端部が第二フレームに設けられた停止部材に接触して停止すると、前記第一結像レンズと前記第三結像レンズとが前記観察光路に位置決めされる
    ことを特徴とする拡大観察装置。
  2. 前記絞りは、
    前記第一対物レンズの瞳位置に配置された第一可変絞りと、
    前記第二対物レンズの瞳位置に配置された第二可変絞りと、
    を有し、
    前記制御部は、
    前記認識部により認識された対物レンズが前記第一対物レンズである場合、前記第一可変絞りを制御し、前記認識部により認識された対物レンズが前記第二対物レンズである場合、前記第二可変絞りを制御するように構成されていることを特徴とする請求項1に記載の拡大観察装置。
  3. 前記第一対物レンズは、前記第一可変絞りを内蔵していることを特徴とする請求項2に記載の拡大観察装置。
  4. 前記第二可変絞りは、前記第二対物レンズの外側にある観察光路に配置されていることを特徴とする請求項2または3に記載の拡大観察装置。
  5. 前記光学系の倍率と絞り量との関係を示すテーブルと、
    前記テーブルを参照することで前記倍率選定部により選定された光学系の倍率に対応する絞り量を決定する絞り決定部と、をさらに有し、
    前記制御部は、前記絞り決定部により決定された絞り量となるように前記絞りを制御することを特徴とする請求項1ないし4のいずれか一項に記載の拡大観察装置。
  6. 前記テーブルは、深度を優先する第一テーブルと、解像度を優先する第二テーブルとを有し、
    前記絞り決定部は、前記第一テーブルと前記第二テーブルとのうちユーザにより選択されたテーブルを使用することを特徴とする請求項5に記載の拡大観察装置。
  7. 前記観察光路に対して直交した方向は、前記拡大観察装置のチルト軸と平行であることを特徴とする請求項1ないし6のいずれか一項に記載の拡大観察装置。
  8. 前記第一選択部により選択された対物レンズを介して照明光を観察対象物に照射する光源と、
    前記光源から出力された出力光を前記対物レンズへ導くハーフミラーと、
    前記光源と前記ハーフミラーとの間に配置された第三可変絞りと
    をさらに有することを特徴とする請求項1ないし7のいずれか一項に記載の拡大観察装置。
  9. 前記第二選択部は、レボルバであり、
    前記レボルバは、
    前記第一対物レンズが取り付けられる第一マウントと、
    前記第二対物レンズが取り付けられる第二マウントと、
    を有し、
    前記第一マウントおよび前記第二マウントは前記認識部と通信するための複数の接点を有し、
    前記認識部は、前記第一マウントの前記複数の接点を介して前記第一対物レンズに設けられ通信部と通信することで前記第一対物レンズの識別情報を取得し、当該識別情報に基づき前記第一対物レンズを認識し、前記第二マウントの前記複数の接点を介して前記第二対物レンズに設けられ通信部と通信することで前記第二対物レンズの識別情報を取得し、当該識別情報に基づき前記第二対物レンズを認識することを特徴とする請求項1ないしのいずれか一項に記載の拡大観察装置。
  10. 前記第二選択部は、レボルバであり、
    前記レボルバは、
    前記第一対物レンズが取り付けられる第一マウントと、
    前記第二対物レンズが取り付けられる第二マウントと、
    を有し、
    前記第一マウントおよび前記第二マウントは前記認識部と通信するための回転可能な複数の接点を介して接続されていることを特徴とする請求項1ないしのいずれか一項に記載の拡大観察装置。
  11. 前記第一結像レンズは狭視野の結像レンズであり、
    前記第二結像レンズは広視野の結像レンズであり、
    前記第二結像レンズのみ、第一結像レンズのみ、第一結像レンズと第三結像レンズの組み合わせの順に倍率が高くなるよう構成されていることを特徴とする請求項1ないし10のいずれか一項に記載の拡大観察装置。
JP2018223952A 2018-11-29 2018-11-29 拡大観察装置 Active JP7251957B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018223952A JP7251957B2 (ja) 2018-11-29 2018-11-29 拡大観察装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223952A JP7251957B2 (ja) 2018-11-29 2018-11-29 拡大観察装置

Publications (2)

Publication Number Publication Date
JP2020086298A JP2020086298A (ja) 2020-06-04
JP7251957B2 true JP7251957B2 (ja) 2023-04-04

Family

ID=70907920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018223952A Active JP7251957B2 (ja) 2018-11-29 2018-11-29 拡大観察装置

Country Status (1)

Country Link
JP (1) JP7251957B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316362A (ja) 2004-03-31 2005-11-10 Olympus Corp 観察装置および蛍光観察装置
JP2011008000A (ja) 2009-06-25 2011-01-13 Olympus Corp 蛍光観察装置および蛍光観察方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3563800B2 (ja) * 1995-01-09 2004-09-08 オリンパス株式会社 観察光学装置
JP3861372B2 (ja) * 1997-04-17 2006-12-20 株式会社ニコン 顕微鏡

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316362A (ja) 2004-03-31 2005-11-10 Olympus Corp 観察装置および蛍光観察装置
JP2011008000A (ja) 2009-06-25 2011-01-13 Olympus Corp 蛍光観察装置および蛍光観察方法

Also Published As

Publication number Publication date
JP2020086298A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
JP5875812B2 (ja) 顕微鏡システムおよび照明強度調整方法
US9690089B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
JP5863357B2 (ja) 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法
JP4267030B2 (ja) 顕微鏡装置、コントローラ、及びプログラム
JP2005157340A (ja) 立体顕微鏡
JP7268991B2 (ja) 拡大観察装置
KR20200052157A (ko) 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템
JP6818616B2 (ja) 顕微鏡装置
JPH10339845A (ja) モニタ観察型顕微鏡
JP5893314B2 (ja) 表示装置および顕微鏡システム
JP2017156207A (ja) 撮像装置および撮像方法
EP2253984A1 (en) Microscope
JP7268992B2 (ja) 拡大観察装置
CN113039470B (zh) 显微镜装置
JP7251957B2 (ja) 拡大観察装置
US10816783B2 (en) Magnifying observation apparatus
US20170013186A1 (en) Autofocus for imaging system
JP2005148584A (ja) 共焦点レーザ顕微鏡
JP2020086296A (ja) 拡大観察装置
JP5532318B2 (ja) 顕微鏡装置および記録媒体
JP2015082099A (ja) 顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム
JP6062028B2 (ja) 拡大観察装置、及び、拡大観察方法
JP6971770B2 (ja) 拡大観察装置
JP3125124U (ja) 赤外顕微鏡
JP6362435B2 (ja) 顕微鏡システム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230323

R150 Certificate of patent or registration of utility model

Ref document number: 7251957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150