JP6325815B2 - 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 - Google Patents

Description

本発明は、拡大した画像を撮像して表示するデジタルマイクロスコープや顕微鏡のような拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体に関する。

微小物体等の試料やワーク等の被写体を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。デジタルマイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光又は透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤやＣＭＯＳ等の撮像素子で受光し、電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献１）。

このような拡大観察装置においては、複数枚の画像から画像を合成する機能（合成画像モード）を備えているものがある。例えば焦点深度の浅い画像に対して、焦点位置を変えながら撮影した複数枚の画像のうち、焦点情報から合焦部位のみを合成して焦点深度の深い画像（合成深度画像）を得ることが行われている。また、いわゆる超解像技術により解像を高めた画像やダイナミックレンジを広げた画像を取得する技術が知られている。このような合成画像は複数枚の画像から生成されるため、相応の処理時間を要する。このため、合成画像を生成して表示するには、高いフレームレートのリアルタイム画像（ライブ映像又は動画）を表示部で表示させ続けることは困難であり、著しくフレームレートを落とすか、もしくは静止画での表示となる。

これらの合成画像を表示している間は、表示部の表示内容は静止画またはフレームレートが極端に遅い状態となる。このため、別の部位を観察したい場合には、一旦これらの静止画像を破棄して、表示部の表示内容をライブ映像を表示させるスルー画像モードに切り換える必要がある。すなわち、表示部の表示を静止画から動画に切り替える操作をユーザが行う必要があった。

さらに、撮像素子のフレームレートを速い状態としてライブ映像を表示部に表示させた状態で、ユーザは表示部を参照しながら観察目的の部位を探し、視野を決定する。そして所望の部位が決定された状態では、ライブ映像が表示されたままであるため、この部位で再度、合成処理を実行する必要がある。すなわち、合成画像モードに切り替えて、表示部の表示内容をライブ映像から静止画に変更する操作が必要であった。このように、観察に必要な合成処理を行う際と、所望の部位を探す際とでは必要な画像が異なるため、ユーザはその都度、合成画像モードをＯＮ／ＯＦＦや表示内容の切り替え操作を強いられることとなり、極めて操作が煩雑になるという問題があった。

特開２０１２−１４５７２２号公報 特開２００４−１７０５７４号公報

本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、観察目的の視野探しと合成画像の観察の際の表示部の切り替え操作の手間を省力化した拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。

課題を解決するための手段及び発明の効果

上記の目的を達成するために、本発明の第１の拡大観察装置によれば、撮像対象に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、撮像対象の画像を撮像可能な拡大観察装置であって、観察の対象物を載置するための載置部と、観察対象に照明光を照射するための照明手段と、前記照明手段で照射された照明光の反射光又は透過光を受光する撮像手段と、前記載置部と撮像手段との相対距離を調整可能なＺ軸移動機構と、前記載置部と撮像手段との相対位置を変化可能なＸＹ軸移動機構と、前記撮像手段で画像を撮像する際の撮像条件を設定するための撮像条件設定部と、前記Ｚ軸移動機構によって異なる相対距離で複数枚撮像された画像を合成した深度合成画像及び３Ｄ合成画像の少なくとも一方の合成画像を生成するための画像合成手段と、第一表示モードにおいて第一表示モード画像として前記合成画像を表示し、第二表示モードにおいて該第一表示モード画像の画像処理よりも処理負荷の軽い画像処理がされた第二表示モード画像のいずれかを動画表示するための表示部と、前記撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための画像変更手段と、前記表示部における表示モードが第一表示モードである状態で、前記画像変更手段で画像変更操作が行われたことを契機として、前記表示部における表示を、第一表示モードから、第二表示モードに自動的に切り替え、前記表示部における表示モードが第二表示モードである状態で、画像変更操作の実行が完了したかを判断し、前記画像変更操作の実行が完了したと判断すると、前記画像合成手段により前記合成画像を合成して、前記表示部における表示を、第二表示モードから、前記合成した合成画像を表示する第一表示モードに自動的に切り替える表示モード切替手段とを備えることができる。上記構成により、画像に変更を加える操作がユーザによって行われたことを検出して、表示部の表示内容を第一表示モード画像から、より軽負荷の第二表示モード画像に自動的に切り替えるようにして、画像処理の負荷を軽減してリアルタイム更新を可能としつつ、従来のようにユーザが手動で表示部の表示を切り替える動作を不要として、作業性を高めた使い勝手のよい操作環境が実現される。

また、画像処理を行った画像を表示させる際には、表示部の表示が自動的に第一表示モードに切り替えられるので、ユーザは表示部の表示モードの切替作業を意識することなく、操作内容に応じた表示内容を速やかに得ることが可能となり、操作性が向上する。
また、第２の拡大観察装置によれば、前記表示部で表示される第二表示モード画像ｗｐ、前記撮像手段で取得された画像又は前記合成画像よりも処理負荷の軽い画像処理がされた画像とすることができる。

さらに、第３の拡大観察装置によれば、前記第一表示モードが、第一フレームレートでの動画像の表示であり、前記第二表示モードが、前記第一フレームレートよりもフレームレートの高い第二フレームレートでの動画像の表示とできる。

さらにまた、第４の拡大観察装置によれば、前記第一表示モードを、静止画像の表示にできる。

さらにまた、第５の拡大観察装置によれば、前記画像変更操作を、前記載置部と前記撮像手段との相対的な移動又は回転、前記撮像手段の傾斜、前記撮像条件設定部による撮像条件の変更、又は前記画像合成手段で行う画像合成の条件の変更の少なくともいずれかとできる。

さらにまた、第６の拡大観察装置によれば、前記画像変更操作を、前記撮像手段のシャッタースピード又は露光時間の調整、ゲインの調整、エッジ強調の有無、ホワイトバランスの変更、画像のサイズ、前記照明手段からの照明光の種類の選択の少なくともいずれかとできる。

さらにまた、第７の拡大観察装置によれば、さらに前記表示部に表示される画像の表示倍率を拡大又は縮小するための倍率調整手段を備えており、前記画像変更操作が、前記倍率調整手段による倍率の変更動作を含むことができる。

さらにまた、第８の拡大観察装置によれば、前記Ｚ軸移動機構又はＸＹ軸移動機構による視野の移動を検出すると、前記表示モード切替手段が、前記表示部における表示モードを第一表示モードから、第二表示モードに自動的に切り替えることができる。

さらにまた、第９の拡大観察装置によれば、前記画像変更操作が、前記Ｚ軸移動機構又はＸＹ軸移動機構による移動動作を含むことができる。

さらにまた、第１０の拡大観察装置によれば、前記第二表示モードを、スルー画像、簡易合成画像のいずれかとできる。

さらにまた、第１１の拡大観察装置によれば、さらに前記撮像手段と光軸を一致させて光学的に結合可能な、第一の倍率を有する第一対物レンズ部と、前記撮像手段と光軸を一致させて光学的に結合可能な、第一の倍率よりも高倍率の第二対物レンズ部と、前記第一対物レンズ部と第二対物レンズ部のいずれかを、前記撮像手段の光軸と一致させた位置に切り替えるための対物レンズ切替手段とを備えており、前記画像変更操作が、前記対物レンズの切り替え動作を含むことができる。

さらにまた、第１２の拡大観察装置によれば、さらに前記撮像手段を前記載置部に対して垂直面内で傾斜させることが可能なヘッド傾斜機構を備えており、前記画像変更操作が、前記ヘッド傾斜機構による前記撮像手段の傾斜動作を含むことができる。

さらにまた、第１３の拡大画像観察方法によれば、撮像対象に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、撮像対象の画像を表示させる拡大画像観察方法であって、載置部に載置された観察対象に対し、照明光又は透過光を照射させて、撮像手段で画像を、載置部と撮像手段との相対距離を調整可能なＺ軸移動機構によって異なる相対距離として複数枚撮像し、該複数枚の画像を画像合成手段で合成して深度合成画像及び３Ｄ合成画像の少なくとも一方の合成画像を生成し、第一表示モード画像として表示部に表示させる工程と、前記表示部で第一表示モード画像を表示させた状態で、前記撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための画像変更手段で画像変更操作が行われたことを検出する工程と、前記表示部における表示モードが第一表示モードである状態で、前記画像変更手段で画像変更操作が検出されたことを契機として、前記表示部における表示を、第一表示モード画像から、該第一表示モード画像よりも処理負荷の軽い第二表示モード画像の表示に自動的に切り替える工程と、前記表示部における表示モードが第二表示モードである状態で、前記画像変更操作の実行が完了したかを判断し、前記画像変更操作の実行が完了したと判断すると、前記画像合成手段が合成画像を合成して、前記表示部における表示を、第二表示モードから、前記合成画像を表示する第一表示モードに自動的に切り替える工程とを含むことができる。これにより、画像に変更が加えられる動作がユーザによって操作されたことを検出して、表示部の表示内容を第一表示モード画像から、より軽負荷の第二表示モード画像に自動的に切り替えるようにして、処理負荷を軽減してリアルタイム更新を可能としつつ、従来のようにユーザが手動で表示部の表示を切り替える動作を不要として、作業性を高めた使い勝手のよい操作環境が実現される。

さらにまた、第１４の拡大画像観察プログラムによれば、撮像対象に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、撮像対象の画像を表示させる拡大画像観察プログラムであって、載置部に載置された観察対象に対し、照明光又は透過光を照射させて、撮像手段で画像を、載置部と撮像手段との相対距離を調整可能なＺ軸移動機構によって異なる相対距離として複数枚撮像し、該複数枚の画像を画像合成手段で合成して深度合成画像及び３Ｄ合成画像の少なくとも一方の合成画像を生成し、第一表示モード画像として表示部に表示させる機能と、前記撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための画像変更手段で画像変更操作が行われたことを検出する機能と、前記表示部における表示モードが第一表示モードである状態で、前記画像変更手段で画像変更操作が検出されたことを契機として、前記表示部における表示を、第一表示モード画像から、該第一表示モード画像よりも処理負荷の軽い第二表示モード画像の表示に自動的に切り替える機能と、前記表示部における表示モードが第二表示モードである状態で、前記画像変更操作の実行が完了したかを判断し、前記画像変更操作の実行が完了したと判断すると、前記画像合成手段が合成画像を合成して、前記表示部における表示を、第二表示モードから、前記合成画像を表示する第一表示モードに自動的に切り替える機能とをコンピュータに実現させることができる。

さらにまた第１５のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

図１は本発明の一実施の形態に係る拡大観察装置の外観図である。 図２は本発明の一実施の形態に係る拡大観察装置のブロック図である。 図３は照明部を示す概略図である。 図４は拡大画像観察プログラムの照明光切替画面のユーザインターフェース画面を示すイメージ図である。 図５は拡大画像観察プログラムの明るさ設定画面のユーザインターフェース画面を示すイメージ図である。 図６は変形例に係る拡大観察装置を示す模式図である。 図７はさらに他の変形例に係る拡大観察装置を示す模式図である。 図８はヘッド部の断面図である。 図９は拡大観察装置の撮像系の外観構成を示す斜視図である。 図１０はヘッド部を揺動させる様子を示す模式図である。 図１１は対物レンズ切替手段を備える拡大観察装置を示す斜視図である。 図１２は撮像素子のベイヤー配列を示す平面図である。 図１３は１画素ずつずらして各画素でＲＧＢデータを取得する様子を示す平面図である。 図１４は図１３からさらに１／２画素ずつずらしてサブピクセル単位でＲＧＢデータを取得する様子を示す平面図である。 拡大画像観察プログラムのホワイトバランス設定画面のユーザインターフェース画面を示すイメージ図である。 一覧表示領域を表示させた拡大画像観察プログラムのユーザインターフェース画面を示すイメージ図である。 拡大画像観察プログラムの画像設定画面のユーザインターフェース画面を示すイメージ図である。 図１８Ａ、図１８Ｂは露光時間の異なる低階調画像、図１８Ｃは図１８Ａ、図１８Ｂを合成したＨＤＲ画像を示すイメージ図である。 図１９Ａ〜図１９Ｄは深度合成画像を合成する様子を示す模式図である。 図２０は三次元画像を示すイメージ図である。 図２１Ａは深度合成前の画像、図２１Ｂは深度合成画像を第一表示モードで表示した状態、図２１Ｃは第二表示モード画像、図２１Ｄは第一表示モード画像を示すイメージ図である。 図２２は表示モードを切り替える手順を示すフローチャートである。 図２３Ａ〜図２３Ｃは自動計測処理を行う様子を示すイメージ図である。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。

本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置及び拡大画像観察方法とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。

また、本明細書において拡大観察装置は、拡大観察を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末その他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。

以下、図１〜図２を用いて、本発明の一実施の形態に係る拡大観察装置１００を説明する。拡大観察装置１００は、図１に示すように撮像系１と制御系２に大別される。撮像系１は、観察対象物Ｓである試料又はワークその他の被写体を照明するための照明部６０と、照明部６０により照明された観察対象物Ｓを撮像するヘッド部４を備える。ヘッド部４は、撮像素子１２を含むカメラ部１０と、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０とを備える。顕微鏡レンズ部２０は複数枚の光学レンズで構成された撮像光学系（レンズ光学系）を構成する。ここでは、顕微鏡レンズ部２０は対物レンズ部２５を含んでいる。またヘッド部４は、照明光の反射光又は透過光を受光する撮像手段として機能する。

また撮像系１は、観察対象物Ｓを載置する載置部３０と、この載置部３０とヘッド部４との光軸方向における相対距離を変化させ焦点を調整する第一焦点調整部としてＺ上ステージ及びこのＺ上ステージを駆動するための上ステージ昇降器１６とを備える。一方ヘッド部４も、光軸方向における載置部との相対距離を変化させ焦点を調整する第二焦点調整部としてＺ上ステージを備える。この載置部３０上に載置された観察対象物Ｓに対して、撮像光学系１１を介して入射され、観察対象物Ｓで反射された反射光又は観察対象物Ｓの底面側から照射された透過光を、カメラ部１０の撮像素子１２で電気的に読み取る。

さらに制御系２は、カメラ部１０で撮像された拡大画像を表示する表示部５２を有する本体部５０を備える。カメラ部１０は、ケーブル部３を介して本体部５０と接続される。なお図１の例では、表示部５２を本体部５０と一体に設けているが、表示部を本体部と別部材とすることもできる。またケーブル部３は、カメラ部１０の撮像素子で得られた画像情報を保体部５０側に伝達するための電気的ケーブルに加えて、照明光を本体部５０からヘッド部４側に伝達するための光学的ケーブル３ｂを備えている。ケーブル部３は、電気的ケーブルと光学的ケーブル３ｂと統合することもできるし、これらを個別に設けることもできる。

さらにまた載置部３０は、下ステージ昇降器３５による高さ方向、すなわちＺ方向への移動に加えて、平面内での移動も可能としている。具体的には、Ｘ軸方向およびＹ軸方向に移動可能なＸ−Ｙステージを備える。また、載置部３０を回転させる回転可能なステージ（θステージ）を備えることもできる。

この本体部５０のブロック図を図２に示す。この図に示すように本体部５０は、下ステージ昇降器３５によって焦点を調整したときのステージ３０と撮像光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における観察対象物Ｓの２次元位置情報と共に記憶する焦点距離情報記憶部として記憶部５３と、撮像素子１２によって読み取られた画像を表示する表示部５２と、ヘッド部４および下ステージ昇降器３５とデータを通信するためのインターフェイス５４とを備える。この拡大観察装置１００は、撮像光学系１１を介して入射する載置部３０に固定された観察対象物Ｓからの反射光又は透過光を電気的に読み取る撮像素子１２を用いて観察像を撮像し、表示部５２に表示させる。

また記憶部５３は、レンズ識別情報やレンズ収差情報を記憶するレンズ識別情報記憶部、あるいは各レンズ部の、収差の少ない波長成分を、レンズ部の収差情報と対応させて記憶した波長成分記憶手段としても機能する。なお記憶部５３は、ハードディスクや半導体メモリ等で構成される。また各データベース毎に個別の記憶部を設けてもよい。
（レンズ識別情報）

レンズ識別情報には、レンズの型式、焦点距離の位置、レンズの筒体の長さ等の情報が含まれる。上述の通り、撮像系１と制御系２とはケーブル部３を介して接続されているので、制御系２で現在装着されているレンズの種別を判別することで、適切な制御を行える。例えば、顕微鏡レンズ部２０の物理的な長さを把握することで、顕微鏡レンズ部２０をＺ上ステージで降下させる際に、観察対象物Ｓや載置部３０に接触しないように降下できる下限移動距離を把握して、これよりも降下しないように制限をかけることができる。

またレンズ種別情報として、顕微鏡レンズ部の情報を直接記録する他、顕微鏡レンズ部の識別情報、例えば型式のみを記録させ、一方型式と対応する顕微鏡レンズ部の詳細情報は、予め本体部５０の記憶部５３等に、型式と関連付けられたルックアップテーブルとして記憶しておくこともできる。これにより、本体部５０はカメラ部を通じてレンズ識別情報である型式を取得すると、この型式と対応する詳細情報を、記憶部５３を参照して取得し、取得された情報に基づいて顕微鏡レンズ部に合致した制御を行うことが可能となる。この方法であれば、顕微鏡レンズ部側に保持すべき情報量を少なくしつつ、必要な情報を本体部５０側で把握することが可能となる。

さらに拡大観察装置１００は、カメラ部１０で画像を撮像する際の条件を設定するための撮像条件や、その他の必要な各種の設定や操作を行うための操作部５５と、設定された領域に対応する観察対象物Ｓの一部又は全部に関する記憶部５３に記憶された焦点距離情報に基づいて、設定された領域に対応する観察対象物Ｓの光軸方向における高さを演算する制御部５１を備える。この拡大観察装置１００は、撮像素子１２を用いて指定された領域に対応する観察対象物Ｓの光軸方向における平均高さ（深さ）を演算できる。

この制御部５１は、光路シフト手段１４を作動させる光路シフト制御手段８１、複数の照明フィルタを用いて観察対象物Ｓの同一の視野について撮像した複数の観察像を表示部５２に同時に表示した状態から、一を選択可能な画像選択手段８２、画像選択手段８２で選択された観察像の撮像に使用された照明フィルタの種別を含む像観察条件を、撮像条件として設定する撮像条件設定部８３、所定の画像処理を行う画像処理手段、画像合成手段８５で観察像を合成してカラーの高解像画像観察像を取得する動作を自動で行う自動合成手段８４、交換可能な複数の異なる仕様の顕微鏡レンズ部の内、現在カメラ部に装着されている顕微鏡レンズ部の収差情報に基づいて、複数の波長成分の内でこの顕微鏡レンズ部の収差の影響が相対的に少ない波長成分を選択可能な波長選択手段８６、照明光源６５が発する光の波長帯域に含まれる複数の異なる波長域について、いずれかの波長域に選択的に切り替え可能な照明光選択手段８７、表示部５２に表示される画像の表示倍率を拡大又は縮小するための倍率調整手段８９ａ、表示部５２に表示される画像の表示位置を移動させるための表示位置変更手段８９ｂ、複数の異なる仮の撮像条件を生成するための簡易撮像条件生成部８９ｃ、一覧表示領域に複数の簡易画像を一覧表示させた状態で、倍率調整手段８９ａで一の簡易画像の倍率を調整すると、他の簡易画像の倍率もこれに連動して調整されてなると共に、表示位置変更手段８９ｂで一の簡易画像の表示位置を変更すると、他の簡易画像の表示位置もこれに連動して変更されるように、各簡易画像の表示倍率及び表示位置を調整する連動調整手段８９ｄ、表示部５２における表示を、第二表示モードから、第一表示モードに自動的に切り替える表示モード切替手段８９ｅ等の機能を実現する。また画像処理手段は、例えば同一の観察対象物Ｓを異なる照明フィルタを用いて撮像した少なくとも２つの観察像を合成する画像合成手段８５として機能する。この制御部５１はＡＳＩＣやＦＰＧＡ等のゲートアレイ等で構成できる。

操作部５５は本体部５０又はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置１００自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図１の例では、操作部５５はマウス等のポインティングデバイスで構成される。
（照明部６０）

照明部６０は、撮像素子１２に結像される観察対象物Ｓを照明する照明光を生成する。照明部６０の照明光源は、本体部５０に内蔵され、光学的ケーブル３ｂを介して照明光がヘッド部４の照明部６０に伝達される。なお照明部６０は、ヘッド部４に組み込み式としたり、ヘッド部４と脱着可能な別体とする構成のいずれも採用できる。また照明光の照明方式としては、落射照明や透過照明等が適宜利用できる。落射照明とは、観察対象物の上方から照明光を落とす照明方法であり、リング照明や同軸落射照明等が含まれる。図１に示す照明部６０は、観察対象物Ｓに同軸落射光を照射するための同軸落射照明部６２（図３参照）と、リング状の光源からリング状照明光を照射するためのリング照明部６３と、透過光を照射するための透過照明部６４を備えている。これらの照明は、光学的ケーブル３ｂを介して本体部５０と接続される。本体部５０は光学的ケーブル３ｂを接続するコネクタを備えると共に、コネクタを介して光学的ケーブル３ｂに光を送出するための照明光源６５を内蔵する（図３参照）。またリング照明部６３は、全周照明と側射照明を切り替えることができる。これを実現するため、リング照明部６３として複数のＬＥＤを環状に配置し、一部のＬＥＤをＯＮ／ＯＦＦする構成や、照明光の一部をカットするターレット式のマスクを配置する構成等が利用できる。これら照明光の点灯制御や切り替えは、照明光制御部６６で行われる。照明光制御部６６は、照明光を切り替えるための照明光切替部６１を備えている。

照明部６０の詳細を、図３の模式断面図に示す。照明部６０は、同軸落射照明部６２とリング照明部６３を備えている。同軸落射照明とは、カメラの撮像面と同じ方向から照射する方法であり、明視野照明とも呼ばれる。同軸落射照明は、例えばシリコンウェハやＬＣＤパネルなど特に鏡面ワークの凸凹を見る場合に効果的となる。照明部６０の点灯制御は、照明光制御部６６で行われる。また照明光制御部６６は照明光切替部６１を備えており、照明切替部６１は、同軸落射照明部６２とリング照明部６３とを切り替え可能としている。また照明切替部６１は、同軸落射照明部６２とリング照明部６３とを比率を変えて混合させるように構成することもできる。
（拡大画像観察プログラム）

照明光切替手段の一態様を構成するユーザインターフェース画面の一例を図４に示す。図４は拡大観察装置１００を操作するための拡大画像観察プログラムのユーザインターフェース画面である。このような操作画面は、拡大観察装置１００の表示部５２や外部接続されたコンピュータのモニタ上に表示できる。ユーザは表示された画面上から、拡大観察装置１００の各種設定や操作を行う。拡大画像観察プログラムは、本体部５０に組み込まれている。

なおこれらのプログラムのユーザインターフェース画面の例において、各入力欄や各ボタン等の配置、形状、表示の仕方、サイズ、配色、模様等は適宜変更できることはいうまでもない。デザインの変更によってより見やすく、評価や判断が容易な表示としたり操作しやすいレイアウトとすることもできる。例えば詳細設定画面を別ウィンドウで表示させる、複数画面を同一表示画面内で表示する等、適宜変更できる。またこれらのプログラムのユーザインターフェース画面において、仮想的に設けられたボタン類や入力欄に対するＯＮ／ＯＦＦ操作、数値や命令入力等の指定は、操作部５５で行う。ここでは、プログラムを組み込んだコンピュータに接続された入力デバイスでもって、撮像条件等の設定を行う。本明細書において「押下する」とは、ボタン類に物理的に触れて操作する他、入力部によりクリックあるいは選択して擬似的に押下することを含む。操作部等を構成する入出力デバイスはコンピュータと有線もしくは無線で接続され、あるいはコンピュータ等に固定されている。一般的な入力部としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの入出力デバイスは、プログラムの操作のみに限られず、拡大観察装置１００等のハードウェアの操作にも利用できる。さらに、インターフェース画面を表示する表示部５２のディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。
（照明切替画面１１０）

図４に示す拡大画像観察プログラムのユーザインターフェース画面は、照明部の照明条件を設定する照明条件設定手段の一形態として、照明切替画面１１０を示している。照明切替画面１１０では、左側に表示領域１１１を設け、右側に操作領域１１２を設けている。操作領域１１２は、その左側にメニューをリボン状に表示し、選択されたリボンに応じて、右側の操作可能な内容が切り替わる。ここでは、複数のタブを切り替えることで、さらに設定内容を切り替えることができる。図４の例では、操作領域１１２の「明るさ・照明」リボン１１３を選択して、さらに「照明」タブ１１４を選択する。そして「照明」タブ１１４の上段に設けられた「落射照明」設定欄１１５、及び下段に設けられた「透過照明」設定欄１１６で、各照明光の方向や明るさを設定する。例えば「落射照明」設定欄１１５の「ＯＮ」ボタン１１７を押下するとリング照明が点灯され、その明るさを０〜２５５で指定する。明るさの指定は、数値又はスライダで行う。光量値が大きければ画像が明るく、小さければ暗くなる。また「リング照明」ボタン１１８を押下すると円環状のリング照明の全周が点灯され、「リング片射」ボタン１１９を押下すると円環状の一部のみが点灯される。斜めから照明光を照射することで、例えば観察対象物表面の傷や凹凸を強調して観察できる。一方「透過照明」設定欄１１６でも同様に「ＯＮ」ボタン１２０を押下すると透過照明が点灯され、その明るさを数値又はスライダ１２１で指定する。この例ではリング照明をＯＮさせて透過照明をＯＦＦさせている。ただ、観察目的に応じて両方の照明をＯＮさせてそのバランスを調整することもできる。
（明るさ設定画面１２２）

また図４の照明切替画面１１０から操作領域１１２において「照明」タブ１１４を選択すると、図５の明るさ設定画面１２２に切り替わる。この画面では画像の明るさとして、カメラ部の撮像時のシャッタースピード（露光時間）とゲインを調整できる。シャッタースピードを遅く（露光時間を長く）すると画像が明るく、速く（露光時間を短く）すると暗くなる。ここでは、シャッタースピードとしてオート、マニュアル、スーパーチャージ、プリセットのいずれかをラジオボタンで選択できる。またシャッターゲイン値を大きくすると画像が明るく、小さくすると暗くなる。ここではゲインとしてオート、マニュアル、プリセットのいずれかを選択できる。
（照明光源６５）

照明光源６５としては、発光ダイオード（Light Emitting Diode：ＬＥＤ）や半導体レーザ（Laser Diode：ＬＤ）といった半導体発光素子が利用できる。例えば、図３に示すようにＲ、Ｇ、Ｂの波長域を有するＬＥＤ６５ｒ、６５ｇ、６５ｂを用意し、各ＬＥＤの点灯により照明光を赤色、緑色、青色にそれぞれ切り替えたり、これらの混色によって白色光を得ることができる。また、白色ＬＥＤを別途用意することもできる。特にＬＥＤはＯＮ／ＯＦＦ応答性に優れるため、測定のスループットを向上できる利点も得られる。また長寿命で低消費電力であり、発熱量も少なく、機械的衝撃に強いといった特長も備える。あるいは、光源光の紫外線や可視光線で励起される蛍光体等の波長変換部材を利用した光源とすることもできる。これにより、１個のＬＥＤでも白色光を発光できる。さらに、可視光以外に紫外光や赤外光を照射可能なＬＥＤを光源として用いることもできる。例えば赤外光による観察は、不良品の解析や生体組織の組織分布等において有用である。なお照明光源には半導体発光素子に限らず、幅広い波長域の白色光を発する白色光源として、ハロゲンランプ、キセノンランプ、ＨＩＤランプ等を利用してもよい。また可視光のみならず赤外光を照射可能な光源としてもよい。特にハロゲンランプは、発光波長の波長域が広いため好ましい。また、単一の光源を利用するのみならず、複数の光源を備え、これらを同時に点灯して混色光を照明光としたり、あるいは切り替えて照明することもできる。

なお、照明光源は本体部に内蔵する構成に限られない。例えば、載置部や顕微鏡レンズ部に設けることもできる。変形例として図６に示す拡大観察装置４００は、載置部３０側に照明光源として、透過照明光源６５Ｂを設けている。また図７に示す拡大観察装置５００は、顕微鏡レンズ部２０側に同軸落射照明やリング照明用の照明光源６５Ｃを備えている。このような構成により、光ファイバ等で照明光を本体部側からヘッド部側に伝達する必要をなくし、外部に引き出すケーブルを少なくして構成を簡素化できる利点が得られる。また、ヘッド部側の内部においても、照明光源からの光を光ファイバで分岐する他、直接照明に高輝度のＬＥＤ等の半導体発光素子を設けてもよい。特にＬＥＤは、従来のハロゲンランプなどと比べて小型で発熱量も少なく、長寿命でメンテナンスフリー化も図ることができる。

このように、赤色、緑色、青色に発光可能な照明光源を用意することで、従来の白色光源のようなフィルタを不要にでき、またフィルタの切り替えといった機械的な動作を不要となり、電気信号のみでの安定した高速な照明光切り替えが実現される。またＬＥＤは長寿命であるため、電球の交換等のメンテナンス作業も省力化できる。さらに、半導体発光素子はバルブに比べ小型であるため、複数種類の発光素子を省スペースで配置できる利点もある。さらにまた、例えば赤外光発光素子や紫外光発光素子も備えることで、照明光を可視光のみならず赤外光、紫外光等に切り替えることが容易に行える。さらに、低消費電力で冷却ファンも小型化或いは省略でき、静音性にも優れる。このようにして、異なる波長域の発光素子を複数備える照明光源を照明光選択手段８７で制御し、所望の波長域の発光素子を選択して点灯し照明光を照射することができる。

また照明光源や照明フィルタ手段には、ＲＧＢ３原色の他、これらの補色（例えばシアン・マゼンダ・イエロー）を適宜利用することもできる。その他、フィルタとして紫外光や赤外光を透過させるフィルタを利用することもできる。
（同軸落射照明観察）

ヘッド部４の断面図を図８に示す。このヘッド部４は、観察対象に同軸落射照明光を照射するための同軸落射照明部６２と、同軸落射照明部６２で照射された照明光の反射光を受光する撮像素子を有するカメラ部１０と、カメラ部１０と光軸を一致させて光学的に結合された対物レンズ部２５と、対物レンズ部２５と光軸を一致させて配置された位相遅延素子９０を備えている。照明部６０は、同軸落射照明部６２とリング照明部６３を含む。ヘッド部４はカメラ部１０と、偏光ビームスプリッタ２８と、対物レンズ部２５とを備えている。これらは、光軸ＡＸを一致させた状態で光学的に結合されており、撮像光学系を構成する。また対物レンズ部２５には、位相遅延素子９０が光軸ＡＸ上に配置されている。一方リング照明光は撮像光学系に導入されることなく、観察対象物Ｓに対して直接照射される。なお位相遅延素子９０には、λ／４板、λ板、（１／２）λ板、（３／４）λ板、（５／８）λ板等が利用でき、典型的にはλ／４板が利用される。なおλ／４板は、この境界面で反射が生じないように、光軸ＡＸに対して傾斜させて配置することが好ましい。
（支持台４０）

拡大観察装置１００の撮像系１の外観構成の一例を図９に示す。この図に示す撮像系１は、観察対象物Ｓを載置する載置部３０とヘッド部４を支持する支持台４０を備えている。支持台４０は、載置部３０を水平面内あるいは上下移動可能な状態に保持するステージ固定機構４２と、載置部３０を保持した状態でヘッド部４を傾斜させるヘッド傾斜機構４４を備えている。これらステージ固定機構４２及びヘッド傾斜機構４４は、ベース部４１に固定されている。ベース部４１は平板状として、安定的に支持台４０を自立させる。
（ステージ固定機構４２）

ステージ固定機構４２は、載置部３０を水平面内（ＸＹ軸方向）及び垂直方向（Ｚ軸方向）に移動可能な一以上の移動機構を介して、載置部３０を支持台４０に固定している。具体的には、ここでは移動機構として、載置部３０をＺ軸方向に移動させるためのＺ軸方向移動機構（第一焦点調整部）、載置部３０をＸＹ軸方向に移動させるためのＸＹ軸移動機構、載置部３０をθ方向に回転させるための回転移動機構が利用できる。図９に示す例では、Ｚ軸移動機構としてベース部４１上に昇降可能に固定されたスライダ３２でもって下ステージ昇降器３５を実現し、さらに回転移動機構として、スライダ３２上に固定された中間連結部３４でもって載置部３０を回転可能とし、加えてＸＹ軸移動機構として、中間連結部３４上に固定されたＸＹステージでもって、載置部３０をＸＹ軸方向に移動可能としている。これらのＸＹ軸移動機構やＺ軸移動機構、回転移動機構は、表示部５２に表示されている画像の視野を変更するための視野移動手段として機能する。
（ヘッド傾斜機構４４）

一方ヘッド傾斜機構４４は、ヘッド部４を載置部３０に対して傾斜させるため、図１０の斜視図に示すようにベース部４１に揺動軸４５を介して揺動自在に連結された揺動部４６と、揺動部４６にヘッド部４を固定するためのヘッド固定部４８とを備える。揺動部４６は、ベース部４１から上方に突出する姿勢に設けられた揺動支柱４７と、揺動軸４５とを備える。またヘッド固定部４８は、揺動支柱４７にヘッド部４を、ほぼ平行な姿勢で固定するヘッド用アーム４９を備える。揺動支柱４７は、下端に揺動軸４５を設けており、揺動軸４５を中心として旋回するようにベース部４１に支持される。またヘッド用アーム４９は、ヘッド部４を載置部３０の上方に保持するよう、揺動支柱４７の上部から中間部の位置で、揺動支柱４７をクランプするなどして固定される。またヘッド用アーム４９の先端には、ヘッド部４を固定する固定機構が設けられる。ここでは、固定機構はヘッド部４の外周を囲むリング状に形成されて、リング状の中心にヘッド部４を挿入して、周囲の複数の位置から止めねじで螺合されて固定される。

ベース部４１の上面には、下方に向かって末広がりとしたブロック４１ａが固定され、このブロック４１ａの上部に軸受部４１ｂを形成している。軸受部４１ｂは、離間して固定された一対のガイド部４１ｃを備えており、一対のガイド部４１ｃは側面視において凹形状に形成されている。各ガイド部４１ｃは、Ｙ軸方向に平行な軸を中心軸として形成された円形の孔部を開口している。これらの孔部には揺動軸４５がＹ軸方向に沿って嵌合されている。この例では、揺動軸４５に目盛を設けており、ヘッド部４を揺動させる角度を目盛でもって目視できるように構成している。

このヘッド傾斜機構４４によってヘッド部４を載置部３０に対して傾斜させることで、観察対象物Ｓを斜め方向から観察した傾斜観察が可能となる。特にヘッド部４を垂直姿勢から、揺動軸４５を回転軸として左右に揺動させることで、左右いずれの方向からも観察することが可能となり、異なる視点からの観察により観察の自由度を高めることが可能となる。またこのような傾斜観察においては、ヘッド部４を傾斜させても視野が変化しないユーセントリック観察が求められる。このため傾斜観察に際しては、予め観察対象物Ｓの観察面が、揺動軸４５の中心と合致するように載置部３０の高さを調整することが望ましい。

また拡大観察装置２００は、図１１の斜視図に示すように、ヘッド部４の先端に設けられた第一対物レンズ部２５Ａ、第二対物レンズ部２５Ｂを、ヘッド部４を揺動させる面に対して垂直な面内で揺動させて切り替える対物レンズ切替手段２６を備えている。このように、ヘッド部４の揺動面と、対物レンズ部２５を切り替えるための揺動面とを直交させることで、ヘッド部４を傾斜させた状態で対物レンズ部２５を切り替える際に、対物レンズの先端が観察対象物に接触する事態を回避できる。この際、各対物レンズ部の長さが等しくなるように予め設計しておく。
（カメラ部１０）

ヘッド部４は、撮像素子を有するカメラ部１０と、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０とを備える。カメラ部１０は、照明部６０により照明された観察対象物Ｓから、撮像光学系１１を介して入射する反射光を電気的に読み取る撮像素子１２を備える。撮像素子１２は、この例ではＣＭＯＳを利用しているが、ＣＣＤ等、他の受光素子も利用できる。また顕微鏡レンズ部２０は、対物レンズ部２５に加え、レンズ本体２１と、このレンズ本体２１の端面に装着されてレンズ接続面を構成するマウント部２２とを備えている。またマウント部２２は、可撓性を有するレンズ側ケーブル２４を介して顕微鏡レンズ部２０と電気的に接続されている。これにより、顕微鏡レンズ部２０のレンズ識別情報は、レンズ側ケーブル２４を介してマウント部２０のレンズ側接続端子に送出される。
（光路シフト手段１４）

さらに拡大観察装置１００は、撮像素子１２の検出位置を相対的にシフトさせるための光路シフト手段１４と、光路シフト手段１４を作動させる光路シフト制御手段８１とを備えることもできる。具体的には、３以上の注目画素群について、注目画素群を構成する各撮像素子の画素の位置で受光信号が一巡して受光量が各々の位置で検出されるよう、撮像素子の画素間隔に相当する変位量分、注目画素群を構成するいずれかの撮像素子の検出位置を光路シフト手段１４で相対的にシフトさせる。
（光路シフト制御手段８１）

一方光路シフト制御手段８１は、フィルタ選択手段８８で選択された照明フィルタを介して所定波長の照明光が試料Ｓに照射される際、複数の撮像素子の内、該波長域に対応する撮像素子で受光量を検出するように、光路シフト手段１４を作動させる。これにより、照明フィルタと撮像素子の選択及び画素ずらしを連動させることが可能となり、ユーザは面倒な切り替えや照明光とこれに応じた照明フィルタ、撮像素子の選択の組み合わせを意識することなく、高解像度の観察像を簡単に取得できる。

図２の例では、カメラ部１０に光路シフト手段１４が備えられており、画素ずらしによってＣＭＯＳの持つ解像度以上の高解像度を得ることができる。画素ずらし（ピクセルシフト）とは、例えば単板タイプについて特許文献２や、３板タイプについて特許文献３に記載されるように、圧電素子等を用いることにより、隣接する素子と素子（画素）との間の空間に、素子を物理的にシフトさせるピクセルシフトにより、例えば画素ピッチの半分だけ試料Ｓをずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。また１画素ピッチ分ずらして各画素でＲＧＢのデータを取得することにより、色再現性も向上される。代表的な画像ずらしの機構としては、撮像素子１２をアクチュエータＡＣ等により移動させる撮像素子駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。

画素ずらし機能を実行すると、図１２に示すように、撮像素子がベイヤー配列でマトリクス状に画素毎に配置された状態において、光路シフト手段１４は図１３に示すように、隣接する２×２の画素位置にシフトさせるよう切り替えることができる。これにより、ベイヤー配列された異なる受光特性の撮像素子を、隣接する２×２の注目画素につき、一巡するように光路シフト手段１４でシフトさせて、２×２のすべての画素位置で受光信号を取得することができ、高解像度の観察像を得ることができる。なお、光路シフト手段１４で撮像素子を相対的にシフトさせるシフト量は、図１３の例では撮像素子の画素間隔に相当する変位量分として、反時計回りに４回、計４画素分移動させているが、上下、左右等隣接する２画素のみ、あるいは３画素分だけ移動させることもできる。また、移動量は撮像素子の１画素分に限られず、図１４に示すように１／２画素分や１／３画素分等とすることもできる。撮像素子を構成する各画素の受光感度のピーク位置やレンジに応じて移動量を調整することで、１画素分以下の移動量でも受光量を向上できるので、高解像度化を図ることができる。このように、撮像素子の画素間隔に相当する変位量分とは、画素ピッチと同等もしくはその整数倍に限られず、１／２画素分や１／３画素分といった分数倍も含まれる。
（表示部５２）

またこのような画像データや記憶部５３に保持された設定内容は、表示部５２にて表示させることができる。表示部５２はＣＲＴや液晶ディスプレイ、有機ＥＬ等のモニタが利用できる。また、制御部５１に対して、ユーザが各種操作を行うための操作部５５を接続している。操作部５５はコンソールやマウス等の入力デバイスである。なおこの例においても表示部や操作部は、本体部５０と一体的に組み込むことも、外付けの部材とすることもできる。さらに表示部をタッチパネルで構成すれば、表示部と操作部を一体に構成することもできる。

ここで下ステージ昇降器３５の動作について説明する。本体部５０は、モータ制御回路３６に対してステッピングモータ３７の制御に関する制御データを入力することによって、載置部３０と、撮像光学系１１および撮像素子１２を有するヘッド部４との光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、本体部５０は、下ステージ昇降器３５の制御に必要な制御データをモータ制御回路３６に入力することによってステッピングモータ３７の回転を制御し、載置部３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ３７は、回転に応じた回転信号を生成する。本体部５０は、モータ制御回路３６を介して入力される回転信号に基づいて、載置部３０と撮像光学系１１の光軸方向における相対距離に関する情報としての載置部３０の高さｚを記憶する。この載置部３０は、観察対象物Ｓに対して観察位置の位置決めを行う観察位置決め手段として機能する。

なお、下ステージ昇降器３５はこのような電動式に限られず、手動式で昇降させる構成としてもよいことはいうまでもない。

さらに本実施の形態においては、載置部３０の高さを変化させることによって載置部３０と撮像光学系１１の光軸方向における相対距離を変化させるのみならず、撮像光学系の高さ、すなわちヘッド部４の高さも変化可能としている。ヘッド部４は本体部５０とケーブル部３により接続される。これにより、ヘッド部４で取得したデータはケーブル部３を介して本体部５０に送出され、本体部５０側で必要な処理を行うことができる。なお載置部は顕微鏡本体に設ける他、本体と別部材としたヘッド部に設けたり、あるいはステージを省略した撮像部をヘッド部に設けることもできる。ステージを省略した撮像部は、取り付けスタンドに装着したり、ユーザが手持ち可能とすることもできる。

撮像素子１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。撮像素子１２上に結像された観察対象物Ｓの像は、撮像素子１２の各画素において受光量に応じて電気信号に変換され、撮像素子制御回路１３においてさらにデジタルデータに変換される。本体部５０は、撮像素子制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図２中のｚ方向）とほぼ垂直な面内（図２中のｘ、ｙ方向）における観察対象物Ｓの２次元位置情報としての画素の配置情報（ｘ、ｙ）と共に記憶部５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その撮像光学系および撮像素子における解像度において観察対象物Ｓの形状を認識できる程度の傾きの範囲内にある観察面であればよい。

また、以上の説明では載置部３０の一例として、観察対象物Ｓが載置部３０に載置される例を示したが、例えば載置部の代わりにアームを取り付け、その先端に観察対象物Ｓを固定する構成とすることもできる。さらにヘッド部４は、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
（制御部５１）

制御部５１は、撮像した観察画像を、表示部５２で表示可能な解像度に変換して表示するよう制御する。図１の拡大観察装置１００においては、カメラ部１０が撮像素子１２によって観察対象物Ｓを撮像した観察画像を表示部５２に表示する。一般にＣＭＯＳやＣＣＤ等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。カメラ部１０で読み取ったときの読取解像度を第一の解像度とすると、表示部５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。
（簡易撮像条件生成機能）

拡大観察装置１００を用いて観察対象物を観察する際には、画像を取得するための撮像条件を設定する必要がある。撮像条件には例えば、複数の照明部４０を備えている場合は照明光の選択、照明光の種類や方向、カメラ部のシャッタースピード（露光時間）、画面の明るさやコントラスト、ホワイトバランス、あるいは撮像後の後処理として各種のフィルタといった画像処理の種別等、各種の撮像パラメータが挙げられる（なお、ここでは撮像後の後処理のパラメータも含めて「撮像パラメータ」と呼ぶ。）。また撮像条件には、照明光の設定を行う照明条件も含む。一例として、図４、図１５〜図１７に、このような撮像条件を設定するための撮像条件設定部８３の一形態として、拡大画像観察プログラムのユーザインターフェース画面を示す。これらの図において、図４は上述の通り、照明部４０の照明条件を設定する照明条件設定手段の一形態として、照明切替画面１１０を示している。また図１５はホワイトバランスを設定するホワイトバランス設定画面１２４、図１６は一覧表示領域、図１７は画像設定画面の例を、それぞれ示している。図１５のホワイトバランス設定画面１２４では、ホワイトバランス、すなわち画像の色合いを調整することができる。図１６の一覧表示領域では、簡易的に設定された簡易撮像条件で各々撮像された簡易画像中から、所望の簡易画像を選択することで、この簡易画像に設定された簡易撮像条件を、撮像条件として設定することができる。図１７の画像設定画面では、各種の撮像条件を設定する。このように、撮像条件設定部８３でもって撮像条件を設定、変更すると、後述する表示モード切替手段８９ｅが画像変更操作が行われたと判断して、表示モードの切り替えを行う。
（簡易撮像条件設定機能）

このような撮像条件を個別に設定することは手間がかかる。また撮像パラメータ同士が相関しているものもあるため、特に初心者のユーザには、所望の画像を得るために、どの撮像パラメータを調整しなければならないかが判り辛いことがある。そこで、本実施の形態に係る拡大観察装置は、予め様々な撮像パラメータを組み合わせた仮の撮像条件を簡易的に複数生成し、さらに各簡易撮像条件で取得した簡易画像を表示部に一覧表示させる簡易撮像条件設定機能を備えている。これによれば、ユーザに、一覧表示された簡易画像の中から、所望の簡易画像を選択させることで、この簡易画像を取得した簡易撮像条件を、正規の撮像条件として設定することができ、操作に詳しくないユーザでも視覚的に所望のイメージに近い画像を容易に得ることが可能となる。また、選択された簡易撮像条件に対して、各撮像パラメータを微調整することもでき、これによって撮像条件の設定作業を容易に行える利点も得られる。このような簡易撮像条件生成機能は、制御部５１の簡易撮像条件生成部８９ｃによって実現される。

簡易撮像条件生成部８９ｃで生成された複数の異なる簡易撮像条件は、それぞれ制御部から照明部４０及びカメラ部１０に設定されて、各簡易画像が簡易的に撮像される。ここで撮像される簡易画像は、あくまでもユーザに一覧表示して比較するためのものであるため、精細な画像を取得する必要はなく、簡易的な撮像で足りる。具体的には、解像度やフレームレートを落としたり画像生成のための演算処理を簡略化するなどして、通常の撮像よりも短時間で得られるようにしている。これにより、簡易撮像条件の異なる複数枚の簡易画像を、短時間で取得できる（予備的な撮像という意味で、プレビューと呼ぶことがある。）。簡易撮像条件生成部８９ｃは、見た目の効果が変わりやすい撮像パラメータに設定することで、得られる簡易画像の印象を際立たせることができる。
（一覧表示機能）

また拡大観察装置１００は、簡易撮像条件生成部８９ｃで生成された複数の異なる簡易撮像条件でそれぞれ簡易的に取得された簡易画像を、表示部の一覧表示領域に一覧表示させる一覧表示機能を備えている。一覧表示させた例を図１６の一覧表示画面１３０に示す。図１６の例では、一覧表示機能を実行するには、操作領域１１２の「画質改善」リボン１３１を選択して、さらに「最適画像選択」タブ１３２を選択する。そして「最適画像選択」タブ１３２の上段に設けられた「最適画像を実行」ボタン１３３を押下することで、表示領域１１１は一覧表示領域１３４に切り替えられる。一覧表示領域１３４では、各簡易撮像条件で撮像された簡易画像が並べて表示される。この例では、簡易撮像条件生成部８９ｃによって９つの簡易撮像条件が生成され、各簡易撮像条件で簡易的に撮像された９枚の簡易画像が表示されている。各簡易画像は異なる画像処理や照明効果が施されており、ユーザはこの中から観察目的に応じた所望の簡易画像を選択する。図１６の例では、操作領域１１２にも一覧表示領域１３４と同様の９つの一覧表示画像１３６が表示されている。一覧表示画像１３６の並びは、一覧表示領域１３４の並びと一致しているので、ユーザはより大きな一覧表示領域１３４で各簡易画像を対比しながら所望の簡易画像を決定し、対応する位置にある画像を操作領域１１２の一覧表示画像１３６中からマウスクリックなどにより選択する。これにより、選択された簡易画像と対応する簡易撮像条件が呼び出されて、この簡易撮像条件が、通常の撮像条件として入力される。また必要に応じてユーザは更に撮像条件の微調整を行うことができる。

図１６の例では、「画像設定」タブ１３８を選択すると、一覧表示画面１３０から図１７の画像設定画面１４０に切り替わる。ここでは、撮像パラメータとしてエッジ強調、ガンマ補正、オフセット、モノクロ設定の微調整を行うことができる。この例では、エッジ強調、ガンマ補正、オフセットはスライダで調整し、モノクロ設定はラジオボタンで陰影の強調度合いを選択する。ここでエッジ強調は、画像の輪郭部分を強調して傷や微細なものを観察し易くするための撮像パラメータであり、値が大きいほどエッジ強調が強く適用される。またガンマ補正は、画像に含まれる画素毎の輝度のヒストグラムに対する調整であり、コントラストやグラデーションの強調に利用される。さらにオフセット調整も輝度のヒストグラムの調整であり、画像全体を明るく、又は暗くする際に利用される。また、ここでの設定条件に従って、新たな簡易撮像条件を生成して一覧表示機能を再度実行させることもできる。また図１６の画面から、一覧表示画像１３６の下部に設けられた「ＨＤＲのパラメータ調整を行う」ボタンを押下することで、ＨＤＲ画像を生成するための詳細な合成パラメータの設定画面に移行する。
（画像合成手段８５）

またこの拡大観察装置は、合成画像生成手段８５で合成画像を取得する合成画像撮影モードとして、ダイナミックレンジ拡大用途に適したダイナミックレンジ拡大撮影モードと、輝度分解能を向上し、コントラストを強調した分解能向上撮影モードを備える。ダイナミックレンジ拡大撮影モードでは、原画像よりも広いダイナミックレンジを持つ合成画像を生成する。一方、分解能向上撮影モードでは、撮像素子のダイナミックレンジよりも狭いダイナミックレンジで、輝度分解能を原画像よりも向上させた合成画像を生成する。
（ＨＤＲ画像）

ダイナミックレンジ拡大撮影モードではいわゆるＨＤＲＩを撮像する。ＨＤＲＩ（High Dynamic Range Image：以下「ＨＤＲ画像」という。）は、従来の画像よりダイナミックレンジ、すなわち最小光量と最大光量の比が格段に高い画像である。例えば標準的なコンピュータのモニタでは、標準色表現として８ビット〜２４ビットのカラーが採用されており、２５６〜１６７７万階調で表現できるが、現実にはより多くの色が存在しており、人の目は瞳孔の大きさを変えることで適正と思われる基準の明るさに調整して見ている。そこで、モニタの表現能力等を超えた、より多くの色情報を持たせたＨＤＲ画像が利用される。このようなＨＤＲ画像の取得には、同一の観察対象を同一位置で、異なる撮像条件（典型的には、撮像素子の露光時間）で撮像した複数の画像を合成する等、既知の手法が利用できる。例えば輝度領域のダイナミックレンジを変更して撮像した複数枚の低階調の画像を合成することで高階調のＨＤＲ画像とできる。一例として図１８Ａ、図１８Ｂに示すような露光時間の異なる低階調画像を合成して、図１８Ｃに示すような高階調のＨＤＲ画像を生成する。

また、上記のダイナミックレンジ拡大用撮影とは逆に、狭いダイナミックレンジで細かな模様が表示できるように分解能を向上させた撮影も可能となる。分解能向上撮影モードでは、元の画像よりも狭いダイナミックレンジにおいて、より細かく撮像条件を変化させた画像を合成して、輝度分解能を原画像よりも向上させた合成画像を得ることができる。なお、ここで得られる合成画像はダイナミックレンジを拡大していないので字義上ＨＤＲ画像でないが、ＨＤＲ画像と同様の高階調画像であり、本明細書では便宜上ＨＤＲ画像に含めて扱うこととする。また本明細書においてＨＤＲ画像とは、ダイナミックレンジが表示部で表示可能なダイナミックレンジよりも広い意味で使用しているが、それに限られず、撮像部の撮像素子で撮像可能なダイナミックレンジよりも広い画像、あるいは２４ビット以上、３２ビット以上といった特定のビット数を備える画像を意味するものとして取り扱うこともできる。
（深度合成画像）

さらにこの拡大観察装置は、合成画像生成手段８５で合成画像として、ＨＤＲ画像の他、深度合成画像も撮像できる。深度合成画像は、対象物Ｓの測定対象部分の高低差が被写界深度を超える場合、図１９Ａ〜図１９Ｄに示すように高さ方向を異ならせて個々に撮像した観察画像中から、ピントが合った部分だけを抜き出して合成した画像である。

また、合成画像生成手段８５で合成する他の合成画像として、三次元画像や画素ずらし機能による高解像度画像、超解像画像も利用できる。三次元画像は、深度合成画像を作成する際に、Ｚ軸移動機構（Ｚステージ）の座標情報と記憶しておき、画素毎の高さ情報を用いて立体的な画像を生成するものであり、図２０のような画像が得られる。さらに画素ずらし機能による高解像度画像は、図１２に示すようなベイヤー配列となる撮像素子において、１画素ずつずらして２行×２列の４つの位置を移動させて各位置で撮像した画像を組み合わせる。これにより、各画素においてＲＧＢのデータを取得することができ、ベイヤー補間をすることなく解像度の高い画像（図１３）が得られる。さらにサブピクセルの画素ずらしを併用することにより、画素間のデータを取得しつつＲＧＢ各データを取得して、さらに高解像の画像を得ることができる（図１４）。さらに超解像画像とは、画素ずらし撮影によって特定の波長成分だけを用いて輝度情報を得ることで、レンズ収差の影響や長波長成分の影響を無くした高解像度の画像を生成するものである。この超解像画像は、画素ずらし撮影等により複数枚の撮影を行い、確率分布モデルと点拡がり関数に基づき、レンズによるボケが発生する前の画像を推定する。

さらに画像合成手段８５を用いて、高分解能のカラー画像を取得することもできる。短波長の照明光で観察を行えば、分解能の高い画像が得られる。この性質を利用して、青色の照明光を用い、かつ画素ずらしを行うことによって、高分解能の単色画像を得ることができる。ただしこの画像には青色の情報しかなく、フルカラー画像ではない。そこで、別途白色の照明光を用いたフルカラー画像を取得し、画像合成手段８５で単色画像の輝度情報にフルカラー画像の色情報（色度、彩度）を重ね合わせることにより、分解能の高い合成カラー画像を得ることができる。すなわち、単板の撮像素子の内、波長の短い照明光を撮像可能な撮像素子、具体的には青色用の撮像素子を用いてモノクロの高解像度画像を撮像し、別途撮影したカラーの観察像と合成することで、高解像度のモノクロ観察像に色情報を加えて、カラーの高解像度観察像（輝度合成画像）を得ることができる。
（表示モード自動切替機能）

拡大観察装置において、このような合成画像を表示した後、さらに別の合成画像を撮像するために視野の移動や撮影条件の変更を行うことがある。このような場合、従来であれば一旦合成画像の静止画を表示する第一表示モードを中止して、表示部５２の表示を動画像（スルー画像又はライブ映像）を表示する第二表示モードに切り替えた上で、上述した視野探しや撮像条件の調整作業を行う必要がある。これは、第一表示モードのままでは、一枚の画像の生成に要する時間が長いため、表示部５２の表示内容が更新されるまでに時間がかかり、視野探しに不適なため、より短時間で描画の可能な、フレームレートの高い動画像に切り替える必要があるためである。そして、高フレームレートの第二表示モードで視野や撮像条件を調整して、撮像できる状態が整うと、今度は第一表示モードに切り替えて、再度合成画像の生成及び得られた合成画像の表示といった作業を行うこととなる。このように、従来は表示部における表示モードを静止画表示から動画表示に切り替える作業が一々必要であり、作業が煩雑という問題があった。

そこで本実施の形態では、静止画像を表示させた状態で、視野の移動や撮影条件の変更といった、画像を変更するための何らかの操作（画像変更操作）を検出すると、これを契機として自動的に表示部５２に表示される画面を、ライブ映像に切り換えて表示する表示モード自動切替機能を備えている。これにより、視野が移動している間や、撮影条件が安定するまでの間は、ライブ映像を表示部５２で表示させ続けることができる。そして視野の静止や撮影条件の安定を契機として、再度自動的に合成処理を実行し、合成画像を表示する。すなわち、視野の静止や撮影条件の決定を検出すると、表示モードを第一表示モードに自動的に切り替える。このような構成によって、ユーザは一々表示部の表示モードを静止画から動画に切り替える手間を省くことができ、使い勝手のよい操作環境が実現される。

例えば図２１Ａのような観察画像に対して、深度合成を実行した図２１Ｂのような深度合成画像が得られている状態を考える。このとき、表示部５２には第一表示モードの静止画が表示されている。この状態から、次の視野で深度合成画像を得るために、ユーザが視野移動手段（例えばＸＹ軸移動機構やＺ軸移動機構等）を操作して視野を移動させると、図２１Ｃに示すように表示部５２の表示は自動的に第二表示モードのライブ映像に切り替わる。そしてユーザが所望の視野を決定すると、自動的に第一表示モードに切り替わり、深度合成処理が実行されて図２１Ｄに示すような新たな深度合成画像が得られる。
（表示モード切替手段８９ｅ）

ここで、表示部５２における第二表示モードと第一表示モードとの切り替えは、表示モード切替手段８９ｅが行う。例えば第一表示モードから第二表示モードへの切り替えは、画像変更手段で画像変更操作が行われたことを契機として行われる。ここで画像変更手段は、表示部５２において第一表示モードで画像処理された第一表示モード画像を表示させた状態で、撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための手段である。例えば、視野や表示倍率、ワーキングディスタンス等を移動させる視野移動手段の操作を検出した段階で、あるいは画像の明るさやシャッタースピード等、画像調整手段の操作を検出した段階で、表示モード切替手段８９ｅが第一表示モードから第二表示モードへの切り替えを行う。

逆に、第二表示モードから第一表示モードへの切り替えは、画像変更手段による画像変更操作が終了した時点で行う。終了の判定は、例えば、視野移動手段による視野の移動が終了した後、直ちに、又は所定の時間経過後（例えば数秒程度）に行うことができる。

このように、撮像手段で取得される画像に対し、これら視野移動手段や画像調整手段を含めた画像変更手段で何らかの変更が加えられる画像変更操作を検出することで、表示モード切替手段８９ｅが第一表示モードから第二表示モードへの切り替えを自動的に実行する。

さらに、第二表示モードへの切り替えを、視野を移動させる間のみならず、撮影条件を変化させている間にも、第二表示モード画像を表示させてもよい。例えば、表示部５２に表示される画像の明るさを、ユーザが手動で適切な明るさに調整している間は、第二表示モード、すなわちライブ映像として、フレームレートを上げて画像を更新することにより、リアルタイムで調整された値に応じた画像に切り替わるため、調整が行い易くなる。そして調整作業の終了後には合成処理等の画像処理が自動的に実行されることによって、ストレスなく使用できる。

ここで撮影条件には、例えば露光時間（明るさ）、ゲイン（明るさ）、照明（光量と光の当て方）等の調整、あるいはエッジ強調やガンマ補正、画像フィルタ処理の適用といった各種画像処理が挙げられる。これらの設定項目の調整作業中や画像処理の実行中は、第二表示モードとしておき、ユーザの調整が終了した段階、すなわち入力が停止したとき、あるいは画像処理コマンドの実行が完了した段階で、これらの設定や画像処理を適用させた合成処理を画像処理部で実行する。
（表示モード切り替え動作）

表示モード切替手段８９ｅによる表示モードの切り替え動作の手順を、図２２のフローチャートに基づいて説明する。まずステップＳｄ１において、カメラ部に装着されている顕微鏡レンズ部の情報を取得する。レンズの情報は、レンズ種類、倍率等が挙げられる。この情報の取得は、自動認識またはユーザからの入力のいずれかで行える。自動認識の場合は、顕微鏡レンズ部側で保持しているレンズ識別情報を、本体部がカメラ部を通じて読み取ることで取得できる。ユーザ入力の場合は、ユーザが装着しているカメラ部の種別、あるいは属性などをコンソールあるいは拡大画像観察プログラム等から入力する。

次にステップＳｄ２において、合成処理を実行すると共に、表示部５２の表示モードを第一表示モードとする。ここでは、合成処理として合成画像の生成と表示を実行している。具体的には、ステップＳｄ１で得た顕微鏡レンズ部の情報に基づいて、制御手段がレンズの移動量や移動速度を決定し、レンズを動作させてピント位置を変更しながら画像を複数枚取得して、画像合成手段が合成処理を実行する。また表示部５２の表示モードは表示モード切替手段８９ｅによって自動的に第一表示モードとなり、静止画である合成画像を第一表示モード画像として表示させる。

さらにステップＳｄ３に進み、画像を変更させる何らかの画像変更操作があったかどうかを判定する。ここでは、画像変更手段、例えば、ＸＹ軸移動機構やＺ軸移動機構等の視野移動手段による視野の移動操作があるか否かを判定する。画像変更操作が無い場合は、ステップＳｄ３に戻って処理を繰り返す。一方、画像変更操作があった場合は、ステップＳｄ４に進み、入力された画像変更操作を実行すると共に、表示モード切替手段８９ｅが表示モードを第一表示モードから第二表示モードに切り替える。例えば、載置部の移動である場合は、静止画表示からライブ映像に切り替えられ、移動する視野をユーザは動画像で確認でき、画像の変化をリアルタイムで追うことができる。さらにステップＳｄ５において、画像変更操作の実行が完了したか否かを判定する。ここでは、載置部の移動が完了したかどうかを判定し、未だの場合はステップＳｄ５に戻って完了待ち状態となる。そして画像変更操作の実行が完了すると、ステップＳｄ１に戻って上記のループを繰り返す。なお、顕微鏡レンズ部の変更が無い場合は、ステップＳｄ１を飛ばしてステップＳｄ２に進んでもよい。このようにして、表示モードは画像変更操作を検出すると第二表示モードに、画像変更操作が終了すると第一表示モードに、自動的に切り替わることで、ユーザは表示部５２の表示内容を切り替えることなく、適切な表示内容にて操作や観察を行うことが可能となり、使い勝手が向上する。

なお、ステップＳｄ２の合成処理に際しては、Ｚ方向への移動は上ステージ昇降器で顕微鏡レンズ部を移動させることに限られず、下ステージ昇降器でもって載置部を移動させてもよい。また、顕微鏡レンズ部が備えるピント調整用のピントリングを変化させて焦点位置を変更することで、複数枚の画像を取得してもよい。また顕微鏡レンズ部の移動量や移動速度に関しては、例えばレンズの倍率が低い場合は移動量を大きく（合成範囲を広く）とり、移動速度を速くすることが行われる。また被写界深度が浅い場合は、移動量を小さくし、移動速度を遅くすることで、各画像において焦点の合う部位がＺ方向にうまく連なるよう、載置部を移動させることが可能となる。
（画像変更操作の検出）

第一表示モードから、ライブ映像等の第二表示モードに切り替えるための画像変更操作の検出には、例えばＺ軸移動機構やＸＹ軸移動機構等の視野移動手段が電動式の場合は、これらの移動命令を制御部が発行するタイミングで、表示部５２の表示モードを切り替える。また、第二表示モードから第一表示モードへの切り替えは、例えば上述した視野移動手段の停止命令の発行や、移動完了通知を表示モード切替手段８９ｅで検出することで、自動的に深度合成等の画像処理を実行すると共に、表示モードの切り替えを行う。あるいは、載置部の移動を検出するセンサを載置部に設け、センサが移動を検知している間のみ、第二表示モードとすることもできる。センサは、ＸＹＺ方向やθ方向の移動を検出することで、載置部がどの方向に移動しても表示モードの切り替えを実行できる。

さらに、このような画像変更操作の開始、終了の判定に、画像の変化を用いることもできる。例えば、画像処理部が画像処理でもって画像の変化度合いを調べ、画像の変化度合いが一定値を超えた場合には移動されたとみなす。逆に、変化度合いが一定値より小さくなったら停止と判定する。画像の変化度合いを判定するパラメータとしては、例えばフレーム間での輝度変化量や特徴点の移動量を用いる。この方法であれば、画像変更手段に関する部材が電動である必要は無く、手動でも対応できる。例えばＸＹ軸移動機構であるＸＹステージにモータやセンサを組み込む必要がないため、製造コストを削減して構成を簡素化できる利点が得られる。

また視野移動操作も、上述したＸＹ軸移動機構によるＸＹ方向への視野の移動のみならず、回転移動機構によるθ方向への回転移動、Ｚ軸移動機構によるＺ方向への移動やフォーカス位置の調整、視野の拡大縮小や倍率の調整、例えば対物レンズの切り替え等も含む。また、ヘッド傾斜機構４４によるヘッド部４の傾斜も、このような視野移動操作に含まれる。例えば図１０に示す拡大観察装置において、角度センサを設けてヘッド傾斜機構４４による傾斜操作を検出すると、傾斜動作中は第二表示モード（ライブ画像）、傾斜完了後は第一表示モード（静止画）の表示に切り替えると共に、合成画像の生成処理を実行できる。

また、合成画像生成手段８５で合成する合成画像は、上述の通り深度合成画像の他、ＨＤＲ画像や高さ情報を有する三次元画像、画素ずらし機能による高解像度画像、超解像画像等とできる。このような合成画像を生成する画像合成処理に際しては、複数枚の画像を撮像して、これらを処理する必要がある。このため合成画像の生成には一定時間を要するため、リアルタイムでの表示が困難となり、一般的には合成画像は静止画で表示するか、あるいはフレームレートを極端に遅くして表示することとなる。しかしながら、このようなフレームレートの遅い第一表示モードで、観察の目的となる部位を探すのは効率が悪い。そこで、視野探し時には、すなわち画像変更操作が行われている際には、軽負荷で表示が可能であり、よってフレームレートも向上できる第二表示モードでもって表示させ、視野の決定後に上述の通り第一表示モードに切り替えるよう構成する。

ただ、本発明は第二表示モードを必ずしもライブ映像に限定するものでなく、例えば合成処理を簡素化して、通常の合成処理よりも短時間で生成可能な簡易合成画像を作成し、ある程度のフレームレートでもって更新可能とした簡易合成画像の更新表示としてもよい。例えば視野の移動中、または撮影条件変更中に、第二表示モードに切り替えるものの、ここではライブ映像とせずに、第二表示モードで画像合成処理を行いつつ、ただしこの合成処理自体を簡易化して簡易合成画像を合成することでフレームレートを通常の合成画像よりも高速化でき、目的部位への移動を容易にすることができる。このような簡易合成画像を表示させる第一表示モードで実行される簡易画像処理としては、撮影枚数を減らした画像処理が利用できる。例えば簡易深度合成画像の場合は、元となる各画像間の撮影ピッチを広く設定して、一枚の簡易深度合成画像の合成に必要な撮影枚数を低減する。またＨＤＲ画像の場合は、元画像間の露光時間の差を大きくとることで、同じく撮影枚数を減らすことができる。このように画像合成に必要な画像の撮影枚数を減らすことにより、フレームレートの低下を抑制して、目的部位を探し易くすることができる。この方法によって撮影枚数を減らすことで、簡易合成画像の品質は若干劣化するものの、目的部位を探す用途には十分利用でき、寧ろ簡易合成画像の画質よりも、フレームレートの向上を優先した方が効率的な作業が行える。

同様に、第一表示モードは必ずしも静止画に限定するものでなく、遅いフレームレートとした合成画像とすることも可能である。特に、頻繁に視野を変更しないような観察用途や残像の影響が大きくとも問題にならないような用途においては、このような観察も利用できる。このように、本発明は第一表示モードを画像処理した静止画に、第二表示モードをライブ映像に限定するものでなく、第二表示モードのフレームレートを第一表示モードのフレームレートよりも速くすれば足り、画像の変更操作と画像処理とのバランスに応じて各表示モードにおけるフレームレートや処理の内容を、観察用途などに応じて適宜調整することができる。

また以上の例では、画像合成手段で合成画像を生成する画像処理を第一表示モードとして説明したが、第一表示モードは合成画像の生成に限らず、他の画像処理としてもよい。例えばオートフォーカスやエッジ強調、得られた画像データの保存処理や画像に対する計測処理等が挙げられる。
（計測処理）

計測処理は、例えば予め撮影画像に対して計測位置を指定し、計測位置を含む部分画像と、計測位置の部分画像に対する相対位置を保存したティーチングデータを作成し、新規撮像画像からティーチングデータと一致する部位の姿勢／位置を特定し、ティーチングデータに記録されている計測を実施する。例えば図２３Ａに示すような計測位置を含む部分画像をティーチングデータで予め取得する際は、第一表示モードとする。そして視野移動中は第二表示モード（図２３Ｂのライブ映像）に切り替え、移動後にパターンマッチングを行い、計測処理を自動的に行う際は図２３Ｃに示すように第二表示モードに切り替える。このように、視野の移動中は自動計測処理を止め、視野の決定後に自動計測を行うことで、ユーザは毎回自動計測のＯＮ／ＯＦＦ操作をすることなく、視野移動の操作のみで計測が行えるため、操作性に優れた環境が実現される。

このように本実施の形態に係る拡大観察装置によれば、一度焦点深度の深い合成画像を生成して表示した後、視野の移動が検出されたことを契機として、表示部５２の表示内容を自動的にライブ映像に切り換えて表示する。これにより、ライブ映像を見ながらユーザは目的の部位を探し、視野を確定する。その後、視野の移動完了を検知したことを契機に自動的に深度合成処理を実行し、深度合成画像を表示する。これにより、ユーザはフレームレートの速いライブ映像を見て目的の部位を探すことができ、目的の部位を確定した後は、自動的に深度の深い画像を観察することができるため、合成モードをＯＮ／ＯＦＦしたりする手間が省け効率的に観察できる。

本発明の拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体は、顕微鏡や反射、透過型等のデジタルマイクロスコープ、デジタルカメラ等に好適に利用できる。また、本技術を蛍光顕微鏡に適用する場合、照明光に対する観察対象物からの反射光若しくは透過光は、励起光として読み替えることができる。

１００、２００、４００、５００…拡大観察装置
１…撮像系
２…制御系
３…ケーブル部；３ｂ…光学的ケーブル
４…ヘッド部
１０…カメラ部
１１…撮像光学系
１２…撮像素子；１３…撮像素子制御回路；１４…光路シフト手段
１６…上ステージ昇降器
２０…顕微鏡レンズ部；２１…レンズ本体
２２…マウント部；２４…レンズ側ケーブル
２５…対物レンズ部；２５Ａ…第一対物レンズ；２５Ｂ…第二対物レンズ
２６…対物レンズ切替手段
２８…偏光ビームスプリッタ
２９…照明接続部；２９ｂ…接続コネクタ
３０…載置部
３２…スライダ
３４…中間連結部
３５…下ステージ昇降器
３６…モータ制御回路
３７…ステッピングモータ
４０…支持台
４１…ベース；４１ａ…ブロック；４１ｂ…軸受部；４１ｃ…ガイド部
４２…ステージ固定機構
４３…カメラ取り付け部
４４…ヘッド傾斜機構
４５…揺動軸
４６…揺動部
４７…揺動支柱
４８…ヘッド固定部
４９…ヘッド用アーム
５０…本体部；５１…制御部；５２…表示部
５３…記憶部；５４…インターフェイス；５５…操作部
６０…照明部
６１…照明切替部
６２…同軸落射照明部
６３…リング照明部
６４…透過照明部
６５…照明光源；６５ｒ、６５ｇ、６５ｂ…ＬＥＤ
６５Ｂ…透過照明光源；６５Ｃ…リング照明用照明光源
６６…照明光制御部
８１…光路シフト制御手段
８２…画像選択手段
８３…撮像条件設定部
８４…自動合成手段
８５…画像合成手段
８６…波長選択手段
８７…照明光選択手段
８８…撮像素子選択手段
８９ａ…倍率調整手段；８９ｂ…表示位置変更手段；８９ｃ…簡易撮像条件生成部
８９ｄ…連動調整手段；８９ｅ…表示モード切替手段
９０…位相遅延素子
１１０…照明切替画面
１１１…表示領域
１１２…操作領域
１１３…「明るさ・照明」リボン
１１４…「照明」タブ
１１５…「落射照明」設定欄
１１６…「透過照明」設定欄
１１７…「ＯＮ」ボタン
１１８…「リング照明」ボタン
１１９…「リング片射」ボタン
１２０…「ＯＮ」ボタン
１２１…スライダ
１２２…明るさ設定画面
１２４…ホワイトバランス設定画面
１３０…一覧表示画面
１３１…「画質改善」リボン
１３２…「最適画像選択」タブ
１３３…「最適画像を実行」ボタン
１３４…一覧表示領域
１３６…一覧表示画像
１３８…「画像設定」タブ
１４０…画像設定画面
Ｓ…観察対象物
ＡＸ…光軸

Claims (15)

1. 撮像対象に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、撮像対象の画像を撮像可能な拡大観察装置であって、
   観察の対象物を載置するための載置部と、
   観察対象に照明光を照射するための照明手段と、
   前記照明手段で照射された照明光の反射光又は透過光を受光する撮像手段と、
   前記載置部と撮像手段との相対距離を調整可能なＺ軸移動機構と、
   前記載置部と撮像手段との相対位置を変化可能なＸＹ軸移動機構と、
   前記撮像手段で画像を撮像する際の撮像条件を設定するための撮像条件設定部と、
   前記Ｚ軸移動機構によって異なる相対距離で複数枚撮像された画像を合成した深度合成画像及び３Ｄ合成画像の少なくとも一方の合成画像を生成するための画像合成手段と、
   第一表示モードにおいて第一表示モード画像として前記合成画像を表示し、第二表示モードにおいて該第一表示モード画像の画像処理よりも処理負荷の軽い画像処理がされた第二表示モード画像のいずれかを動画表示するための表示部と、
   前記撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための画像変更手段と、
   前記表示部における表示モードが第一表示モードである状態で、前記画像変更手段で画像変更操作が行われたことを契機として、前記表示部における表示を、第一表示モードから、第二表示モードに自動的に切り替え、前記表示部における表示モードが第二表示モードである状態で、画像変更操作の実行が完了したかを判断し、前記画像変更操作の実行が完了したと判断すると、前記画像合成手段により前記合成画像を合成して、前記表示部における表示を、第二表示モードから、前記合成した合成画像を表示する第一表示モードに自動的に切り替える表示モード切替手段と
   を備えることを特徴とする拡大観察装置。
2. 請求項１に記載の拡大観察装置であって、
   前記表示部で表示される第二表示モード画像が、前記撮像手段で取得された画像又は前記合成画像よりも処理負荷の軽い画像処理がされた画像であることを特徴とする拡大観察装置。
3. 請求項１又は２に記載の拡大観察装置であって、
   前記第一表示モードが、第一フレームレートでの動画像の表示であり、前記第二表示モードが、前記第一フレームレートよりもフレームレートの高い第二フレームレートでの動画像の表示であることを特徴とする拡大観察装置。
4. 請求項１〜３のいずれか一に記載の拡大観察装置であって、
   前記第一表示モードが、静止画像の表示であることを特徴とする拡大観察装置。
5. 請求項１〜４のいずれか一に記載の拡大観察装置であって、
   前記画像変更操作が、前記載置部と前記撮像手段との相対的な移動又は回転、前記撮像手段の傾斜、前記撮像条件設定部による撮像条件の変更、又は前記画像合成手段で行う画像合成の条件の変更の少なくともいずれかであることを特徴とする拡大観察装置。
6. 請求項１〜５のいずれか一に記載の拡大観察装置であって、
   前記画像変更操作が、前記撮像手段のシャッタースピード又は露光時間の調整、ゲインの調整、エッジ強調の有無、ホワイトバランスの変更、画像のサイズ、前記照明手段からの照明光の種類の選択の少なくともいずれかであることを特徴とする拡大観察装置。
7. 請求項１〜６のいずれか一に記載の拡大観察装置であって、さらに、
   前記表示部に表示される画像の表示倍率を拡大又は縮小するための倍率調整手段を備えており、
   前記画像変更操作が、前記倍率調整手段による倍率の変更動作を含むことを特徴とする拡大観察装置。
8. 請求項１〜７のいずれか一に記載の拡大観察装置であって、
   前記Ｚ軸移動機構又はＸＹ軸移動機構による視野の移動を検出すると、前記表示モード切替手段が、前記表示部における表示モードを第一表示モードから、第二表示モードに自動的に切り替えてなることを特徴とする拡大観察装置。
9. 請求項８のいずれか一に記載の拡大観察装置であって、
   前記画像変更操作が、前記Ｚ軸移動機構又はＸＹ軸移動機構による移動動作を含むことを特徴とする拡大観察装置。
10. 請求項１〜９のいずれか一に記載の拡大観察装置であって、
    前記第二表示モードが、スルー画像、簡易合成画像のいずれかであることを特徴とする拡大観察装置。
11. 請求項１〜１０のいずれか一に記載の拡大観察装置であって、さらに、
    前記撮像手段と光軸を一致させて光学的に結合可能な、第一の倍率を有する第一対物レンズ部と、
    前記撮像手段と光軸を一致させて光学的に結合可能な、第一の倍率よりも高倍率の第二対物レンズ部と、
    前記第一対物レンズ部と第二対物レンズ部のいずれかを、前記撮像手段の光軸と一致させた位置に切り替えるための対物レンズ切替手段と
    を備えており、
    前記画像変更操作が、前記対物レンズの切り替え動作を含むことを特徴とする拡大観察装置。
12. 請求項１〜１１のいずれか一に記載の拡大観察装置であって、さらに、
    前記撮像手段を前記載置部に対して垂直面内で傾斜させることが可能なヘッド傾斜機構を備えており、
    前記画像変更操作が、前記ヘッド傾斜機構による前記撮像手段の傾斜動作を含むことを特徴とする拡大観察装置。
13. 撮像対象に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、撮像対象の画像を表示させる拡大画像観察方法であって、
    載置部に載置された観察対象に対し、照明光又は透過光を照射させて、撮像手段で画像を、載置部と撮像手段との相対距離を調整可能なＺ軸移動機構によって異なる相対距離として複数枚撮像し、該複数枚の画像を画像合成手段で合成して深度合成画像及び３Ｄ合成画像の少なくとも一方の合成画像を生成し、第一表示モード画像として表示部に表示させる工程と、
    前記表示部で第一表示モード画像を表示させた状態で、前記撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための画像変更手段で画像変更操作が行われたことを検出する工程と、
    前記表示部における表示モードが第一表示モードである状態で、前記画像変更手段で画像変更操作が検出されたことを契機として、前記表示部における表示を、第一表示モード画像から、該第一表示モード画像よりも処理負荷の軽い第二表示モード画像の表示に自動的に切り替える工程と、
    前記表示部における表示モードが第二表示モードである状態で、前記画像変更操作の実行が完了したかを判断し、前記画像変更操作の実行が完了したと判断すると、前記画像合成手段が合成画像を合成して、前記表示部における表示を、第二表示モードから、前記合成画像を表示する第一表示モードに自動的に切り替える工程と
    を含むことを特徴とする拡大画像観察方法。
14. 撮像対象に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、撮像対象の画像を表示させる拡大画像観察プログラムであって、
    載置部に載置された観察対象に対し、照明光又は透過光を照射させて、撮像手段で画像を、載置部と撮像手段との相対距離を調整可能なＺ軸移動機構によって異なる相対距離として複数枚撮像し、該複数枚の画像を画像合成手段で合成して深度合成画像及び３Ｄ合成画像の少なくとも一方の合成画像を生成し、第一表示モード画像として表示部に表示させる機能と、
    前記撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための画像変更手段で画像変更操作が行われたことを検出する機能と、
    前記表示部における表示モードが第一表示モードである状態で、前記画像変更手段で画像変更操作が検出されたことを契機として、前記表示部における表示を、第一表示モード画像から、該第一表示モード画像よりも処理負荷の軽い第二表示モード画像の表示に自動的に切り替える機能と、
    前記表示部における表示モードが第二表示モードである状態で、前記画像変更操作の実行が完了したかを判断し、前記画像変更操作の実行が完了したと判断すると、前記画像合成手段が合成画像を合成して、前記表示部における表示を、第二表示モードから、前記合成画像を表示する第一表示モードに自動的に切り替える機能と
    をコンピュータに実現させることを特徴とする拡大画像観察プログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体又は記録した機器。