JP5059637B2 - 顕微鏡用撮像装置 - Google Patents

顕微鏡用撮像装置 Download PDF

Info

Publication number
JP5059637B2
JP5059637B2 JP2008008976A JP2008008976A JP5059637B2 JP 5059637 B2 JP5059637 B2 JP 5059637B2 JP 2008008976 A JP2008008976 A JP 2008008976A JP 2008008976 A JP2008008976 A JP 2008008976A JP 5059637 B2 JP5059637 B2 JP 5059637B2
Authority
JP
Japan
Prior art keywords
image
magnification
objective lens
microscope
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008008976A
Other languages
English (en)
Other versions
JP2009169236A (ja
Inventor
浩徳 岸田
実成 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008008976A priority Critical patent/JP5059637B2/ja
Priority to US12/354,032 priority patent/US20090185034A1/en
Priority to EP09000586A priority patent/EP2081072A1/en
Publication of JP2009169236A publication Critical patent/JP2009169236A/ja
Application granted granted Critical
Publication of JP5059637B2 publication Critical patent/JP5059637B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、顕微鏡技術に関し、特に、顕微鏡により得られる標本の観察像を撮像して標本画像を取得する技術に関する。
従来、顕微鏡に撮像装置を組み付けて、顕微鏡により得られる標本の観察像を静止画若しくは動画として撮影し、取得した標本画像を観察する技術が用いられている。このような顕微鏡を用いて標本観察をする場合、観察できる範囲(視野)は、主として対物レンズの倍率によって決定される。低倍率の対物レンズを使用すると広範囲を観察することができるが解像度は低くなり、低倍率の対物レンズを使用すると、観察範囲が狭くなるものの、高精細な標本画像を取得できる。ユーザは、このことを利用し、標本に応じて対物レンズの倍率を適時切り替えながら観察を行っている。
このような顕微鏡用撮像装置の技術に関し、例えば特許文献1には、対物レンズを取り付けるレボルバをモータ等の駆動ユニットで駆動できる構成を設け、これを専用コントローラ若しくはパーソナルコンピュータ(以下、「PC」と称する)から制御するようにして、ユーザの作業負荷を軽減させる技術が開示されている。
また、多くの撮像装置には、標本を撮像するための適正な露出(明るさ)条件を自動で調整する自動露出(AE)補正機能が搭載されている。上記特許文献1には、対物レンズ切替時に撮像装置の自動露出補正機能を停止させて撮像画面を保持することで、対物レンズ切替時の観察視野の暗黒状態の発生とそれに起因する露出時間の飽和とを防止して、ユーザの操作性を更に向上させるという技術も開示されている。
ところで、顕微鏡観察においては、生細胞の構造の検出や、分子の局在や移動の検出をするために、蛍光観察が行われている。これは、特定の波長の励起光を標本に照射したときに標本が発する蛍光を観察するという観察手法である。蛍光観察においては、標本に励起光を当て続けると、標本がダメージを受けるために、蛍光の強さが徐々に弱くなっていく。従って、標本へのダメージを極力防ぐためにも、迅速な観察、撮影が必要とされている。
蛍光観察に適した顕微鏡用撮像装置の技術に関し、例えば特許文献2には、観察部位毎に事前に撮影し保存しておいた画像を用いて次回撮影時の露出時間を算出しておくことで、適正露出に至るまでの時間を短縮するという技術が開示されている。
特開2001−292369号公報 特開2006−317406号公報
対物レンズ等は、それぞれ倍率や種類の違いにより入射光量が異なっている。しかしながら、上掲した特許文献1で開示の技術においては、対物レンズの切替時に対物レンズの種類に依らず常に露出値を保持する。このため、とりわけ倍率が大きく異なる対物レンズに切り替えたような場合には、切替直後の露出時間と適切な露出時間との差が大きくなるため、露出時間が適正値にまで収束する時間が長くなってしまうことがある。
また、上掲した特許文献2で開示の技術においても、対物レンズを変更した場合の光量変化については考慮されていない。また、観察部位が高倍率且つ広範囲に亘るときには、部位毎の事前撮影のために要する時間が長大なものとなってしまうことがある。
本発明は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、対物レンズの切替時における露出制御の収束時間を短縮化して操作性を向上させることである。
本発明の態様のひとつである顕微鏡用撮像装置は、顕微鏡により得られる標本の観察像を撮像して標本画像を取得する撮像手段と、前記顕微鏡の観察光路中に挿入される対物レンズの設置状態を制御する制御手段と、前記制御手段による前記設置状態の制御内容を、前記対物レンズの設置状態を示す設置状態情報として取得する設置状態情報取得手段と、前記撮像手段が取得した第一の倍率の標本画像より得られる輝度値に関する情報と、前記第一の倍率の標本画像における、前記第一の倍率よりも高倍率である第二の倍率の標本画像の視野に相当する範囲内の部分画像の輝度値に関する情報と、を含む標本画像情報、並びに、前記第一の倍率の標本画像を該撮像手段が取得したときに前記顕微鏡の観察光路中に挿入されていた対物レンズの倍率及び開口数の情報と、前記第二の倍率の標本画像を前記撮像手段が取得するときに前記顕微鏡の観察光路中に挿入される対物レンズの倍率及び開口数の情報と、を含む設置状態情報に基づいて、前記第一の倍率の標本画像を取得したときに前記撮像手段に設定されていた露出条件を、前記第二の倍率の標本画像を取得するときの露出条件に変更する設定を行う露出条件設定手段と、を有するというものである。
また、前述した顕微鏡用撮像装置において、該標本画像情報は、該標本画像を構成する画素のうち輝度値が所定の閾値以上のものの平均を示す情報であるように構成することができる。
なお、このとき、該標本画像を構成する画素の輝度値毎の度数を示したヒストグラムにおいて形成される極小点のうち輝度値が最低であるものの該輝度値を、該所定の閾値とするように構成することができる。
また、このとき、該第一の倍率の標本画像を構成する画素のうち輝度値が該所定の閾値未満のものの個数が所定値以上の場合に、所定の警告を行う警告手段を更に有するように構成することができる。
なお、このとき、該所定の警告は、文字情報の表示、所定の色彩若しくは輝度による図形の表示、所定の音の発生、及び所定の振動の発生のうちのいずれか1つ、若しくはこれらのうちの2つ以上の組み合わせであるように構成することができる。
本発明によれば、以上のようにすることにより、対物レンズの切替時における露出制御の収束時間が短縮化されて操作性が向上するという効果を奏する。
以下、本発明の実施の形態を図面に基づいて説明する。
まず、図1から図5の各図について説明する。
図1は、本発明を実施する顕微鏡用撮像装置を含む顕微鏡画像撮像システムの構成を示している。同図において、撮像装置100、入力装置105、PC106、表示部107、及び制御部108により顕微鏡用撮像装置が構成されている。
顕微鏡101は、ステージ上に載置した標本を透過明視野観察や蛍光観察等の各種検鏡法により観察することが可能である。図2は顕微鏡101の概略構成を示しており、図3は、落射蛍光観察可能な顕微鏡101の光学系の概略構成を表している。
顕微鏡101は、アダプタ605等を介して撮像部102と接続されており、更に、各部位が制御部108と接続されている。
顕微鏡101は、光源部602及び609、ND(Neutral Density)フィルタ703及び719、視野絞り704及び718、開口絞り705及び714、透過光シャッタ717、反射鏡716、フィールドレンズ715、コンデンサレンズ713、投光管601、シャッタ712、レボルバ607、ステージ604、フォーカスハンドル610、並びに結像レンズユニット711を備えて構成されている。ここで、光源部602及び609は、それぞれ光源701及び721とコレクタレンズ702及び720とを有している。また、投光管601には、複数のキューブを格納するキューブユニット706が備えられていると共に、NDフィルタ703、視野絞り704、及び開口絞り705が設けられている。更に、レボルバ607は、複数の倍率の対物レンズ608を保持している。
なお、図2及び図3には、観察対象である標本403がステージ604上に載置されており、複数種類のキューブを着脱可能なキューブユニット706には、明視野観察用キューブ707と蛍光観察用キューブ722とが格納されている様子を示している。ここで、蛍光観察用キューブ722には、励起フィルタ708、ダイクロイックミラー709、及び吸収フィルタ710が設けられている。
透過照明用の光源部609内の光源721の発する光はコレクタレンズ720を通過した後、NDフィルタ719、視野絞り718、及び透過光シャッタ717を通り反射鏡716に到達する。反射鏡716で反射した光は、フィールドレンズ715、開口絞り714、及びコンデンサレンズ713を通過して標本403に照射される。標本403を通過した光はレボルバ607に取り付けられている対物レンズ608に入射した後、シャッタ712と、キューブユニット706内部の明視野観察用キューブ707とを通過し、結像レンズユニット711を経て、撮像部102に入射される。
一方、蛍光観察時には、落射照明用の光源602内の光源701の発する光はコレクタレンズ702を通って投光管601に入射され、その入射光は、投光管601内のNDフィルタ703、視野絞り704、及び開口絞り705を通りキューブユニット706内部の蛍光観察用キューブ722に到達する。蛍光観察用キューブ722に到達した光源701からの光は、蛍光観察用キューブ722内部の励起フィルタ708によって特定の波長が選択的に透過された後、内部のダイクロイックミラー709で反射され、シャッタ712及び対物レンズ608を通り、ステージ604上の標本403に照射される。このとき標本403が発する蛍光は、再び対物レンズ608及びシャッタ712を通った後に、蛍光観察用キューブ722内部のダイクロイックミラー709と吸収フィルタ710とを通過し、結像レンズユニット711を経て撮像部102に入射される。
レボルバ607は制御部108と接続されている。レボルバ607は、制御部108からの電気信号に応じて駆動される不図示のモータにより、光路中に挿入する対物レンズ608の種類を制御部108からの指示に従って切り替えることができる。
図1の説明に戻る。制御部108は、PC106と顕微鏡101とに接続されている。制御部108は、PC106からの指示に応じて顕微鏡101の各部を制御すると共に、顕微鏡101の各部に取り付けられている不図示のセンサやエンコーダの出力信号から各部の状態を検出し、その情報をPC106に送信する。
撮像装置100は、撮像部102、画像処理部103、I/F部104、及びCPU109を備えている。ここで、CPU109は、I/F部104と接続されており、制御バス110を介して撮像部102及び画像処理部103とも接続されている。
撮像部102には、顕微鏡101からの光が観察像として入射する。撮像部102は、顕微鏡101により得られる標本403の観察像(標本像)を撮像して、標本403が表されている標本画像を取得する。
図4は撮像部102の構成を示している。
撮像部102に入射した標本像はベイヤ方式の色フィルタ配列を有する固体撮像素子202の受光面に結像される。撮像素子駆動部205は、固体撮像素子202及び制御バス110に接続されており、CPU109から設定された条件の下で固体撮像素子202の駆動信号を生成して固体撮像素子202に出力する。固体撮像素子202は、この駆動信号に応じて標本像を光電変換し、撮像素子駆動部205から入力される水平同期信号及び垂直同期信号に従って信号電荷を読み出して、アナログ信号として出力する。
固体撮像素子202から出力されたアナログ信号は、CDS/AGC回路203において相関二重サンプ二リング(CDS)処理と自動利得制御(AGC)処理とが施されて波形整形された後に、A/D変換器204によってディジタル信号のベイヤデータである画像データに変換されて、フレーム周期やライン周期のタイミングを示す同期信号と共に、画像処理部103へと出力される。
画像処理部103は、制御バス110を介して接続されているCPU109からの指示に応じ、撮像部102から送られてきた画像データに対し各種の画像処理を施す。
図5は画像処理部103の構成を示している。
撮像部102から入力される画像データは、まずRGB変換部301を通じてベイヤデータからRGBデータに変換されて露出評価部302に出力される。
露出評価部302は、この画像データの平均輝度値を算出し、CPU109にその算出結果を送信する。
CPU109は、受信した平均輝度値データを、I/F部104を介してPC106に送信する。PC106は受信した平均輝度値が、予め設定されている基準の数値範囲に収まっているかを判断し、収まっていない場合には、CPU109を介して撮像部102の撮像素子駆動部205に指示し、露出時間を変更させる。
露出評価部302に入力された画像データは、そのままホワイトバランス補正部303にも入力される。ホワイトバランス補正部303は、RGBデータである画像データの各色データに対しCPU109から設定された係数を乗ずることによってホワイトバランスの補正を行い、当該補正後の画像データを階調補正部304に出力する。
階調補正部304に入力された画像データは、不図示のルックアップテーブル(LUT)を参照することで階調補正を行い、当該補正後の画像データを輪郭強調部305に出力する。
輪郭強調部305は、バンドパスフィルタを有しており、このフィルタによって入力画像データの高周波成分を抽出する。そして、抽出された高周波成分を入力画像データに加算することで、入力画像データで表されている標本画像の輪郭を強調した画像データを得る。輪郭強調された画像データはI/F部104に出力される。
I/F(インタフェース)部104は、PC106、画像処理部103、及びCPU109と接続されている。I/F部104は、データ形式の変換を行ってPC106とCPU109との間でのデータの授受を管理する。また、I/F部104は、内部にバッファメモリを有しており、画像処理部103から入力される撮像画像データを一時保存し、PC106との間でのタイミング調整を図りながら画像データをPC106に送信する。
PC106は、撮像装置100、表示部107、入力装置105、制御部108が接続されている。PC106は、CPU109及び制御部108とデータの授受を行う。従って、PC106は、制御部108から送られてくる、顕微鏡101の各部に取り付けられている不図示のセンサやエンコーダの出力信号から検出した各部の状態を示す情報を受信することにより、顕微鏡101の光路中に挿入されている各種光学部材の設置状態(例えば対物レンズ608、NDフィルタ703、明視野観察用キューブ707、蛍光観察用キューブ722、視野絞り704及び718、開口絞り705及び714の顕微鏡101の光路に対する挿抜の状態)を、設置状態情報として取得することができ、また、これらの光学部材の設置状態を制御することができる。なお、PC106は、顕微鏡101の各部を制御部108に制御させるための制御信号を、これより顕微鏡101の光路中に挿入する各種光学部材の設置状態情報として取得することもできる。
また、PC106は、内部に不図示の記憶装置を有しており、I/F部104経由で撮像装置100で受信した撮像画像や撮像条件の情報等を保存しておくことができる。
なお、PC106は、標準的な構成のもの、すなわち、制御プログラムの実行によって図1の顕微鏡画像撮像システム全体の動作制御を司るMPU、このMPUが必要に応じてワークメモリとして使用するメインメモリ、図1の顕微鏡画像撮像システムの各構成要素との間で各種データの授受を管理するインタフェースユニット、及び、各種のプログラムやデータを記憶しておく例えばハードディスク装置なとの記憶装置を有しているコンピュータ、を利用する。ここで、PC106の記憶装置には、本実施形態においてPC106が行う各種の制御処理をPC106に行わせるための制御プログラムが予め格納されており、この制御プログラムをPC106のMPUが記憶装置から読み出して実行することにより、PC106は、当該各種の制御処理を行うことができるようになる。
表示部107は、カラー液晶ディスプレイやCRT(Cathode Ray Tube)等のモニタであり、PC106からの入力信号に応じて、撮像画像やユーザが各種操作をPC106に指示するためのGUI(Graphical User Interface)、文字等を表示する。
入力装置105は、ボタンスイッチ、キーボードスイッチ、マウス装置等、ユーザがステージ604の位置や対物レンズ608の倍率、各種の撮像条件、撮像開始、撮像終了等の指示を与えるための入力デバイスであり、PC106に接続される。
図1に示した顕微鏡画像撮像システムは、以上のように構成されている。なお、CPU109では、本実施形態においてCPU109が行う各種の制御処理をCPU109に行わせるための制御プログラムが自身の内蔵する不図示のROMに予め格納されており、この制御プログラムを実行することで、CPU109は当該制御処理を行うことができるようになる。
以下、この顕微鏡画像撮像システムにおいて行われる、対物レンズ608の切替時における露出制御動作についての幾つかの実施例を説明する。なお、これらの実施例では、特に断らない限り、明視野観察により標本403を観察するものとする。
まず図6について説明する。図6は、図1の顕微鏡画像撮像システムにより行われる制御処理の第一の例の処理内容をフローチャートで示したものである。このフローチャートを参照しながら、対物レンズ608の切替時における露出制御動作を説明する。
図6の処理は、S501において、この顕微鏡画像撮像システムに対して電源を投入する操作をユーザ(操作者)が行うと開始される。
次に、S502では初期設定処理が行われる。
この初期設定処理では、PC106は、画像処理部103が使用する画像処理用パラメータのデフォルトデータを、I/F部104を介してCPU109へ送信する処理を行う。CPU109は、受け取ったパラメータを画像処理部103に設定する処理を行う。更に、PC106は、制御部108に指示を与えて、例えばレボルバ607を駆動させて行う原点位置出し等といった、顕微鏡101の各部を初期状態に設定させる初期化処理を行い、これに続いて、レボルバ607を駆動させて光軸上に最初の対物レンズ608をセットさせる処理も行う。なお、このときにセットされる対物レンズ608の倍率をM1とする。
ここで、ユーザは、ステージ604上に標本403を載置すると共に、透過照明用の光源721の電源を投入し、開口絞り714等の調整といった光学調整を行う。そして、この後に、ユーザは、入力装置105を操作して観察開始の指示をPC106に与える。
PC106は、この指示を受け取ると、制御部108と、I/F部104を介してCPU109とに所定の命令信号を送信する。
CPU109は、この命令信号を受信すると、撮像開始信号を各部に送信する。撮像素子駆動部205は、この撮像開始信号を受信すると、固体撮像素子202を駆動して、顕微鏡101からの入射光の光電変換を開始させる。
また、CPU109は、不図示である内蔵のタイマで露出時間の計時を行い、所定時間の計時により露光完了を検出する度に、固体撮像素子202に蓄積された電荷をアナログ信号として出力させる。このアナログ信号である撮像画像信号は、CDS/AGC回路203を経た後に、A/D変換器204によってディジタルデータである画像データに変換されて、画像処理部103に送られる。画像処理部103はこの画像データに対し所定の画像処理を施す。当該画像処理が施された画像データは、I/F104によるタイミング調整が行われた上でPC106へと転送される。PC106は、受信した画像データで表現されている標本画像を表示部107の画面上に順次表示させる処理を行う。
次に、S503では、標本403の観察動作を継続するか否かを判定する処理が行われる。PC106は、この処理において、入力装置105が操作されて観察終了の指示を受けていないか否かを判定する処理を行う。ここで、観察動作を継続すると判定したとき(判定結果がYesのとき)にはS504に処理を進め、観察動作を終了すると判定したとき(判定結果がNoのとき)にはS514に処理を進める。
次に、S504では、露出補正処理が行われる。この処理では、CPU109が、露出評価部302及びPC106との間でデータ送受信を行い、撮像部102から受信した画像データについて露出評価部302により算出された平均輝度値が、予め設定されている基準の数値範囲に収まるように、固体撮像素子202の露出時間の設定を変更する処理をCPU109が行う。そして、固体撮像素子202を駆動して、顕微鏡101からの入射光の光電変換を開始させると共に、不図示である内蔵のタイマで露出時間の計時を行う。ここで、設定変更後の露出時間の計時により露光完了を検出すると、固体撮像素子202に蓄積された電荷をアナログ信号として出力させ、このアナログ信号である撮像画像信号に対応する画像データを、画像処理部103による所定の画像処理を施した上で、I/F部104からPC106へと転送させる処理をCPU109が行う。
次に、S505では、PC106が、変更した露出時間での撮像により取得された画像データを、画像処理部103からI/F104を介して取り込み、この画像データで表現されている標本画像を表示部107の画面上に改めて表示させる処理を行う。
次に、S506では、入力装置105が操作されて対物レンズ608の切り替えの指示を受けたか否かを判定する処理をPC106が行う。
ここで、当該切替指示を受けていないと判定したとき(判定結果がNoのとき)にはS503へ処理を戻し、上述した処理が改めて行われる。すなわち、PC106は、撮像部102が撮影した画像データを連続的に取り込み、当該画像データで表現されている標本画像を表示部107の画面上に逐次表示させる。ここで、光源721からの光による標本403の像は光軸上の各光学部材を通過して撮像素子202上に結像されるので、表示部107の画面には標本画像が常に更新されつつ表示される。ここで、ユーザは、ケラレ等のないフォーカスの合った所望の観察状態の標本画像を得ることができるように、表示部107に表示される標本画像を参照しながら、NDフィルタ719、視野絞り718、開口絞り714、ステージ604、フォーカスハンドル610等を操作して調節する。
一方、S506の判定処理において、当該切替指示を受けたと判定したとき(判定結果がYesのとき)にはS507に処理を進める。
S507では、顕微鏡101の光路中に現在挿入されている倍率M1である対物レンズ608を、制御部108から取得した設置状態情報より特定し、この対物レンズ608についての特性情報と、ユーザが入力装置105を操作して行った倍率M2である対物レンズ608の切り替えの指示において特定されている当該切替後の対物レンズ608についての特性情報とを、この特性情報が予め格納されている自身の記憶装置から読み出す処理をPC106が行う。そして、続くS508において、露出時間の算出処理をPC106が行う。PC106は、この算出処理として、図7にフローチャートで示したサブルーチン処理を実行する。
図7のS801においてこのサブルーチン処理が開始されると、まず、S802において、PC106は、対物レンズ608の切り替えが、倍率の低いものから高いものへの切り替えであるか否か、すなわち、対物レンズ608の切替後に取得される標本画像の倍率M2が、当該切替前に取得した標本画像の倍率M1よりも高倍率であるか否かを判定する処理を行う。
ここで、対物レンズ608の切り替えが倍率の低いものから高いものへの切り替えであると判定したとき(判定結果がYesのとき)には、S803において、既に取得されている倍率M1の標本画像において、対物レンズ608の切替後に取得される倍率M2の標本画像の視野に相当する範囲内の部分画像に基づいて、倍率M2の標本画像を取得する際の露出時間の設定値を算出する処理をPC106が行う。
ここで図8について説明する。図8は、対物レンズ608の切替前後における標本画像の視野の関係を示している。
図8において、実線の枠で示されている標本画像視野401は、対物レンズ608の切替前における標本画像の視野を表しているものであり、破線の枠で示されている部分画像視野404は、対物レンズ608の切替後における標本画像の視野を表しているものである。なお、図8においては、対物レンズ608の切り替えは、倍率の低いものから高いものへの切り替えである。
ここで、対物レンズ608の切替前における標本画像の水平方向(X方向)及び垂直方向(Y方向)の画素数(すなわち標本画像視野401の画素数)を(X1,Y1)と表すこととする。このとき、この標本画像において、対物レンズ608の切替後における標本画像の視野に相当する範囲内の部分画像の水平方向及び垂直方向の画素数(すなわち部分画像視野404の画素数)(X2,Y2)は下記の(1)式により算出することができる。
(X2,Y2)=(X1×M2/M1,Y1×M2/M1)…(1)
なお、ここで、対物レンズ608の切替前後における標本画像の視野の中心は同一位置であるとする。
また、対物レンズ608の切替前における標本画像の左下隅の画素の位置を画素アドレス(x,y)の原点(0,0)とすると、対物レンズ608の切替後における標本画像の視野に相当する範囲内の部分画像の四隅の位置の画素アドレスは、それぞれ下記の(2)式乃至(5)式により算出することができる。
(X1×1/2−X1×M2/M1×1/2,Y1×1/2−Y1×M2/M1×1/2)…(2)
(X1×1/2+X1×M2/M1×1/2,Y1×1/2−Y1×M2/M1×1/2)…(3)
(X1×1/2−X1×M2/M1×1/2,Y1×1/2+Y1×M2/M1×1/2)…(4)
(X1×1/2+X1×M2/M1×1/2,Y1×1/2+Y1×M2/M1×1/2)…(5)
S803の処理において、PC106は、まず、露出評価部302により算出される、対物レンズ608の切替前における標本画像についての平均輝度値(標本画像視野401の平均輝度値)I1を、CPU109からI/F部104を介して取得する処理を行う。続いて、PC106は、上記の式(1)乃至式(5)の値を算出する処理を行う。そして、これらの値に基づいて、対物レンズ608の切替後における標本画像の視野に相当する範囲内の部分画像の平均輝度値(すなわち部分画像視野404の平均輝度値)I2を算出する処理をPC106が行う。なお、この値I2の算出をPC106が行う代わりに、上記の式(1)乃至式(5)の値の算出結果を、I/F部104を介してCPU109へ送信し、CPU109にこれらの値を露出評価部302へ与えさせることで、当該部分画像の平均輝度値I2を露出評価部302に算出させ、得られた値I2を、CPU109からI/F部104を介して取得する処理をPC106が行うようにしてもよい。
次に、PC106は、取得した平均輝度値I1及びI2に基づき、対物レンズ608の切替後の撮像動作における固体撮像素子202の露出時間の設定値Tを下記の式(6)より算出する処理を行う。
T=T1×(I1/I2)×(M2/M1)2 ×(NA1/NA2)2 …(6)
ここでT1は現在の露出時間の設定値(すなわち、倍率M1の標本画像を取得したときの露出時間の設定値)であり、NA1及びNA2は、それぞれ切替前後の対物レンズ608の開口数を示している。
つまり、この式(6)は、対物レンズ608の切替前に顕微鏡101により得られた標本像を撮像して倍率M1の標本画像を撮像部102が取得したときに顕微鏡101の観察光路中に挿入されていた対物レンズ608の倍率及び開口数の情報と、当該標本像を撮像して倍率M2の標本画像を撮像部102が取得するときに当該観察光路中に挿入される対物レンズ608の倍率及び開口数の情報とに基づいて、倍率M2の標本画像の取得のために撮像部102が該標本像を撮像するときの露出時間Tを設定するための式であり、倍率M1である標本画像を取得したときに撮像部102に設定されていた露出時間T1を露出時間Tへと変更する式である。
また、この式(6)の値Tは、この倍率M1である標本画像の輝度値の平均値I1と、該標本画像における、対物レンズ608の切替後に取得される倍率M2である標本画像の視野に相当する範囲内の部分画像の輝度値の平均値I2とに基づいて、倍率M1である標本画像を取得したときに撮像部102に設定されていた露出時間T1を変更したものである。
なお、上記の式(1)乃至式(6)の値の算出に必要となる、X1、Y1、M1、NA1、M2、NA2の各値は、PC106の記憶装置に特性情報として予め格納されている。PC106は、図6のS507の処理において、切替前後の対物レンズ608について記憶装置から読み出した特性情報を利用してこれらの式の値を算出する。
以上のS803の処理が完了すると、S805においてこのサブルーチン処理が終了し、図6に処理が戻る。
一方、S802の判定処理において、対物レンズ608の切り替えが倍率の低いものから高いものへの切り替えではないと判定したとき(判定結果がNoのとき)には、S804において、既に取得されている倍率M1の標本画像全体に基づいて、倍率M2の標本画像を取得する際の露出時間の設定値を算出する処理をPC106が行う。具体的には、PC106は、上記の式(6)において、I1=I2(すなわち、I1/I2=1)として、設定値Tの値を算出する処理を行う。そして、このS804の処理が完了すると、S805においてこのサブルーチン処理が終了し、図6に処理が戻る。
図6の説明へ戻る。
S508の処理に続くS509では、制御部108に指示を与えて、レボルバ607を駆動させる駆動系であるモータへの電力供給を開始させる処理(駆動系前処理)をPC106が行う。
次に、S510では、表示部107で現在表示中の標本画像の表示(プレビュー表示)の更新を一旦停止してそのまま保持させる(フリーズさせる)処理をPC106が行う。そして、続くS511において、制御部108に指示を与えてレボルバ607を回転させることで、光路中に現在挿入されている対物レンズ608を、ユーザが入力装置105を操作して行った指示において特定されている対物レンズ608へと切り替えさせる処理をPC106が行う。
次に、S512では、S508の処理(すなわち図7のサブルーチン処理)により算出された露出時間Tを、I/F部104を介してCPU109に送信する処理をPC106が行う。CPU109は、固体撮像素子202の露出時間の設定を、受け取った露出時間Tに変更する処理を行う。
次に、S513では、S509の処理による標本画像の表示の更新のフリーズを解除して、画像処理部103からI/F部104を介して受信した画像データで表現されている標本画像を表示部107の画面上に順次表示させる処理を再開させる処理をPC106が行い、その後はS503へ処理を戻して、上述した処理が改めて行われる。すなわち、PC106は、変更後の露出時間Tの設定に従って撮像部102が撮影した画像データを連続的に取り込み、当該画像データで表現されている標本画像を表示部107の画面上に逐次表示させる。
一方、S503の判定処理において、観察動作を終了すると判定したとき(判定結果がNoのとき)には、S514において、この顕微鏡画像撮像システムによる一連の撮像動作を停止させる処理をPC106が行い、続くS515において、この図6の制御処理を完了する。
以上のように、本実施例によれば、対物レンズ608の切替後の露出時間の設定を適切なものとすることができるので、対物レンズ608の切替時における露出制御の収束時間が短縮化される結果、標本403の観察のための作業における操作性が向上する。
なお、本実施例においては、対物レンズ608を高倍率から低倍率に切り替えるときには、既に取得されている倍率M1の標本画像全体に基づいて、倍率M2の標本画像を取得する際の露出時間の設定値を算出するようにしていた。この代わりに、図6のS505の処理において、各倍率について最新である標本画像の画像データをPC106が自身の記憶装置に格納するようにしておき、対物レンズ608を高倍率のものから低倍率のものに切り替えるときには、図7のS804の処理において、この切替後の倍率よりも更に低倍率である(すなわち視野の広い)標本画像の画像データを記憶装置から読み出し、当該標本画像において、対物レンズ608の切替後に取得される倍率の標本画像の視野に相当する範囲内の部分画像に基づいて、対物レンズ608の切替後の標本画像を取得する際の露出時間の設定値を算出する処理をPC106が行うようにしてもよい。このようにすることにより、例えば標本の明るさの変動が小さい明視野観察などにおいて、対物レンズ608を高倍率のものから低倍率のものに切り替えるときに、より適切な露出時間の設定を行える。
本実施例は、ステージ604をモータ等のステージ駆動部で駆動して標本403を任意の位置に移動させることが可能な顕微鏡101を使用し、この移動距離が所定量を越えたときに、移動後の標本像の撮像において適用する適切な露出時間を、事前に取得していた異なる倍率の画像データの輝度値に基づいて算出するというものである。
図1に示した顕微鏡画像撮像システムは、制御部108がステージ604を制御して、標本304を、顕微鏡101の観察光路に垂直なXY面内における位置であって、PC106からの指示に応じた当該位置に移動できるように構成されている。
ここで図9について説明する。図9は、図1の顕微鏡画像撮像システムにより行われる制御処理の第二の例の処理内容をフローチャートで示したものである。このフローチャートを参照しながら、対物レンズ608の切替時における露出制御動作を説明する。
図9の処理は、S901において、この顕微鏡画像撮像システムに対して電源を投入する操作をユーザ(操作者)が行うと開始され、続くS902において、初期設定処理が行われる。このS902の処理は、図6に示した第一の例におけるS502の処理と同様のものであるので、説明を省略する。
次に、S903において、レボルバ607を駆動させて光軸上に低倍率の対物レンズ608をセットさせる処理をPC106が行う。このときにセットされる対物レンズ608の倍率をM1とする。
ここで、ユーザは、ステージ604上に標本403を載置すると共に、透過照明用の光源721の電源を投入し、開口絞り714等の調整といった光学調整を行う。そして、この後に、ユーザは、入力装置105を操作して観察開始の指示をPC106に与える。すると、PC106は、S904において、撮像装置100を動作させて標本像を撮像させて標本画像データを取得し、取得した標本画像データで表現されている標本画像を表示部107の画面上に順次表示させる処理を行う。なお、このS903の処理は、実施例1においてS502に続く処理として説明したものと同様のものであるので、説明を省略する。
また、このとき、PC106は、露出時間の設定の変更指示をCPU109に与える。CPU109は、この指示を受け取ると、露出評価部302及びPC106との間でデータ送受信を行い、撮像部102から受信した画像データについて露出評価部302により算出された平均輝度値が、予め設定されている基準の数値範囲に収まるように、固体撮像素子202の露出時間の設定を変更する処理をCPU109が行う。
ここで、ユーザは、ケラレ等のないフォーカスの合った所望の観察状態の標本画像を得ることができるように、表示部107に表示される標本画像を参照しながら、NDフィルタ719、視野絞り718、開口絞り714、ステージ604等を操作して調節する。更に、ユーザは、標本403において観察を所望する部位の全体が、表示部107における観察視野(すなわち標本画像の表示領域)内に含まれるように、ステージ604をXY平面上に移動させ位置調整しつつ、フォーカスハンドル610を操作してフォーカスを適切な状態に調整する。
次に、S905では、入力装置105が操作されて標本画像の保存の指示を受けたか否かを判定する処理をPC106が行う。ここで、当該保存指示を受けたと判定したとき(判定結果がYesのとき)にはS906に処理を進める。一方、当該保存指示を受けていないと判定したとき(判定結果がNoのとき)にはS904へ処理を戻して上述した処理を繰り返す。
S906では、表示部107に表示中の標本画像を表現している画像データを、自身の有する記憶装置に格納する処理をPC106が行う。そして、続くS907において、PC106は、この標本画像を取得したときの設置状態情報を、制御部108から取得して当該記憶装置に格納する処理も行う。なお、本実施例においては、ステージ604のXY平面上の位置を示す座標の値も、設置状態情報に含まれている。
次に、S908では、入力装置105が操作されて対物レンズ608の切り替えの指示を受けたか否かを判定する処理をPC106が行う。ここで、当該切替指示を受けたと判定したとき(判定結果がYesのとき)にはS909に処理を進める。一方、当該切替指示を受けていないと判定したとき(判定結果がNoのとき)には、当該切替指示を受けるまで(判定結果がYesとなるまで)、このS908の判定処理を繰り返す。
S909では、レボルバ607を駆動させて光軸上に高倍率の対物レンズ608をセットさせる処理をPC106が行う。このときにセットされる対物レンズ608の倍率をM2とし、M2>M1であるとする。
次に、S910では、撮像装置100を動作させて標本像を撮像させて標本画像データを取得し、取得した標本画像データで表現されている標本画像を表示部107の画面上に順次表示させる処理を行う。なお、このS910の処理も、実施例1においてS502に続く処理として説明したものと同様のものであるので、説明を省略する。
次に、S911では、PC106は、露出時間の設定の変更指示をCPU109に与える。CPU109は、この指示を受け取ると、露出評価部302及びPC106との間でデータ送受信を行い、撮像部102から受信した画像データについて露出評価部302により算出された平均輝度値が、予め設定されている基準の数値範囲に収まるように、固体撮像素子202の露出時間の設定を変更する処理をCPU109が行う。
ここで図10について説明する。図10は、表示部107での標本画像の第一の表示例を示している。この図10の例では、標本403において観察を所望する部位の全体が、倍率M2である標本画像1001の観察視野内に含まれて表示されている様子を示している。
なお、PC106は、図10に例示するように、表示部107の表示画面に、撮像部102により現在取得されている倍率M2の標本画像1001に加え、記憶装置に保存しておいた倍率M1の標本画像を、参照画像1002として表示する処理を行う。なお、この参照画像1002における標本観察領域1003は、倍率M2である標本画像1001の視野に対応する領域を示している。
この図10の画面を表示しているときに、ユーザが入力装置105を操作して、移動ボタン1005に対するクリック操作、若しくは、倍率M1の標本画像である参照画像1002上での任意の位置を指定する操作を行う。ここでは、この操作により、図10に示されている標本観察領域1003を観察領域1004へ移動させる指示が行われたものとする。
このとき、PC106は、顕微鏡101の観察光路に対し垂直な方向への標本403の移動距離を検出する処理を行う。より具体的には、PC106は、当該指示に係る移動前の標本観察領域1003と、当該指示に係る移動先の観察領域1004との中心間距離(すなわち標本403の移動距離)を、倍率M1の標本画像の画像データと、記憶装置に格納しておいた、この倍率M1の標本画像を取得したときの設置状態情報(対物レンズ608の倍率情報及びステージ604のXY平面上の位置情報)とに基づいて算出する処理を行う。そして、S912において、この移動距離が、予め設定されている基準距離よりも長いものであったか否かを判定する処理をPC106が行う。ここで、移動距離が基準距離よりも長いものであったと判定したとき(判定結果がYesのとき)にはS913に処理を進め、移動距離が基準距離よりも長いものではなかったと判定したとき(判定結果がNoのとき)にはS920に処理を進める。
S913では、PC106は、倍率M2の標本画像1001の平均輝度値I2を算出すると共に、倍率M1の標本画像において、当該指示に係る移動先の観察領域1004に相当する範囲内の平均輝度値I1を、倍率M1の標本画像の画像データに基づいて算出する処理を行う。そして、PC106は、取得した平均輝度値I1及びI2に基づき、当該指示に係る移動後の撮像動作における固体撮像素子202の露出時間の設定値Tを、前述した式(6)より算出する処理を行う。
次に、S914において、PC106は、表示部107で現在表示中の標本画像1001の表示の更新を一旦停止してそのまま保持した上で、制御部108を介してステージ604を駆動させて、標本403を、当該指示に係る位置(観察領域1004が標本画像の視野に対応することとなる位置)へと移動させる処理を行う。そして、続くS915において、標本画像1001の表示の更新の一旦停止を解除して、画像処理部103からI/F部104を介して受信した画像データで表現されている標本画像を表示部107の画面上に順次表示させる処理を再開させると共に、S913の処理により算出された露出時間Tを、I/F部104を介してCPU109に送信する処理をPC106が行う。すなわち、PC106は、変更後の露出時間Tの設定に従って撮像部102が撮影した画像データを連続的に取り込み、当該画像データで表現されている標本画像を表示部107の画面上に逐次表示させる処理を行い、その後はS916に処理を進める。
一方、S913の判定処理において、移動距離が基準距離よりも長いものではなかったと判定したとき(判定結果がNoのとき)には、S920において、露出時間Tの設定を変更することなく、制御部108を介してステージ604を駆動させて、標本403を、当該指示に係る位置へと移動させる処理のみを行い、その後はS916に処理を進める。
S916では、入力装置105が操作されて対物レンズ608の切り替えの指示を受けていないか否かを判定する処理をPC106が行う。ここで、当該切替指示を受けていないと判定したとき(判定結果がYesのとき)には、S917に処理を進める一方、当該切替指示を受けていたと判定したとき(判定結果がNoのとき)にはS903へ処理を戻し、上述した処理が改めて行われる。
S917では、PC106は、入力装置105が操作されて観察終了の指示を受けていたか否かを判定する処理を行う。ここで、観察終了の指示を受けていたと判定したとき(判定結果がYesのとき)にはS918に処理を進める。一方、観察終了の指示を受けていないと判定したとき(判定結果がNoのとき)には、S910へと処理を戻して上述した処理が繰り返される。このようにしてS910からの処理が繰り返されることにより、露出時間の設定後において、標本403の移動距離が所定値以上であるときには、露出条件が改めて設定される。
S918では、この顕微鏡画像撮像システムによる一連の撮像動作を停止させる処理をPC106が行い、続くS919において、この図9の制御処理を完了する。
以上のように、本実施例によれば、観察部位の移動距離が所定値以上に長いときは、観察画像の輝度変化量が無視できないほどに大きいことが想定されるので、事前に取得しておいた低倍率の標本画像の輝度値に基づいて移動先の観察部位を撮像部102で撮像する際の露出時間を算出する。このように、顕微鏡101の観察光路に対し垂直な方向への標本403の移動距離に応じて撮像部102の露出条件を設定することにより、対物レンズ608の切替時における露出制御の収束時間が短縮化される結果、標本403の観察のための作業における操作性が向上する。
なお、本実施例においては、観察部位の移動距離に基づいて、露出時間の変更を行うようにしていた。この代わりに、ステージ604の移動を検出するエンコーダの出力信号よりステージ604の移動速度を算出し、この移動速度が所定値を越えた場合に露出時間を変更する設定を行うようにしてもよい。
また、撮像部102により順次取得される同一倍率の標本画像の輝度値の平均値の履歴を記録しておくようにし、この値の変化が所定値以上となったことを検出したとき、すなわち、撮像部102が取得した標本画像に所定値以上の輝度変化が生じたときに、露出時間を変更する設定を行うようにしてもよい。
更に、撮像部102により同一倍率の標本画像を順次取得したときの露出時間の履歴を記録しておくようにし、この値の変化が所定値以上となったことを検出したときに、露出時間を変更する設定を行うようにしてもよい。
本実施例は、対物レンズ608のみならず、顕微鏡101の観察光路中に挿入されるフィルタ等の光学部材の設置状態に応じて、対物レンズ608の切替後の露出時間を適切に変更するというものである。
図1に示した顕微鏡画像撮像システムにおいて、視野絞り718、開口絞り714、及び光学フィルタであるNDフィルタ719は制御部108と接続されている。制御部108は、ユーザによる入力装置105への操作に基づいてなされるPC106からの指示により、これらの光学部材の観察光路上の設置状態を変更することができる。なお、PC106の記憶装置には、これらの光学部材の特性を表すパラメータデータが保存されている。
ここで図11について説明する。図11は、図1の顕微鏡画像撮像システムにより行われる制御処理の第三の例の処理内容をフローチャートで示したものである。このフローチャートを参照しながら、対物レンズ608の切替時における露出制御動作を説明する。
なお、図11のフローチャートで示した各ステップの処理のうち、図6に示した第一の例におけるものと同一のものについては、同一の符号を付しており、それらの説明については、ここでは省略する。
図11において、S507に続くS1101では、入力装置105が操作されていずれかの光学部材(ここでは、NDフィルタ719、視野絞り718、若しくは開口絞り714)の設置状態の変更の指示を受けたか否かを判定する処理をPC106が行う。ここで、当該変更指示を受けたと判定したとき(判定結果がYesのとき)にはS1102に処理を進める。一方、当該変更指示を受けていないと判定したとき(判定結果がNoのとき)には図11のS508に処理を進める。
S1102では、当該変更指示において、顕微鏡101の観察光路中に挿入されることとなる光学部材のパラメータデータを記憶装置から読み出す処理をPC106が行い、その後は図11のS508に処理を進める。
図11のS508では、図6に示した第一の例と同様に、図7に示したサブルーチン処理がPC106により実行される。但し、このサブルーチン処理のS803及びS804の処理では、前述した式(6)に代えて、下記の式(7)の値を算出することによって、対物レンズ608の切替後に撮像部102が標本画像を取得する際の露出時間Tを取得するようにする。
T=T1×(I1/I2)×(M2/M1)2 ×(NA1/NA2)2
×AS×FS×ND…(7)
ここで、AS、FS、及びNDは、それぞれ、対物レンズ803の切替前後の開口絞り714、視野絞り718、及びNDフィルタ719の明るさ比を表す。従って、これらの光学部材が対物レンズ803の切替時に明るいものへと変更される場合には、露出時間Tの値は短くなる。
以上のように、本実施例によれば、顕微鏡101に備えられている光学部材である、対物レンズ608、NDフィルタ719、視野絞り718、及び開口絞り714の設置状態の変更による明るさの変化量に基づいて対物レンズ608の切替後における撮像部102で撮像する際の露出時間を算出する。従って、対物レンズ608の切替時における露出制御の収束時間が短縮化される結果、標本403の観察のための作業における操作性が向上する。
なお、本実施例においては、対物レンズ608、開口絞り714、視野絞り718、及びNDフィルタ719を光学部材の例として挙げたが、光量を変化可能な光源など、他の光学部材に適用することも可能である。
本実施例は、露出条件の制御の対象とする領域を標本画像内で指定可能な図1の顕微鏡画像撮像システムにおいて、対物レンズ608の切替後の露出時間を適切に変更するというものである。
まず図12について説明する。図12は、表示部107での標本画像の第二の表示例を示している。
図12においては、標本403を含む低倍率の標本画像の視野である標本画像視野401の中心部分に、露出スポット領域1401が指定されている。この露出スポット領域1401が、露出条件の制御の対象とする領域である。なお、図12においては、露出スポット領域1401が、同じく当該中心部分に設定される高倍率の標本画像の観察視野(部分画像視野404)内に含まれている状態を示している。
次に図13について説明する。図13は、図1の顕微鏡画像撮像システムにより行われる制御処理の第四の例の処理内容をフローチャートで示したものである。このフローチャートを参照しながら、対物レンズ608の切替時における露出制御動作を説明する。
なお、図13のフローチャートで示した各ステップの処理のうち、図6に示した第一の例におけるものと同一のものについては、同一の符号を付しており、それらの説明については、ここでは省略する。
図6に示した第一の例に対し、図13のフローチャートでは、S508及びS512の処理が、それぞれS508a及びS1201の処理へと置き換えられている。
図13のS507に続くS508aでは、露出時間の算出処理をPC106が行う。但し、本実施例では、PC106は、この算出処理として、図14にフローチャートで示したサブルーチン処理を実行する。
図14のS1301においてこのサブルーチン処理が開始されると、まず、S1302において、PC106は、対物レンズ608の切り替えが、倍率の低いものから高いものへの切り替えであるか否かを判定する処理を行う。
ここで、対物レンズ608の切り替えが倍率の低いものから高いものへの切り替えであると判定したとき(判定結果がYesのとき)には、S1303に処理を進め、対物レンズ608の切り替えが倍率の低いものから高いものへの切り替えではないと判定したとき(判定結果がNoのとき)には、S1309に処理を進める。
S1303では、露出スポット領域1401が、高倍率の標本画像の観察視野(部分画像視野404)内に含まれているか否かを判定する処理をPC106が行う。ここで、露出スポット領域1401が部分画像視野404内に含まれていると判定したときにはS1304に処理を進め、露出スポット領域1401が部分画像視野404内に含まれていないと判定したときにはS1308に処理を進める。
S1304では、PC106は、対物レンズ608の切替前の低倍率の標本画像を取得した際に撮像部102が露出時間算出の基礎としていた露出スポット領域1401内の部分画像に基づいて、対物レンズ608の切替後の高倍率の標本画像を取得する際の露出時間の設定値を算出する処理をPC106が行う。具体的には、PC106は、前述した式(6)において、I1=I2(すなわち、I1/I2=1)として、設定値Tの値を算出する処理を行う。そして、このS1304の処理が完了すると、その後はS1305に処理を進める。
一方、S1308では、既に取得されている対物レンズ608の切替前の低倍率の標本画像における露出スポット領域1401の範囲内の部分画像と、当該低倍率の標本画像における対物レンズ608の切替後に取得される高倍率の標本画像の観察視野(部分画像視野404)に相当する範囲内の部分画像とに基づいて、当該高倍率の標本画像を取得する際の露出時間の設定値を算出する処理をPC106が行う。
具体時には、PC106は、まず、露出評価部302により算出される、対物レンズ608の切替前の低倍率の標本画像を取得した際に撮像部102が露出時間算出の基礎としていた露出スポット領域1401内の部分画像についての平均輝度値(すなわち露出スポット領域1401の平均輝度値)I1を、CPU109からI/F部104を介して取得する処理を行う。次に、PC106は、対物レンズ608の切替後における高倍率の標本画像の観察視野(部分画像視野404)に相当する範囲内の部分画像の平均輝度値(すなわち部分画像視野404の平均輝度値)I2を算出する処理を、図7に示したサブルーチン処理におけるS803の処理と同様にして行う。そして、その後に、PC106は、取得した平均輝度値I1及びI2に基づき、対物レンズ608の切替後の撮像動作における固体撮像素子202の露出時間の設定値Tを前述した式(6)より算出する処理を行う。その後、このS1308の処理が完了すると、その後はS1305に処理を進める。
ところで、S1302の判定処理において、対物レンズ608の切り替えが倍率の低いものから高いものへの切り替えではないと判定した場合には、当該切替前の高倍率の標本画像上に定義されている露出スポット領域は、当該切替後の低倍率の標本画像上にも当然含まれている。そこで、この場合には、S1309において、PC106は、対物レンズ608の切替前の高倍率の標本画像を取得した際に撮像部102が露出時間算出の基礎としていた露出スポット領域内の部分画像に基づいて、対物レンズ608の切替後の低倍率の標本画像を取得する際の露出時間の設定値を算出する処理をPC106が行う。具体的には、PC106は、前述した式(6)において、I1=I2(すなわち、I1/I2=1)として、設定値Tの値を算出する処理を行う。そして、このS1309の処理が完了すると、その後はS1305に処理を進める。
その後、S1305では、PC106は、記憶装置に記憶されている、切替前後の対物レンズ608の倍率の情報、露出スポット領域の位置と対物レンズ608の切替後の観察視野の位置とをそれぞれ表す画素アドレス情報を読み出し、これらの情報に基づいて、当該切替後の露出スポット領域の位置を表す画素アドレス情報を算出する処理を行い、続くS1306において、PC106は、算出した画素アドレス情報を記憶装置に記憶させて保存する処理を行う。そして、以上の処理が完了すると、S1307においてこのサブルーチン処理が終了し、図13に処理が戻る。
なお、図13のS511に続くS1201では、S508aの処理(すなわち図14のサブルーチン処理)により算出された露出時間Tを、I/F部104を介してCPU109に送信すると共に、図14のS1306の処理で保存しておいた画素アドレス情報を記憶装置から読み出して、表示部107に表示中の標本画像に、露出スポット領域の位置を示す枠を表示する処理をPC106が行う。なお、CPU109は、このとき露出時間Tを受け取ると、固体撮像素子202の露出時間の設定を、受け取った露出時間Tに変更する処理を行う。
以上のように、本実施例によれば、対物レンズ608の切替前の低倍率の標本画像において指定されている、露出条件の設定対象とする露出スポット領域内の部分画像の輝度値に関する情報と、該低倍率の標本画像における対物レンズ608の切替後の高倍率の標本画像の視野に相当する範囲内の部分画像の輝度値に関する情報とに基づいて、該低倍率の標本画像を取得したときに撮像部102に設定されていた露出時間を変更する設定を行う。このように、本実施例では、ユーザの着目する露出スポット領域を対象にして対物レンズ608の切替後の露出時間を算出するので、ユーザの所望する観察条件において、適切な露出状態に安定するまでの時間を短縮することができる。
なお、本実施例においては、露出スポット領域を標本画像の視野の中心部の位置に固定していた。この代わりに、例えば、標本403に対する観察視野の移動が可能な形態において、対物レンズ608をより高倍率のものに切り替えるときに、露出スポット領域と当該切替後の観察視野とが重なる場合には、この重なる領域を切替後の露出スポット領域とし、重ならない場合には当該切替後の観察視野全体をスポット領域とするように構成してもよい。このようにすることにより、本実施例と同様な効果が得られる。
また、観察視野に対する露出スポット領域のサイズが一定とする場合、すなわち、図15に示すような、低倍率の標本画像における観察視野1601及び露出スポット領域1602と、高倍率の標本画像における観察視野1601”及び露出スポット領域1602”との関係がある場合、これらの位置関係は、対物レンズ608の倍率比から求めることができる。そこで、対物レンズ608を低倍率のものから高倍率のものに切り替えるときは、低倍率の標本画像における変更後の露出スポット領域に相当する領域1602”の部分画像に基づいて露出時間を算出し、算出された露出時間を、当該切替後の高倍率の標本画像の取得のために撮像部102に設定するように構成してもよい。このようにすることによっても、本実施例と同様な効果が得られる。
本実施例は、対物レンズ608の切替後の露出時間を取得するために算出される標本画像の平均輝度値若しくは当該標本画像の部分画像の平均輝度値を、標本画像を構成する画素のうち輝度値が所定の閾値以上のものについての平均値とするというものである。
図16について説明する。図16は、標本画像を構成する画素の輝度値毎の度数を示したヒストグラムの例を示している。なお、図16において、横軸は輝度値であり、縦軸は同一輝度値である画素の度数である。
本実施例では、平均輝度値の算出対象とする画素の輝度値を抽出するために設定される上述した所定の閾値を、このヒストグラムにおいて形成される度数の極小点のうち輝度値が最低であるものの当該輝度値(図16においては輝度値lth)とする。
図1の顕微鏡画像撮像システムで本実施例を実施する場合には、基本的には、図6に示した制御処理を実施例1と同様に行う。ここでは、本実施例により蛍光観察により標本403を観察する場合における、実施例1との違いを説明する。
図6において、S504とS508との処理では、露出時間を算出する処理が行われる。本実施例では、このとき、PC106は、まず、撮像部102が取得した標本画像について、該標本画像を構成する画素の輝度値毎の度数を計数して、図16に例示したようなヒストグラムデータを取得する処理を行う。次に、PC106は、このヒストグラムデータから、上記の所定の閾値、すなわち、このヒストグラムにおいて形成される度数の極小点のうち輝度値が最低であるものの当該輝度値lthを特定する処理を行う。そして、輝度値がこの閾値lthに満たない画素全ての画素アドレス(ADR1)を検出して記憶装置に記憶させて保存しておく処理を行う。そして、画像の輝度平均値を算出する場合には、当該画像を構成している画素のうち、この保存されている画素アドレスで特定される画素を除外した残りの画素についての輝度値の平均を算出し、この算出された輝度平均値に基づいて、露出時間を算出する処理をPC106が行う。
以上のように、本実施例によれば、所定の閾値未満の画素を露出時間算出時に使用する標本画像の平均輝度値の算出対象から除外するので、蛍光観察時において、標本画像における背景成分を除外して標本403の像を表している画素のみを対象として対物レンズ608の切替後の露出時間の設定を行う。従って、この露出時間の設定がより適切なものとなるので、対物レンズ608の切替時における露出制御の収束時間が短縮化される結果、標本403の観察のための作業における操作性が向上する。
なお、本実施例において、標本画像の平均輝度値を算出するときに、標本画像を構成する全ての画素、若しくは、所定の割合以上の度数の画素が、上記の所定の閾値未満の輝度値であるために当該平均輝度値の算出対象から除外される場合には、所定の警告を行う処理をPC106が行うように構成することができる。このようにすることにより、標本画像に標本403の画像が含まれていない可能性をユーザに認識させることができ、また、標本画像に標本403の画像が含まれていないことによる露出時間の飽和を防止することができる。
なお、この警告の例としては、例えば、表示部107での文字情報の表示や、所定の色彩若しくは輝度による図形の表示を挙げることができる。また、この他の警告の例としては、PC106に音声出力部を接続して、所定の音を発生させるようにしてもよく、また、PC106に振動部(バイブレータ)を接続して所定の振動を発生させるようにしてもよい。また、これらのいずれか1つにより警告を行うようにしてもよく、更には、これらのうちの2つ以上の組み合わせにより警告を行うようにしてもよい。
また、本実施例において、ヒストグラムデータの取得処理を全ての標本画像についてPC106に行わせるのではなく、一部の標本画像について(例えば、PC106に内蔵のタイマで計時した所定の時間間隔毎にその時点で取得されていた標本画像について)ヒストグラムデータの取得処理を行うようにしてもよい、このようにして、当該取得処理の処理頻度が低下することにより、この取得処理によるPC106の処理負荷が軽減されるので、操作感の低下が防止される。
以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、図1の顕微鏡画像撮像システムに使用する顕微鏡101としては、落射照明型と透過照明型とのどちらでも適用可能である。
また、図1の顕微鏡画像撮像システムでは、固体撮像素子202として、ベイヤ方式の色フィルタ配列を有するカラー撮影用のものを用いたが、この代わりに、ストライプ等他の色フィルタ配列を有する固体撮像素子や、カラーフィルタを有しない白黒撮影用の固体撮像素子を用いる場合においても本発明を実施することができる。
また、前述した各実施例においては、撮像部102の撮像時における撮像条件のうち、露出時間の制御を行うようにしているが、顕微鏡101から固体撮像素子202に入射する光量を制御する構成としてもよい。
本発明を実施する顕微鏡用撮像装置を含む顕微鏡画像撮像システムの構成を示す図である。 顕微鏡の概略構成を示す図である。 顕微鏡の光学系の概略構成を示す図である。 撮像部の構成を示す図である。 画像処理部の構成を示す図である。 制御処理の第一の例の処理内容をフローチャートで示した図である。 図6の制御処理において行われるサブルーチン処理の処理内容をフローチャートで示した図である。 対物レンズの切替前後における標本画像の視野の関係を示す図である。 制御処理の第二の例の処理内容をフローチャートで示した図である。 表示部での標本画像の第一の表示例を示す図である。 制御処理の第三の例の処理内容をフローチャートで示した図である。 表示部での標本画像の第二の表示例を示す図である。 制御処理の第四の例の処理内容をフローチャートで示した図である。 図13の制御処理において行われるサブルーチン処理の処理内容をフローチャートで示した図である。 倍率の異なる標本画像間における観察視野及び露出スポット領域の関係を示す図である。 標本画像を構成する画素の輝度値毎の度数を示したヒストグラムの例を示す図である。
符号の説明
100 撮像装置
101 顕微鏡本体
102 撮像部
103 画像処理部
104 I/F部
105 入力装置
106 パーソナルコンピュータ
107 表示部
108 制御部
109 CPU
110 制御バス
202 固体撮像素子
203 CDS/AGC回路
204 A/D変換器
205 撮像素子駆動部
301 RGB変換部
302 露出評価部
303 ホワイトバランス補正部
304 階調補正部
305 輪郭強調部
401 標本画像視野
403 標本
404 部分画像視野
601 投光管
602 光源部(落射照明用)
604 ステージ
605 アダプタ
607 レボルバ
608 対物レンズ
609 光源部(透過照明用)
610 フォーカスハンドル
701、721 光源
702、720 コレクタレンズ
703、719 NDフィルタ
704、718 視野絞り
705、714 開口絞り
706 キューブユニット
707 明視野観察用キューブ
708 励起フィルタ
709 ダイクロイックミラー
710 吸収フィルタ
711 結像レンズ
712 シャッタ
713 コンデンサレンズ
715 フィールドレンズ
716 反射鏡
717 透過光シャッタ
722 蛍光観察用キューブ
1001 標本画像
1002 参照画像
1003 標本観察領域
1004 観察領域
1401 露出スポット領域
1601、1601” 観察視野
1602、1602” 露出スポット領域

Claims (5)

  1. 顕微鏡により得られる標本の観察像を撮像して標本画像を取得する撮像手段と、
    前記顕微鏡の観察光路中に挿入される対物レンズの設置状態を制御する制御手段と、
    前記制御手段による前記設置状態の制御内容を、前記対物レンズの設置状態を示す設置状態情報として取得する設置状態情報取得手段と、
    前記撮像手段が取得した第一の倍率の標本画像より得られる輝度値に関する情報と、前記第一の倍率の標本画像における、前記第一の倍率よりも高倍率である第二の倍率の標本画像の視野に相当する範囲内の部分画像の輝度値に関する情報と、を含む標本画像情報、並びに、
    前記第一の倍率の標本画像を前記撮像手段が取得したときに前記顕微鏡の観察光路中に挿入されていた対物レンズの倍率及び開口数の情報と、前記第二の倍率の標本画像を前記撮像手段が取得するときに前記顕微鏡の観察光路中に挿入される対物レンズの倍率及び開口数の情報と、を含む設置状態情報
    に基づいて、前記第一の倍率の標本画像を取得したときに前記撮像手段に設定されていた露出条件を、前記第二の倍率の標本画像を取得するときの露出条件に変更する設定を行う露出条件設定手段と、
    を有することを特徴とする顕微鏡用撮像装置。
  2. 前記標本画像情報は、前記標本画像を構成する画素のうち輝度値が所定の閾値以上のものの平均を示す情報であることを特徴とする請求項に記載の顕微鏡用撮像装置。
  3. 前記標本画像を構成する画素の輝度値毎の度数を示したヒストグラムにおいて形成される極小点のうち輝度値が最低であるものの該輝度値を、前記所定の閾値とすることを特徴とする請求項に記載の顕微鏡用撮像装置。
  4. 前記第一の倍率の標本画像を構成する画素のうち輝度値が前記所定の閾値未満のものの個数が所定値以上の場合に、所定の警告を行う警告手段を更に有することを特徴とする請求項又はに記載の顕微鏡用撮像装置。
  5. 前記所定の警告は、文字情報の表示、所定の色彩若しくは輝度による図形の表示、所定の音の発生、及び所定の振動の発生のうちのいずれか1つ、若しくはこれらのうちの2つ以上の組み合わせであることを特徴とする請求項に記載の顕微鏡用撮像装置。
JP2008008976A 2008-01-18 2008-01-18 顕微鏡用撮像装置 Expired - Fee Related JP5059637B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008008976A JP5059637B2 (ja) 2008-01-18 2008-01-18 顕微鏡用撮像装置
US12/354,032 US20090185034A1 (en) 2008-01-18 2009-01-15 Imaging device for microscope
EP09000586A EP2081072A1 (en) 2008-01-18 2009-01-16 Imaging device for microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008008976A JP5059637B2 (ja) 2008-01-18 2008-01-18 顕微鏡用撮像装置

Publications (2)

Publication Number Publication Date
JP2009169236A JP2009169236A (ja) 2009-07-30
JP5059637B2 true JP5059637B2 (ja) 2012-10-24

Family

ID=40510470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008008976A Expired - Fee Related JP5059637B2 (ja) 2008-01-18 2008-01-18 顕微鏡用撮像装置

Country Status (3)

Country Link
US (1) US20090185034A1 (ja)
EP (1) EP2081072A1 (ja)
JP (1) JP5059637B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063679A (ja) * 2007-09-04 2009-03-26 Olympus Corp 顕微鏡システム
JP5292846B2 (ja) * 2008-02-20 2013-09-18 株式会社ニコン 観察装置と、観察方法
JP5983616B2 (ja) * 2011-09-13 2016-09-06 日本電気株式会社 撮像装置、撮像方法及びプログラム
EP2808718B1 (en) * 2012-01-26 2018-05-16 Olympus Corporation Optical scanning observation apparatus
US8976239B2 (en) * 2012-08-24 2015-03-10 Datacolor Holding Ag System and apparatus for color correction in transmission-microscope slides
JP6150504B2 (ja) * 2012-12-05 2017-06-21 オリンパス株式会社 イメージングシステム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US20150124072A1 (en) * 2013-11-01 2015-05-07 Datacolor, Inc. System and method for color correction of a microscope image
JP6289044B2 (ja) * 2013-11-15 2018-03-07 オリンパス株式会社 観察装置
JP5915874B2 (ja) * 2013-12-19 2016-05-11 横河電機株式会社 顕微鏡装置
JP2018508821A (ja) * 2015-01-30 2018-03-29 モレキュラー デバイシーズ, エルエルシー ハイコンテント撮像システムおよびハイコンテント撮像システムを動作させる方法
JP6499506B2 (ja) * 2015-04-30 2019-04-10 富士フイルム株式会社 撮像装置および方法並びに撮像制御プログラム
WO2017010156A1 (ja) * 2015-07-13 2017-01-19 ソニー株式会社 医療用観察装置及び医療用観察方法
EP3632365A4 (en) * 2017-05-26 2020-08-19 Sony Olympus Medical Solutions Inc. MEDICAL OBSERVATION APPARATUS, METHOD OF TREATMENT, AND MEDICAL OBSERVATION SYSTEM
EP3514600B1 (en) * 2018-01-19 2025-12-31 Leica Instruments (Singapore) Pte. Ltd. FLUORESCENCE INTENSITY NORMALIZATION METHOD
JP2019204009A (ja) * 2018-05-24 2019-11-28 オリンパス株式会社 顕微鏡システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59172617A (ja) * 1983-03-22 1984-09-29 Olympus Optical Co Ltd 自動制御式照明光学系を備えた顕微鏡
DE3475013D1 (en) * 1983-03-29 1988-12-08 Olympus Optical Co Microscope provided with automatic focusing device
EP0424678B1 (en) * 1989-09-27 1996-09-04 Canon Kabushiki Kaisha Camera system controlling interchangeable lenses
JP3402654B2 (ja) * 1992-05-12 2003-05-06 オリンパス光学工業株式会社 顕微鏡用自動焦点検出装置
JP3557246B2 (ja) * 1994-06-08 2004-08-25 オリンパス株式会社 顕微鏡画像遠隔観察装置および顕微鏡画像の遠隔観察方法
JPH08146302A (ja) * 1994-11-18 1996-06-07 Olympus Optical Co Ltd 顕微鏡システム
JP3537205B2 (ja) * 1995-02-02 2004-06-14 オリンパス株式会社 顕微鏡装置
JPH1020200A (ja) * 1996-07-09 1998-01-23 Nikon Corp ステージ走査型測光顕微鏡
JP4512278B2 (ja) * 2000-02-04 2010-07-28 オリンパス株式会社 顕微鏡システム
JP4314724B2 (ja) 2000-04-28 2009-08-19 カシオ計算機株式会社 撮像装置及び露出制御管理方法
JP2002287039A (ja) * 2001-03-22 2002-10-03 Olympus Optical Co Ltd 顕微鏡用撮影装置
US20030043292A1 (en) * 2001-08-31 2003-03-06 Pyle Norman C. System and method for automatic capture of light producing scenes
JP2004145153A (ja) * 2002-10-25 2004-05-20 Keyence Corp 光量飽和表示機能付共焦点顕微鏡
JP2005037683A (ja) * 2003-07-14 2005-02-10 Olympus Corp 顕微鏡用撮像装置とその制御方法、及び制御方法に係るプログラム
JP4189754B2 (ja) * 2004-04-20 2008-12-03 ソニー株式会社 ズームレンズ及び撮像装置
JP2005316036A (ja) * 2004-04-28 2005-11-10 Olympus Corp 撮像装置、照明光制御方法および照明光制御プログラム
JP2005321728A (ja) * 2004-05-11 2005-11-17 Olympus Corp 走査型顕微鏡の測定パラメータ決定方法
JP4928081B2 (ja) * 2005-02-03 2012-05-09 オリンパス株式会社 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム
JP2006317406A (ja) * 2005-05-16 2006-11-24 Olympus Corp 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置
JP4630730B2 (ja) * 2005-05-27 2011-02-09 キヤノン株式会社 撮像装置、カメラ及び撮像方法
JP4857101B2 (ja) * 2006-12-21 2012-01-18 株式会社日立ハイテクノロジーズ プローブ評価方法

Also Published As

Publication number Publication date
EP2081072A1 (en) 2009-07-22
US20090185034A1 (en) 2009-07-23
JP2009169236A (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
JP5059637B2 (ja) 顕微鏡用撮像装置
TWI460491B (zh) 聚焦控制裝置,聚焦控制方法,透鏡系統,聚焦透鏡驅動方法,及程式
JP5047764B2 (ja) 顕微鏡用撮影装置
JP2014123070A (ja) 撮像装置及びその制御方法
JP6518452B2 (ja) 撮像装置及び撮像方法
US10136067B2 (en) Observation apparatus providing an enlarged display for facilitating changing an image-pickup condition
JP2011133696A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP2010160269A5 (ja)
JP2014174185A (ja) 制御装置、制御方法および撮像装置
JP2018194780A (ja) 顕微鏡システム、制御方法、及び、プログラム
US11419482B2 (en) Endoscope apparatus, control method of endoscope apparatus, and recording medium
JP4979469B2 (ja) 顕微鏡撮像装置
JP2014219473A (ja) 交換レンズ
JP2008135812A (ja) 撮像装置、撮像方法、およびプログラム
JP2014228851A (ja) 内視鏡装置、画像取得方法および画像取得プログラム
JP2016177152A (ja) 顕微鏡システム
JP2015219515A (ja) 画像表示方法、制御装置、顕微鏡システム
JP2014232166A (ja) 観察装置
JP2006338001A (ja) 顕微鏡システムおよび画像生成方法
JP2016032180A (ja) 撮像装置、制御方法およびプログラム
JP2005221708A (ja) 顕微鏡撮影装置、明るさ調整方法および明るさ調整プログラム
JP2022027826A (ja) 撮像装置
JP2009086036A (ja) 撮影装置および撮影装置の制御方法
JP5977663B2 (ja) 顕微鏡用撮像装置
JP4510436B2 (ja) 自動焦点調整装置及びこれを有する撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5059637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees