JP6654688B2 - 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム - Google Patents

顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム Download PDF

Info

Publication number
JP6654688B2
JP6654688B2 JP2018506744A JP2018506744A JP6654688B2 JP 6654688 B2 JP6654688 B2 JP 6654688B2 JP 2018506744 A JP2018506744 A JP 2018506744A JP 2018506744 A JP2018506744 A JP 2018506744A JP 6654688 B2 JP6654688 B2 JP 6654688B2
Authority
JP
Japan
Prior art keywords
image
shooting
imaging
photographing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018506744A
Other languages
English (en)
Other versions
JPWO2017163427A1 (ja
Inventor
洋子 阿部
洋子 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017163427A1 publication Critical patent/JPWO2017163427A1/ja
Application granted granted Critical
Publication of JP6654688B2 publication Critical patent/JP6654688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、顕微鏡装置において取得された画像を介して被写体を観察する顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムに関する。
焦点深度が数十μｍレベルの生物顕微鏡を用いて細胞核や幹細胞等の厚みのある被写体を観察する際、観察光学系の光軸に沿った奥行き方向（Ｚ方向）に存在する注目部位を速やかに特定したいというユーザのニーズがある。このようなニーズに対し、観察光学系の焦点面を光軸に沿ってずらしながら順次撮像を行うことにより焦点面が異なる複数の画像を取得し、観察する方法がある。このように取得された焦点面が異なる複数の画像をまとめて、Ｚスタック画像ともいう。
Ｚスタック画像の撮影は、複数の画像を取得する必要があるために時間を要する。一方で、蛍光観察においては、被写体に励起光を照射し続けることにより、蛍光強度が弱まってしまう「褪色」が起こるため、できるだけ短い時間、少ない回数で所望の撮影を行うことが望ましい。さらに、蛍光観察は、明視野観察と比較して露光時間が長いことが多いため、Ｚスタック画像を取得するにあたり、被写体に励起光が照射される時間が必然的に長くなってしまう。
そこで、焦点面が異なる画像を取得する技術として、露光中に被写体または撮像装置をＺ方向に移動させて撮影するスイープ撮影が知られている（例えば、特許文献１、２を参照）。スイープ画像はＺ方向に存在する構造が重畳されるため、ユーザが、スイープ画像からＺ方向と直交する二次元平面上で奥行き構造の存在を知ることが可能である。さらに、このスイープ画像に対し復元処理を施すことにより全焦点画像を取得することが可能であり、Ｚスタック画像から全焦点画像を取得する方法と比較して撮影時間を短縮することができる。また、特許文献２では、このスイープ撮影を顕微鏡に適用させた構成が開示されている。
国際公開第２０１２／１０５２２２号 特開２０１２−０１３８０４号公報
ところで、顕微鏡を用いた被写体が発する光を観察する発光観察においてスイープ撮影を行う場合、合焦／非合焦領域または背景や構造物によって明るさが大きく異なるために露光時間の設定が難しいという課題がある。しかしながら、特許文献１，２には、露光時間の設定方法についての開示がなく、発光観察においてスイープ撮影を行っても視認性の高い発光画像を取得できない場合があった。
本発明は上記に鑑みてなされたものであり、顕微鏡を用いた発光観察においてスイープ撮影を行う際に、視認性の高い画像を取得することができる顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡観察システムは、顕微鏡の観察光学系により生成される被写体像を撮像して被写体画像を生成する撮像部と、前記撮像部の撮影条件を設定し、前記被写体像の本画像を取得する制御部と、前記制御部が設定した前記撮影条件に基づいて前記撮像部を制御する撮像制御部と、を備え、前記制御部は、前記本画像を生成するための事前画像を取得する第１の事前撮影の撮影条件を設定する第１の事前撮影条件設定部を有し、前記第１の事前撮影は、前記被写体に対して焦点面の位置を変えながら撮影するスイープ撮影であり、前記制御部は、前記スイープ撮影により得られる事前画像が輝度飽和しない撮影条件を設定し、前記事前画像に基づいて前記本画像を取得する、ことを特徴とする。
上記顕微鏡観察システムにおいて、前記制御部は、前記本画像を取得する本撮影の撮影条件を設定する本撮影条件設定部をさらに有し、前記本撮影は、前記被写体に対して焦点面の位置を変えながら撮影するスイープ撮影であり、前記本撮影条件設定部は、前記第１の事前撮影によって取得した前記事前画像をもとに、前記本撮影の撮影条件を設定し、前記撮像制御部は、前記本撮影条件設定部が設定した前記本撮影の撮影条件に基づいて、前記撮像部が前記被写体画像を撮像するように制御する、ことを特徴とする。
上記顕微鏡観察システムにおいて、前記制御部は、前記事前画像をもとに本画像を生成する本画像取得部、をさらに備えることを特徴とする。
上記顕微鏡観察システムにおいて、前記制御部は、前記事前画像をもとに生成された前記本画像に基づいて、スイープ撮影による本画像の取得を実施するか否かを判断する本撮影実施判断部、をさらに有し、前記本撮影条件設定部は、前記本撮影実施判断部がスイープ撮影により本画像の取得を実施すると判断した場合に、前記本画像の撮影条件を設定する、ことを特徴とする。
上記顕微鏡観察システムにおいて、前記制御部は、前記本画像、及び該本画像のボケ情報をもとに、全焦点画像を取得する全焦点画像取得部をさらに有することを特徴とする。
上記顕微鏡観察システムにおいて、前記ボケ情報は、前記スイープ撮影の撮影範囲における前記本画像のボケを表す点拡がり関数とを用いて生成された情報を含む、ことを特徴とする。
上記顕微鏡観察システムにおいて、前記制御部は、前記第１の事前撮影の前に行う第２の事前撮影の撮影条件を設定する第２の事前撮影条件設定部をさらに有し、前記第２の事前撮影は、前記スイープ撮影の撮影範囲のうちの撮影開始位置又は撮影終了位置における静止被写体画像を撮影する静止画撮影であり、前記第２の事前撮影条件設定部は、前記静止被写体画像の露光時間を取得する第２の事前撮影の撮影条件を設定し、前記第１の事前撮影条件設定部は、前記第２の事前撮影により得られる露光時間をもとに、前記第１の事前撮影の撮影条件を設定する、ことを特徴とする。
上記顕微鏡観察システムにおいて、前記輝度飽和しない撮影条件は、前記スイープ撮影を行う際の露光時間を含む、ことを特徴とする。
本発明に係る顕微鏡観察方法は、被写体像に基づく本画像を生成するための事前画像を生成する事前撮影の撮影条件を設定する事前撮影条件設定ステップと、前記事前撮影条件設定ステップで設定した事前撮影の撮影条件にしたがって撮像部に前記事前画像を撮像させる撮像制御ステップと、前記事前撮影によって生成された前記事前画像をもとに前記本画像を取得する画像取得ステップと、を含み、前記事前撮影は、被写体に対して焦点面の位置を変えながら撮影するスイープ撮影であり、事前撮影条件設定ステップは、該スイープ撮影により得られる事前画像が輝度飽和しない撮影条件を設定し、前記撮像部は、顕微鏡の観察光学系により生成される被写体像を撮像して被写体画像を生成する、ことを特徴とする。
本発明に係る顕微鏡観察プログラムは、被写体像に基づく本画像を生成するための事前画像を生成する事前撮影の撮影条件を設定する事前撮影条件設定手順と、前記事前撮影条件設定手順が設定した事前撮影の撮影条件にしたがって撮像部に前記事前画像を撮像させる撮像制御手順と、前記事前撮影によって生成された前記事前画像をもとに前記本画像を取得する画像取得手順と、をコンピュータに実行させ、前記事前撮影は、被写体に対して焦点面の位置を変えながら撮影するスイープ撮影であり、事前撮影条件設定手順は、該スイープ撮影により得られる事前画像が輝度飽和しない撮影条件を設定し、前記撮像部は、顕微鏡の観察光学系により生成される被写体像を撮像して被写体画像を生成する、ことを特徴とする。
本発明によれば、顕微鏡を用いた発光観察においてスイープ撮影を行う際に、視認性の高い画像を取得することができるという効果を奏する。
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。 図２は、図１に示す顕微鏡装置の構成例を示す模式図である。 図３は、図１に示す顕微鏡観察システムの動作を示すフローチャートである。 図４は、図３に示す第１の事前撮影の撮影条件取得処理を説明するフローチャートである。 図５は、第１の事前撮影の撮影条件の設定処理を説明するための模式図である。 図６は、パラメータ記憶部に記憶される情報の一例を示す図である。 図７は、第１の事前撮影の撮影条件の設定処理を説明するための模式図である。 図８は、試薬と露光係数との関係の一例を示す図である。 図９は、第１の事前撮影により得られた事前画像の一例を示す図である。 図１０は、図３に示す本撮影の撮影条件取得処理を説明するフローチャートである。 図１１は、事前画像に基づき生成したヒストグラムの一例を示す図である。 図１２は、スイープ撮影により得られた本画像の一例を示す図である。 図１３は、本発明の実施の形態１の変形例に係る顕微鏡観察システムの構成例を示すブロック図である。 図１４は、図１３に示す顕微鏡観察システムの動作を示すフローチャートである。 図１５は、図１４に示す全焦点画像取得処理を説明するフローチャートである。 図１６は、スイープ撮影により得られた本画像に基づいて取得した全焦点画像の一例を示す図である。 図１７は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。 図１８は、図１７に示す顕微鏡観察システムの動作を示すフローチャートである。 図１９は、図１８に示す第２の事前撮影により得られた第２事前画像の一例を示す図である。 図２０は、図１８に示す第１の事前撮影の撮影条件取得処理を説明するフローチャートである。 図２１は、ＰＦＳ情報から得られる、各Ｚ位置における輝度分布情報を説明する図である。 図２２は、本発明の実施の形態２の変形例１に係る顕微鏡観察システムの構成例を示すブロック図である。 図２３は、図２２に示す顕微鏡観察システムの動作を示すフローチャートである。 図２４は、図２３に示す本画像の取得処理を説明するフローチャートである。 図２５は、事前画像に基づき生成したヒストグラムの一例を示す図である。 図２６は、事前画像から輝度ゲインを算出するためのトーンカーブを説明する図である。 図２７は、事前画像のゲイン調整により得られた本画像の一例を示す図である。 図２８は、本発明の実施の形態２の変形例２に係る顕微鏡観察システムの構成例を示すブロック図である。 図２９は、図２８に示す顕微鏡観察システムの動作を示すフローチャートである。
以下、本発明に係る顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡観察システム１は、被写体像を生成する顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置２０と、撮像装置２０が処理した画像を表示する表示装置３０とを備える。顕微鏡観察システム１では、被写体が発する発光を観察光として受光して、該受光した光に基づく像を被写体像として被写体画像を取得する。本発明の実施の形態に係る発光は、例えば蛍光を発する遺伝子を被写体である細胞に導入し、該細胞に励起光を照射することによって励起された細胞が発する蛍光や、試薬などと反応して発光タンパク質が自ら光る発光などを含む。なお、上述した蛍光及び発光のほか、被写体の暗部などの光強度が微弱な被写体からの光を受光して被写体画像を取得するものであれば適用可能である。以下、本実施の形態では、発光観察の一例として、被写体からの蛍光を観察する蛍光観察について説明する。
図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００上に三眼鏡筒ユニット１０１を介して支持された鏡筒１０２及び接眼レンズユニット１０３と、アーム１００に設けられた落射照明ユニット１１０及び透過照明ユニット１２０と、被写体Ｓが載置されるステージ１３１を含む電動ステージユニット１３０と、鏡筒１０２の一端側に三眼鏡筒ユニット１０１を介してステージ１３１と対向するように設けられ、被写体Ｓからの観察光を結像する対物レンズ１４０とを備える。この対物レンズ１４０と、三眼鏡筒ユニット１０１を介して接続された鏡筒１０２と、該鏡筒１０２の他端側に設けられた撮像部２１１（後述）とが、観察光学系（撮像光学系）１０４を構成する。
三眼鏡筒ユニット１０１は、対物レンズ１４０から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１０３と、後述する撮像部２１１との方向に分岐する。
落射照明ユニット１１０は、落射照明用光源１１１及び落射照明光学系１１２を備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１１２は、落射照明用光源１１１から出射した照明光を集光して、観察光学系１０４の光軸Ｌの方向に導く種々の光学部材、具体的には、蛍光の励起波長の光を反射するとともに、該励起波長の光により励起されて生じた蛍光を透過するフィルタを含むキューブ、シャッタ、視野絞り、開口絞り等を含む。
透過照明ユニット１２０は、透過照明用光源１２１及び透過照明光学系１２２を備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１２２は、透過照明用光源１２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
これらの落射照明ユニット１１０及び透過照明ユニット１２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置１０に、落射照明ユニット１１０と透過照明ユニット１２０とのいずれか一方のみを設けることとしてもよい。
電動ステージユニット１３０は、ステージ１３１と、該ステージ１３１を移動させるステージ駆動部１３２と、位置検出部１３３とを備える。ステージ駆動部１３２は、例えばモータによって構成される。ステージ１３１の被写体載置面１３１ａは、対物レンズ１４０の光軸と直交するように設けられている。以下においては、被写体載置面１３１ａをＸＹ平面とし、該ＸＹ平面の法線方向、即ち光軸と平行な方向をＺ方向とする。Ｚ方向においては、図の下方向、即ちステージ１３１（被写体載置面１３１ａ）が対物レンズ１４０から離れる方向をプラス方向とする。
ステージ１３１をＸＹ平面内で移動させることにより、対物レンズ１４０の視野の位置を移動させることができる。また、ステージ１３１をＺ方向に移動させることにより、対物レンズ１４０の焦点面を光軸Ｌに沿って移動させることができる。即ち、電動ステージユニット１３０は、後述する撮像制御部２２の制御のもとでステージ１３１を移動させることにより焦点面や視野の位置を移動させる移動手段である。
なお、図２においては、焦点面及び視野の位置を移動させる際、鏡筒１０２〜対物レンズ１４０を含む観察光学系１０４の位置を固定し、ステージ１３１側を移動させる構成としているが、ステージ１３１の位置を固定し、観察光学系１０４側を移動させてもよい。或いは、ステージ１３１と観察光学系１０４との双方を互いに反対方向に移動させてもよい。つまり、観察光学系１０４と被写体Ｓとが相対的に移動可能な構成であれば、どのような構成であっても構わない。また、焦点面の移動は観察光学系１０４のＺ方向における移動により行い、視野の位置の移動はステージ１３１のＸＹ平面における移動により行うこととしてもよい。
位置検出部１３３は、例えばモータからなるステージ駆動部１３２の回転量を検出するエンコーダによって構成され、ステージ１３１の位置を検出して検出信号を出力する。なお、ステージ駆動部１３２及び位置検出部１３３の代わりに、後述する撮像制御部２２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けてもよい。
対物レンズ１４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４０、１４１）を保持可能なレボルバ１４２に取り付けられている。レボルバ１４２を回転させ、ステージ１３１と対向する対物レンズ１４０、１４１を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４０がステージ１３１と対向している状態を示している。
再び図１を参照すると、撮像装置２０は、顕微鏡装置１０の観察光学系１０４により生成された被写体像を撮像することにより画像を取得する画像取得部２１と、該画像取得部２１の撮像動作を制御する撮像制御部２２と、当該撮像装置２０における各種動作を制御すると共に、画像取得部２１が取得した画像を処理する制御部２３と、画像取得部２１が取得した画像の画像データや制御プログラム等の各種情報を記憶する記憶部２４と、当該撮像装置２０に対する指示や情報を入力するための入力部２５と、記憶部２４に記憶された画像データに基づく画像やその他各種情報を外部機器に出力する出力部２６とを備える。
画像取得部２１は、撮像部２１１及びメモリ２１２を備える。撮像部２１１は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子（イメージャ）２１１ａを備え、撮像素子２１１ａが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル（画素値）として輝度値Ｙを出力するモノクロ画像を撮像可能なカメラを用いて撮像部２１１を構成してもよい。
図２に示すように、撮像部２１１は、光軸Ｌが撮像素子２１１ａの受光面の中心を通るように、鏡筒１０２の一端に設けられ、対物レンズ１４０〜鏡筒１０２を含む観察光学系１０４を介して受光面に入射した観察光を光電変換することにより、対物レンズ１４０の視野に入った被写体像の画像データを生成する。
メモリ２１２は、例えば更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置からなり、撮像部２１１が生成した画像データを一時的に記憶する。
撮像制御部２２は、制御部２３の制御のもと、撮像部２１１の１露光期間中に、顕微鏡装置１０に制御信号を出力してステージ１３１を移動させることにより、被写体に対して、焦点面の位置を変えながら撮影するスイープ撮影を行い、観察光学系１０４の光軸Ｌ方向の複数の面における画像情報を含むスイープ画像を取得する制御や、Ｚ方向の所定の位置において静止画撮影を行い静止画像を取得する制御を行う。なお、撮像制御部２２による制御のもと、ステージ１３１をＸＹ平面上で移動させて、視野の位置を移動させることも可能である。
制御部２３は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２４に記憶されたプログラムを読み込むことにより、記憶部２４に記憶された各種パラメータや入力部２５から入力される情報等に基づき、撮像装置２０及び顕微鏡観察システム１全体の動作を統括的に制御する。また、制御部２３は、画像取得部２１が取得する画像の取得条件を設定する処理を実行するとともに、画像取得部２１が取得した画像を表示装置３０に表示させる制御を行う。
詳細には、制御部２３は、顕微鏡装置１０を用いて行う事前撮影の撮影条件を設定する第１の事前撮影条件設定部２３１と、顕微鏡装置１０を用いて行う本撮影の撮影条件を設定する本撮影条件設定部２３２とを備える。ここでいう事前撮影とは、本画像を生成するための事前画像を取得する第１の事前撮影であり、被写体に対して焦点面の位置を変えながら撮影するスイープ撮影のことである。また、本撮影とは、事前画像に基づいて撮影条件が設定される撮影であり、被写体に対して焦点面の位置を変えながら撮影するスイープ撮影のことである。
記憶部２４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体と該記録媒体に対して情報を書き込むと共に該記録媒体に記録された情報を読み取る書込読取装置とによって構成される。記憶部２４は、制御部２３における演算に使用されるパラメータを記憶するパラメータ記憶部２４１と、各種プログラムを記憶するプログラム記憶部２４２とを備える。このうち、パラメータ記憶部２４１は、蛍光を撮影する際の撮影条件を設定するパラメータとして、蛍光試薬（以下、単に試薬ともいう）と露光係数とを関連付けた係数テーブルや、試薬または対物レンズとキューブとを関連付けた関係テーブル等のパラメータを記憶する。また、プログラム記憶部２４２は、当該撮像装置２０に所定の動作を実行させるための制御プログラムや、画像処理プログラム等を記憶する。
入力部２５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対してなされる操作に応じた信号を制御部２３に入力する。
出力部２６は、画像取得部２１により取得された画像データに基づく画像や、制御部２３において生成された全焦点画像や、その他各種情報を表示装置３０等の外部機器に出力し、所定の形式で表示させる外部インタフェースである。
このような撮像装置２０は、例えば、パーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェースを介して汎用のデジタルカメラを組み合わせることにより構成することができる。
表示装置３０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する。なお、実施の形態１においては、表示装置３０を撮像装置２０の外部に設けているが、撮像装置２０の内部に設けてもよい。
次に、顕微鏡観察システム１の動作について説明する。図３は、顕微鏡観察システム１の動作を示すフローチャートである。以下の動作は、制御部２３の制御のもとで、各部が動作するものとして説明する。
まず、ステップＳ１０１において、第１の事前撮影条件設定部２３１は、事前画像を取得するための第１の事前撮影の撮影条件を設定する。具体的に、第１の事前撮影条件設定処部２３１は、設定された情報をもとに、事前画像を取得するための第１の事前撮影であるスイープ撮影の撮影条件を取得する。
図４は、図３に示す第１の事前撮影の撮影条件取得処理を説明するフローチャートである。まず、第１の事前撮影条件設定部２３１は、使用する試薬、励起波長、及びスイープ距離に応じた被写体の厚さを含む被写体情報を取得する（ステップＳ１１１）。
図５は、第１の事前撮影の撮影条件の設定処理を説明するための模式図であって、表示装置３０に表示するユーザインターフェースを示す図である。図５に示すように、表示装置３０にユーザインターフェースを表示して、ユーザが設定入力するようにしてもよい。図５に示す入力画面Ｗ1には、試薬を設定するプルダウンＰd1や、励起波長を設定するプルダウンンＰd2、被写体の厚さを設定入力可能な入力ボックスＣ1、設定入力を確定するＯＫボタンＢ1、設定入力をキャンセルするキャンセルボタンＢ2が表示されている。ユーザは、入力部２５を介してプルダウンに表示されている項目を選択したり、入力ボックスＣ1に入力したり、ＯＫボタンＢ1またはキャンセルボタンＢ2を選択したりすることによって、被写体情報の設定、及び設定の確定を行う。
なお、試薬と励起波長との関係を予めパラメータ記憶部２４１に記憶させておき、試薬の選択によって、自動的に励起波長が選択されるようにしてもよい。図６は、パラメータ記憶部に記憶される情報の一例を示す図であって、試薬、励起波長、蛍光波長及びキューブを関連付けた関係テーブルを示す図である。図６に示すように、試薬と励起光の波長帯域とを関連付けた関係テーブルを予めパラメータ記憶部２４１に記憶させておくことによって、上述したように、試薬及び励起波長の一方を選択することによって他方を自動的に選択することができる。
ステップＳ１１１に続くステップＳ１１２では、第１の事前撮影条件設定部２３１は、対物レンズの倍率、撮影範囲、及びキューブを含む観察情報を取得する。図７は、第１の事前撮影の撮影条件の設定処理を説明するための模式図であって、表示装置３０に表示するユーザインターフェースを示す図である。図７に示すように、表示装置３０にユーザインターフェースを表示して、ユーザが設定入力するようにしてもよい。図７に示す入力画面Ｗ2には、対物レンズの倍率を設定するプルダウンＰd3や、撮影範囲のうちの被写体と近い側（Near）の位置を設定入力可能な入力ボックスＣ2、撮影範囲のうちの被写体と遠い側（Far）の位置を設定入力可能な入力ボックスＣ3、使用するキューブを設定するプルダウンＰd4、設定入力を確定するＯＫボタンＢ1、設定入力をキャンセルするキャンセルボタンＢ2が表示されている。ユーザは、入力部２５を介してプルダウンに表示されている項目を選択したり、入力ボックスＣ2、Ｃ3に入力したり、ＯＫボタンＢ1またはキャンセルボタンＢ2を選択したりすることによって、観察情報の設定、及び設定の確定を行う。
なお、入力画面Ｗ2において、getボタンＢ31、Ｂ41は現在の対物レンズ１４０又はステージ１３１の位置を取得する入力ボタンであり、setボタンＢ32、Ｂ42はgetボタンＢ31、Ｂ41によって取得した位置に設定する入力ボタンである。例えば、ユーザが、ステージ１３１を所望の位置に移動させた後、入力部２５を介してgetボタンＢ31を押下すると、現在のステージ１３１の位置をNear位置として取得する。その後、入力部２５を介してsetボタンＢ32を押下すると、取得したステージ１３１の位置をNear位置として設定する。
ステップＳ１１１及びＳ１１２において被写体情報及び観察情報を取得すると、第１の事前撮影条件設定部２３１は、被写体情報及び観察情報に基づいて第１の事前撮影の撮影条件を取得する（ステップＳ１１３）。第１の事前撮影条件設定部２３１は、まず、被写体情報から試薬によって決まる露光係数Ｐαを取得し、基準露光時間Ｂexに対して取得した露光係数Ｐαを乗じて算出した露光時間Ｐexを取得する。
ここで、露光係数Ｐαについて説明する。輝度Ｉと、モル吸収係数（ε（Ｍ-1ｃｍ-1））と、量子収率（φ）とは、Ｉ∝ε×φの関係を有している。Ｍ（molar）は、単位体積の溶液中の溶質の物質量を表す単位である（ｍｏｌ／Ｌ＝１０-3Ｍ）。量子収率（φ）は、放出された光子数／吸収された光子数で、各蛍光色素の吸収スペクトルのピーク波長を用いて測定できる。
輝度Ｉは、蛍光物質に吸収される特定波長の光量と励起光と蛍光の変換効率（量子収率）に比例することが知られている。輝度Ｉは、試薬の種類によって算出（または計測、記録）可能である。例えば、フルオレセイン（ＦＩＴＣ）はε＝７０，０００、φ＝０．９であり、Ｃｙ５（サイファイブ）はε＝２００，０００、φ＝０．３である。このように試薬によって得られる輝度情報に対し、例えば、非常に明るいＦＩＴＣの輝度を基準輝度とし、ＦＩＴＣとの輝度比率を求めることによって、各試薬の露光係数を決めることができる。例えば、使用する試薬の中で最も輝度の高いＦＩＴＣの輝度を基準輝度、ＦＩＴＣの露光時間を基準露光時間Ｂexに設定した場合は、下式（１）に基づいて、露光時間Ｐexを算出することができる。
Ｐex＝Ｂex×Ｐα ・・・（１）
ここで、Ｐαは基準輝度／試薬輝度である。
また、上述した露光時間Ｐexを試薬の褪色を考慮して算出してもよい。この場合、基準露光時間Ｂexは、ＦＩＴＣを褪色前に観察する際の露光時間をＦex（例えば０．１ｍｓ＝１００ｎｓ）としたとき、Ｆex×ｋ（≦１．０）とする。ｋは確実に飽和しない程度の露光時間に設定するための補正係数であり、試薬の褪色具合に応じて設定可能な係数である。露光係数Ｐαにより試薬に応じた短い露光時間を設定することができ、事前画像の輝度飽和を防ぐことができる。
さらに、ユーザによって使用試薬が決まっている場合は、試薬と露光係数とを関連付けた関係テーブルをパラメータ記憶部２４１に予め記憶しておき、試薬が指定された時点で係数Tableから露光係数を取得してもよい。図８は、試薬と露光係数との関係の一例を示す図である。図８に示すように、試薬と露光係数とを関連づけて記憶しておくことで、試薬の設定時に露光係数を取得することが可能である。
その後、第１の事前撮影条件設定部２３１は、観察情報の撮影範囲Ｄ1（Ｄ1＝Near−Far）を取得して、算出した露光時間Ｐexと、取得した撮影範囲とに基づいてＺ方向の移動速度Ｓp（Ｓp＝Ｄ1／Ｐex）を算出する。第１の事前撮影条件設定部２３１は、試薬によって決まる露光係数Ｐα、及び予め設定されている基準露光時間Ｂexに基づいて撮影条件を設定することにより、第１の事前撮影によって取得される事前画像の輝度飽和を抑制することができる撮影条件を設定する。
なお、露光係数を用いて露光時間を算出するものとして説明したが、励起強度係数や、絞り係数を基準とし、励起強度係数や、絞り係数の関係テーブルを用いて、各基準（基準励起強度、基準絞り値）に対して、各係数で補正した設定値を算出するようにしてもよい。第１の事前撮影条件設定部２３１は、その後、設定値から露光時間Ｐexを算出し、観察情報から撮影範囲Ｄ1を取得して、距離と露光時間Ｐexとに基づき移動速度Ｓpを算出する。また、蛍光のほか、発光タンパク質など自ら発光する被写体の観察を行なう場合は、発光タンパク質の種別などに応じて露光時間を設定する。
このようにして、制御部２３は、第１の事前撮影条件設定部２３１が第１の事前撮影の撮影条件である露光時間Ｐex及び移動速度Ｓpを算出すると、図３のフローチャートに戻る。
図３に戻り、制御部２３は、ステップＳ１０１で取得された露光時間Ｐex及び移動速度Ｓpにしたがって第１の事前撮影であるスイープ撮影を行って事前画像を撮影させる（ステップＳ１０２）。この際、撮像制御部２２は、露光時間Ｐex及び移動速度Ｓpにしたがって撮像部２１１にスイープ撮影させる制御を行って、被写体画像を取得させる。制御部２３は、スイープ撮影により得られた被写体画像を事前画像として取得する。図９は、事前スイープ撮影により得られた事前画像の一例を示す図である。ステップＳ１０１で取得された露光時間Ｐex及び移動速度Ｓpにしたがってスイープ撮影を行うことにより、図９に示すような事前画像を得ることができる。
ステップＳ１０２に続くステップＳ１０３では、制御部２３は、事前画像から本画像を取得するための本撮影の撮影条件を取得する。図１０は、図３に示す本撮影の撮影条件取得処理を説明するフローチャートである。まず、本撮影条件設定部２３２は、ステップＳ１０２で取得した事前画像の輝度情報を取得する（ステップＳ１２１）。具体的に、本撮影条件設定部２３２は、事前画像の全画素の輝度値についてヒストグラムを事前画像の輝度情報として生成する。
図１１は、事前画像に基づき生成したヒストグラムの一例を示す図である。図１１に示すように、事前画像の輝度値をもとにヒストグラムを生成することによって、最小輝度値（Min）、最大輝度値（Max）及び平均（Mean）を取得することができる。
その後、本撮影条件設定部２３２は、生成したヒストグラムから最大輝度を取得して、基準最大輝度（例えば、輝度値２５５）と事前画像の最大輝度（例えば、図１１に示すヒストグラムの最大輝度値５４）との輝度比を算出する（ステップＳ１２２）。本撮影条件設定部２３２は、輝度比をＥgとしたとき、輝度比Ｅg＝基準最大輝度値（例えば２５５）／事前画像最大輝度値（例えば５４）により輝度比Ｅgを算出する。
ステップＳ１２２に続くステップＳ１２３では、本撮影条件設定部２３２は、輝度比Ｅgから本撮影における露光時間を算出する。具体的に、本撮影条件設定部２３２は、本画像撮影の露光時間をＲexとすると、事前画像の露光時間Ｐexと輝度比Ｅgとを用いて、下式（２）より、露光時間Ｒexを算出する。
Ｒex＝Ｐex×Ｅg ・・・（２）
ステップＳ１２３に続くステップＳ１２４では、本撮影条件設定部２３２は、観察情報の撮影範囲Ｄ1（Ｄ1＝Near−Far）を取得して、算出した露光時間Ｒexと、取得した撮影範囲（Ｄ1）とに基づいてＺ方向の移動速度Ｓr（Ｓr＝Ｄ1／Ｒex）を算出する。
このようにして、制御部２３は、本撮影条件設定部２３２が本撮影の撮影条件である露光時間Ｒex及び移動速度Ｓrを算出すると、図３のフローチャートに戻る。
図３に戻り、制御部２３は、ステップＳ１０１で取得された第１の事前撮影におけるスイープ範囲と、ステップＳ１０３で取得された露光時間Ｒex及び移動速度Ｓrとにしたがって本撮影であるスイープ撮影を行って本画像を撮影させる（ステップＳ１０４）。この際、撮像制御部２２は、露光時間Ｒex及び移動速度Ｓrにしたがって撮像部２１１にスイープ撮影させる制御を行って、被写体画像を取得させる。制御部２３は、スイープ撮影により得られた被写体画像を本画像として取得する。図１２は、スイープ撮影により得られた本画像の一例を示す図である。ステップＳ１０３で取得された露光時間Ｒex及び移動速度Ｓrにしたがってスイープ撮影を行うことにより、図１２に示すような本画像を得ることができる。
その後、制御部２３は、画像取得にかかる処理を終了する。制御部２３は、取得した本画像を表示装置３０に表示させるようにしてもよいし、本画像を記憶部２４に記憶させるようにしてもよいし、本画像を表示装置３０に表示させるとともに、記憶部２４に記憶させるようにしてもよい。
以上説明したように、本発明の実施の形態１においては、本画像を撮像する前に、事前撮影として、試薬等に基づき設定された撮影条件のもとでスイープ撮影を行って、事前画像を取得し、この事前画像の輝度値をもとに、本画像を取得するための本撮影であるスイープ撮影の撮影条件を設定するようにしたので、事前に１度だけスイープ撮影し、本撮影の露光時間を設定することで、少ない撮影回数（撮影時間）で最適な露光時間を設定して、輝度飽和を抑制した本（スイープ）画像を取得することができる。これにより被写体の蛍光の褪色が少ない状態でＸＹ平面である二次元平面上で奥行き構造の存在を知ることが可能な画像を取得することができる。
また、上記実施の形態１によれば、１露光期間中に焦点面を移動させて撮像を行うことにより画像を取得するので、複数回の撮像によりＺスタック画像を取得し、このＺスタック画像を加算平均して多重焦点重畳画像を取得する場合と比較して、撮像を短時間で行うことができるとともに、データ量や画像処理における演算量を大幅に抑制することが可能となる。
（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について説明する。図１３は、本発明の実施の形態１の変形例に係る顕微鏡観察システムの構成例を示すブロック図である。図１３に示すように、本変形例に係る顕微鏡観察システム２は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置４０と、撮像装置４０が処理した画像等を表示する表示装置３０とを備える。このうち、顕微鏡装置１０及び表示装置３０の構成及び動作は実施の形態１と同様である。
撮像装置４０は、図１に示す制御部２３の代わりに制御部４１を備える。制御部４１は、制御部２３に対して、取得した本画像をもとに、全焦点画像を生成する全焦点画像取得部４１１をさらに備える。なお、第１の事前撮影条件設定部２３１及び本撮影条件設定部２３２の動作は、実施の形態１と同様である。
次に、顕微鏡観察システム２の動作について説明する。図１４は、顕微鏡観察システム２の動作を示すフローチャートである。以下の動作は、制御部４１の制御のもとで、各部が動作するものとして説明する。
第１の事前撮影の撮影条件の設定から、本画像の取得処理までは、上述した実施の形態１にかかるステップＳ１０１〜Ｓ１０４と同様である（ステップＳ２０１〜Ｓ２０４）。まず、ステップＳ２０１において、第１の事前撮影条件設定部２３１は、第１の事前撮影であるスイープ撮影の撮影条件を取得する。その後、制御部４１は、ステップＳ２０１で取得された撮影条件にしたがってスイープ撮影を行って事前画像を撮影させる（ステップＳ２０２）。
ステップＳ２０２に続くステップＳ２０３では、制御部４１は、事前画像から本撮影の撮影条件（露光時間Ｒex及び移動速度Ｓr）を取得する。その後、制御部４１は、ステップＳ２０３で取得された露光時間Ｒex及び移動速度Ｓrにしたがって本撮影であるスイープ撮影を行って本画像を撮影する（ステップＳ２０４）。
制御部４１は、本画像を取得後、この本画像から全焦点画像を生成して取得する（ステップＳ２０５）。図１５は、図１４に示す全焦点画像取得処理を説明するフローチャートである。まず、全焦点画像取得部４１１は、観察情報で設定されている撮影範囲（Ｚ方向のスイープ撮影の撮影範囲）において、各Ｚ位置における画像ボケを表す点拡がり関数（Point Spread Function：ＰＳＦ）情報（複数のスライス）を取得し、このＰＳＦ情報に基づくＰＳＦ画像を生成する（ステップＳ２１１）。ここで、ＰＳＦ情報は、励起波長や観察倍率等の撮影条件から撮影位置と関連づけられて予めパラメータ記憶部２４１に記憶されている。その後、全焦点画像取得部４１１は、各Ｚ位置でのＰＳＦ画像間で、位置が対応する画素同士の画素値の加算平均値を算出することにより、多重焦点重畳ＰＳＦ画像を生成する（ステップＳ２１２）。このようにして、全焦点画像取得部４１１は、本撮影のスイープ範囲におけるＰＳＦ情報として多重焦点重畳ＰＳＦ画像を取得する。
その後、全焦点画像取得部４１１は、本画像と多重焦点重畳ＰＳＦ画像とをもとに全焦点画像を取得する（ステップＳ２１３）。具体的に、全焦点画像取得部４１１は、本画像を多重焦点重畳ＰＳＦ画像で復元することにより全焦点画像を取得する。なお、画像の復元処理方法は公知の復元技術を用いることができる。図１６は、スイープ撮影により得られた本画像に基づいて取得した全焦点画像の一例を示す図である。ステップＳ２０３で取得された露光時間Ｒex及び移動速度Ｓrにしたがってスイープ撮影を行うことにより、例えば図１２に示すような本画像を得ることができ、さらに、この本画像と、多重焦点重畳ＰＳＦ画像とをもとに、全焦点画像を生成することができる。
その後、制御部４１は、図１４に戻り、画像取得にかかる処理を終了する。制御部４１は、取得した全焦点画像を表示装置３０に表示させるようにしてもよいし、全焦点画像を記憶部２４に記憶させるようにしてもよいし、全焦点画像を表示装置３０に表示させるとともに、記憶部２４に記憶させるようにしてもよい。
以上説明したように、本発明の実施の形態１の変形例においては、本画像を撮像する前に、事前撮影として、試薬等に基づき設定された撮影条件のもとでスイープ撮影を行って、事前画像を取得し、この事前画像の輝度値をもとに、本撮影の撮影条件を設定するようにしたので、事前に１度だけスイープ撮影し、本撮影の露光時間設定することで、少ない撮影回数（撮影時間）で、最適な露光時間を設定して本（スイープ）画像を取得することができる。さらに、本（スイープ）画像と、多重焦点重畳ＰＳＦ画像とをもとに、輝度飽和を抑制した視認性の高い全焦点画像を生成することができる。これにより被写体の蛍光の褪色が少ない状態でＸＹ平面である二次元平面上で奥行き構造の存在を知ることが可能な画像を取得することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１７は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。図１７に示すように、本実施の形態２に係る顕微鏡観察システム３は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置５０と、撮像装置５０が処理した画像等を表示する表示装置３０とを備える。このうち、顕微鏡装置１０及び表示装置３０の構成及び動作は実施の形態１と同様である。
撮像装置５０は、図１３に示す制御部４１の代わりに制御部５１を備える。制御部５１は、制御部４１に対して、第１の事前撮影の前に行う第２の事前撮影の撮影条件の設定を行う第２の事前撮影条件設定部５１１をさらに備える。なお、第１の事前撮影条件設定部２３１、本撮影条件設定部２３２及び全焦点画像取得部４１１の動作は、実施の形態１及び変形例と同様である。本実施の形態２における第２の事前撮影とは、第１の事前撮影におけるスイープ撮影の撮影範囲のうちの撮影開始位置又は撮影終了位置における静止被写体画像を撮影する静止画撮影である。
次に、顕微鏡観察システム３の動作について説明する。図１８は、顕微鏡観察システム３の動作を示すフローチャートである。以下の動作は、制御部５１の制御のもとで、各部が動作するものとして説明する。
まず、第２の事前撮影条件設定部５１１が、第２の事前撮影の撮影条件を取得する（ステップＳ３０１）。第２の事前撮影条件設定部５１１は、図７に示す入力画面等において設定される撮影範囲のうちNear位置を撮影位置として、自動露光処理を行って取得した露光時間Ｐex_nを第２の事前撮影の撮影条件として取得する。自動露光処理は公知の方法でよく、例えば、特許第３３８４５７７号公報に記載のように、任意の露光時間で撮影した画像のヒストグラムを取得し、閾値より大きい輝度を持つ領域を処理対象として、該領域の輝度の平均値を用いて露光時間Ｐex_nを取得する。
その後、制御部５１は、ステップＳ３０１で取得された撮影条件にしたがって静止被写体画像を撮影する（ステップＳ３０２）。図１９は、図１８に示す第２の事前撮影により得られた静止被写体画像の一例を示す図である。ステップＳ３０１で取得された露光時間Ｐex_nにしたがって、Near位置において被写体の撮影を行うことにより、例えば図１９に示すような静止被写体画像を得ることができる。
ステップＳ３０２に続くステップＳ３０３では、第１の事前撮影条件設定部２３１が、第１の事前撮影の撮影条件を取得する。第１の事前撮影条件設定部２３１は、ステップＳ３０１で取得された露光時間Ｐex_nをもとに、第１の事前撮影の撮影条件を取得する。図２０は、図１８に示す第１の事前撮影の撮影条件取得処理を説明するフローチャートである。まず、第１の事前撮影条件設定部２３１は、対物レンズの倍率、撮影範囲、及びキューブを含む観察情報を取得する（ステップＳ３１１）。例えば、図７に示すユーザインターフェースを用いて設定された観察情報を取得する。
ステップＳ３１１において観察情報を取得すると、第１の事前撮影条件設定部２３１は、観察情報の撮影範囲において、予めパラメータ記憶部２４１に記憶されている複数のＺ位置で撮影したスライスを含むＰＳＦ情報を取得する（ステップＳ３１２）。
その後、第１の事前撮影条件設定部２３１は、ステップＳ３１１で取得した撮影開始位置における露光時間Ｐex_nと、ステップＳ３１２で取得したＰＳＦ情報とから、第１の事前撮影の撮影条件を取得する（ステップＳ３１３）。
ステップＳ３１３において、第１の事前撮影条件設定部２３１は、ＰＳＦ情報から各Ｚ位置での輝度分布情報を取得する。図２１は、ＰＦＳ情報から得られる、各Ｚ位置における輝度分布情報を説明する図であって、スライス（番号）と輝度との関係の一例を示すグラフである。第１の事前撮影条件設定部２３１は、図２１に示すような、各スライスの輝度総和をプロットして生成される輝度分布情報を取得する。図２１では、例えば、Near位置側のスライスを１番、Far側のスライスを１０９番としている。
第１の事前撮影条件設定部２３１は、輝度分布情報を取得後、撮影開始位置画像（Near位置で取得した静止被写体画像）を「最も合焦位置から外れている状態で撮影した画像」と仮定し、最も合焦位置から外れている状態で撮影した画像の輝度、すなわちスライス１の輝度と、合焦している位置の輝度、例えばスライス５５の輝度との比率を求める。ここで取得した比率をゲインＫとすると、第１の事前撮影条件設定部２３１は、ステップＳ３０１で取得した露光時間Ｐex_nと、上述したゲインＫとから、下式より露光時間Ｐexを設定する。
Ｋ＝スライス１の輝度総和／スライス５５の輝度総和
Ｐex＝Ｐex_n×Ｋ
さらに、第１の事前撮影条件設定部２３１は、観察情報から撮影範囲Ｄ1（Ｄ1＝Near−Far）を取得し、距離（Ｄ1）と露光時間Ｐexとから移動速度Ｓp（Ｓp＝Ｄ1／Ｐex）を算出する。
このようにして、制御部５１は、第１の事前撮影条件設定部２３１が第１の事前撮影の撮影条件である露光時間Ｐex及び移動速度Ｓpを算出すると、図１８のフローチャートに戻る。
事前画像の撮影処理から全焦点画像の取得処理までは、上述した実施の形態１の変形例にかかるステップＳ２０２〜Ｓ２０５と同様である（ステップＳ３０４〜Ｓ３０７）。まず、ステップＳ３０４において、制御部５１は、ステップＳ３０３で取得された露光時間Ｐex及び移動速度Ｓpにしたがって第１の事前撮影であるスイープ撮影を行って事前画像を撮影する。ステップＳ３０４に続くステップＳ３０５では、制御部５１は、事前画像から本画像を取得するための本撮影の撮影条件である露光時間Ｒex及び移動速度Ｓrを取得する。その後、制御部５１は、ステップＳ３０５で取得された露光時間Ｒex及び移動速度Ｓrにしたがってスイープ撮影を行って本画像を撮影する（ステップＳ３０６）。
制御部５１は、本画像を取得後、この本画像を多重焦点重畳ＰＳＦ画像で復元することにより全焦点画像を生成して取得する（ステップＳ３０７）。その後、制御部５１は、図１８に戻り、画像取得にかかる処理を終了する。制御部５１は、取得した全焦点画像を表示装置３０に表示させるようにしてもよいし、全焦点画像を記憶部２４に記憶させるようにしてもよいし、全焦点画像を表示装置３０に表示させるとともに、記憶部２４に記憶させるようにしてもよい。
以上説明したように、本発明の実施の形態２においては、事前画像を撮像する前に、第２の事前撮影として、自動露光処理を行って露光時間Ｐex_nを取得し、パラメータ記憶部２４１に記憶されているＰＳＦ情報を取得して、露光時間Ｐex_nとＰＳＦ情報とから第１の事前撮影の撮影条件を設定するようにしたので、事前に１度だけ静止画撮影するのみで、第１の事前撮影の露光時間を適切に設定することができる。実施の形態１のように、第２の事前撮影を行わずに第１の事前撮影のみを行って本画像を取得する場合と比して、少ない撮影回数（撮影時間）、かつ最適な露光時間を確実に設定して本（スイープ）画像を取得することができる。さらに、本（スイープ）画像と、多重焦点重畳ＰＳＦ画像とをもとに、輝度飽和を抑制した視認性の高い全焦点画像を生成することができる。これにより被写体の蛍光の褪色が少ない状態でＸＹ平面である二次元平面上で奥行き構造の存在を知ることが可能な画像を取得することができる。
なお、上述した実施の形態２では、第２の事前撮影条件設定部５１１が、撮影範囲のうちNear位置を撮影位置として、自動露光処理を行って露光時間Ｐex_nを取得するものとして説明したが、Far位置を撮影位置として、自動露光処理を行って露光時間Ｐex_fを取得するものであってもよい。
（実施の形態２の変形例１）
次に、本発明の実施の形態２の変形例１について説明する。図２２は、本発明の実施の形態２の変形例１に係る顕微鏡観察システムの構成例を示すブロック図である。図２２に示すように、本変形例１に係る顕微鏡観察システム４は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置６０と、撮像装置６０が処理した画像等を表示する表示装置３０とを備える。このうち、顕微鏡装置１０及び表示装置３０の構成及び動作は実施の形態１、２と同様である。
撮像装置６０は、図１７に示す制御部５１の代わりに制御部６１を備える。制御部６１は、制御部５１に対して、本撮影条件設定部２３２に代えて、事前画像をもとに本画像を生成する本画像取得部６１１を備える。なお、第１の事前撮影条件設定部２３１、全焦点画像取得部４１１及び第２の事前撮影条件設定部５１１の動作は、実施の形態２と同様である。上述した実施の形態２では、事前画像をもとに本撮影の撮影条件を取得して本撮影を行うことで本画像を取得するものとして説明したが、本変形例１では、事前画像をもとに本画像を生成する。
続いて、本変形例１に係る顕微鏡観察システム４の動作について説明する。図２３は、顕微鏡観察システム４の動作を示すフローチャートである。以下の動作は、制御部６１の制御のもとで、各部が動作するものとして説明する。
第２の事前撮影の撮影条件設定処理から事前画像の撮影処理までは、上述した図１８のステップＳ３０１〜Ｓ３０４と同様である（ステップＳ４０１〜Ｓ４０４）。第２の事前撮影条件設定部５１１が、第２の事前撮影の撮影条件を取得する（ステップＳ４０１）。その後、制御部６１は、ステップＳ４０１で取得された撮影条件にしたがって静止被写体画像を撮影する（ステップＳ４０２）。ステップＳ４０２に続くステップＳ４０３では、第１の事前撮影条件設定部２３１が、第１の事前撮影の撮影条件を取得する。第１の事前撮影条件設定部２３１は、ステップＳ４０１で取得された露光時間Ｐex_nをもとに、具体的にはステップＳ４０２で取得された静止被写体画像の輝度を用いて第１の事前撮影の撮影条件（露光時間Ｐex及び移動速度Ｓp）を取得する。ステップＳ４０３に続くステップＳ４０４では、制御部６１が、ステップＳ４０３で取得された露光時間Ｐex及び移動速度Ｓpにしたがってスイープ撮影を行って事前画像を撮影する。
ステップＳ４０４に続くステップＳ４０５では、本画像取得部６１１が、ステップＳ４０４で取得した事前画像をもとに本画像を生成して取得する。図２４は、図２３に示す本画像の取得処理を説明するフローチャートである。まず、本画像取得部６１１は、事前画像の輝度情報を取得する（ステップＳ４１１）。本画像取得部６１１は、事前画像の輝度情報として、ヒストグラムを生成する。
図２５は、事前画像に基づき生成したヒストグラムの一例を示す図である。図２５に示すように、事前画像の輝度値をもとにヒストグラムを生成することによって、最小輝度値（Min）、最大輝度値（Max）及び平均（Mean）を取得することができる。
事前画像の輝度情報を取得すると、本画像取得部６１１は、公知のゲイン調整方法を用いて、事前画像から輝度ゲインを算出する（ステップＳ４１２）。図２６は、事前画像から輝度ゲインを算出するためのトーンカーブを説明する図である。本画像取得部６１１は、例えば、図２６に示すようなトーンカーブＬ1であって、輝度情報に基づき設定されるトーンカーブＬ1による入力レベルと出力レベルの関係に基づきゲイン調整を行うことにより各階調での輝度ゲインを取得する。なお、本画像取得部６１１が、明るさやコントラストの自動調整アルゴリズムを用いて輝度ゲインを取得するようにしてもよい。
本画像取得部６１１は、輝度ゲインを算出後、該輝度ゲインを用いて、事前画像のゲイン調整を行って本画像を生成して取得する（ステップＳ４１３）。図２７は、事前画像のゲイン調整により得られた本画像の一例を示す図である。ステップＳ４１２で取得された輝度ゲインにしたがって事前画像（例えば、図９を参照）のゲイン調整を行うことにより、例えば図２７に示すような本画像を得ることができる。
制御部６１は、本画像を取得後、図２３のフローチャートに戻り、上述した図１８のステップＳ３０７と同様に、この本画像を多重焦点重畳ＰＳＦ画像で復元することにより全焦点画像を生成して取得する（ステップＳ４０６）。その後、制御部６１は、画像取得にかかる処理を終了する。制御部６１は、取得した全焦点画像を表示装置３０に表示させるようにしてもよいし、全焦点画像を記憶部２４に記憶させるようにしてもよいし、全焦点画像を表示装置３０に表示させるとともに、記憶部２４に記憶させるようにしてもよい。
以上説明したように、本変形例１においては、事前画像から輝度ゲインを算出し、該輝度ゲインに基づいて本画像を生成するようにしたので、事前に１度だけ静止画撮影及びスイープ撮影することで、少ない撮影回数（撮影時間）で最適な露光時間を設定し、この最適な露光時間で取得した事前画像に基づいて本画像を生成することができる。さらに、本画像と、多重焦点重畳ＰＳＦ画像とをもとに、輝度飽和を抑制した視認性の高い全焦点画像を生成することができる。これにより被写体の蛍光の褪色が少ない状態でＸＹ平面である二次元平面上で奥行き構造の存在を知ることが可能な画像を取得することができる。
（実施の形態２の変形例２）
次に、本発明の実施の形態２の変形例２について説明する。図２８は、本発明の実施の形態２の変形例２に係る顕微鏡観察システムの構成例を示すブロック図である。図２８に示すように、本変形例２に係る顕微鏡観察システム５は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置７０と、撮像装置７０が処理した画像等を表示する表示装置３０とを備える。このうち、顕微鏡装置１０及び表示装置３０の構成及び動作は実施の形態１、２と同様である。
撮像装置７０は、図２２に示す制御部６１の代わりに制御部７１を備える。制御部７１は、制御部６１に対して、事前画像をもとに生成された本画像に基づき、本撮影を実施するか否かを判断する本撮影実施判断部７１１と、上述した本撮影条件設定部２３２とをさらに備える。なお、第１の事前撮影条件設定部２３１、全焦点画像取得部４１１、第２の事前画像撮影設定部５１１及び本画像取得部６１１の動作は、実施の形態２の変形例１と同様である。上述した実施の形態２の変形例１では、事前画像をもとに本画像を取得するものとして説明したが、本変形例２では、事前画像をもとに生成した本画像の情報に基づいて本撮影を実施して、スイープ撮影により本画像を取得するか否かを判断する。
続いて、本変形例２に係る顕微鏡観察システム５の動作について説明する。図２９は、顕微鏡観察システム５の動作を示すフローチャートである。以下の動作は、制御部７１の制御のもとで、各部が動作するものとして説明する。
第２の事前撮影の撮影条件設定処理から事前画像に基づく本画像の取得処理までは、上述した図２３のステップＳ４０１〜Ｓ４０５と同様である（ステップＳ５０１〜Ｓ５０５）。第２の事前撮影条件設定部５１１が、第２の事前撮影の撮影条件を取得する（ステップＳ５０１）。その後、制御部７１は、ステップＳ５０１で取得された撮影条件にしたがって静止被写体画像を撮影する（ステップＳ５０２）。ステップＳ５０２に続くステップＳ５０３では、第１の事前撮影条件設定部２３１が、第１の事前撮影の撮影条件を取得する。第１の事前撮影条件設定部２３１は、ステップＳ５０１で取得された露光時間Ｐex_nをもとに、事前画像の撮影条件（露光時間Ｐex及び移動速度Ｓp）を取得する。ステップＳ５０３に続くステップＳ５０４では、制御部５１が、ステップＳ５０３で取得された露光時間Ｐex及び移動速度Ｓpにしたがってスイープ撮影を行って事前画像を撮影する。
ステップＳ５０４に続くステップＳ５０５では、本画像取得部６１１が、ステップＳ５０４で取得した事前画像から輝度ゲインを算出し、該輝度ゲインに基づいて本画像を生成して取得する（ステップＳ５０５）。
本画像取得部６１１が事前画像をもとに本画像を生成後、本撮影実施判断部７１１は、本スイープ撮影を実施して本画像を新たに取得するか否かを判断するために、この本画像に対し、任意領域におけるシグナル−ノイズ比（Signal Noise Ratio：ＳＮＲ）を取得する（ステップＳ５０６）。なお、本撮影実施判断部７１１は、画像を複数領域に分割し、各領域のＳＮＲから画像全体の平均ＳＮＲを求めるようにしてもよい。
本撮影実施判断部７１１は、本撮影を実施して本画像を新たに取得するか否かを判断する（ステップＳ５０７）。本撮影実施判断部７１１は、ステップＳ５０６で取得したＳＮＲと閾値とを比較して、ＳＮＲが閾値よりも大きい場合は、本撮影を実施しないと判断し（ステップＳ５０７：Ｎｏ）、ステップＳ５０９に移行する。これに対し、本撮影実施判断部７１１は、ＳＮＲが閾値以下の場合は、画像中のシグナルに対してノイズの割合が多いため、本撮影を実施して、本画像を再取得すると判断し（ステップＳ５０７：Ｙｅｓ）、ステップＳ５０８に移行する。なお、制御部７１は、本撮影を実施しないと判断した場合（ステップＳ５０７：Ｎｏ）、事前画像に基づく本画像に対してノイズ低減処理などの画像処理を施してもよい。
ステップＳ５０８では、制御部７１は、事前画像から本撮影の撮影条件（露光時間Ｒex及び移動速度Ｓr）を取得し、取得した露光時間Ｒex及び移動速度Ｓrにしたがってスイープ撮影を行って本画像を撮影する。例えば、本撮影条件設定部２３２が、上述した図１０のフローに基づいて、露光時間Ｒex及び移動速度Ｓrを取得して、取得した露光時間Ｒex及び移動速度Ｓrにしたがってスイープ撮影を行って本画像を取得する。
その後、制御部７１は、ステップＳ５０５で取得した本画像、又はステップＳ５０８で取得した本画像を用いて、上述した図２３のステップＳ４０６と同様に、この本画像を多重焦点重畳ＰＳＦ画像で復元することにより全焦点画像を生成して取得する（ステップＳ５０９）。その後、制御部７１は、画像取得にかかる処理を終了する。制御部７１は、取得した全焦点画像を表示装置３０に表示させるようにしてもよいし、全焦点画像を記憶部２４に記憶させるようにしてもよいし、全焦点画像を表示装置３０に表示させるとともに、記憶部２４に記憶させるようにしてもよい。
以上説明したように、本変形例２においては、事前画像をもとに生成した本画像に基づいて本撮影の要否を判断するようにし、判断結果に応じて新たに本（スイープ）画像を取得するようにしたので、事前画像にゲイン調整を行って生成した本画像の画質に応じて撮り直すことによって、事前画像をもとに生成した本画像のようにノイズが多いものの、撮影による被写体の褪色を防ぐために、１回のスイープ撮影で本画像を取得する場合と、撮影回数よりも画質を重視する場合とを選択的に行うことが可能であり、ユーザが求める被写体画像を提供することができる。
なお、上述した実施の形態２及び変形例１、２では、本画像をもとに全焦点画像を生成するものとして説明したが、制御部が、全焦点画像を生成せずに、本撮影により取得した本画像、又は事前画像に基づいて生成された本画像を最終画像として取得するものであってもよい。また、上述した実施の形態２及び変形例１、２では、第２の事前撮影を行って第１の事前撮影の撮影条件を設定するものとして説明したが、実施の形態１のように第１の事前撮影のみを行って本画像を取得するようにしてもよい。
以上説明した実施の形態１、２及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
また、上述した実施の形態１、２及び変形例では、第１の事前撮影条件設定部２３１、本撮影条件設定部２３２、全焦点画像取得部４１１、第２の事前撮影条件設定部５１１、本画像取得部６１１及び本撮影実施判断部７１１が、制御部に設けられているものとして説明したが、各部が制御部とは別のブロックとして設けられてもよい。
このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
１、２、３、４、５ 顕微鏡観察システム
１０ 顕微鏡装置
２０、４０、５０、６０、７０ 撮像装置
２１ 画像取得部
２２ 撮像制御部
２３、４１、５１、６１、７１ 制御部
２４ 記憶部
２５ 入力部
２６ 出力部
３０ 表示装置
１００ アーム
１０１ 三眼鏡筒ユニット
１０２ 鏡筒
１０３ 接眼レンズユニット
１０４ 観察光学系
１１０ 落射照明ユニット
１１１ 落射照明用光源
１１２ 落射照明光学系
１２０ 透過照明ユニット
１２１ 透過照明用光源
１２２ 透過照明光学系
１３０ 電動ステージユニット
１３１ ステージ
１３２ ステージ駆動部
１３３ 位置検出部
１４０、１４１ 対物レンズ
１４２ レボルバ
２１１ 撮像部
２１２ メモリ
２３１ 第１の事前撮影条件設定部
２３２ 本撮影条件設定部
４１１ 全焦点画像取得部
５１１ 第２の事前撮影条件設定部
６１１ 本画像取得部
７１１ 本撮影実施判断部

Claims (8)

  1. 顕微鏡の観察光学系により生成される被写体像を撮像して被写体画像を生成する撮像部と、
    前記撮像部の撮影条件を設定し、前記被写体像の本画像を取得する制御部と、
    前記制御部が設定した前記撮影条件に基づいて前記撮像部を制御する撮像制御部と、
    を備え、
    前記制御部は、
    前記本画像を生成するための事前画像を取得する第１の事前撮影の撮影条件を設定する第１の事前撮影条件設定部と、
    前記第１の事前撮影の前に行う第２の事前撮影の撮影条件を設定する第２の事前撮影条件設定部と、
    前記第１の事前撮影によって取得した前記事前画像をもとに、前記本画像を取得する本撮影の撮影条件を設定する本撮影条件設定部と、
    を有し、
    前記第２の事前撮影は、被写体に対して焦点面の位置を変えながら撮影するスイープ撮影の撮影範囲のうちの撮影開始位置又は撮影終了位置における静止被写体画像を撮影する静止画撮影であり、
    前記第２の事前撮影条件設定部は、前記静止被写体画像の露光時間を取得する第２の事前撮影の撮影条件を設定し、
    前記第１の事前撮影及び前記本撮影は、前記スイープ撮影であり、
    前記第１の事前撮影条件設定部は、前記第２の事前撮影により得られる露光時間をもとに、前記スイープ撮影により得られる前記事前画像が輝度飽和しない前記第１の事前撮影の撮影条件を設定し、
    前記撮像制御部は、前記本撮影条件設定部が設定した前記本撮影の撮影条件に基づいて、前記撮像部が前記被写体画像を撮像するように制御する、
    ことを特徴とする顕微鏡観察システム。
  2. 前記制御部は、
    前記事前画像をもとに本画像を生成する本画像取得部、
    をさらに備えることを特徴とする請求項１に記載の顕微鏡観察システム。
  3. 前記制御部は、
    前記事前画像をもとに生成された前記本画像に基づいて、スイープ撮影による本画像の取得を実施するか否かを判断する本撮影実施判断部、
    をさらに有し、
    前記本撮影条件設定部は、
    前記本撮影実施判断部がスイープ撮影により本画像の取得を実施すると判断した場合に、前記本画像の撮影条件を設定する、
    ことを特徴とする請求項１に記載の顕微鏡観察システム。
  4. 前記制御部は、
    前記本画像、及び該本画像のボケ情報をもとに、全焦点画像を取得する全焦点画像取得部
    をさらに有することを特徴とする請求項１〜３のいずれか一つに記載の顕微鏡観察システム。
  5. 前記ボケ情報は、前記スイープ撮影の撮影範囲における前記本画像のボケを表す点拡がり関数とを用いて生成された情報を含む、
    ことを特徴とする請求項４に記載の顕微鏡観察システム。
  6. 前記輝度飽和しない撮影条件は、前記スイープ撮影を行う際の露光時間を含む、
    ことを特徴とする請求項１に記載の顕微鏡観察システム。
  7. 被写体像に基づく本画像を生成するための事前画像を、被写体に対して焦点面の位置を変えながら撮影するスイープ撮影によって生成する第１の事前撮影の撮影条件を設定する第１の事前撮影条件設定ステップと、
    前記第１の事前撮影の前に行う第２の事前撮影であって、前記スイープ撮影の撮影範囲のうちの撮影開始位置又は撮影終了位置における静止被写体画像を撮影する第２の事前撮影の撮影条件を設定する第２の事前撮影条件設定ステップと、
    前記第２の事前撮影条件設定ステップで設定した前記第２の事前撮影の撮影条件にしたがって撮像部に前記静止被写体画像を撮像させる第１の撮像制御ステップと、
    前記第１の事前撮影条件設定ステップで設定した前記第１の事前撮影の撮影条件にしたがって撮像部に前記スイープ撮影させて前記事前画像を撮像させる第２の撮像制御ステップと、
    前記第１の事前撮影によって生成された前記事前画像をもとに前記スイープ撮影によって前記本画像を取得する画像取得ステップと、
    を含み、
    前記第２の事前撮影条件設定ステップは、前記静止被写体画像の露光時間を取得する前記第２の事前撮影の撮影条件を設定し、
    前記第１の事前撮影条件設定ステップは、前記第２の事前撮影により得られる露光時間をもとに、前記スイープ撮影により得られる事前画像が輝度飽和しない前記第１の事前撮影の撮影条件を設定し、
    前記撮像部は、顕微鏡の観察光学系により生成される被写体像を撮像して被写体画像を生成する、
    ことを特徴とする顕微鏡観察方法。
  8. 被写体像に基づく本画像を生成するための事前画像を、被写体に対して焦点面の位置を変えながら撮影するスイープ撮影によって生成する第１の事前撮影の撮影条件を設定する第１の事前撮影条件設定手順と、
    前記第１の事前撮影の前に行う第２の事前撮影であって、前記スイープ撮影の撮影範囲のうちの撮影開始位置又は撮影終了位置における静止被写体画像を撮影する第２の事前撮影の撮影条件を設定する第２の事前撮影条件設定手順と、
    前記第２の事前撮影条件設定手順で設定した前記第２の事前撮影の撮影条件にしたがって撮像部に前記静止被写体画像を撮像させる第１の撮像制御手順と、
    前記第１の事前撮影条件設定手順で設定した前記第１の事前撮影の撮影条件にしたがって撮像部に前記スイープ撮影させて前記事前画像を撮像させる第２の撮像制御手順と、
    前記第１の事前撮影によって生成された前記事前画像をもとに前記スイープ撮影によって前記本画像を取得する画像取得手順と、
    をコンピュータに実行させ、
    前記第２の事前撮影条件設定手順は、前記静止被写体画像の露光時間を取得する前記第２の事前撮影の撮影条件を設定し、
    前記第１の事前撮影条件設定手順は、前記第２の事前撮影により得られる露光時間をもとに、前記スイープ撮影により得られる事前画像が輝度飽和しない前記第１の事前撮影の撮影条件を設定し、
    前記撮像部は、顕微鏡の観察光学系により生成される被写体像を撮像して被写体画像を生成する、
    ことを特徴とする顕微鏡観察プログラム。
JP2018506744A 2016-03-25 2016-03-25 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム Active JP6654688B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059761 WO2017163427A1 (ja) 2016-03-25 2016-03-25 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Publications (2)

Publication Number Publication Date
JPWO2017163427A1 JPWO2017163427A1 (ja) 2019-02-28
JP6654688B2 true JP6654688B2 (ja) 2020-02-26

Family

ID=59900990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018506744A Active JP6654688B2 (ja) 2016-03-25 2016-03-25 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Country Status (3)

Country Link
US (1) US10718715B2 (ja)
JP (1) JP6654688B2 (ja)
WO (1) WO2017163427A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417602B (zh) * 2016-07-13 2020-12-22 株式会社斯库林集团 图像处理方法、图像处理装置、摄像装置及摄像方法
JP7424289B2 (ja) * 2018-07-24 2024-01-30 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
DE102019102231A1 (de) * 2019-01-29 2020-08-13 Senswork Gmbh Vorrichtung zur Erfassung einer dreidimensionalen Struktur
GB202001902D0 (en) 2020-02-12 2020-03-25 Univ Oslo Microscope apparatus
US11422355B2 (en) * 2020-07-22 2022-08-23 Sartorius Bioanalytical Instruments, Inc. Method and system for acquisition of fluorescence images of live-cell biological samples
WO2023248954A1 (ja) * 2022-06-24 2023-12-28 ソニーグループ株式会社 生体試料観察システム、生体試料観察方法及びデータセット作成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3678397B2 (ja) 1998-12-15 2005-08-03 富士写真フイルム株式会社 撮影システム
US6689998B1 (en) * 2000-07-05 2004-02-10 Psc Scanning, Inc. Apparatus for optical distancing autofocus and imaging and method of using the same
JP4496463B2 (ja) * 2004-03-29 2010-07-07 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP2005284136A (ja) 2004-03-30 2005-10-13 Olympus Corp 観察装置および観察装置の焦点合わせ方法
EP3764085A3 (en) 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner
JP2012013804A (ja) 2010-06-29 2012-01-19 Sony Corp 画像処理装置、画像処理システム、画像処理方法及びプログラム
WO2012105222A1 (ja) 2011-01-31 2012-08-09 パナソニック株式会社 画像復元装置、撮像装置及び画像復元方法
US8994809B2 (en) * 2012-07-19 2015-03-31 Sony Corporation Method and apparatus for simulating depth of field (DOF) in microscopy
JP2014142637A (ja) * 2012-12-27 2014-08-07 Nitto Denko Corp プライバシーフィルタ
WO2016052000A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6684792B2 (ja) * 2015-07-06 2020-04-22 株式会社Ｆｕｊｉ 実装装置、撮像処理方法及び撮像ユニット

Also Published As

Publication number Publication date
US20190025213A1 (en) 2019-01-24
WO2017163427A1 (ja) 2017-09-28
JPWO2017163427A1 (ja) 2019-02-28
US10718715B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
JP6654688B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP5090188B2 (ja) 顕微鏡装置
JP5856733B2 (ja) 撮像装置
EP2573607B1 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
US20090185034A1 (en) Imaging device for microscope
JP2005284136A (ja) 観察装置および観察装置の焦点合わせ方法
CA3079243C (en) Image reconstruction method, device and microscopic imaging device
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP5953373B2 (ja) 内視鏡装置
JP4758331B2 (ja) 顕微鏡用撮像装置および顕微鏡用撮像プログラム
JP2007049374A (ja) 撮像方法及び撮像装置
JP4504644B2 (ja) 顕微鏡像撮像装置及び顕微鏡像撮像方法
US20180278826A1 (en) Microscopy system, microscopy method, and computer readable recording medium
WO2023276326A1 (ja) 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
JP2004069752A (ja) 光電子増倍管のゲインリミッタ回路と共焦点顕微鏡システム
JP2009063679A (ja) 顕微鏡システム
JP5669561B2 (ja) 蛍光観察装置
JP2011112780A (ja) 走査型顕微鏡
JP6883855B2 (ja) 撮像装置及び撮像装置の制御方法
JPH09297269A (ja) 走査型画像入力装置及び走査型プローブ顕微鏡
JP6346455B2 (ja) 画像処理装置及び顕微鏡システム
JP2019186631A (ja) 撮像装置および撮像方法
JP2009008793A (ja) 撮像装置付顕微鏡及びその露出時間を算出する方法
JP6550719B2 (ja) 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡システム
JP6257294B2 (ja) 顕微鏡装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200130

R151 Written notification of patent or utility model registration

Ref document number: 6654688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250