JP7284574B2 - 観察装置、制御方法、及び、プログラム - Google Patents

観察装置、制御方法、及び、プログラム Download PDF

Info

Publication number
JP7284574B2
JP7284574B2 JP2018230495A JP2018230495A JP7284574B2 JP 7284574 B2 JP7284574 B2 JP 7284574B2 JP 2018230495 A JP2018230495 A JP 2018230495A JP 2018230495 A JP2018230495 A JP 2018230495A JP 7284574 B2 JP7284574 B2 JP 7284574B2
Authority
JP
Japan
Prior art keywords
observation
positions
images
focus position
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018230495A
Other languages
English (en)
Other versions
JP2020095074A (ja
Inventor
省吾 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Corp
Original Assignee
Evident Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Corp filed Critical Evident Corp
Priority to JP2018230495A priority Critical patent/JP7284574B2/ja
Priority to US16/701,352 priority patent/US11067771B2/en
Publication of JP2020095074A publication Critical patent/JP2020095074A/ja
Application granted granted Critical
Publication of JP7284574B2 publication Critical patent/JP7284574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本明細書の開示は、観察装置、制御方法、及び、プログラムに関する。
顕微鏡などの観察装置には、観察作業を効率的に行うため、自動合焦(以降、AFと記す)機能を搭載しているものが多く存在する。AFには様々な方式が存在するが、現在では、機器構成を簡素化できる等のメリットを有するパッシブ方式が主流である。
パッシブ方式の一つであるコントラストAFについては、例えば、特許文献1及び特許文献2に記載されている。特許文献1には、撮影の度にAFを行う代わりに撮影の度に合焦位置を補正することで、撮影時間を短縮する技術が記載されている。また、特許文献2には、被写体の顔検出結果の信頼度を用いてフォーカシングレンズを制御する技術が記載されている。
特開2018-000102号公報 特開2012-208512号公報
ところで、観察装置の観察対象物は極めて多様である。例えば、層構造を有するフィルムなどの工業用標本、大きさと形状が個体毎に異なる生細胞、などの様々な観察対象物が観察装置を用いて観察される。このような多様な観察対象物に対してAFを行い、常に正しく合焦することは、上述した特許文献1及び特許文献2に記載の技術を用いたとしても困難である。
以上のような実情を踏まえ、本発明の一側面に係る目的は、AFの成否によらず観察対象物の観察に必要な情報を確実に確保する技術を提供することである。
本発明の一態様に係る観察装置は、撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、少なくとも前記撮像装置と前記焦準部を制御する制御部と、を備える。前記制御部は、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、決定した前記合焦位置の信頼性を判定し、前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
本発明の一態様に係る制御方法は、撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置を制御する方法である。前記制御方法は、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、決定した前記合焦位置の信頼性を判定し、前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
本発明の一態様に係るプログラムは、撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置のコンピュータに、以下の処理を実行させる。前記処理は、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なる処理と、決定した前記合焦位置の信頼性を判定する処理と、前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である処理と、を含む。
上記の態様によれば、AFの成否によらず観察対象物の観察に必要な情報を確実に確保することができる。
観察システム1の構成を例示した図である。 制御部150の構成を例示した図である。 観察装置100が行う制御処理の流れを示すフローチャートである。 条件入力画面を例示した図である。 合焦位置の決定方法について説明するための図である。 第1の実施形態に係る制御処理の流れを示すフローチャートである。 コントラストカーブの一例である。 第2の実施形態に係る制御処理の流れを示すフローチャートである。 探索範囲と所定範囲の関係を説明するための図である。 第3の実施形態に係る制御処理の流れを示すフローチャートである。 合焦位置の座標情報を含むテーブルT1を例示した図である。 合焦位置に関する統計情報を含むテーブルT2を例示した図である。 所定範囲の情報を含むテーブルT3を例示した図である。 所定範囲の情報を含むテーブルT4を例示した図である。 第4の実施形態に係る制御処理の流れを示すフローチャートである。 第5の実施形態に係る制御処理の流れを示すフローチャートである。 Zスタック表示画面の一例を示した図である。 Zスタック表示画面の別の例を示した図である。 所定範囲の情報を含むテーブルT5を例示した図である。 所定範囲の情報を含むテーブルT6を例示した図である。 第6の実施形態に係る制御処理の流れを示すフローチャートである。 Zスタック表示画面の更に別の例を示した図である。 観察システム2の構成を例示した図である。 観察システム3の構成を例示した図である。 観察システム4の構成を例示した図である。
図1は、観察システム1の構成を例示した図である。観察システム1は、任意の観察対象物を観察するためのシステムである。観察システム1は、正立顕微鏡である観察装置100と、表示装置10と、入力装置20とを含んでいる。なお、観察装置100は顕微鏡装置に限らない。観察装置100は、AFを行う装置であればよく、例えば、デジタルカメラ、内視鏡装置などであってもよい。
表示装置10は、例えば、液晶ディスプレイ、有機EL(OLED)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどである。入力装置20は、例えば、マウス、キーボード、ジョイスティック、タッチパネルなどである。また、入力装置20は、マイクなどの音声入力装置であってもよい。なお、表示装置10と入力装置20は、それぞれ観察装置100と通信可能に接続されているが、接続方法は特に限定しない。有線ケーブルで通信可能に接続されていてもよく、無線通信によって通信可能に接続されてもよい。
観察装置100は、観察対象物を撮像する撮像装置120と、撮像装置120へ観察対象物の光学像を投影する結像光学系130と、制御部150を備えている。撮像装置120は、撮像面121aを含んでいる。結像光学系130は、対物レンズ131を含んでいる。さらに、観察装置100は、図1に示すように、観察対象物が配置されるステージ110と、結像光学系130の光軸と直交する方向にステージ110を動かすモータ111と、結像光学系130の光軸方向にステージ110を動かすモータ112と、接眼レンズ140を備えてもよい。
ステージ110は、電動ステージである。ステージ110は、制御部150がモータ112の回転を制御することで、結像光学系130の光軸方向へ移動する。即ち、ステージ110は、ステージ110と結像光学系130との間の結像光学系130の光軸方向の距離を調整する焦準部である。従って、観察装置100は、焦準部を含んでいる。
なお、焦準部は、観察対象物と、撮像面121aと光学的に共役な面(以降、単に共役面と記す)と、の相対的な位置関係を、結像光学系130の光軸方向に調整するものであればよく、ステージ110に限らない。焦準部は、例えば、光軸方向へ移動するレボルバなどであってもよい。なお、観察対象物と共役面との相対的な位置関係を調整するとは、共役面を異なる位置に動かすことによって調整する場合に加えて、観察対象物を異なる位置に動かすことによって調整する場合も含まれる。なお、本実施形態では、共役面は、結像光学系130に含まれる対物レンズ131の焦点面、即ち、対物レンズ131の主点から対物レンズ131の焦点距離だけ離れた面のことである。対物レンズ131に光が平行光束として入射したときにその光が一点に集光する焦点位置を含む対物レンズ131の光軸と直交する面のことである。
また、ステージ110は、制御部150がモータ111の回転を制御することで、結像光学系130の光軸と直交する方向に移動し、その結果、観察対象物も結像光学系130の光軸と直交する方向に移動する。即ち、ステージ110は、結像光学系130の光軸と直交する方向に観察対象物を動かすXY駆動部である。従って、観察装置100は、XY駆動部を含んでいる。なお、本明細書では、結像光学系130の光軸方向をZ方向とも記し、結像光学系130の光軸と直交する方向をXY方向とも記す。
撮像装置120は、例えば、顕微鏡用のデジタルカメラである。撮像装置120は、撮像素子121を含み、撮像素子121は、撮像面121aを含んでいる。撮像素子121は、特に限定しないが、CCD(Charge Coupled Device)イメージセンサであってもよく、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであってもよい。なお、撮像装置120は、カラー撮像装置であっても、モノクロ撮像装置であってもよい。
結像光学系130は、例えば、対物レンズと結像レンズを含む光学系である。観察装置100は、レボルバに装着された複数の対物レンズを含んでもよい。その場合、複数の対物レンズのうちの観察光軸上に配置された対物レンズが結像光学系130を構成する。
接眼レンズ140は、結像光学系130によって形成された光学像を拡大した虚像を、顕微鏡利用者が観察するために用いられる。
制御部150は、少なくとも撮像装置120と焦準部とを制御する。制御部150は、画像などの入力情報に基づいて種々の演算を行う演算部151と、観察装置100の各種の駆動部を制御する駆動制御部152と、を含んでいる。
演算部151は、撮像装置120で取得した観察対象物の複数の画像に基づいてステージ110の合焦位置を決定する。ここで、合焦位置とは、合焦状態における焦準部(ここでは、ステージ110)の位置のことである。複数の画像は、合焦位置を探索する範囲(以降、探索範囲と記す)内で取得された画像であり、複数の画像が取得されたときの焦準部の位置は、互いに異なっている。また、演算部151は、決定した合焦位置の信頼性を判定する。駆動制御部152は、演算部151が合焦位置を信頼できないと判定したときには、焦準部を複数の位置へ順番に移動して複数の位置の各々において撮像装置120で観察対象物の画像を取得する。このとき取得した複数の画像の各々を、候補画像と記す。なお、駆動制御部152は、演算部151が合焦位置を信頼できると判定したときに、焦準部を合焦位置に移動して撮像装置120で観察対象物の画像を取得してもよい。このとき取得した画像を、合焦画像と記す。
図2は、制御部150の構成を例示した図である。制御部150の物理構成については特に限定しないが、制御部150は、観察装置100のコンピュータであり、電気回路を含んでいる。具体的には、制御部150は、例えば、図2に示すように、プロセッサ150aと、メモリ150bと、補助記憶装置150cと、入出力インタフェース150dと、媒体駆動装置150eと、通信制御装置150fと、を含んでもよく、それらが互いにバス150gによって接続されてもよい。
プロセッサ150aは、例えば、CPU(Central Processing Unit)を含む、任意の処理回路である。プロセッサ150aは、メモリ150b、補助記憶装置150c、記憶媒体150hに格納されているプログラムを実行してプログラムされた処理を行うことで、図1に示す制御部150の機能的構成要素(演算部151、駆動制御部152)を実現してもよい。プログラムされた処理は、例えば、後述する、図3、図6、図8、図10、図15、図16、図21に示す制御処理である。また、プロセッサ150aは、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等の専用プロセッサを用いて構成されてもよい。また、図1に示す制御部150の構成要素は、それぞれが個別の電気回路によって実現されてもよい。
メモリ150bは、プロセッサ150aのワーキングメモリである。メモリ150bは、たとえば、RAM(Random Access Memory)等の任意の半導体メモリである。補助記憶装置150cは、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(Hard Disc Drive)、フラッシュメモリ等の不揮発性のメモリである。入出力インタフェース150dは、観察装置100外部の装置(表示装置10、入力装置20)と情報をやり取りする。
媒体駆動装置150eは、メモリ150b及び補助記憶装置150cに格納されているデータを記憶媒体150hに出力することができ、また、記憶媒体150hからプログラム及びデータ等を読み出すことができる。記憶媒体150hは、持ち運びが可能な任意の記録媒体である。記憶媒体150hには、例えば、SDカード、USB(Universal Serial Bus)フラッシュメモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)などが含まれる。
通信制御装置150fは、ネットワークへの情報の入出力を行う。通信制御装置150fとしては、例えば、NIC(Network Interface Card)、無線LAN(Local Area Network)カード等が採用され得る。なお、観察装置100と表示装置10及び入力装置20とは、通信制御装置150fを経由して通信してもよい。バス150gは、プロセッサ150a、メモリ150b、補助記憶装置150c等を、相互にデータの授受可能に接続する。
以上のように構成された観察システム1では、観察装置100は、図3に示す制御処理を行う。図3は、観察装置100行う制御処理の流れを示すフローチャートである。図4は、条件入力画面を例示した図である。図5は、合焦位置の決定方法について説明するための図である。以下、図3から図5を参照しながら、観察装置100を制御する方法について更に詳細に説明する。
まず、観察装置100は、観察条件の入力を受け付ける(ステップS1)。ここでは、制御部150は、表示装置10に、例えば図4に示す画面W1を表示して、利用者からの観察条件の入力を受け付ける。
図4に示す画面W1は、条件入力画面であり、観察対象物が培養細胞である場合に表示される画面の例である。利用者は、容器の種類(例えば、6-wellなどのマルチウェルプレート、T75などのフラスコ)、細胞の種類(例えば、iPS細胞、間葉系幹細胞)、探索範囲、探索間隔、観察ポイントなどの条件を入力することが可能であり、制御部150は、入力された情報を観察条件として取得する。なお、探索範囲とは、AFを実行する際に、合焦位置を探索する光軸方向の範囲のことであり、AF範囲ともいう。探索間隔とは、探索範囲内における焦準部の光軸方向へ移動間隔のことである。観察ポイントとは、観察対象物内の、光軸と直交する方向の位置のことである。また、AFは各観察ポイントにおける合焦状態を検出する処理である。
ステップS1において、利用者は、観察条件の全てを手動に入力してもよい。制御部150は、手動で入力された情報を観察条件として取得してもよい。また、利用者は、観察条件の一部を手動で入力してもよい。制御部150は、手動で入力された情報に基づいて他の観察条件を算出してもよく、手動で入力された情報と制御部150が算出した情報の両方を観察条件として取得してもよい。
例えば、利用者が培養細胞を収容する容器の種類を画面W1のドロップダウンリストB1から選択し、培養細胞の種類をドロップダウンリストB2から選択すると、制御部150は、探索範囲と探索間隔を自動的に算出し、テキストボックスB3からテキストボックスB5に入力してもよい。また、制御部150は、表示装置10に表示されるライブ画像を見ながら行われる利用者の選択操作に基づいて、観察ポイントを特定し、テキストボックスB6に入力しても良い。その後、OKボタンが押下されたタイミングで、制御部150は、画面W1に入力されている情報を観察条件として取得してもよい。なお、画面W1には、複数の観察ポイントが入力されてもよく、制御部150は複数の観察ポイントを観察条件として取得してもよい。
観察装置100は、ステップS1で観察条件を取得すると、観察条件として指定された観察ポイントへ視野を移動する(ステップS2)。ここで、制御部150は、モータ111の回転を制御することで、観察ポイントが観察装置100の視野の中心に位置するようにステージ110を動かす。つまり、制御部150は、ステージ110動かすことで、結像光学系130の光軸を観察ポイントの上に位置づける。なお、ステップS2では、利用者が手動でステージ110を動かすことで、視野を観察ポイントまで移動してもよい。
観察ポイントへの移動が終了すると、観察装置100は、AFを実行する(ステップS3、ステップS4)。より具体的には、観察装置100は、まず、合焦位置を探索し(ステップS3)、その後、合焦位置を決定する(ステップS4)。
ステップS3では、駆動制御部152は、モータ112の回転を制御することで、図5に示すように、ステージ110を、探索範囲の上限(Z_upper)又は下限(Z_lower)の一方から他方まで、探索間隔単位で動かす。そして、探索間隔単位での移動後の各位置において、駆動制御部152は、撮像装置120を制御して観察対象物の画像IMを取得する。演算部151は、このようにして得られた複数の画像IMに基づいて複数の合焦評価値を算出する。即ち、複数の画像IMの各々に対して、それぞれ合焦評価値を算出する。
合焦評価値は、合焦状態と相関を有する情報である。合焦評価値としては、一般にコントラスト値が採用されるが、輝度値やその他のパラメータが採用されてもよい。以降では、合焦評価値としてコントラスト値が採用される場合を例にして説明する。
なお、画像のコントラストを評価する評価式としては、例えば、X方向にn画素分ずれた位置にある2つの画素の画素値の差分の2乗を、画像データ全体で積算してコントラスト値を算出する、下式が知られている。下式は、J.F.Brennerらによって提案された評価式であり、Brenner gradientと呼ばれている。
Figure 0007284574000001
ここで、FBrennerはコントラスト値であり、xは画像データを構成する画素の列を特定する変数であり、yは画像データを構成する画素の行を特定する変数である。Wは画像データを構成する画素のX方向の画素数(即ち、列数)であり、Hは画像データを構成する画素のY方向の画素数(即ち、行数)である。fは画素値である。nはシフト量であり、画素値の差分が算出される画素間の間隔を示す整数(例えば、2など)である。なお、画素値は、例えば、輝度値である。
図5に示すグラフG1は、焦準部の位置と画像IMのコントラスト値との組み合わせによって特定される点をプロットすることで作成したコントラストカーブを示している。なお、コントラストカーブは、プロットした点を補間することで作成してもよく、または、プロットした点に基づいて関数を近似することで作成してもよい。
ステップS4では、演算部151は、合焦評価値がピークを示す焦準部の位置を、合焦位置に決定する。つまり、演算部151は、図5に示すように、コントラストカーブにおいてコントラスト値が極大値Cpを有するポイントPを特定し、特定したポイントPに対応する焦準部の位置Zpを合焦位置に決定する。
合焦位置が決定すると、観察装置100は、合焦位置の信頼性を判定する(ステップS5)。ここでは、演算部151は、探索範囲で得られた複数の合焦評価値に基づいて合焦位置の信頼性を判定してもよく、また、合焦位置そのものに基づいて合焦位置の信頼性を判定してもよい。なお、信頼性を判定する具体的な方法については、後述する各実施形態において説明する。
その後、観察装置100は、ステップS5での判定結果に基づいて、合焦位置を信頼できると判定すると(ステップS6YES)、合焦位置で画像を取得し、取得した画像を記録する(ステップS7)。ここでは、駆動制御部152は、モータ112の回転を制御することでステージ110を合焦位置へ動かし、その後、撮像装置120を制御して観察対象物の合焦画像IM1を取得し、合焦画像IM1を、座標情報と関連付けて補助記憶装置150cに記録する。
一方、観察装置100は、ステップS5での判定結果に基づいて、合焦位置を信頼できないと判定すると(ステップS6NO)、Zスタック画像を取得し、取得したZスタック画像を記録する(ステップS8)。ここでは、駆動制御部152は、モータ112の回転を制御することでステージ110を探索範囲内の複数の位置へ順番に移動して、複数の位置の各々において撮像装置120を制御して観察対象物の候補画像IM2を取得し、候補画像IM2を座標情報と関連付けて補助記憶装置150cに記録する。
Zスタック画像とは、探索範囲内の複数の位置で取得した複数の候補画像IM2の集合のことである。なお、以降では、複数の候補画像IM2を取得した複数の位置の上限から下限までの範囲をZスタック範囲と記す。Zスタック範囲は、例えば、探索範囲と同じであっても異なってもよいが、以降では、探索範囲とZスタック範囲が同じ場合を例に説明する。
以上のように、観察装置100は、AFを実行することで得られた合焦位置が信頼できるか否かを判定する。そして、観察装置100は、信頼できないと判定した場合には、Zスタック画像を取得する。これにより、合焦位置が信頼できない場合、つまり、AFが失敗している可能性が高い場合には、光軸方向の広い範囲で画像が取得されるため、真の合焦位置又はその近傍における画像を確実に取得し記録することができる。従って、観察装置100によれば、AFの成否によらず観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。これは、例えば、撮影をやり直すことで時間の無駄が大きく生じてしまう、タイムラプス撮影のような比較的長時間にかかる撮影において、特に好適である。
なお、ステップS3で画像IMを取得する条件とステップS8で候補画像を取得する条件は異なってもよい。例えば、画像IMの画素数は、候補画像の画素数よりも小さくてもよい。つまり、ステップS3では、撮像素子121から画素値を読み出すときに所定のルールで画素を間引いてもよい。また、ステップS3における焦準部の移動間隔、つまり、画面W1の探索間隔は、ステップS8において焦準部が探索範囲内を移動する間隔、つまり、複数の候補画像IM2を取得した複数の位置の間の最小間隔よりも広くてもよい。いずれの場合も、画像IMと候補画像を同条件で取得する場合よりも、AFに要する時間の短縮と必要な情報の確保とをより高いレベルで両立することが可能となる。
以下、観察装置100が行う制御処理の具体例について説明する。
[第1の実施形態]
図6は、本実施形態に係る制御処理の流れを示すフローチャートである。図7は、コントラストカーブの一例である。以下、図6及び図7を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦評価値のピーク数に基づいて判定するものである。
図6に示す制御処理が開始されると、観察装置100は、観察条件の入力を受け付ける(ステップS11)。その後、観察装置100は、観察条件として指定された観察ポイントへ視野を移動し(ステップS12)、AFを実行する(ステップS13、ステップS14)。なお、ステップS11からステップS14の処理は、図3に示すステップS1からステップS4の処理と同様である。
合焦位置が決定されると、観察装置100は、合焦評価値のピーク数をカウントする(ステップS15)。つまり、観察装置100は、合焦評価値がピークを示す焦準部の位置の数をカウントする。ここでは、演算部151は、探索範囲で得られた複数の合焦評価値に基づいて合焦評価値のピーク数をカウントする。例えば、AF実行により図7のグラフG2に示すコントラストカーブが得られた場合であれば、ポイントP1とポイントP2の2点において合焦評価値はピークを示しているため、ピーク数は“2”とカウントされる。
その後、観察装置100は、ステップS15でカウントしたピーク数が1つか否かを判定する(ステップS16)。そして、観察装置100は、ピーク数が1つであれば、合焦位置で画像を取得し、取得した画像を記録する(ステップS17)。即ち、制御部150は、合焦評価値がピークを示す焦準部の位置が1つだけ存在するときには、合焦位置を信頼できると判定する。一方、観察装置100は、ピーク数が複数であれば、Zスタック画像を取得し、取得したZスタック画像を記録する(ステップS18)。即ち、制御部150は、合焦評価値がピークを示す焦準部の位置が複数存在するときには、合焦位置を信頼できないと判定する。なお、ステップS17及びステップS18の処理は、図3に示すステップS7及びステップS8の処理と同様である。
以上のように、本実施形態に係る制御処理では、観察装置100は、合焦評価値のピーク数に基づいて、合焦位置の信頼性を判定する。具体的には、コントラストカーブが例えば、図5のグラフG1で示すように、単一のピークを有する場合には、その合焦位置は信頼できると判断し、合焦位置で画像を取得する。一方、コントラストカーブが例えば、図7のグラフG2で示すように、複数のピークを有する場合には、その合焦位置は信頼できないと判断し、Zスタック画像を取得する。これは、複数のピークを有するコントラストカーブは、観察対象物に塵などの異物が付着した場合に生じることが多く、そのため、決定された合焦位置は、観察対象物に合焦する位置ではなく異物に合焦する位置である可能性があるからである。
従って、観察装置100によれば、例えば、観察対象物に異物が付着している場合であっても、Zスタック画像によって観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。
以上では、コントラストカーブのピーク数に基づいて合焦位置の信頼性を判定する例を示したが、コントラストカーブの形状に基づいて合焦位置の信頼性を判定してもよい。例えば、コントラストカーブの形状に基づいて、合焦位置におけるコントラスト値が異常値か否かを判定し、その結果によって合焦位置の信頼性を判定してもよい。より具体的には、図7のグラフG2に示すように、合焦位置に対応するポイントP1がコントラストカーブの全体的な形状から逸れた位置にある場合に、コントラストCp1は異常値であると判定してもよい。換言すると、制御部150は、複数の合焦評価値に基づいて合焦位置の信頼性を判定してもよく、その場合であっても、図6に示す制御処理を行った場合と同様の効果を得ることができる。
[第2の実施形態]
図8は、本実施形態に係る制御処理の流れを示すフローチャートである。図9は、探索範囲と所定範囲の関係を説明するための図である。以下、図8及び図9を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦位置そのものに基づいて判定するものである。
図8に示す制御処理が開始されると、観察装置100は、観察条件の入力を受け付ける(ステップS21)。なお、ステップS21の処理は、図3に示すステップS1の処理と同様である。
次に、観察装置100は、所定範囲を取得する(ステップS22)。ここで、所定範囲は、例えば、補助記憶装置150c内の設定ファイル等に予め記録されていて、制御部150は、補助記憶装置150cから予め設定されている所定範囲を取得してもよい。なお、所定範囲とは、合焦状態における焦準部が存在することが推定される、予め設定された焦準部の位置の範囲のことであり、図9に示すように、探索範囲の一部分である。
その後、観察装置100は、観察条件として指定された観察ポイントへ視野を移動し(ステップS23)、AFを実行する(ステップS24、ステップS25)。なお、ステップS23からステップS25の処理は、図3に示すステップS2からステップS4の処理と同様である。
合焦位置が決定されると、観察装置100は、合焦位置が所定範囲内か否かを判定する(ステップS26)。ここでは、制御部150がステップS22で取得した所定範囲とステップS25で決定した合焦位置を比較して、合焦位置が所定範囲内か否かを判定する。
観察装置100は、合焦位置が所定範囲内であれば、合焦位置で画像を取得し、取得した画像を記録する(ステップS27)。即ち、制御部150は、合焦位置が所定範囲内にあるときには、合焦位置を信頼できると判定する。一方、観察装置100は合焦位置が所定範囲外であれば、Zスタック画像を取得し、取得したZスタック画像を記録する(ステップS28)。即ち、制御部150は、合焦位置が所定範囲から外れているときには、合焦位置を信頼できないと判定する。なお、ステップS27及びステップS28の処理は、図3に示すステップS7及びステップS8の処理と同様である。
以上のように、本実施形態に係る制御処理では、観察装置100は、合焦位置が所定範囲内か否かに基づいて、合焦位置の信頼性を判定する。具体的には、所定範囲は、上述したように、合焦状態における焦準部が存在することが推定される範囲であることから、合焦位置が所定範囲から外れているときには、その合焦位置は信頼できないと判断し、Zスタック画像を取得する。
従って、観察装置100によれば、本実施形態に係る制御処理を行うことにより、合焦位置の明らかな誤認識が生じた場合であっても、Zスタック画像を取得することで観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。
[第3の実施形態]
図10は、本実施形態に係る制御処理の流れを示すフローチャートである。図11は、合焦位置の座標情報を含むテーブルT1を例示した図である。図12は、合焦位置に関する統計情報を含むテーブルT2を例示した図である。図13は、所定範囲の情報を含むテーブルT3を例示した図である。以下、図10から図13を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、過去に決定した合焦位置の情報を利用することで合焦位置の信頼性を判定するものである。
図10に示す制御処理が開始されると、観察装置100は、観察条件の入力を受け付ける(ステップS31)。なお、ステップS31の処理は、図3に示すステップS1の処理と同様である。
次に、観察装置100は、所定範囲は設定済みか否かを判定する(ステップS32)。ここでは、制御部150は、補助記憶装置150cに作成されているテーブルT3に情報が記録されているか否かを判定する。なお、テーブルT3は、過去のAFによって得られた合焦位置に基づいて算出された所定範囲を格納するテーブルである。
ステップS32で情報が記録されていないと判定すると、観察装置100は、所定範囲を設定する(ステップS33)。ここでは、制御部150は、まず、複数回のAFを行う。具体的には、制御部150は、AFを複数の異なる観察ポイントに対してそれぞれ複数回ずつ行い、観察ポイント(X、Y)と合焦位置(Z)とを含む座標情報を、補助記憶装置150cに作成されているテーブルT1に記録する。図11には、複数の観察ポイントでそれぞれ3回ずつAFを行うことで得られた座標情報が、テーブルT1に記録されている例が示されている。さらに、制御部150は、テーブルT1に記録されている情報に基づいて統計情報を算出して、その統計情報を補助記憶装置150cに作成されているテーブルT2に記録する。図12には、統計値として、平均値、中間値、最小値、最大値、σ(標準偏差)、3σ(標準偏差の3倍)が、テーブルT2に記録されている例が示されている。最後に、制御部150は、テーブルT2に記録されている統計値に基づいて所定範囲を算出し、補助記憶装置150cに作成されているテーブルT3に記録する。図13には、平均値±3σが所定範囲としてテーブルT3に記録されている例が示されている。
ステップS32で所定範囲が設定されていないと判定するか、ステップS33が終了すると、観察装置100は、所定範囲を取得する(ステップS34)。ここでは、制御部150は、テーブルT3から所定範囲を読み出すことで、所定範囲を取得する。
その後、観察装置100は、観察条件として指定された観察ポイントへ視野を移動し(ステップS35)、AFを実行する(ステップS36、ステップS37)。そして、観察装置100は、合焦位置が所定範囲内か否かを判定する(ステップS38)。なお、ステップS35からステップS38の処理は、図8に示すステップS23からステップS26の処理と同様である。
観察装置100は、合焦位置が所定範囲内であれば、合焦位置で画像を取得し、取得した画像を記録する(ステップS39)。なお、ステップS39の処理は、図8に示すステップS27の処理と同様である。
その後、観察装置100は、所定範囲を更新する(ステップS40)。ここでは、制御部150は、ステップS35で移動した観察ポイントとステップS37で決定した合焦位置とを含む座標情報をテーブルT1に追加する。さらに、テーブルT1に記録されている情報に基づいてテーブルT2の統計情報とテーブルT3の所定範囲を更新する。
一方、観察装置100は、合焦位置が所定範囲外であれば、Zスタック画像を取得し、取得したZスタック画像を記録する(ステップS41)。なお、ステップS41の処理は、図8に示すステップS28の処理と同様である。
以上のように、本実施形態に係る制御処理では、観察装置100は、合焦位置が所定範囲内か否かに基づいて、合焦位置の信頼性を判定する。ただし、所定範囲は、第2の実施形態に係る制御処理の場合とは異なり、制御部150が過去に決定した合焦位置の履歴を統計処理することで算出されている。また、制御部150が過去に決定した合焦位置の履歴は、複数の観察ポイントに対する複数の合焦位置を含んでもよい。即ち、合焦位置の履歴は、XY駆動部が第1の位置にあるときに撮像装置120で取得した観察対象物の複数の画像に基づいて決定した第1の合焦位置と、XY駆動部が第1の位置とは異なる第2の位置にあるときに撮像装置120で取得した観察対象物の複数の画像に基づいて決定した第2の合焦位置と、を含んでもよい。
従って、観察装置100によれば、本実施形態に係る制御処理を行うことで、第2の実施形態に係る制御処理を行った場合よりも高い精度で合焦位置の信頼性を判定することができる。これにより、観察装置100は、観察対象物の観察に必要な情報をより確実に確保することが可能であり、撮影のやり直し等を回避することができる。さらに、所定範囲は、信頼できる合焦位置が決定される度に更新されるため、所定範囲の精度の向上が期待できる。
上述した所定範囲は、少なくとも観察対象物の種類と観察対象物を収容する容器との組み合わせ毎に設けられてもよく、制御部150は、合焦位置がその組み合わせに応じた所定範囲から外れているときに、合焦位置を信頼できないと判定してもよい。これは、観察対象物の種類が異なると、観察対象物の大きさの違いに起因して合焦位置が変動するからである。また、観察対象物を収容する容器が異なると、容器の厚さの違いに起因して合焦位置が変動するからである。これらの組み合わせ毎に所定範囲を設けることで、より高い精度で合焦位置の信頼性を判定することができる。なお、観察対象物の種類と容器は、観察条件の入力に基づいて特定することが可能である。
以上では、合焦位置の履歴を統計処理することで算出された所定範囲(以降、統計的所定範囲と記す)が設定されていない場合に、AFを複数回行って統計的所定範囲を設定する例を示したが、その他の処理が行われてもよい。統計的所定範囲が設定されていない場合には、例えば、図14のテーブルT4に記録されている、少なくとも観察対象物の種類と観察対象物を収容する容器との組み合わせ毎に予め設定された所定範囲を取得してもよい。この場合の所定範囲は、例えば、第2の実施形態と同様に、合焦状態における焦準部が存在することが推定される焦準部の位置の範囲であってもよい。
[第4の実施形態]
図15は、本実施形態に係る制御処理の流れを示すフローチャートである。以下、図15を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、観察条件として複数の観察ポイントが入力された場合にも対応している点で第3の実施形態に係る制御処理とは異なる。
図15に示すステップS51からステップS58は、図10に示すステップS31からステップS38と同様である。ステップS58の後、観察装置100は、合焦位置が所定範囲内であれば、合焦位置で画像を取得し、取得した画像を記録する(ステップS59)。そして、観察装置100は、合焦位置の履歴を更新する(ステップS60)。つまり、テーブルT1に新たな座標情報を追加する。一方、観察装置100は、合焦位置が所定範囲外であれば、Zスタック画像を取得し、取得したZスタック画像を記録する(ステップS61)。ステップS59とステップS61の処理は、図10に示すステップS39及びステップS41と同様である。
その後、観察装置100は、全観察ポイントで画像取得済みか否かを判定し(ステップS62)、全観察ポイントで画像取得済みとなるまで、ステップS55からステップS62の処理を繰り返す。そして、観察装置100は、全観察ポイントで画像取得済みであると判定された後に、所定範囲を更新する(ステップS63)。ここでは、制御部150は、ステップS60で更新されたテーブルT1に基づいて、テーブルT2及びテーブルT3を更新することで、所定範囲を更新する。
観察装置100によれば、本実施形態に係る制御処理を行うことで、第3の実施形態に係る制御処理を行った場合と同様に、高い精度で合焦位置の信頼性を判定することができる。これにより、観察装置100は、観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。
さらに、観察装置100は、本実施形態に係る制御処理を行うことで、複数の観察ポイントが利用者によって指定された場合であっても、全ての観察ポイントで確実に情報を得ることができる。また、全ての観察ポイントで画像を取得した後に所定範囲の更新が行われるため、全ての観察ポイントにおいて同一の条件で合焦位置の信頼性を判定することができる。
[第5の実施形態]
図16は、本実施形態に係る制御処理の流れを示すフローチャートである。図17は、Zスタック表示画面の一例を示した図である。図18は、Zスタック表示画面の別の例を示した図である。図19は、所定範囲の情報を含むテーブルT5を例示した図である。図20は、所定範囲の情報を含むテーブルT6を例示した図である。以下、図16から図20を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Zスタック画像を取得した場合に、利用者に、Zスタック画像から合焦状態で取得した画像を選択させる点で、第4の実施形態に係る制御処理とは異なる。
図16に示す制御処理において、ステップS71からステップS81の処理は、図15に示すステップS51からステップS61の処理と同様である。
ステップS81の後、観察装置100は、Zスタック画像を表示する(ステップS82)。ここでは、制御部150は、例えば、図17に示すように、ステップS81において複数の位置で取得した複数の候補画像であるZスタック画像を、表示装置10に表示させてもよい。なお、図17には、複数の候補画像(画像IM1から画像IM12)がZスタック画像表示画面である画面W2上に一覧表示されている様子が示されている。また、図17には、利用者が画面W2上に一覧表示されている画像群から合焦状態で取得した画像として画像IM8を選択した様子も示されている。
なお、ステップS82において、観察装置100は、複数の位置で取得した複数の候補画像を必ずしも同時に表示する必要はない。例えば、図18に示すように、利用者の画面操作に応じて、複数の候補画像を1つずつ順番に表示装置10に表示してもよい。図18には、画面W3をスワイプすることで、複数の候補画像から任意の候補画像を選択して画面W3に表示する様子が示されている。
ステップS82において、利用者がZスタック画像から1つの候補画像を選択して、その選択を確定すると、観察装置100は、選択された候補画像(以降、選択画像と記す。)を記録する(ステップS83)。ここでは、制御部150は、ステップS82で選択された候補画像を座標情報と関連付けて補助記憶装置150cに記録する。
さらに、観察装置100は、合焦位置の履歴を更新する(ステップS84)。ここでは、制御部150は、選択画像を取得したときの焦準部の位置を合焦位置とみなして、テーブルT1に新たな座標情報を追加する。
その後、観察装置100は、全観察ポイントで画像取得済みか否かを判定し(ステップS85)、全観察ポイントで画像取得済みとなるまで、ステップS75からステップS85の処理を繰り返す。
全ての観察ポイントで画像取得済みであると判定されると、観察装置100は、利用者の選択によって記録された選択画像が存在するか否かを判定する(ステップS86)。ここでは、制御部150は、ステップS83の画像記録処理を一度でも行ったか否かによって上述した画像の存在の有無を判定する。
利用者の選択によって記録された選択画像が存在しない場合(ステップS86NO)、つまり、全ての観察ポイントで合焦位置が信頼できると判定された場合には、観察装置100は、所定範囲を更新する(ステップS87)。なお、ステップS87の処理は、図15のステップS63の処理と同様である。
一方、利用者の選択によって記録された選択画像が存在する場合(ステップS86YES)、つまり、少なくとも1つの観察ポイントで合焦位置が信頼できないと判定された場合には、観察装置100は、所定範囲と探索範囲の両方を更新する(ステップS88)。ここでは、制御部150は、テーブルT1に記録されている座標情報に基づいて、ステップS84で合焦位置とみなされた選択画像を取得したときの焦準部の位置Z´に対する標準偏差σ´を算出し、テーブルT2のσと3σをそれぞれσ´と3σ´に更新する。テーブルT3の所定範囲をZ´±3σ´で更新する。さらに、制御部150は、探索範囲を位置Z´を中心するより狭い範囲に更新する。例えば、予め決められた一定の量だけ探索範囲が狭まってもよい。
観察装置100によれば、本実施形態に係る制御処理を行うことで、第4の実施形態に係る制御処理を行った場合と同様の効果を得ることができる。
また、本実施形態では、観察装置100は、合焦位置が信頼できないと判定された場合に、表示装置10にZスタック画像(複数の候補画像)を表示し、合焦状態で取得した候補画像を利用者に選択させて記録する。従って、Zスタック画像に含まれる適切な画像を他の画像とは区別して管理することができる。
さらに、本実施形態では、観察装置100は、表示装置10に表示された複数の候補画像から1つの候補画像が選択されたときには、選択された1つの候補画像に対応する焦準部の位置に基づいて、所定範囲を更新する。これにより、利用者が選択した候補画像を取得したときの焦準部の位置をAFによって決定した合焦位置よりも高く評価して所定範囲を設定することができる。従って、利用者が望ましいと判断した基準で合焦位置の信頼性を判定することが可能となる。
なお、複数の観察ポイントで合焦位置が信頼できないと判定された場合には、図19に示すように、各観察ポイントにおける位置Z´に対する標準偏差σ´を算出し、複数の所定範囲(Z´±3σ´)をテーブルT5に記録してもよい。その上で、テーブルT5に記録されている複数の所定範囲を包含する最小の範囲を所定範囲に設定してもよい。図20には、上述した手順によって算出された所定範囲が記録されたテーブルT6が例示されている。
[第6の実施形態]
図21は、本実施形態に係る制御処理の流れを示すフローチャートである。図22は、Zスタック表示画面の更に別の例を示した図である。以下、図21及び図22を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Zスタック画像を表示する方法が異なる点で、第5の実施形態に係る制御処理とは異なる。
図21に示す制御処理において、ステップS91からステップS101の処理は、図16に示すステップS71からステップS81の処理と同様である。
ステップS101の後、観察装置100は、コントラストカーブを表示する(ステップS1002)。ここでは、制御部150は、まず、ステップS101において複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値(コントラスト値)を算出する。その後、制御部150は、複数の候補画像に基づいて算出された複数の合焦評価値に対応する複数の点を、焦準部の位置と合焦評価値(コントラスト値)を軸とする座標空間上にプロットしたグラフを表示装置10に表示させる。図22の画面W4は、ステップS102において表示装置10に表示された画面の一例である。画面W4は、Zスタック画像に基づいて作成したコントラストカーブを示すグラフG3を含んでいる。
コントラストカーブが表示されると、観察装置100は、コントラストカーブ上の点が選択されたか否かを判定し(ステップS103)、選択されたと判定すると、その点に対応する候補画像を表示装置10に表示する(ステップS104)。ここでは、制御部150がグラフ上で選択された点に対応する候補画像を表示装置10に表示させる。図22の画面W5は、ステップS104において表示装置10に表示された画面の一例である。画面W5は、コントラストカーブを示すグラフG3とともにグラフG3上の選択された点Paに対応する候補画像IMaを含んでいる。
さらに、観察装置100は、選択が確定されたか否かを判定する(ステップS105)。ここでは、制御部150は、利用者が入力装置20を用いて確定操作を行ったか否かを判定する。そして、確定していないと判定すると、制御部150は、選択が確定されるまで、ステップS103からステップS105の処理を繰り返す。図22の画面W6は、ステップS103でグラフG3上の点Pbが選択されたときにステップS104において表示される画面の一例であり、点Pbに対応する候補画像IMbを含んでいる。
選択が確定されると、観察装置100は、確定したときに表示されている候補画像(選択画像)を記録し(ステップS106)、さらに、合焦位置の履歴を更新する(ステップS107)。なお、ステップS107の処理は、図16のステップS84の処理と同様である。
その後に行われるステップS108からステップS111の処理は、図16のステップS85からステップS88の処理と同様である。これにより、制御部150は、グラフ上での選択が確定された場合には、選択された点に対応する焦準部の位置に基づいて所定範囲が更新される。
観察装置100によれば、本実施形態に係る制御処理を行うことで、第5の実施形態に係る制御処理を行った場合と同様の効果を得ることができる。
また、本実施形態では、コントラストカーブなどのグラフを見ながら画像を選択することで、合焦状態で取得した画像を効率的に特定することができる。従って、第5の実施形態に係る制御処理を行った場合よりも短時間で合焦状態で取得した画像を特定することが可能であり、利用者の作業負担も軽減することができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部又は全部を他の実施形態に適用して本発明の更に別の実施形態を構成してもよい。観察装置、制御方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
例えば、上述した実施形態では、図1に示す観察装置100及び観察システム1が制御処理を行う例を示したが、制御処理を行う観察装置及び観察システムは、観察装置100及び観察システム1に限らない。図23から図25に示す観察装置及び観察システムが制御処理を行ってもよい。
図23に示す観察システム2は、観察装置100の代わりに観察装置101及び演算装置30を含む点が、図1に示す観察システム1とは異なっている。観察装置101は、制御部150の代わりに駆動制御部160を有し、且つ、演算部151に相当する構成を有しない点が、観察装置100とは異なっている。なお、駆動制御部160は、駆動制御部152に相当する。観察システム2は、演算部151に相当する演算装置30を含み、演算装置30は、観察装置101と通信可能に接続されている。なお、観察装置101と演算装置30をまとめて観察装置とみなしてもよい。図23に示す観察システム2及び観察装置101でも、上述した実施形態に係る制御処理を行うことが可能であり、観察システム1及び観察装置100と同様の効果を得ることができる。
図24に示す観察システム3は、観察装置100の代わりに観察装置200を含む点が、図1に示す観察システム1とは異なっている。観察装置200は、倒立顕微鏡であるという点で観察装置100とは異なる。観察装置200が有するステージ210、撮像装置220、結像光学系230、対物レンズ231、接眼レンズ240、制御部250は、それぞれ観察装置100が有するステージ110、撮像装置120、結像光学系130、対物レンズ131、接眼レンズ140、制御部150に相当し、撮像素子221、撮像面221a、モータ212は、それぞれ撮像素子121、撮像面121a、モータ112に相当する。なお、光源201は、落射照明光源である。図24に示す観察システム3及び観察装置200でも、上述した実施形態に係る制御処理を行うことが可能であり、観察システム1及び観察装置100と同様の効果を得ることができる。
図25に示す観察システム4は、観察装置100の代わりに観察装置300と制御装置310を含む点が、図1に示す観察システム1とは異なっている。観察装置300は、例えば、インキュベータ内に収容され、管理された培養環境内で培養細胞を監察する観察装置である。観察装置300は、筐体上面に培養容器を配置した状態で、光源301が培養容器に収容された観察対象物である培養細胞を照明する。培養細胞を反射した光に基づいて撮像装置302が培養細胞を撮像する。観察装置300では、光源301と撮像装置302が同軸上にないため、観察装置300が行う照明は偏射照明と同様に作用する。また、モータ303は、撮像装置302又は図示しない光学系を動かすことで光学系と観察対象物の間の距離を調整する。制御装置310は、観察装置300を制御する装置であり、観察装置100の制御部150に相当する。図25に示す観察システム4及び観察装置300でも、上述した実施形態に係る制御処理を行うことが可能であり、観察システム1及び観察装置100と同様の効果を得ることができる。
図23から図25で示すように、観察装置の照明法は、特に限定されず、同軸落射照明、透過照明、偏射照明などの任意の照明法を用いることができる。
また、上述した実施形態では、探索間隔として条件入力画面で入力された一定の間隔が使用される例を示したが、AFにおける探索間隔は、例えば、Zスタック画像に基づいて作成されたコントラストカーブに応じて適宜調整してもよい。コントラストカーブのピークに近い位置では探索間隔を狭くして、ピークから遠い位置では探索間隔を広くしてもよく、これにより、AFに要する時間を更に短縮することが可能となる。即ち、制御部150は、合焦位置を信頼できないと判定した後に複数の位置で取得した複数の候補画像に基づいて、複数の合焦評価値を算出し、複数の位置と複数の合焦評価値の組み合わせに基づいて、探索範囲と、探索範囲内における記焦準部の駆動間隔(つまり、探索間隔)を更新してもよい。
1、2、3、4 観察システム
10 表示装置
20 入力装置
30 演算装置
100、101、200、300 観察装置
110、210 ステージ
111、112、212、303 モータ
120、220、302 撮像装置
121、221 撮像素子
121a、221a 撮像面
130、230 結像光学系
131、231 対物レンズ
140、240 接眼レンズ
150、250 制御部
151 演算部
152、160 駆動制御部
150a プロセッサ
150b メモリ
150c 補助記憶装置
150d 入出力インタフェース
150e 媒体駆動装置
150f 通信制御装置
150g バス
150h 記憶媒体
201、301 光源
310 制御装置
W1~W6 画面
B1、B2 ドロップダウンリスト
B3~B6 テキストボックス
G1~G3 グラフ
IM、IM1~IM12、IMa、IMb 画像
P、P1、P2、Pa、Pb ポイント
T1~T6 テーブル

Claims (14)

  1. 撮像面を含み、観察対象物を撮像する撮像装置と、
    前記撮像装置へ前記観察対象物の光学像を投影する光学系と、
    前記観察対象物と、前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、
    少なくとも前記撮像装置と前記焦準部を制御する制御部と、を備え、
    前記制御部は、
    前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
    決定した前記合焦位置の信頼性を判定し、
    前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
    ことを特徴とする観察装置。
  2. 請求項1に記載の観察装置において、
    前記制御部は、
    前記複数の画像に基づいて複数の合焦評価値を算出し、
    前記複数の合焦評価値に基づいて前記合焦位置の信頼性を判定する
    ことを特徴とする観察装置。
  3. 請求項2に記載の観察装置において、
    前記制御部は、合焦評価値がピークを示す前記焦準部の位置が複数存在するときに、前記合焦位置を信頼できないと判定する
    ことを特徴とする観察装置。
  4. 請求項1乃至請求項3のいずれか1項に記載の観察装置において、
    前記制御部は、前記合焦位置が所定範囲から外れているときに、前記合焦位置を信頼できないと判定し、
    前記所定範囲は、合焦状態における前記焦準部が存在することが推定される、予め設定された前記焦準部の位置の範囲である
    ことを特徴とする観察装置。
  5. 請求項4に記載の観察装置において、
    前記所定範囲は、前記制御部が決定した合焦位置の履歴を統計処理することで算出された前記焦準部の位置の範囲である
    ことを特徴とする観察装置。
  6. 請求項5に記載の観察装置において、さらに、
    前記光学系の光軸と直交する方向に前記観察対象物を動かすXY駆動部を備え、
    前記制御部が決定した合焦位置の履歴は、前記XY駆動部が第1の位置にあるときに前記撮像装置で取得した前記観察対象物の複数の画像に基づいて決定した第1の合焦位置と、前記XY駆動部が前記第1の位置とは異なる第2の位置にあるときに前記撮像装置で取得した前記観察対象物の複数の画像に基づいて決定した第2の合焦位置と、を含む
    ことを特徴とする観察装置。
  7. 請求項5又は請求項6に記載の観察装置において、
    前記所定範囲は、少なくとも前記観察対象物の種類と前記観察対象物を収容する容器との組み合わせ毎に、設けられ、
    前記制御部は、前記合焦位置が少なくとも前記観察対象物の種類と前記観察対象物を収容する容器との組み合わせに応じた所定範囲から外れているときに、前記合焦位置を信頼できないと判定する
    ことを特徴とする観察装置。
  8. 請求項4乃至請求項7のいずれか1項に記載の観察装置において、
    前記制御部は、
    前記複数の位置で取得した複数の候補画像を表示装置に表示させ、
    前記表示装置に表示された前記複数の候補画像から1つの候補画像が選択されたときに、選択された前記1つの候補画像に対応する前記焦準部の位置に基づいて、前記所定範囲を更新する
    ことを特徴とする観察装置。
  9. 請求項4乃至請求項7のいずれか1項に記載の観察装置において、
    前記制御部は、
    前記複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値を算出し、
    前記複数の候補画像に基づいて算出された前記複数の合焦評価値に対応する複数の点を、前記焦準部の位置と合焦評価値を軸とする座標空間上にプロットしたグラフを表示装置に表示させ、
    前記グラフ上で選択された点に対応する候補画像を前記表示装置に表示させ、
    前記グラフ上での選択が確定されたときに、選択された点に対応する前記焦準部の位置に基づいて、前記所定範囲を更新する
    ことを特徴とする観察装置。
  10. 請求項1乃至請求項9のいずれか1項に記載の観察装置において、
    前記制御部は、
    前記複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値を算出し、
    前記複数の位置と前記複数の合焦評価値の組み合わせに基づいて、前記合焦位置を探索する探索範囲と、前記探索範囲内における前記焦準部の駆動間隔を更新する
    ことを特徴とする観察装置。
  11. 請求項1乃至請求項10のいずれか1項に記載の観察装置において、さらに、
    前記観察対象物が配置されるステージと、を備え、
    前記焦準部は、前記ステージと前記光学系との間の前記光学系の光軸方向の距離を調整する
    ことを特徴とする観察装置。
  12. 請求項1乃至請求項11のいずれか1項に記載の観察装置において、
    前記光学系は、対物レンズを含み、
    前記撮像面と光学的に共役な面は、前記対物レンズの焦点面である
    ことを特徴とする観察装置。
  13. 撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面との相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置を制御する方法であって、
    前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
    決定した前記合焦位置の信頼性を判定し、
    前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
    ことを特徴とする方法。
  14. 撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面との相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置のコンピュータに、
    前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
    決定した前記合焦位置の信頼性を判定し、
    前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
    処理を実行させることを特徴とするプログラム。
JP2018230495A 2018-12-10 2018-12-10 観察装置、制御方法、及び、プログラム Active JP7284574B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018230495A JP7284574B2 (ja) 2018-12-10 2018-12-10 観察装置、制御方法、及び、プログラム
US16/701,352 US11067771B2 (en) 2018-12-10 2019-12-03 Observation apparatus, control method, and computer-readable medium for changing a relative distance between a stage and optical system based on determined reliability of in-focus position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018230495A JP7284574B2 (ja) 2018-12-10 2018-12-10 観察装置、制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2020095074A JP2020095074A (ja) 2020-06-18
JP7284574B2 true JP7284574B2 (ja) 2023-05-31

Family

ID=70971790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018230495A Active JP7284574B2 (ja) 2018-12-10 2018-12-10 観察装置、制御方法、及び、プログラム

Country Status (2)

Country Link
US (1) US11067771B2 (ja)
JP (1) JP7284574B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112952B2 (en) * 2018-03-26 2021-09-07 Microscopes International, Llc Interface for display of multi-layer images in digital microscopy
JP7451702B2 (ja) 2020-05-29 2024-03-18 富士フイルム株式会社 積層体
WO2022269961A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 顕微鏡システム、情報処理装置及び制御方法
EP4194918A1 (en) * 2021-12-10 2023-06-14 Leica Microsystems CMS GmbH Method for controlling microscopic imaging and corresponding microscope control arrangement and microscope
US11714273B1 (en) * 2022-06-23 2023-08-01 Araceli Biosciences Inc. System and method for microscope high-speed auto-focusing including an imaged subject based on a corrected contrast distribution

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210572A (ja) 2012-03-30 2013-10-10 Nikon Corp 撮像装置および撮像装置の制御プログラム
JP2013246187A (ja) 2012-05-23 2013-12-09 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364078B2 (ja) * 2004-06-30 2009-11-11 イーストマン コダック カンパニー 撮像方法及び撮像装置
JP5301016B2 (ja) 2012-06-15 2013-09-25 キヤノン株式会社 撮像装置およびその制御方法
JP6414050B2 (ja) * 2013-03-13 2018-10-31 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6487678B2 (ja) * 2014-11-21 2019-03-20 キヤノン株式会社 焦点検出装置及びその制御方法
CN108139564B (zh) * 2015-09-30 2020-12-08 富士胶片株式会社 对焦控制装置、摄像装置、对焦控制方法及对焦控制程序
US20170302844A1 (en) * 2016-04-13 2017-10-19 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and storage medium
JP6675279B2 (ja) 2016-07-01 2020-04-01 富士フイルム株式会社 撮影装置および方法並びに撮影制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210572A (ja) 2012-03-30 2013-10-10 Nikon Corp 撮像装置および撮像装置の制御プログラム
JP2013246187A (ja) 2012-05-23 2013-12-09 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム

Also Published As

Publication number Publication date
US20200183127A1 (en) 2020-06-11
JP2020095074A (ja) 2020-06-18
US11067771B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
JP7284574B2 (ja) 観察装置、制御方法、及び、プログラム
US11156823B2 (en) Digital microscope apparatus, method of searching for in-focus position thereof, and program
CN102967929B (zh) 放大观察装置、放大观察方法及放大观察程序
US7801352B2 (en) Image acquiring apparatus, image acquiring method, and image acquiring program
EP3035104B1 (en) Microscope system and setting value calculation method
US10073258B2 (en) Microscope system
US8126250B2 (en) Image acquiring apparatus, image acquiring method, and image acquiring program
CN109559275B (zh) 一种尿液分析仪显微镜图像拼接方法
US10313637B2 (en) Digital microscope apparatus for reimaging blurry portion based on edge detection
US20150264335A1 (en) Image pickup apparatus and method for generating image having depth information
JP2001083428A (ja) 顕微鏡装置
JP6147006B2 (ja) 撮像装置、顕微鏡システム及び撮像方法
JP2019168520A (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
CN112714888A (zh) 显微镜系统、投影单元以及图像投影方法
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
WO2017098587A1 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP5730696B2 (ja) 画像処理装置および画像表示システム
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
US20140363095A1 (en) Image processing device, image processing method, and program
US20180172975A1 (en) Microscope device, storage medium and observation method
JP5881445B2 (ja) 顕微鏡
WO2024014079A1 (ja) 細胞観察装置および細胞観察装置で用いられる撮像方法
JPH04195110A (ja) オートフォーカス装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230519

R151 Written notification of patent or utility model registration

Ref document number: 7284574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151