JP7284574B2 - 観察装置、制御方法、及び、プログラム - Google Patents
観察装置、制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP7284574B2 JP7284574B2 JP2018230495A JP2018230495A JP7284574B2 JP 7284574 B2 JP7284574 B2 JP 7284574B2 JP 2018230495 A JP2018230495 A JP 2018230495A JP 2018230495 A JP2018230495 A JP 2018230495A JP 7284574 B2 JP7284574 B2 JP 7284574B2
- Authority
- JP
- Japan
- Prior art keywords
- observation
- positions
- images
- focus position
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
Description
図6は、本実施形態に係る制御処理の流れを示すフローチャートである。図7は、コントラストカーブの一例である。以下、図6及び図7を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦評価値のピーク数に基づいて判定するものである。
図8は、本実施形態に係る制御処理の流れを示すフローチャートである。図9は、探索範囲と所定範囲の関係を説明するための図である。以下、図8及び図9を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦位置そのものに基づいて判定するものである。
図10は、本実施形態に係る制御処理の流れを示すフローチャートである。図11は、合焦位置の座標情報を含むテーブルT1を例示した図である。図12は、合焦位置に関する統計情報を含むテーブルT2を例示した図である。図13は、所定範囲の情報を含むテーブルT3を例示した図である。以下、図10から図13を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、過去に決定した合焦位置の情報を利用することで合焦位置の信頼性を判定するものである。
図15は、本実施形態に係る制御処理の流れを示すフローチャートである。以下、図15を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、観察条件として複数の観察ポイントが入力された場合にも対応している点で第3の実施形態に係る制御処理とは異なる。
図16は、本実施形態に係る制御処理の流れを示すフローチャートである。図17は、Zスタック表示画面の一例を示した図である。図18は、Zスタック表示画面の別の例を示した図である。図19は、所定範囲の情報を含むテーブルT5を例示した図である。図20は、所定範囲の情報を含むテーブルT6を例示した図である。以下、図16から図20を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Zスタック画像を取得した場合に、利用者に、Zスタック画像から合焦状態で取得した画像を選択させる点で、第4の実施形態に係る制御処理とは異なる。
図21は、本実施形態に係る制御処理の流れを示すフローチャートである。図22は、Zスタック表示画面の更に別の例を示した図である。以下、図21及び図22を参照しながら、観察装置100を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Zスタック画像を表示する方法が異なる点で、第5の実施形態に係る制御処理とは異なる。
10 表示装置
20 入力装置
30 演算装置
100、101、200、300 観察装置
110、210 ステージ
111、112、212、303 モータ
120、220、302 撮像装置
121、221 撮像素子
121a、221a 撮像面
130、230 結像光学系
131、231 対物レンズ
140、240 接眼レンズ
150、250 制御部
151 演算部
152、160 駆動制御部
150a プロセッサ
150b メモリ
150c 補助記憶装置
150d 入出力インタフェース
150e 媒体駆動装置
150f 通信制御装置
150g バス
150h 記憶媒体
201、301 光源
310 制御装置
W1~W6 画面
B1、B2 ドロップダウンリスト
B3~B6 テキストボックス
G1~G3 グラフ
IM、IM1~IM12、IMa、IMb 画像
P、P1、P2、Pa、Pb ポイント
T1~T6 テーブル
Claims (14)
- 撮像面を含み、観察対象物を撮像する撮像装置と、
前記撮像装置へ前記観察対象物の光学像を投影する光学系と、
前記観察対象物と、前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、
少なくとも前記撮像装置と前記焦準部を制御する制御部と、を備え、
前記制御部は、
前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
決定した前記合焦位置の信頼性を判定し、
前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
ことを特徴とする観察装置。 - 請求項1に記載の観察装置において、
前記制御部は、
前記複数の画像に基づいて複数の合焦評価値を算出し、
前記複数の合焦評価値に基づいて前記合焦位置の信頼性を判定する
ことを特徴とする観察装置。 - 請求項2に記載の観察装置において、
前記制御部は、合焦評価値がピークを示す前記焦準部の位置が複数存在するときに、前記合焦位置を信頼できないと判定する
ことを特徴とする観察装置。 - 請求項1乃至請求項3のいずれか1項に記載の観察装置において、
前記制御部は、前記合焦位置が所定範囲から外れているときに、前記合焦位置を信頼できないと判定し、
前記所定範囲は、合焦状態における前記焦準部が存在することが推定される、予め設定された前記焦準部の位置の範囲である
ことを特徴とする観察装置。 - 請求項4に記載の観察装置において、
前記所定範囲は、前記制御部が決定した合焦位置の履歴を統計処理することで算出された前記焦準部の位置の範囲である
ことを特徴とする観察装置。 - 請求項5に記載の観察装置において、さらに、
前記光学系の光軸と直交する方向に前記観察対象物を動かすXY駆動部を備え、
前記制御部が決定した合焦位置の履歴は、前記XY駆動部が第1の位置にあるときに前記撮像装置で取得した前記観察対象物の複数の画像に基づいて決定した第1の合焦位置と、前記XY駆動部が前記第1の位置とは異なる第2の位置にあるときに前記撮像装置で取得した前記観察対象物の複数の画像に基づいて決定した第2の合焦位置と、を含む
ことを特徴とする観察装置。 - 請求項5又は請求項6に記載の観察装置において、
前記所定範囲は、少なくとも前記観察対象物の種類と前記観察対象物を収容する容器との組み合わせ毎に、設けられ、
前記制御部は、前記合焦位置が少なくとも前記観察対象物の種類と前記観察対象物を収容する容器との組み合わせに応じた所定範囲から外れているときに、前記合焦位置を信頼できないと判定する
ことを特徴とする観察装置。 - 請求項4乃至請求項7のいずれか1項に記載の観察装置において、
前記制御部は、
前記複数の位置で取得した複数の候補画像を表示装置に表示させ、
前記表示装置に表示された前記複数の候補画像から1つの候補画像が選択されたときに、選択された前記1つの候補画像に対応する前記焦準部の位置に基づいて、前記所定範囲を更新する
ことを特徴とする観察装置。 - 請求項4乃至請求項7のいずれか1項に記載の観察装置において、
前記制御部は、
前記複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値を算出し、
前記複数の候補画像に基づいて算出された前記複数の合焦評価値に対応する複数の点を、前記焦準部の位置と合焦評価値を軸とする座標空間上にプロットしたグラフを表示装置に表示させ、
前記グラフ上で選択された点に対応する候補画像を前記表示装置に表示させ、
前記グラフ上での選択が確定されたときに、選択された点に対応する前記焦準部の位置に基づいて、前記所定範囲を更新する
ことを特徴とする観察装置。 - 請求項1乃至請求項9のいずれか1項に記載の観察装置において、
前記制御部は、
前記複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値を算出し、
前記複数の位置と前記複数の合焦評価値の組み合わせに基づいて、前記合焦位置を探索する探索範囲と、前記探索範囲内における前記焦準部の駆動間隔を更新する
ことを特徴とする観察装置。 - 請求項1乃至請求項10のいずれか1項に記載の観察装置において、さらに、
前記観察対象物が配置されるステージと、を備え、
前記焦準部は、前記ステージと前記光学系との間の前記光学系の光軸方向の距離を調整する
ことを特徴とする観察装置。 - 請求項1乃至請求項11のいずれか1項に記載の観察装置において、
前記光学系は、対物レンズを含み、
前記撮像面と光学的に共役な面は、前記対物レンズの焦点面である
ことを特徴とする観察装置。 - 撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面との相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置を制御する方法であって、
前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
決定した前記合焦位置の信頼性を判定し、
前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
ことを特徴とする方法。 - 撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面との相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置のコンピュータに、
前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
決定した前記合焦位置の信頼性を判定し、
前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
処理を実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018230495A JP7284574B2 (ja) | 2018-12-10 | 2018-12-10 | 観察装置、制御方法、及び、プログラム |
US16/701,352 US11067771B2 (en) | 2018-12-10 | 2019-12-03 | Observation apparatus, control method, and computer-readable medium for changing a relative distance between a stage and optical system based on determined reliability of in-focus position |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018230495A JP7284574B2 (ja) | 2018-12-10 | 2018-12-10 | 観察装置、制御方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020095074A JP2020095074A (ja) | 2020-06-18 |
JP7284574B2 true JP7284574B2 (ja) | 2023-05-31 |
Family
ID=70971790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018230495A Active JP7284574B2 (ja) | 2018-12-10 | 2018-12-10 | 観察装置、制御方法、及び、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11067771B2 (ja) |
JP (1) | JP7284574B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11112952B2 (en) * | 2018-03-26 | 2021-09-07 | Microscopes International, Llc | Interface for display of multi-layer images in digital microscopy |
JP7451702B2 (ja) | 2020-05-29 | 2024-03-18 | 富士フイルム株式会社 | 積層体 |
WO2022269961A1 (ja) * | 2021-06-25 | 2022-12-29 | ソニーグループ株式会社 | 顕微鏡システム、情報処理装置及び制御方法 |
EP4194918A1 (en) * | 2021-12-10 | 2023-06-14 | Leica Microsystems CMS GmbH | Method for controlling microscopic imaging and corresponding microscope control arrangement and microscope |
US11714273B1 (en) * | 2022-06-23 | 2023-08-01 | Araceli Biosciences Inc. | System and method for microscope high-speed auto-focusing including an imaged subject based on a corrected contrast distribution |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013210572A (ja) | 2012-03-30 | 2013-10-10 | Nikon Corp | 撮像装置および撮像装置の制御プログラム |
JP2013246187A (ja) | 2012-05-23 | 2013-12-09 | Olympus Corp | 顕微鏡システム、標本画像生成方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4364078B2 (ja) * | 2004-06-30 | 2009-11-11 | イーストマン コダック カンパニー | 撮像方法及び撮像装置 |
JP5301016B2 (ja) | 2012-06-15 | 2013-09-25 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6414050B2 (ja) * | 2013-03-13 | 2018-10-31 | ソニー株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP6487678B2 (ja) * | 2014-11-21 | 2019-03-20 | キヤノン株式会社 | 焦点検出装置及びその制御方法 |
CN108139564B (zh) * | 2015-09-30 | 2020-12-08 | 富士胶片株式会社 | 对焦控制装置、摄像装置、对焦控制方法及对焦控制程序 |
US20170302844A1 (en) * | 2016-04-13 | 2017-10-19 | Canon Kabushiki Kaisha | Image capturing apparatus, control method therefor, and storage medium |
JP6675279B2 (ja) | 2016-07-01 | 2020-04-01 | 富士フイルム株式会社 | 撮影装置および方法並びに撮影制御プログラム |
-
2018
- 2018-12-10 JP JP2018230495A patent/JP7284574B2/ja active Active
-
2019
- 2019-12-03 US US16/701,352 patent/US11067771B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013210572A (ja) | 2012-03-30 | 2013-10-10 | Nikon Corp | 撮像装置および撮像装置の制御プログラム |
JP2013246187A (ja) | 2012-05-23 | 2013-12-09 | Olympus Corp | 顕微鏡システム、標本画像生成方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200183127A1 (en) | 2020-06-11 |
JP2020095074A (ja) | 2020-06-18 |
US11067771B2 (en) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7284574B2 (ja) | 観察装置、制御方法、及び、プログラム | |
US11156823B2 (en) | Digital microscope apparatus, method of searching for in-focus position thereof, and program | |
CN102967929B (zh) | 放大观察装置、放大观察方法及放大观察程序 | |
US7801352B2 (en) | Image acquiring apparatus, image acquiring method, and image acquiring program | |
EP3035104B1 (en) | Microscope system and setting value calculation method | |
US10073258B2 (en) | Microscope system | |
US8126250B2 (en) | Image acquiring apparatus, image acquiring method, and image acquiring program | |
CN109559275B (zh) | 一种尿液分析仪显微镜图像拼接方法 | |
US10313637B2 (en) | Digital microscope apparatus for reimaging blurry portion based on edge detection | |
US20150264335A1 (en) | Image pickup apparatus and method for generating image having depth information | |
JP2001083428A (ja) | 顕微鏡装置 | |
JP6147006B2 (ja) | 撮像装置、顕微鏡システム及び撮像方法 | |
JP2019168520A (ja) | 情報処理装置、情報処理方法、プログラム、及び画像測定装置 | |
CN112714888A (zh) | 显微镜系统、投影单元以及图像投影方法 | |
US10429632B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
JP6563486B2 (ja) | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム | |
JP6312410B2 (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
WO2017098587A1 (ja) | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム | |
JP5730696B2 (ja) | 画像処理装置および画像表示システム | |
JP6422761B2 (ja) | 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法 | |
US20140363095A1 (en) | Image processing device, image processing method, and program | |
US20180172975A1 (en) | Microscope device, storage medium and observation method | |
JP5881445B2 (ja) | 顕微鏡 | |
WO2024014079A1 (ja) | 細胞観察装置および細胞観察装置で用いられる撮像方法 | |
JPH04195110A (ja) | オートフォーカス装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210902 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210902 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20220622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230519 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7284574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |