JP7506523B2 - 顕微鏡システム、制御方法、プログラム - Google Patents
顕微鏡システム、制御方法、プログラム Download PDFInfo
- Publication number
- JP7506523B2 JP7506523B2 JP2020088466A JP2020088466A JP7506523B2 JP 7506523 B2 JP7506523 B2 JP 7506523B2 JP 2020088466 A JP2020088466 A JP 2020088466A JP 2020088466 A JP2020088466 A JP 2020088466A JP 7506523 B2 JP7506523 B2 JP 7506523B2
- Authority
- JP
- Japan
- Prior art keywords
- container
- specimen
- microscope system
- magnification
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 86
- 238000001514 detection method Methods 0.000 claims description 81
- 239000011521 glass Substances 0.000 claims description 68
- 239000006059 cover glass Substances 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 26
- 238000010186 staining Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 22
- 238000002360 preparation method Methods 0.000 description 14
- 238000005286 illumination Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 9
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 239000007788 liquid Substances 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 1
- 101000600488 Pinus strobus Putative phosphoglycerate kinase Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Description
本明細書の開示は、顕微鏡システム、制御方法、プログラムに関する。
顕微鏡システムを用いることで、利用者は、被写体を拡大した画像を観察することが可能である。その一方で、被写体を拡大するほど顕微鏡システムの視野は狭くなるため、視野内に被写体の観察対象部位を収めることが難しくなる。また、高い解像力を要求するほど焦点深度も浅くなるため、顕微鏡システムの焦点を観察対象部位に合わせることも難しくなる。このため、顕微鏡システムがその高い性能を発揮するためには、本格的な観察を開始する前に、種々の調整や設定が必要であり、これらの作業に要する手間が利用者にとって大きな負担となっている。
このような技術的な課題に関連する技術は、例えば、特許文献1に記載されている。特許文献1には、被写体のマクロ画像を取得し、取得したマクロ画像を参照してミクロ画像の撮像条件として標本を含む画像取得範囲等を設定する技術が記載されている。即ち、マクロ画像から標本を検出することで、ミクロ画像の撮像条件を自動的に設定する技術が記載されている。
しかしながら、マクロ観察では、標本を検出できるとは限らない。マクロ観察の観察倍率と解像力はミクロ観察の観察倍率と解像力に比べて低いため、例えば細胞などの小さな標本を検出できないことがある。特許文献1に記載の技術では、標本が検出されない場合には、利用者自身で面倒な調整や設定を行わざるを得ない。
以上のような実情から、本発明の一側面に係る目的は、利用者が煩雑な作業を行うことなしに、顕微鏡システムを用いた標本の観察を開始可能とする技術を提供することである。
本発明の一態様に係る顕微鏡システムは、少なくとも第1倍率と前記第1倍率よりも高い第2倍率で画像を取得する画像取得部と、制御部と、を備える。前記制御部は、標本が置かれた容器の種類を特定し、前記第2倍率で前記容器に置かれた前記標本の観察を開始するときに、前記画像取得部が前記第1倍率で取得した前記容器を含む第1画像に対して前記容器の種類に応じた構造の物体検出を行いい、前記容器の種類と前記物体検出の結果とに応じて観察開始位置を特定し、前記観察開始位置が前記画像取得部の前記第2倍率における視野範囲に含まれるように、前記標本に対する前記画像取得部の相対位置を制御する。
本発明の一態様に係る制御方法は、少なくとも第1倍率と前記第1倍率よりも高い第2倍率で画像を取得する画像取得部を備える顕微鏡システムの制御方法であって、コンピュータが、標本が置かれた容器の種類を特定し、前記第2倍率で前記容器に置かれた前記標本の観察を開始するときに、前記画像取得部が前記第1倍率で取得した前記容器を含む第1画像に対して前記容器の種類に応じた構造の物体検出を行い、前記容器の種類と前記物体検出の結果とに応じて観察開始位置を特定し、前記観察開始位置が前記画像取得部の前記第2倍率における視野範囲に含まれるように、前記標本に対する前記画像取得部の相対位置を制御する。
本発明の一態様に係るプログラムは、少なくとも第1倍率と前記第1倍率よりも高い第2倍率で画像を取得する画像取得部を備える顕微鏡システムのコンピュータに、標本が置かれた容器の種類を特定し、前記第2倍率で前記容器に置かれた前記標本の観察を開始するときに、前記画像取得部が前記第1倍率で取得した前記容器を含む第1画像に対して前記容器の種類に応じた構造の物体検出を行い、前記容器の種類と前記物体検出の結果とに応じて観察開始位置を特定し、前記観察開始位置が前記画像取得部の前記第2倍率における視野範囲に含まれるように、前記標本に対する前記画像取得部の相対位置を制御する処理を実行させる。
上記の態様によれば、利用者は、煩雑な作業を行うことなく、顕微鏡システムを用いた標本の観察を開始することができる。
図1は、顕微鏡システム1の構成を例示した図である。図2は、顕微鏡システム1に含まれるコンピュータ10の構成を例示した図である。顕微鏡システム1は、従来の顕微鏡システムにおいて利用者が観察開始前に自ら行う必要があった種々の調整及び設定の作業(以降、観察準備作業と記す。)の少なくとも一部を自動化することで、利用者の作業負担を軽減しながら、高品質な顕微鏡画像での標本観察を可能とするものである。以下、図1及び図2を参照しながら、顕微鏡システム1の構成を説明する。
顕微鏡システム1は、図1に示すように、顕微鏡100と、顕微鏡システム1全体を制御するコンピュータ10と、顕微鏡100を制御する顕微鏡コントローラ20と、を備えている。顕微鏡100は、顕微鏡コントローラ20に通信可能に接続されていて、さらに、コンピュータ10と顕微鏡コントローラ20が互いに通信可能に接続されている。
顕微鏡100は、比較的低い観察倍率(第1倍率)で画像を取得するマクロ画像取得部200と、マクロ画像取得部200の観察倍率よりも高い観察倍率(第2倍率)で画像を取得するミクロ画像取得部300と、を備えている。即ち、顕微鏡100は、少なくとも第1倍率と第2倍率で画像を取得する画像取得部の一例である。顕微鏡100は、さらに、容器ホルダ保持部110が設けられた電動ステージ101を備えている。なお、以降では、必要に応じて、マクロ画像取得部200が取得した画像をマクロ画像又は第1画像と記し、ミクロ画像取得部300が取得した画像をミクロ画像又は第2画像と記す。
電動ステージ101は、モータ102と原点センサ103を有している。電動ステージ101は、モータ102が回転することで、マクロ画像取得部200とミクロ画像取得部300の両方の光軸と直交する方向(XY方向)に移動する。電動ステージ101は、顕微鏡コントローラ20によって制御される。より詳細には、顕微鏡コントローラ20が原点センサ103によって検出されたXY方向についての原点を基準としてモータ102を制御することで、電動ステージ101は、容器ホルダ保持部110に載置された被写体をマクロ画像取得部200の光軸上又はミクロ画像取得部300の光軸上に搬送する。ここで、被写体とは、撮像対象物といった程度の意味であり、利用者が主に観察する対象物である標本とは区別される。なお、被写体には、標本が含まれ得る。さらに、顕微鏡コントローラ20がモータ102を制御することで、電動ステージ101は、被写体上の任意の位置をマクロ画像取得部200の視野の中心又はミクロ画像取得部300の視野の中心に合わせることができる。なお、顕微鏡コントローラ20は、電動ステージ101の位置情報を、適宜又は要求に応じてコンピュータ10へ出力する。
マクロ画像取得部200は、マクロ用光源201と、マクロ光学系202と、撮像装置203を備えている。また、マクロ画像取得部200は、マクロ用光源201から出射した照明光を被写体に照射する照明光学系を備えてもよい。マクロ用光源201は、例えば、キセノンランプなどのランプ光源、発光ダイオード(LED)である。マクロ光学系202の観察倍率(第1倍率)は、マクロ光学系202の視野に少なくとも後述する標本容器が収まるような倍率であればよく、より望ましくは、容器ホルダ保持部110に保持される容器ホルダが1枚又は2枚のマクロ画像に収まるような倍率である。撮像装置203は、CCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary MOS)イメージセンサなどである。
マクロ画像取得部200では、被写体を透過した光をマクロ光学系202が撮像装置203上に集光することで、撮像装置203が被写体を撮像し、被写体のマクロ画像を取得する。撮像装置203は、さらに、被写体の画像データを顕微鏡コントローラ20を経由してコンピュータ10へ出力する。なお、マクロ用光源201から出射する照明光量又は被写体に照射される照明光量は、顕微鏡コントローラ20によって制御される。また、撮像装置203で行われる撮像動作等も、顕微鏡コントローラ20によって制御される。例えば、コンピュータ10からの入力に従って顕微鏡コントローラ20は、撮像装置203を制御して、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定、エッジ強調度の設定、ガンマ補正の設定等を行ってもよい。
ミクロ画像取得部300は、ミクロ用光源301と、コンデンサ302と、レボルバ306に装着された複数の対物レンズ(対物レンズ304、対物レンズ305)と、撮像装置307を備えている。ミクロ画像取得部300は、複数の観察法で画像を取得可能であり、この例では、明視野観察法と位相差観察法で画像を取得することができる。コンデンサ302は、複数の観察法に対応しており、例えば、位相差観察法で画像を取得する際には、図1に示されるように、コンデンサ302内にリングスリットを配置される。なお、リングスリットは挿脱自在に配置されていて、例えば、明視野観察法で画像を取得する際には、コンデンサ302は、リングスリットを光路外に取り外した状態で使用される。なお、ミクロ画像取得部300は、観察法に応じた複数のコンデンサを備えてもよい。また、対物レンズ304は、位相差観察法において使用される位相差対物レンズであり、リングスリットに対応する位置に位相膜が含まれている。対物レンズ305は、明視野観察法でおいて使用される対物レンズである。レボルバ306は、光軸上に配置される対物レンズを切り換える切換機構である。また、レボルバ306は、光軸に沿って移動することで対物レンズを光軸方向に移動する焦準装置としても機能する。撮像装置307は、CCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary MOS)イメージセンサなどである。
ミクロ画像取得部300では、ミクロ用光源301から出射した照明光は、コンデンサを経由して被写体に照射される。その後、被写体を透過した光を対物レンズ及び図示しない結像レンズを経由して撮像装置307上に集光することで、撮像装置307が被写体を撮像し、被写体のミクロ画像を取得する。撮像装置307は、さらに、被写体の画像データを顕微鏡コントローラ20を経由してコンピュータ10へ出力する。なお、ミクロ用光源301から出射する照明光量又は被写体に照射される照明光量は、顕微鏡コントローラ20によって制御される。また、撮像装置307で行われる撮像動作等も、顕微鏡コントローラ20によって制御される。例えば、コンピュータ10からの入力に従って顕微鏡コントローラ20は、撮像装置307を制御して、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定、エッジ強調度の設定、ガンマ補正の設定等を行ってもよい。
レボルバ306は、図示しないモータと原点センサを有している。レボルバ306は、モータが回転することで、ミクロ画像取得部300の光軸方向(Z方向)に移動する。レボルバ306は、顕微鏡コントローラ20によって制御される。より詳細には、顕微鏡コントローラ20が原点センサによって検出されたZ方向についての原点を基準としてモータを制御することで、レボルバ306は、対物レンズをミクロ画像取得部300の光軸方向に動かしてフォーカスを調整することができる。この場合レボルバ306が焦準装置として機能する。なお、顕微鏡コントローラ20は、レボルバ306の位置情報を、適宜又は要求に応じてコンピュータ10へ出力する。この例では、レボルバ306が焦準装置として機能する例を示したが、レボルバ306の代わりに電動ステージ101が光軸方向に移動してもよい。
顕微鏡コントローラ20は、顕微鏡100を制御するコントローラであり、コンピュータ10の制御下で、顕微鏡100に含まれる電動装置全般(撮像装置203及び撮像装置307を除く)を制御する。具体的には、顕微鏡コントローラ20は、例えば、電動ステージ101を制御して観察位置を変更する処理、レボルバ306を制御してフォーカスを変更する処理、対物レンズ及びコンデンサを切り換えて観察倍率又は観察方法を変更する処理、光源(マクロ用光源201、ミクロ用光源301)を制御して調光する処理、撮像装置203及び撮像装置307で行われる撮像動作を制御する処理などを行う。また、顕微鏡コントローラ20は、顕微鏡100の状態をコンピュータ10へ通知する処理も行う。
コンピュータ10は、顕微鏡システム1全体を制御する制御部の一例であり、顕微鏡100及び顕微鏡コントローラ20を制御する。コンピュータ10は、例えば、図2に示すように、プロセッサ11と、メモリ12と、入力装置13と、表示装置14と、通信I/F15を備え、これらがバス16によって相互に接続されている。なお、図2は、コンピュータ10の構成の一例であり、コンピュータ10はこの構成に限定されるものではない。コンピュータ10は、ワークステーションやパーソナルコンピュータといった汎用コンピュータによって実現されてもよく、専用のコンピュータによって実現されてもよい。
プロセッサ11は、1つ以上のプロセッサを含んでいる。1つ以上のプロセッサは、例えば、中央処理装置(CPU:Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などを含んでもよい。また、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などを含んでもよい。プロセッサ11は、例えば、所定のソフトウェアプログラムを実行することで、例えば、図4に示す後述する処理を行ってもよい。
メモリ12は、プロセッサ11が実行するソフトウェアプログラムを格納した、非一時的なコンピュータ可読媒体を含んでいる。プロセッサ11は、例えば、1つ又は複数の任意の半導体メモリを含んでもよく、さらに、1つ又は複数のその他の記憶装置を含んでもよい。半導体メモリは、例えば、RAM(Random Access Memory)などの揮発性メモリ、ROM(Read Only Memory)、プログラマブルROM、フラッシュメモリなどの不揮発性メモリを含んでいる。RAMには、例えば、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)などが含まれてもよい。その他の記憶装置には、例えば磁気ディスクを含む磁気記憶装置、例えば光ディスクを含む光学記憶装置などが含まれてもよい。
入力装置13は、顕微鏡システム1の利用者の操作を検出して操作情報を入力する装置である。入力装置13は、例えば、キーボード、マウス、ハンドル、ジョイステック、各種スイッチなどである。表示装置14は、プロセッサ11からの表示信号に基づいて画面を表示する表示部の一例である。表示装置14は、例えば、液晶ディスプレイ装置、有機EL(OLE:Organic Electro-Luminescence)ディスプレイ装置、CRT(Cathode Ray Tube)ディスプレイ装置などである。表示装置14は、タッチパネルセンサを備えてもよく、その場合、入力装置13としても機能する。通信I/F15は、顕微鏡100及び顕微鏡コントローラ20との間で信号を送受信する。
なお、図1では、顕微鏡システム1に含まれる顕微鏡100が倒立顕微鏡である例を示したが、顕微鏡100は、倒立顕微鏡に限らず、正立顕微鏡であってもよい。また、図1では、顕微鏡100が透過照明法を採用した例を示したが、顕微鏡100は、落射照明法を採用してもよい。また、顕微鏡100が専用の対物レンズを用いることで明視野観察法と位相差観察法を切り替える例を示したが、瞳位置に対して位相変調素子(位相膜)を挿脱することで対物レンズを他の対物レンズに切り換えることなく明視野観察法と位相差観察法を切り替えてもよい。また、顕微鏡100が明視野観察法と位相差観察法に対応する例を示したが、顕微鏡100は、その他の観察法、例えば、蛍光観察法、微分干渉観察法、偏斜観察法、暗視野観察法などに対応してもよい。
また、マクロ画像取得部200とミクロ画像取得部300がそれぞれ撮像装置を有する例を示したが、マクロ画像取得部200とミクロ画像取得部300は互いの像位置が同一平面に位置するように調整されることで、撮像装置を共有してもよい。また、ミクロ画像取得部300が、対物レンズを2本含む例を示したが、3本以上の対物レンズを含んでもよく、複数の異なる観察倍率に対応する対物レンズを含んでもよい。また、コンデンサについても、2本以上含んでもよい。
また、顕微鏡システム1では、コンピュータ10と、顕微鏡コントローラ20と、顕微鏡100がそれぞれ個別の装置として構成された例を示したが、これらの一部又は全部は一体に構成されてもよい。例えば、顕微鏡100と顕微鏡コントローラ20が一体に構成されてもよく、顕微鏡100とコンピュータ10と顕微鏡コントローラ20が一体に構成されてもよい。
また、コンピュータ10が入力装置13と表示装置14を含む例を示したが、入力装置13と表示装置14はコンピュータ10とは別の装置であってもよい。コンピュータ10は、コンピュータ10とは独立した入力装置13と表示装置14とに通信可能に接続されてもよい。
図3は、標本容器を識別する識別情報を取得する方法について説明するための図である。顕微鏡システム1は、標本容器を識別する識別情報を取得し、取得した識別情報に基づいて標本容器の種類を特定する機能を有している。以下、図3を参照しながら、識別情報を取得する方法について説明する。
電動ステージ101に設けられた容器ホルダ保持部110には、図3に示すように、開口111が形成されている。開口111を塞ぐように標本容器を保持する容器ホルダを設置することで、利用者は、顕微鏡システム1を用いて、種々の標本容器内に収容された標本を観察することができる。また、容器ホルダ保持部110には、非接触型の磁気センサである複数のホール素子112(ホール素子112a、ホール素子112b、ホール素子112c)が所定の位置に設けられている。
スライドガラス160に固定された標本Sを観察する場合には、容器ホルダの一種であるスライドガラスホルダ120を容器ホルダ保持部110に設置すればよい。スライドガラスホルダ120は、スライドガラスホルダ120に形成された開口121(開口121a、開口121b、開口121c)にスライドガラスを嵌め込むことで、最大3枚までスライドガラスを同時に保持することができる。なお、スライドガラスホルダ120には、3つの磁石122が固定されている。より具体的には、スライドガラスホルダ120を容器ホルダ保持部110に設置したときに、ホール素子112aと向かい合う位置に磁石122aが、ホール素子112bと向かい合う位置に磁石122bが、ホール素子112cと向かい合う位置に磁石122cが、固定されている。このため、スライドガラスホルダ120が容器ホルダ保持部110に設置されると、3つのホール素子112の全てが磁石を検知する。
また、ディッシュ170に収容された標本Sを観察する場合には、容器ホルダの一種であるディッシュホルダ130を容器ホルダ保持部110に設置すればよい。ディッシュホルダ130は、ディッシュホルダ130に形成された開口131(開口131a、開口131b、開口131c)にディッシュを嵌め込むことで、最大3つまでディッシュを同時に保持することができる。なお、ディッシュホルダ130には、2つの磁石132が固定されている。より具体的には、ディッシュホルダ130を容器ホルダ保持部110に設置したときに、ホール素子112aと向かい合う位置に磁石132aが、ホール素子112bと向かい合う位置に磁石132bが、固定されている。このため、ディッシュホルダ130が容器ホルダ保持部110に設置されると、2つのホール素子112が磁石を検知する。
また、マルチウェルプレート140のウェル141に収容された標本Sを観察する場合には、マルチウェルプレート140そのものを容器ホルダ保持部110に設置すればよい。なお、マルチウェルプレート140には、磁石は固定されていない。このため、マルチウェルプレート140が容器ホルダ保持部110に設置されると、3つのホール素子はいずれも磁石を検知しない。
また、フラスコ180に収容された標本Sを観察する場合には、容器ホルダの一種である汎用容器ホルダ150を容器ホルダ保持部110に設置すればよい。汎用容器ホルダ150には、開口151が形成されているため、標本Sが開口151上に位置するようにフラスコ180を汎用容器ホルダ150に置くことで、標本Sを観察することができる。なお、汎用容器ホルダ150には、1つの磁石152が固定されている。より具体的には、汎用容器ホルダ150を容器ホルダ保持部110に設置したときに、ホール素子112aと向かい合う位置に磁石152が固定されている。このため、汎用容器ホルダ150が容器ホルダ保持部110に設置されると、1つのホール素子112(ホール素子112a)が磁石を検知する。なお、汎用容器ホルダ150には、フラスコ180以外の標本容器を配置してもよい。
このように、顕微鏡システム1では、容器ホルダ保持部110に設置される容器ホルダ(スライドガラスホルダ120、ディッシュホルダ130、汎用容器ホルダ150)の種類又は標本容器(マルチウェルプレート140)の種類によって、ホール素子112が検出する磁石の数が変化する。このため、コンピュータ10は、ホール素子112が検出した磁石の数に関する情報を顕微鏡コントローラ20を経由して取得することで、取得した情報に基づいて電動ステージ101に置かれた標本容器の種類を特定することができる。即ち、顕微鏡システム1では、コンピュータ10は、検出した磁石の数に関する情報を標本が置かれた標本容器の種類を識別する識別情報として取得し、取得した識別情報に基づいて標本が置かれた標本容器の種類を特定する。
なお、顕微鏡システム1は、識別情報をコンピュータ10へ直接または間接に出力する検出部を備えていればよく、検出部は、標本容器の種類に応じた識別構造であって、標本容器を保持する容器ホルダ又は標本容器そのものに設けられた識別構造を検出すればよい。図3の例では、容器ホルダ又は標本容器そのものに設けられた磁石が識別構造として機能し、ホール素子が識別構造を検出する検出部として機能する例を示したが、例えば、磁石が固定されていた位置に容器ホルダの種類毎に異なる数の開口を形成し、それらの開口を経由して入射する光を検出する光センサを容器ホルダ保持部110に設けてもよい。この場合、容器ホルダ又は標本容器そのものに設けられた開口が識別構造として機能し、光センサが識別構造を検出する検出部として機能する。
また、図3では、容器ホルダ保持部110に検出部を設けた例を示したが、検出部は、識別構造を検出することができれば任意の位置に配置してもよい。検出部は、容器ホルダ保持部110ではなく、例えば、電動ステージ101に設けてもよく、顕微鏡100内のその他の場所に設けられてもよい。なお、容器ホルダが保持する容器の数は、図3の例に限られない。例えば、4枚以上のスライドを嵌め込むことが可能なスライドガラスホルダが容器ホルダ保持部110に保持されてもよく、4つ以上のディッシュを嵌め込むことが可能なディッシュホルダが容器ホルダ保持部110に保持されてもよい。また、様々なウェル数(例えば、6、12、24、48、96など)のマルチウェルプレートが容器ホルダ保持部110に保持されてもよい。
以上のように構成された顕微鏡システム1は、従来の顕微鏡システムにおいて利用者が観察開始前に自ら行う必要があった観察準備作業の少なくとも一部を自動化することで、煩雑な作業を利用者が行うことなしに、標本の観察を開始可能とする。より具体的には、顕微鏡システム1は、例えば、観察準備作業の中でも特に大きな作業負担を強いていた標本サーチを自動化する。これにより、利用者の負担を大幅に軽減するとともに、顕微鏡について専門知識を有しないライトユーザであっても、容易且つ短時間で標本の観察を開始することができる。また、顕微鏡システム1は、例えば、マップ画像を構築すべき範囲(マップ領域)を自動的に判断して利用者に提案する。高い観察倍率で本格的に標本を観察する場合には、視野が狭くなるため、標本の全体像と現在の観察位置との関係を把握可能なマップ画像は非常に有益である。マップ画像を構築すべき範囲が顕微鏡システム1によって提案されることで、利用者は、マップ画像を構築する範囲を探索し設定する手間を省くことができる。これにより、利用者の負担を大幅に軽減するとともに、顕微鏡について専門知識を有しないライトユーザであっても、容易且つ短時間で標本の本格的な観察を開始することができる。
図4は、顕微鏡システム1が行う観察準備処理のフローチャートの一例を示す図である。以下、図4を参照しながら、観察準備作業の少なくとも一部を自動化した観察準備処理について説明する。観察準備処理は、例えば、利用者が容器ホルダ保持部110に標本容器を配置した後に、入力装置13を用いて顕微鏡システム1に観察開始を指示することで開始される。なお、図4に示す観察準備処理は、コンピュータ10が行う顕微鏡システム1の制御方法の一例であり、例えば、プロセッサ11がメモリ12に格納されたプログラムを実行することにより行われる。
観察準備処理が開始されると、顕微鏡システム1は、まず、容器ホルダ保持部110に配置された標本容器をマクロ撮影位置へ移動する(ステップS1)。ここでは、コンピュータ10が顕微鏡コントローラ20を制御することで、顕微鏡コントローラ20は、容器ホルダ保持部110がマクロ画像取得部200の光軸上に位置するように、電動ステージ101を動かす。このとき、顕微鏡コントローラ20は、標本容器の種類によらず、初期設定に従って、電動ステージ101の移動を制御する。
標本容器がマクロ撮影位置へ移動すると、顕微鏡システム1は、標本容器の種類を特定する(ステップS2)。ここでは、容器ホルダ保持部110に設けられたホール素子112が容器ホルダに応じた数の磁石を検出することで標本容器の種類を識別する識別情報を出力し、コンピュータ10が入力された識別情報に基づいて標本容器の種類を特定する。具体的には、コンピュータ10は、識別情報が磁石の数が3つであることを示している場合には、標本容器の種類をスライドガラスと特定する。また、コンピュータ10は、識別情報が磁石の数が2つであることを示している場合には、標本容器の種類をディッシュと特定する。また、コンピュータ10は、識別情報が磁石の数が1つであることを示している場合には、標本容器の種類をフラスコなどのその他の標本容器と特定する。また、コンピュータ10は、識別情報が磁石の数が0であることを示している場合には、標本容器の種類をマルチウェルプレートと特定する。
標本容器の種類が特定されると、顕微鏡システム1は、特定された標本容器の種類に応じた設定に、顕微鏡システム1の設定を変更する(ステップS3)。ここでは、コンピュータ10は、メモリ12に予め格納されている図5に示すテーブルT1から、ステップS2で特定された標本容器の種類に対応するパラメータセットを読み出して、顕微鏡システム1に設定する。
図5は、電動ステージ101のパラメータを選択するためのテーブルを例示した図である。図5に示すテーブルT1には、標本容器の種類毎に望ましいとされる電動ステージ101の駆動に関するパラメータセット(パラメータセットPS1~パラメータセットPS4)が格納されている。電動ステージ101の駆動に関するパラメータセットには、例えば、電動ステージ101の加速度、初速度、最高速度といったパラメータが含まれる。テーブルT1に格納されたパラメータセットを比較すると、スライドガラス以外の標本容器用のパラメータセット(パラメータセットPS2~パラメータセットPS4)は、スライドガラス用のパラメータセットPS1よりも電動ステージ101をゆっくりまたは緩やかに動かす値を示している。これは、スライドガラス以外の標本容器では、標本が液体に浸された状態で収容されている可能性が高く、電動ステージ101を高速に又は急に動かすと標本及び標本を浸す液体が電動ステージ101の移動に伴って大きく揺れてしまい、画像の品質に悪影響を及ぼす可能性があるからである。なお、テーブルにパラメータセットが格納されている例を示したが、パラメータセットの格納方式は特にこの例に限らない。パラメータセットは、標本容器の種類に応じたパラメータセットが特定できる任意の形式で格納され得る。
ステップS3において、標本容器に応じたパラメータセットが設定されることで、標本が固定されていて揺れにくいスライドガラスが電動ステージ101に置かれている場合には、電動ステージ101が高速に移動し、画像取得に要する時間が短縮される。また、スライドガラス以外の標本容器が電動ステージ101に置かれている場合には、画質への影響が及ばないように比較的ゆっくりと電動ステージ101が移動する。このように、標本容器に応じて電動ステージ101の駆動を制御することで、画質の低下を回避しながら可能な限り短時間での画像取得が可能となる。
ステップS3において設定が変更されると、顕微鏡システム1は、マクロ撮影を行う(ステップS4)。ここでは、コンピュータ10が顕微鏡100及び顕微鏡コントローラ20を制御することで、マクロ画像取得部200が第1倍率で被写体を撮影する。より詳細には、マクロ画像取得部200は、まず、容器ホルダ保持部110に保持された容器ホルダの上半分を撮影する。次に、顕微鏡コントローラ20は、容器ホルダの下半分がマクロ画像取得部200の視野に入るように電動ステージ101を動かす。このとき、電動ステージ101は、ステップS3で設定されたパラメータに従って動作する。その後、マクロ画像取得部200は、容器ホルダ保持部110に保持された容器ホルダの下半分を撮影する。最後に、マクロ画像取得部200は、容器ホルダ全体が写っている2枚のマクロ画像をコンピュータ10へ出力する。
なお、マクロ撮影では、1枚の画像で容器ホルダ全体を撮影してもよい。ステップS4で取得したマクロ画像には、容器ホルダの大部分が写っていることが望ましいが、必ずしも全体が写っていることを要しない。マクロ画像には、少なくも標本容器が写っていればよい。すなわち、マクロ画像は、標本容器を含む画像である。また、マクロ撮影で取得したマクロ画像には、必要に応じて、コンピュータ10で種々の補正処理が行われてもよい。コンピュータ10は、例えば、シェーディング補正、歪曲収差補正、倍率色収差補正などの補正処理を、マクロ画像に対して行ってもよい。
マクロ撮影が終了すると、顕微鏡システム1は、マクロ画像を表示する(ステップS5)。ここでは、コンピュータ10が、ステップS4で取得したマクロ画像を含む図6に示す画面400を、表示装置14に表示する。
図6は、ステップS5で表示装置14に表示される画面の一例である。図6に示す画面400は、ミクロ画像領域410、マップ画像領域420、マクロ画像領域430、及び、操作領域440を含んでいる。ミクロ画像領域410は、ミクロ画像取得部300が取得したミクロ画像を表示する領域である。マップ画像領域420は、ミクロ画像を貼り合わせることで生成したマップ画像を表示する領域である。マクロ画像領域430は、マクロ画像取得部200が取得したマクロ画像を表示する領域である。操作領域440は、利用者が顕微鏡システム1への指示を入力するためのGUI(Graphical User Interface)コントロールが配置される領域である。ステップS5では、マクロ画像領域430に、ステップS4で取得した2枚のマクロ画像を貼り合わせることで生成した1枚のマクロ画像M1が、マクロ画像領域430の大きさに合わせて拡大または縮小された状態で表示される。
図6に示すマクロ画像M1には、容器ホルダがスライドガラスホルダ120であり、スライドガラスホルダ120に3枚のスライドガラス(スライドガラス161、スライドガラス162、スライドガラス163)が配置された様子が示されている。また、各スライドガラスには、標本に被せたカバーガラス(カバーガラス164、カバーガラス165、カバーガラス166)が置かれていて、さらに、ラベル(ラベル167、ラベル168、ラベル169)が貼られている様子も示されている。なお、ラベルは、スライドガラス標本を管理するための情報が印刷又は記載されたものである。ラベルは、通常は紙などのスライドガラスに比べて低い透過率を有する部材からできているため、マクロ画像M1上において特に暗い領域として現れる。
マクロ画像が表示されると、顕微鏡システム1は、マクロ画像解析処理を行う(ステップS6)。ここでは、コンピュータ10が、ステップS4で取得したマクロ画像に対して画像解析処理を行う。
図7は、顕微鏡システム1が行うマクロ画像解析処理のフローチャートの一例を示す図である。図8は、顕微鏡システム1が行うラベル処理のフローチャートの一例を示す図である。図9は、明るさ補正前後のヒストグラムを例示した図である。図10は、スライドガラス標本に対する物体検出結果を説明するための図である。図11は、ディッシュ標本に対する物体検出結果を説明するための図である。図12は、マルチウェルプレート標本に対する物体検出結果を説明するための図である。以下、ステップS6で行うマクロ画像解析処理について、図7から図12を参照しながら説明する。
図7に示すマクロ画像解析処理が開始されると、顕微鏡システム1は、まず、標本容器の種類がスライドガラスか否かを判定する(ステップS20)。ここでは、コンピュータ10は、ステップS2で特定した標本容器の種類に基づいて、スライドガラスか否かを判定する。標本容器の種類がスライドガラスであると判定すると、顕微鏡システム1は、図8に示すラベル処理を行う(ステップS21)。一方、標本容器の種類がスライドガラスではないと判定すると、顕微鏡システム1は、ステップS21を省略する。
図8に示すラベル処理が開始されると、顕微鏡システム1は、まず、スライドガラス上のラベル部分を検出する(ステップS30)。ここでは、コンピュータ10は、マクロ画像M1から、スライドガラス上に貼られたラベルの領域(ラベル部分)を検出する。ラベルはほとんど光を透過しないため、ラベル部分はマクロ画像M1における特に暗い領域として現れる。このため、コンピュータ10は、マクロ画像M1に含まれる所定の閾値よりも低い画素値を有する領域をラベル部分として検出してもよい。また、ラベル部分はある程度の大きさを有していることが想定されるため、コンピュータ10は、マクロ画像M1に含まれる所定の閾値よりも低い画素値を有する一定以上の面積を有する連続した領域をラベル部分として検出してもよい。なお、ラベル部分の検出方法は、特にこれらの方法に限定しない。その他の方法でラベル部分を検出してもよい。例えば、コンピュータ10は、予め設定されている領域をラベル部分として検出してもよく、テンプレートマッチングなどのパターンマッチング処理によってラベル部分を検出してもよい。また、コンピュータ10は、YOLO(You Only Look Once)、SSD(Single Shot Detector)などの深層学習を用いた物体検出手法を用いてラベル部分を検出してもよい。
ラベル部分を検出すると、顕微鏡システム1は、ラベル部分に画像処理を実行する(ステップS31)。ここでは、コンピュータ10は、マクロ画像M1のラベル部分の明るさを調整してもよく、例えば、ラベル部分のゲインを他の部分のゲインよりも大きく(例えば、10倍など)するなどして、ラベル部分の中でのわずかな明るさの違いを強調してもよい。これにより、ラベルに印刷又は記載されている情報が背景に対して浮かび上がったマクロ画像M2に、マクロ画像M1が変換される。なお、ラベルの情報をより見やすくするために、マクロ画像M2のラベル部分に平滑化処理などを行ってノイズを除去してもよく、さらにコントラストを補正してもよい。
ステップS31で行う画像処理について、明るさ調整を行う場合を例にして、図9を参照しながらさらに詳細に説明する。図9に示すヒストグラムH1は、ステップS31の画像処理実行前のマクロ画像M1の画素値のヒストグラムの一例である。図9に示すヒストグラムH2は、ステップS31の画像処理実行後のマクロ画像M2の画素値のヒストグラムの一例である。ラベルが貼られたスライドガラス標本のマクロ画像M1のヒストグラムH1は、図9に示すように、ラベル部分以外の画素値によって形成されるピークP1とラベル部分の画素値によって形成されるピークP2を含んでいる。ラベル部分として特定された閾値TH未満の画素値が画像処理により調整されることで、画像処理後のヒストグラムH2では、ピークP2に対応するピークP3がピークP2よりも高い画素値を有することになる。また、画素値の調整がゲインの調整により行われることで、ピークP3を含む分布がピークP2を含む分布よりも大きな分散を有することになる。このため、画像処理後のマクロ画像M2では、ラベル部分の明るさが明るくなるとともに、ラベル部分の画素間の明るさの違いが大きくなることで、ラベルに印刷又は記載されている情報を視認することが可能となる。なお、画像の一部の明るさを画像処理で調整することでラベル部分の情報を得る図8に示すラベル処理は、例えば、透過照明と落射照明のそれぞれで画像を取得する方法などと比較して、撮像回数を抑制することができるため短時間で必要な情報を得ることができる、複雑な装置構成を必要としないためコストを抑えることができる、などのメリットを有している。
顕微鏡システム1は、その後、マクロ画像に対して物体検出を行う(ステップS22)。ここでは、コンピュータ10は、マクロ画像M1又はマクロ画像M2に基づいて、ステップS2で特定した標本容器の種類に応じた構造を検出する。コンピュータ10は、さらに、マクロ画像M1又はマクロ画像M2に基づいて、標本容器に置かれた標本を検出してもよく、標本の染色状態を検出してもよい。
ステップS22では、標本容器の種類がスライドガラスの場合であれば、コンピュータ10は、標本容器の種類に応じた構造としてカバーガラスを検出する。さらに、カバーガラス内の領域から標本を検出する。標本は、例えば、HE(Hematoxylin Eosin)染色等で染色された標本(以降、染色標本と記す)と、それ以外の非染色標本とが、区別して検出されることが望ましい。なお、非染色標本は、例えば、位相差観察で観察される透明な標本であるが、蛍光観察で観察されるDAPI等の蛍光色素が結合された標本であってもよい。すなわち、コンピュータ10は、マクロ画像から物体の位置を特定し、その物体を染色標本と非染色標本とカバーガラスを含む少なくとも3クラスに分類することが望ましい。
スライドガラスに対する物体検出は、例えば、YOLO(You Only Look Once)、SSD(Single Shot Detector)などの深層学習を用いた物体検出アルゴリズムが用いられてもよい。これにより、例えば、マクロ画像に、スライドガラス161aとカバーガラス164aで染色組織STを挟んだスライドガラス標本が写っている場合であれば、図10(a)に示すように、スライドガラス161aに重ねられたカバーガラス164aの範囲R1と染色組織STの範囲R2が検出される。また、例えば、マクロ画像に、スライドガラス161bとカバーガラス164bで非染色組織UTを挟んだスライドガラス標本が写っている場合であれば、図10(b)に示すように、カバーガラス164bの範囲R3と非染色組織UTの範囲R4が検出される。また、例えば、マクロ画像に、スライドガラス161cとカバーガラス164cで細胞Cを挟んだスライドガラス標本が写っている場合であれば、マクロ画像が細胞Cを認識できるほどの解像度を有しないため、図10(c)に示すように、カバーガラス164cの範囲R5のみが検出される。また、例えば、マクロ画像に、スライドガラス161dとカバーガラス164dで複数の組織MTを挟んだスライドガラス標本が写っている場合であれば、図10(d)に示すように、カバーガラス164dの範囲R7と複数の組織MTのそれぞれの範囲R8が検出される。上記の物体検出は、マクロ画像全体に対して行ってもよく、マクロ画像のうちスライドガラス内の領域に対してのみ行われてもよい。なお、スライドガラスの位置は、スライドガラスホルダ120によって制限されるため、既知である。
ステップS22では、標本容器の種類がディッシュの場合であれば、コンピュータ10は、標本容器の種類に応じた構造としてディッシュに設けられたホール部を検出する。さらに、ホール部の領域から標本を検出する。標本は、例えば、染色標本と非染色標本とが、区別して検出されることが望ましい。すなわち、コンピュータ10は、マクロ画像から物体の位置を特定し、その物体を染色標本と非染色標本とホール部を含む少なくとも3クラスに分類することが望ましい。なお、ディッシュは、シャーレ、ペトリディッシュとも呼ばれ、通常は、ガラスや透明なプラスティックなどからなる。ディッシュは、底面の構造によって、通常のディッシュ、ガラスボトムディッシュ、フィルムボトムディッシュの3つに大別することができる。このうち、ガラスボトムディッシュとフィルムボトムディッシュにはホール部が存在する。ガラスボトムディッシュは、ディッシュ底面にホールを形成し、そのホールを塞ぐようにディッシュの裏側からカバーガラスを貼り付けたものである。一方、フィルムボトムディッシュは、ディッシュ底面に一体成型によってホール部を形成したものである。
ディッシュに対する物体検出も、スライドガラスに対する物体検出と同様に、例えば、YOLO(You Only Look Once)、SSD(Single Shot Detector)などの深層学習を用いた物体検出アルゴリズムが用いられてもよい。これにより、例えば、マクロ画像に、通常のディッシュ171aに細胞Cを収容したディッシュ標本が写っている場合であれば、図11(a)に示すように、ホール部も細胞Cも検出されない。また、例えば、マクロ画像に、底面にカバーガラス173bが貼られたガラスボトムディッシュ171bのホール部172bに細胞Cを収容したディッシュ標本が写っている場合であれば、図11(b)に示すように、細胞Cは検出されないが、ホール部172bの範囲R11が検出される。また、例えば、マクロ画像に、ホール部172cが一体成型されたフィルムボトムディッシュ171cに細胞Cを収容したディッシュ標本が写っている場合であれば、図11(c)に示すように、細胞Cは検出されないが、ホール部172cの範囲R12が検出される。上記の物体検出は、マクロ画像全体に対して行ってもよく、マクロ画像のうちディッシュ内の領域に対してのみ行われてもよい。なお、ディッシュの位置は、ディッシュホルダ130によって制限されるため、既知である。
ディッシュに置かれる標本が予め細胞などマクロ画像から検出することが困難なものであることが分かっている場合には、コンピュータ10は、ホール部の位置だけを特定してもよい。この場合、ホール部の形状である円形状さえを検出できればよいため、深層学習を用いた物体検出アルゴリズムの代わりに、ハフ変換による円検出等の他の公知技術を用いてもよい。また、標本を深層学習を用いた物体検出アルゴリズムで検出し、ホール部をハフ変換で検出してもよい。
ステップS22では、標本容器の種類がマルチウェルプレートの場合であれば、コンピュータ10は、標本容器の種類に応じた構造としてウェルを検出する。さらに、ウェルの領域から標本を検出する。標本は、例えば、染色標本と非染色標本とが、区別して検出されることが望ましい。すなわち、コンピュータ10は、マクロ画像から物体の位置を特定し、その物体を染色標本と非染色標本とウェルを含む少なくとも3クラスに分類することが望ましい。
マルチウェルプレートに対する物体検出も、スライドガラスやディッシュに対する物体検出と同様に、例えば、YOLO(You Only Look Once)、SSD(Single Shot Detector)などの深層学習を用いた物体検出アルゴリズムが用いられてもよい。これにより、例えば、マクロ画像に、6ウェルタイプのマルチウェルプレート140のウェルに細胞Cを収容したマルチウェルプレート標本が写っている場合であれば、図12に示すように、細胞Cは検出されないが、6つのウェル(141a~141f)のそれぞれの範囲R20が検出される。なお、マルチウェルプレートのウェルの位置は、ウェル数によって異なる。また、同じウェル数のマルチウェルプレートであってもメーカーによって位置が異なることがある。このため、マルチウェルプレートに対する物体検出は、マクロ画像全体に対して行われることが望ましい。
なお、図10では、検出した物体の範囲を矩形を用いて特定する例を示したが、検出した物体の範囲は、例えば、円形やその他の形状を用いて特定されてもよい。また、図11及び図12に示すように、予め決められた形状を用いることなく物体形状に合わせて1画素単位で検出した物体の範囲を特定してもよい。
また、物体検出は、少なくとも1つの標本容器に対して行われればよい。例えば、マクロ画像内に複数の標本容器が存在する場合には、予め決められた優先順位に従って、最も優先順位の高い位置にある標本容器に対してのみ物体検出が行われてもよい。優先順位の最も高い位置に標本容器が存在しない場合には、優先順位が次に高い位置にある標本容器に対して物体検出を行ってもよい。なお、すべての標本容器に対して物体検出を行ってもよい。
物体検出が終了すると、顕微鏡システム1は、観察開始位置とマップ領域を特定し(ステップS23、ステップS24)、図7に示すマクロ画像解析処理を終了する。ここでは、コンピュータ10は、マクロ画像に基づいて、標本容器の種類に応じた観察開始位置と、標本容器の種類に応じたマップ領域と、を特定する。より詳細には、コンピュータ10は、マクロ画像に対して標本容器の種類に応じた物体検出を行い、物体検出の結果に基づいて、観察開始位置と、標本容器の種類に応じたマップ領域と、を特定する。
なお、観察開始位置とは、利用者が顕微鏡システム1に対して観察開始を指示した後、顕微鏡システム1が自動的に行う一連の処理が終了して利用者が顕微鏡システム1を手動で操作可能になったときに、利用者が顕微鏡システム1を用いて最初に観察することができる被写体上の位置のことである。即ち、利用者自身で操作可能となった状態における顕微鏡システム1の視野の位置又は視野の中心位置のことである。また、マップ領域とは、利用者が観察を行うときに、標本の全体像と現在の観察位置との関係を把握するために表示されるマップ画像の対象となる領域のことであり、通常は、標本が存在する領域又は標本が存在すると想定される領域である。マップ画像は、マクロ画像取得部200の観察倍率よりも高い観察倍率で取得した複数の画像を貼り合わせることによって構築される画像である。なお、マップ画像を構築するために取得される複数の画像は、例えば、観察開始時の観察倍率(第2倍率)で取得した画像であるが、これに限らない。マップ画像を構築するために取得される複数の画像は、観察開始時の観察倍率(第2倍率)以下の倍率で取得した画像であってもよく、マクロ画像の倍率(第1倍率)よりも高い倍率で取得した画像であればよい。
ステップS23では、コンピュータ10は、ステップS22で行われた物体検出の結果に基づいて、観察開始位置を特定する。具体的には、コンピュータ10は、少なくともステップS22で検出した標本容器の種類に応じた構造の検出結果に基づいて観察開始位置を特定すればよく、より望ましくは、ステップS22で検出した標本容器の種類に応じた構造の検出結果と、その標本容器内の標本の検出結果とに基づいて、観察開始位置を特定する。つまり、コンピュータ10は、標本が検出することができた場合には、標本の位置や大きさの情報を用いて、標本が存在する位置を観察開始位置として特定し、標本を検出できない場合には、標本容器の構造の位置や大きさの情報を用いて、標本が存在する位置を推定し、推定した位置を観察開始位置として特定する。
例えば、標本容器の種類がスライドガラスの場合であれば、コンピュータ10は、ステップS22で検出されたカバーガラス内から観察開始位置を特定する。より具体的には、コンピュータ10は、図10(a)、図10(b)及び図10(d)に例示されるように、ステップS22においてカバーガラスと標本の両方が検出された場合であれば、検出された標本の中心を観察開始位置として特定する。なお、例えば、図10(d)に例示されるように、複数の標本が検出された場合であれば、いずれかの標本の中心を観察開始位置として特定すればよい。また、観察開始位置を標本上の位置に特定すればよいため、コンピュータ10は、標本の重心位置や標本中の病変部をさらに識別した上で、これらの位置(重心位置、病変部の位置)を観察開始位置として特定してもよい。また、コンピュータ10は、図10(c)に例示されるように、ステップS22においてカバーガラスのみが検出された場合であれば、標本が存在する可能性が高いカバーガラスの中心を観察開始位置として特定する。
例えば、標本容器の種類がディッシュの場合であれば、コンピュータ10は、ディッシュ内から観察開始位置を特定し、さらにステップS22においてホール部が検出された場合であれば、そのホール部内から観察開始位置を特定する。より具体的には、コンピュータ10は、図11(b)及び図11(c)に例示されるように、ステップS22においてホール部が検出された場合であれば、検出されたホール部の中心を観察開始位置として特定する。また、コンピュータ10は、図11(a)に例示されるように、ステップS22においてホール部が検出されなかった場合であれば、ディッシュの中心を観察開始位置として特定する。
例えば、標本容器の種類がマルチウェルプレートの場合であれば、コンピュータ10は、マルチウェルプレートのウェル内から観察開始位置を特定する。より具体的には、コンピュータ10は、ステップS22において検出した複数のウェルから1つのウェルを選択し、そのウェルの中心を観察開始位置として特定する。ウェルの選択は、例えばマルチウェルプレートの最も中心に位置するウェルを選択するなど、予め決められたルールに従って選択されてもよく、標本が検出されたウェルを選択するなど、物体検出の検出結果に基づいて選択されてもよい。
例えば、標本容器の種類が、その他の標本容器の場合であれば、コンピュータ10は、汎用容器ホルダ150の開口151の中心を観察開始位置を特定する。なお、汎用容器ホルダ150の開口151の位置は既知であるので、標本容器の種類がその他の標本容器の場合には、ステップS22の物体検出を省略してもよい。ただし、マクロ画像の画素値の分布などから開口151を推定することも可能なため、標本容器の種類がその他の標本容器ウェルの場合であっても、物体検出の検出結果を用いて観察位置を特定してもよい。
ステップS24では、コンピュータ10は、ステップS22で行われた物体検出の結果に基づいて、マップ領域を特定する。具体的には、コンピュータ10は、少なくともステップS22で検出した標本容器の種類に応じた構造の検出結果に基づいてマップ領域を特定すればよく、より望ましくは、ステップS22で検出した標本容器の種類に応じた構造の検出結果と、その標本容器内の標本の検出結果とに基づいて、マップ領域を特定する。つまり、コンピュータ10は、標本が検出することができた場合には、標本の位置や大きさの情報を用いて、標本が存在する領域をマップ領域として特定し、標本を検出できない場合には、標本容器の構造の位置や大きさの情報を用いて、標本が存在する領域を推定し、推定した領域をマップ領域として特定する。
例えば、標本容器の種類がスライドガラスの場合であれば、コンピュータ10は、ステップS22で検出されたカバーガラス内からマップ領域を特定する。より具体的には、コンピュータ10は、図10(a)、図10(b)及び図10(d)に例示されるように、ステップS22においてカバーガラスと標本の両方が検出された場合であれば、検出された標本の範囲(範囲R2、範囲R4、範囲R8)をマップ領域として特定する。また、コンピュータ10は、標本中の病変部をさらに識別した上で、病変部の範囲をマップ領域として特定してもよい。また、コンピュータ10は、図10(c)に例示されるように、ステップS22においてカバーガラスのみが検出された場合であれば、カバーガラスの範囲の全部又は一部をマップ領域として特定する。
例えば、標本容器の種類がディッシュの場合であれば、コンピュータ10は、ディッシュ内からマップ領域を特定し、さらにステップS22においてホール部が検出された場合であれば、そのホール部内からマップ領域を特定する。より具体的には、コンピュータ10は、図11(b)及び図11(c)に例示されるように、ステップS22においてホール部が検出された場合であれば、検出されたホール部の全範囲(範囲R11、範囲R12)、又は、ホール部の中心から所定範囲をマップ領域として特定する。また、コンピュータ10は、図11(a)に例示されるように、ステップS22においてホール部が検出されなかった場合であれば、ディッシュの中心から所定範囲をマップ領域として特定する。
例えば、標本容器の種類がマルチウェルプレートの場合であれば、コンピュータ10は、マルチウェルプレートのウェル内からマップ領域を特定する。より具体的には、コンピュータ10は、ステップS23において選択されたウェルの全範囲、又は、そのウェルの中心から所定範囲をマップ領域として特定する。
例えば、標本容器の種類が、その他の標本容器の場合であれば、コンピュータ10は、汎用容器ホルダ150の開口151の範囲内からマップ領域を特定する。より具体的には、コンピュータ10は、開口151の範囲全体又はその一部をマップ領域として特定すればよい。
マクロ画像解析処理が終了すると、顕微鏡システム1は、利用者による観察に適した設定に、顕微鏡システム1の設定を変更する(ステップS7)。図13は、電動ステージ101のパラメータを選択するためのテーブルの別の例を示した図である。図14は、電動ステージ101のパラメータを選択するためのテーブルの更に別の例を示した図である。図15は、ミクロ観察での観察法を選択するためのテーブルを例示した図である。以下、図13から図15を参照しながら、設定変更の具体例を説明する。
ステップS7では、コンピュータ10は、例えば、物体検出の検出結果に基づいて、電動ステージ101のパラメータを更新してもよい。物体検出によって標本容器のサイズに関する情報が得られた場合であれば、図13に示すように、ステップS3で参照したテーブルT1の代わりに、テーブルT2からテーブルT5を参照して、標本容器の種類に加えて標本容器のサイズを考慮したパラメータセットを読み出して、顕微鏡システム1に設定してもよい。また、物体検出によって標本の種類に関する情報が得られた場合であれば、図14に示すように、ステップS3で参照したテーブルT1の代わりに、テーブルT6を参照して、標本の種類に対応するを考慮したパラメータセットを読み出して、顕微鏡システム1に設定してもよい。
なお、テーブルT2からテーブルT5のうち、スライドガラス用のテーブルT2に格納されたパラメータセットPS5、その他の標本容器用のテーブルT5に格納されたパラメータセットPS15は、それぞれ、テーブルT1に格納されたスライドガラス用のパラメータセットPS1、テーブルT1に格納されたその他の標本容器用のパラメータセットPS4と同じものである。これに対して、テーブルT3とテーブルT4には、標本容器のサイズ毎に異なるパラメータセット(パラメータセットPS6~パラメータセットPS9)が格納されている。具体的には、ディッシュ用のテーブルT3には、ディッシュの直径が大きいほど、電動ステージ101をゆっくりまたは緩やかに動かすためのパラメータセットが格納されている。これは、直径が大きいディッシュの方が直径が小さいディッシュよりも液面がゆっくり且つ大きく揺れやすく、画質への悪影響が大きいためである。また、マルチウェルプレート用のテーブルT4には、ウェル数が少ないほど(つまり、ウェルが大きいほど)、電動ステージ101をゆっくりまたは緩やかに動かすためのパラメータセット(パラメータセットPS10~パラメータセットPS14)が格納されている。これは、ウェル数が少ない方がウェル数が多い場合よりも液面がゆっくり且つ大きく揺れやすく、画質への悪影響が大きいためである。
また、テーブルT6には、標本の種類毎にパラメータセットが格納されている。具体的には、浮遊標本用のパラメータセットPS16と、接着標本用のパラメータセットPS17と、液体中にない標本用のパラメータセットPS17が格納されていて、これらのパラメータセットが示す値は、この順番に、電動ステージ101をより速くまたはより勢いよく動かすものとなっている。これは、液体中にない標本は、電動ステージ101の移動によって揺れにくいため、高速に電動ステージ101を移動しても画質への影響が小さいためである。また、浮遊標本に比べて接着標本の方が液体の揺れによる標本の揺れが生じにくいため、電動ステージ101の移動に伴う画質への影響を、比較的小さく抑えることができるためである。
ステップS7では、コンピュータ10は、例えば、物体検出の検出結果に基づいて、顕微鏡100の観察法の設定を変更し、コンピュータ10の指示に従って顕微鏡コントローラ20が、観察法に応じた対物レンズとコンデンサレンズを光路上に配置してもよい。コンピュータ10は、物体検出によって標本の染色状態が検出される場合であれば、図15に示すテーブルT7を参照して、染色状態の検出結果に応じた観察法に、ミクロ画像取得部300の観察法の設定を変更してもよい。
テーブルT7には、標本の染色状態毎に望ましいとされる観察法を示すパラメータセットが格納されている。具体的には、染色標本用のパラメータセットPS21と、非染色標本用のパラメータセットPS22と、標本が検出されなかったとき用のパラメータセットPS23が格納されている。なお、パラメータセットPS21は、明視野観察を示している。これは、染色標本であれば、明視野観察で観察可能であるためである。また、パラメータセットPS22は、位相差観察を示している。これは、非染色標本であれば、明視野観察よりも位相差観察で良好な観察が可能と考えられるためである。また、パラメータセットPS23は、位相差観察を示している。これは、標本が検出されない場合には明視野観察では良好な観察は困難であり、位相差観察で観察することが望ましいためである。
ステップS7の設定変更が終了すると、顕微鏡システム1は、マクロ画像表示を更新する(ステップS8)。ここでは、コンピュータ10は、マクロ画像と、観察開始位置を示す表示(クロスラインCL)と、マップ領域の範囲を示す表示(バウンディングボックスBB)と、を含む図16に示す画面400aを、表示装置14に表示する。
図16は、ステップS8で表示装置14に表示される画面の一例である。図16に示す画面400aは、ミクロ画像領域410、マップ画像領域420、マクロ画像領域430、及び、操作領域440を含んでいる点は、図6に示す画面400と同様である。画面400aは、マクロ画像M1の代わりにマクロ画像M2がマクロ画像領域430に表示される点と、マクロ画像M2上に観察開始位置を示す表示(クロスラインCL)とマップ領域の範囲を示す表示(バウンディングボックスBB)に重ねられている点が、画面400とは異なっている。
なお、マクロ画像M2は、マクロ画像M1にラベル処理が施された画像であり、図16に示すように、ラベル167、ラベル168、ラベル169に記載された情報が視認可能となっている点が、マクロ画像M1とは異なっている。また、画面400aでは、観察開始位置を示す表示としてクロスラインCLが例示されているが、観察開始位置の表示方法は特に限定されない。観察開始位置は別の方法で表示されてもよい。また、画面400aでは、マップ領域の範囲を示す表示としてバウンディングボックスBBが例示されているが、マップ領域の表示方法は特に限定されない。マップ領域は別の方法で表示されてもよい。
その後、顕微鏡システム1は、容器ホルダ保持部110に配置された標本容器をミクロ撮影位置へ移動する(ステップS9)。ここでは、コンピュータ10が顕微鏡コントローラ20を制御することで、顕微鏡コントローラ20は、容器ホルダ保持部110がミクロ画像取得部300の光軸上に位置するように、電動ステージ101を動かす。より詳細には、コンピュータ10は、ステップS23で特定された観察開始位置がミクロ画像取得部300の第2倍率における視野範囲に含まれるように、標本に対するミクロ画像取得部300の相対位置を制御し、望ましくは、視野範囲の中心にステップS23で特定された観察開始位置が位置するように、相対位置を制御する。なお、このとき、顕微鏡コントローラ20は、標本容器の種類によらず、ステップS7の設定に従って、電動ステージ101の移動を制御する。
ミクロ撮影位置へ移動すると、顕微鏡システム1は、フォーカス合わせを行う(ステップS10)。フォーカス合わせの方法は、特に限定しないが、標本容器毎に予め決められた位置にレボルバ306を移動させてもよく、公知のオートフォーカス技術を用いてフォーカス合わせを行ってもよい。なお、標本容器がマルチウェルプレートの場合には、ウェルの底面までの高さがメーカや個体差によってばらつきやすい。このため、予め決められた位置にレボルバ306を移動させるよりも、オートフォーカス技術を用いることが望ましい。
ミクロ撮影位置でフォーカス合わせが終了すると、顕微鏡システム1は、ミクロ画像のライブ表示を開始する(ステップS11)。ここでは、コンピュータ10は、顕微鏡コントローラ20を経由して撮像装置307を制御して、ミクロ画像取得部300に所定のフレームレートでミクロ画像を取得させる。そして、取得したミクロ画像M3を含む図17に示す画面400bを、表示装置14に表示する。
図17は、ステップS11で表示装置14に表示される画面の一例である。図17に示す画面400bは、ミクロ画像領域410、マップ画像領域420、マクロ画像領域430、及び、操作領域440を含んでいる点は、図16に示す画面400aと同様である。画面400bは、ミクロ画像M3がミクロ画像領域410に表示される点が、画面400aとは異なっている。
ライブ表示が開始されると、利用者が顕微鏡システム1を操作可能となり、顕微鏡システム1は、一旦利用者の入力待ち状態となる。即ち、利用者が顕微鏡システム1に観察開始を指示すると、顕微鏡システム1によってステップS1からステップS11までの一連の処理が行われ、表示装置14にマクロ画像とミクロ画像を含む画面が表示される。これにより、利用者は、面倒な作業を行うことなく、標本容器に応じた観察位置から標本の観察を開始することができる。
利用者は、画面400bに見ながら、バウンディングボックスBBで示されるマップ領域が適切か否かを判断し、必要に応じてマップ領域を調整する。また、利用者は、マップ画像撮影のためのその他の条件を調整してもよい。顕微鏡システム1は、利用者がマップ画像撮影条件の設定変更を指示したか否かを判定し(ステップS12)、設定変更が指示された場合には、その指示に従って設定を変更する(ステップS13)。なお、ここで、変更されるマップ画像撮影条件には、マップ領域の他に、例えば、観察倍率、観察法、撮影に使用する対物レンズ、照明光量、露光時間、露光モード、ゲイン、解像度などのミクロ画像取得部300の各種設定が含まれる。
マップ領域の調整は、利用者が任意の範囲をマップ領域として指定することで行われてもよく、顕微鏡システム1が特定した複数の異なるマップ領域候補の中から、利用者が1つのマップ領域候補をマップ領域として選択することによって行われてもよい。具体的には、図10(d)に示すように、複数の組織MTが物体検出で検出された場合であれば、複数の組織MTに対応する複数の領域の各々をマップ領域候補として、それら複数のマップ領域候補の中から1つの領域をマップ領域として選択してもよい。また、複数のマップ領域候補の中から2つ以上の組織に対応する2つ以上の領域を1つのマップ領域として選択してもよい。この場合、離間した2つ以上の領域をつなぐことで新たに作成される1つの領域をマップ領域として選択することが望ましい。
利用者がマップ画像撮影を指示すると、顕微鏡システム1は、マップ画像撮影を開始する(ステップS14)。ここでは、コンピュータ10は、顕微鏡コントローラ20を制御して、ミクロ画像取得部300の視野をマップ領域の各位置へ順番に動かし、ミクロ画像取得部300に各位置でミクロ画像を取得させることによって、マップ領域を隙間なく撮影する。コンピュータ10は、さらに、ミクロ画像取得部300が取得した複数のミクロ画像を貼り合わせることによってマップ画像を構築する。
なお、ステップS14において、コンピュータ10は、ミクロ画像取得部300がミクロ画像を取得する位置を、取得する複数のミクロ画像が互いに一定量以上オーバーラップするように決定する。このように撮影位置を決定することで、コンピュータ10は、ミクロ画像を貼り合わせるときに生じ得る位置ずれを良好に補正することが可能となる。位置ずれを良好に補正した貼り合わせ位置の決定には、公知のテンプレートマッチング法などを用いてもよく、また、画像間の貼り合わせには、画像の中心からの距離に応じた重み付けで画像を合成するいわゆるフェザリングを用いてもよい。
また、ステップS14では、コンピュータ10は、撮影位置間の移動の順番を決定する方法(即ち、マップ領域を走査する方法)を図18から図20に示すような複数の方法の中から選択してもよい。コンピュータ10は、例えば、図18に示すようなトルネードモードで、ミクロ画像取得部300の視野FVを動かしてもよい。トルネードモードでは、マップ領域の中心から時計回り又は反時計回りに回転しながら内側から外側へ視野FVが移動する。また、コンピュータ10は、例えば、図19に示すようなミアンダモードで、視野FVを動かしてもよい。ミアンダモードでは、視野FVが副走査方向にマップ領域内の端から端まで移動し、その後、視野FVが主走査方向にシフトする、という動きが、繰り返し毎に副走査方向へ移動する向きが逆向きに切り替わりながら繰り返される。また、コンピュータ10は、例えば、図20に示すような一般的なラスタスキャンモードで、視野FVを動かしてもよい。なお、いずれのモードで動作している場合であっても、利用者は任意のタイミングでまプ画像撮影を終了することができる。コンピュータ10は、マップ画像撮影が途中で終了した場合には、撮影済みの画像を貼り合わせてマップ画像を構築してもよい。また、マップ画像撮影の終了後、コンピュータ10は、ステップS23で特定された観察開始位置がミクロ画像取得部300の視野範囲に含まれるように、標本に対するミクロ画像取得部300の相対位置を制御してよい。これにより、現在の観察位置をマップ画像撮影開始前の観察位置に戻すことができる。
マップ画像撮影が終了すると、顕微鏡システム1は、マップ画像を表示して(ステップS15)、図4に示す観察準備処理を終了する。ここでは、コンピュータ10は、ステップS14で構築したマップ画像M4を含む図21に示す画面400cを、表示装置14に表示する。
図21は、ステップS15で表示装置14に表示される画面の一例である。図21に示す画面400cは、ミクロ画像領域410、マップ画像領域420、マクロ画像領域430、及び、操作領域440を含んでいる点は、図17に示す画面400bと同様である。画面400cは、マップ画像M4がマップ画像領域420に表示される点が、画面400bとは異なっている。なお、マップ画像M4には、現在の観察位置を示す表示CPが含まれることが望ましい。これにより、標本全体のどのあたりを観察しているのかを利用者が容易に把握することができる。
図22は、ステップS8で表示装置14に表示される画面の別の例である。図16では、ステップS8で更新するマクロ画像M2上に観察開始位置を示す表示(クロスラインCL)とマップ領域の範囲を示す表示(バウンディングボックスBB)を重ねて表示する例を示したが、利用者によるマップ領域の調整作業は、マクロ画像領域430上ではなく、マップ画像領域420上で行われてもよい。例えば、ステップS8において、マクロ画像M2の更新に加えて、マクロ画像M2からマップ領域を含む標本容器の画像(以降、マクロ画像M5と記す。)を抽出し、図22に示すように、抽出したマクロ画像M5をマップ画像領域420に表示する処理が行われてもよい。この場合、表示したマクロ画像M5上にマップ領域の範囲を示す表示(バウンディングボックスBB)を重ねて表示してもよい。利用者は、バウンディングボックスBBが重ねられたマクロ画像M5を確認することで、マップ領域の適否を判断してもよく、必要に応じてマップ領域を手動で調整してもよい。このように、マップ画像を撮影する前のマップ画像領域420に、マクロ画像M2の一部分をバウンディングボックスと共に表示することで、マップ領域がさらに拡大して表示されるため、400d画面内の領域を有効に活用してマップ領域の適否の確認やマップ領域の調整作業を行うことができる。
なお、マップ画像領域420には、1つの標本容器の画像が表示されればよい。マクロ画像領域430に複数の標本容器の画像が含まれる場合には、利用者が選択した任意の標本容器の画像をマップ画像領域420に表示してもよく、利用者は、表示された標本容器の画像の中からマップ領域を指定してもよい。
図23は、ステップS15で表示装置14に表示される画面の別の例である。図21では、マップ領域に対応するマップ画像M4をマップ画像領域420のサイズに合わせて拡大又は縮小して表示する例を示したが、マップ画像領域420に表示されるマップ画像には、マップ領域外の画像が含まれていてもよい。例えば、図22に示すように、マップ画像を撮影する前にマクロ画像M5をマップ画像領域420に表示している場合には、マップ画像を撮影した後に、撮影したマップ画像でマクロ画像M5中のマップ領域を更新することで、マップ画像領域420にマップ画像M6を表示してもよい。この場合、マップ画像M6は、マップ領域のマップ画像とマップ領域外のマクロ画像から構成される。
以上のように、図4に示す観察準備処理では、標本容器の種類などの情報を利用することで標本の観察に適した位置が特定され、特定された位置に視野が移動する。このため、従来の顕微鏡システムにおいて利用者が手動で行っていた標本サーチを省くことが可能であり、利用者は、煩雑な作業を行うことなしに顕微鏡システム1を用いた標本の観察を開始することができる。また、図4に示す観察準備処理では、標本容器の種類などの情報を利用することで標本が存在する範囲が特定され、特定された範囲がマップ画像を取得すべき範囲であるマップ領域として利用者に提案される。このため、利用者は、多くの場合、マップ領域が適切に設定されていることを確認するだけでマップ画像を顕微鏡システム1に構築させることが可能であり、マップ領域を探索して設定する手間を省くことができる。また、マップ画像が簡単な操作で構築されて画面に表示されるため、利用者は、容易且つ短時間で標本の本格的な観察を開始することができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、制御方法、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
図1では、マクロ画像取得部200とミクロ画像取得部300を備える顕微鏡システム1を例示したが、顕微鏡システムは、少なくとも第1倍率と第1倍率よりも高い第2倍率で画像を取得する画像取得部を備えていればよい。このため、必ずしもマクロ画像取得部とミクロ画像取得部を独立に備えている必要はなく、例えば、図24に示す顕微鏡システム2のように、対物レンズを切り換えて撮影することで、マクロ画像とミクロ画像を取得する顕微鏡500を備えていてもよい。なお、顕微鏡システム2は、光源501、コンデンサレンズ502、複数の対物レンズ(対物レンズ504~対物レンズ506)、レボルバ507、撮像装置508などを備えていて、複数の観察法で画像を取得することができる。顕微鏡システム2によっても、顕微鏡システム1と同様の観察準備処理が行われることで、利用者は、煩雑な作業を行うことなしに標本の観察を開始することができる。また、顕微鏡システムに含まれる顕微鏡は、走査型顕微鏡であってもよい。
また、図4では、利用者が観察開始を指示してから、ステップS2において、標本容器の種類を識別する識別情報を取得し、その識別情報に基づいて標本容器の種類を特定する例を示したが、識別情報を取得して標本容器の種類を特定する処理は、利用者が観察開始を指示する前に行われてもよい。
また、図4では、ステップS2において、顕微鏡システム1に設けられた検出部が容器ホルダ又は標本容器に設けられた識別構造を検出することで、識別情報を取得する例を示したが、識別情報は、利用者が入力装置を操作することによって取得されてもよい。コンピュータ10は、例えば、利用者が標本容器の種類を入力装置を用いて入力することで、入力された情報を識別情報として取得してもよい。また、ステップS2では、検出部がホール素子などのセンサである例を示したが、検出部は画像取得部であってもよい。例えば、識別情報は画像取得部が取得したマクロ画像であってもよく、コンピュータ10は、マクロ画像に基づいて標本容器の種類を識別してもよい。
また、図4では、マクロ撮影位置へ移動してから標本容器の種類を特定する例を示したが、標本容器の種類を特定する処理は、少なくともマクロ画像解析処理の前に行われればよい。従って、例えば、マクロ撮影位置へ移動する前に標本容器の種類を特定してもよい。
また、図7では、標本容器の種類がスライドガラスである場合にのみラベル処理を行う例を示したが、ラベル処理は、スライドガラス以外の標本容器に対して行ってもよい。例えば、マルチウェルプレートのウェル以外の領域に貼られたラベルを対象にラベル処理を行ってもよい。
1、2・・・顕微鏡システム
10・・・コンピュータ
11・・・プロセッサ
12・・・メモリ
14・・・表示装置
20・・・顕微鏡コントローラ
100、500・・・顕微鏡
110・・・容器ホルダ保持部
112、112a~112c・・・ホール素子
120・・・スライドガラスホルダ
122、122a~122c、132、132a、132b、150・・・磁石
130・・・ディッシュホルダ
140・・・マルチウェルプレート
141、141a~141f・・・ウェル
150・・・汎用容器ホルダ
160、161~163、161a~161d・・・スライドガラス
164~166、164a~164d、173b・・・カバーガラス
167~169・・・ラベル
170、171a~171c・・・ディッシュ
172b、172c・・・ホール部
180・・・フラスコ
200・・・マクロ画像取得部
300・・・ミクロ画像取得部
C・・・細胞
M1、M2、M5・・・マクロ画像
M3・・・ミクロ画像
M4、M6・・・マップ画像
MT・・・複数の組織
S・・・標本
ST・・・染色組織
UT・・・非染色組織
10・・・コンピュータ
11・・・プロセッサ
12・・・メモリ
14・・・表示装置
20・・・顕微鏡コントローラ
100、500・・・顕微鏡
110・・・容器ホルダ保持部
112、112a~112c・・・ホール素子
120・・・スライドガラスホルダ
122、122a~122c、132、132a、132b、150・・・磁石
130・・・ディッシュホルダ
140・・・マルチウェルプレート
141、141a~141f・・・ウェル
150・・・汎用容器ホルダ
160、161~163、161a~161d・・・スライドガラス
164~166、164a~164d、173b・・・カバーガラス
167~169・・・ラベル
170、171a~171c・・・ディッシュ
172b、172c・・・ホール部
180・・・フラスコ
200・・・マクロ画像取得部
300・・・ミクロ画像取得部
C・・・細胞
M1、M2、M5・・・マクロ画像
M3・・・ミクロ画像
M4、M6・・・マップ画像
MT・・・複数の組織
S・・・標本
ST・・・染色組織
UT・・・非染色組織
Claims (13)
- 少なくとも第1倍率と前記第1倍率よりも高い第2倍率で画像を取得する画像取得部と、
制御部と、を備え、
前記制御部は、
標本が置かれた容器の種類を特定し、
前記第2倍率で前記容器に置かれた前記標本の観察を開始するときに、
前記画像取得部が前記第1倍率で取得した前記容器を含む第1画像に対して前記容器の種類に応じた構造の物体検出を行い、
前記容器の種類と前記物体検出の結果とに応じて観察開始位置を特定し、
前記観察開始位置が前記画像取得部の前記第2倍率における視野範囲に含まれるように、前記標本に対する前記画像取得部の相対位置を制御する
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記制御部は、
前記第1画像に基づいて、前記容器に置かれた前記標本を検出し、
前記容器の種類と、前記構造の検出結果と、前記標本の検出結果と、に基づいて、前記観察開始位置を特定する
ことを特徴とする顕微鏡システム。 - 請求項1又は請求項2に記載の顕微鏡システムにおいて、
前記容器の種類に応じた前記構造は、
前記容器の種類がスライドガラスの場合には、カバーガラスであり、
前記容器の種類がディッシュの場合には、前記ディッシュに設けられたホール部であり、
前記容器の種類がウェルプレートの場合には、ウェルである
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項3のいずれか1項に記載の顕微鏡システムにおいて、
前記容器の種類がスライドガラスの場合には、
前記制御部は、
前記スライドガラスに重ねられたカバーガラス内から前記観察開始位置を特定し、
前記カバーガラス内から特定された前記観察開始位置が前記第2倍率における前記視野範囲に含まれるように、前記標本に対する前記画像取得部の相対位置を制御する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項3のいずれか1項に記載の顕微鏡システムにおいて、
前記容器の種類がディッシュの場合には、
前記制御部は、
前記ディッシュ内から前記観察開始位置を特定し、
前記ディッシュ内から特定された前記観察開始位置が前記第2倍率における前記視野範囲に含まれるように、前記相対位置を制御する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項3のいずれか1項に記載の顕微鏡システムにおいて、
前記容器の種類がディッシュの場合には、
前記制御部は、
前記ディッシュに設けられたホール部内から前記観察開始位置を特定し、
前記ホール部内から特定された前記観察開始位置が前記第2倍率における前記視野範囲に含まれるように、前記相対位置を制御する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項3のいずれか1項に記載の顕微鏡システムにおいて、
前記容器の種類がマルチウェルプレートの場合には、
前記制御部は、
前記マルチウェルプレートに設けられたウェル内から前記観察開始位置を特定し、
前記ウェル内から特定された前記観察開始位置が前記第2倍率における前記視野範囲に含まれるように、前記相対位置を制御する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項7のいずれか1項に記載の顕微鏡システムにおいて、
前記制御部は、
前記第1画像に基づいて、前記容器に置かれた前記標本の染色状態を検出し、
前記染色状態の検出結果に応じた観察法に、前記画像取得部の観察法の設定を変更する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項8のいずれか1項に記載の顕微鏡システムにおいて、さらに、
前記容器を保持する容器ホルダ又は前記容器に設けられた識別構造を検出することによって、前記容器の種類を識別する識別情報を出力する検出部と、を備え、
前記制御部は、前記検出部から出力された前記識別情報に基づいて、前記容器の種類を特定する
ことを特徴とする顕微鏡システム。 - 請求項9に記載の顕微鏡システムにおいて、さらに、
前記識別構造は、磁石であり、
前記検出部は、磁気センサである
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項8のいずれか1項に記載の顕微鏡システムにおいて、
前記制御部は、前記第1画像に基づいて前記容器の種類を特定する
ことを特徴とする顕微鏡システム。 - 少なくとも第1倍率と前記第1倍率よりも高い第2倍率で画像を取得する画像取得部を備える顕微鏡システムの制御方法であって、コンピュータが、
標本が置かれた容器の種類を特定し、
前記第2倍率で前記容器に置かれた前記標本の観察を開始するときに、
前記画像取得部が前記第1倍率で取得した前記容器を含む第1画像に対して前記容器の種類に応じた構造の物体検出を行い、
前記容器の種類と前記物体検出の結果とに応じて観察開始位置を特定し、
前記観察開始位置が前記画像取得部の前記第2倍率における視野範囲に含まれるように、前記標本に対する前記画像取得部の相対位置を制御する
ことを特徴とする制御方法。 - 少なくとも第1倍率と前記第1倍率よりも高い第2倍率で画像を取得する画像取得部を備える顕微鏡システムのコンピュータに、
標本が置かれた容器の種類を特定し、
前記第2倍率で前記容器に置かれた前記標本の観察を開始するときに、
前記画像取得部が前記第1倍率で取得した前記容器を含む第1画像に対して前記容器の種類に応じた構造の物体検出を行い、
前記容器の種類と前記物体検出の結果とに応じて観察開始位置を特定し、
前記観察開始位置が前記画像取得部の前記第2倍率における視野範囲に含まれるように、前記標本に対する前記画像取得部の相対位置を制御する
処理を実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088466A JP7506523B2 (ja) | 2020-05-20 | 顕微鏡システム、制御方法、プログラム | |
US17/324,173 US11555995B2 (en) | 2020-05-20 | 2021-05-19 | Microscope system, control method, and recording medium |
CN202110553646.2A CN113703149A (zh) | 2020-05-20 | 2021-05-20 | 显微镜系统、控制方法、计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088466A JP7506523B2 (ja) | 2020-05-20 | 顕微鏡システム、制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021183993A JP2021183993A (ja) | 2021-12-02 |
JP7506523B2 true JP7506523B2 (ja) | 2024-06-26 |
Family
ID=
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006506672A (ja) | 2002-11-20 | 2006-02-23 | ペー.アー.エル.エム.マイクロレーザー テヒノロギース アーゲー | 生物学的対象物を受ける収容デバイス用のホルダおよび該ホルダとともに機能する顕微鏡システム |
JP2007233098A (ja) | 2006-03-01 | 2007-09-13 | Hamamatsu Photonics Kk | 画像取得装置、画像取得方法、及び画像取得プログラム |
JP2008064977A (ja) | 2006-09-06 | 2008-03-21 | Olympus Corp | 顕微鏡装置の制御方法、顕微鏡装置 |
JP2010044121A (ja) | 2008-08-08 | 2010-02-25 | Olympus Corp | 顕微鏡装置 |
JP2013054083A (ja) | 2011-09-01 | 2013-03-21 | Osamu Shimada | ホールスライドイメージ作成装置 |
WO2018062125A1 (ja) | 2016-09-28 | 2018-04-05 | オリンパス株式会社 | 細胞状態計測装置 |
JP2019523897A (ja) | 2016-05-12 | 2019-08-29 | ライフ テクノロジーズ コーポレーション | 画像の取り込みおよび表示のためのシステム、方法、ならびに装置 |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006506672A (ja) | 2002-11-20 | 2006-02-23 | ペー.アー.エル.エム.マイクロレーザー テヒノロギース アーゲー | 生物学的対象物を受ける収容デバイス用のホルダおよび該ホルダとともに機能する顕微鏡システム |
JP2007233098A (ja) | 2006-03-01 | 2007-09-13 | Hamamatsu Photonics Kk | 画像取得装置、画像取得方法、及び画像取得プログラム |
JP2008064977A (ja) | 2006-09-06 | 2008-03-21 | Olympus Corp | 顕微鏡装置の制御方法、顕微鏡装置 |
JP2010044121A (ja) | 2008-08-08 | 2010-02-25 | Olympus Corp | 顕微鏡装置 |
JP2013054083A (ja) | 2011-09-01 | 2013-03-21 | Osamu Shimada | ホールスライドイメージ作成装置 |
JP2019523897A (ja) | 2016-05-12 | 2019-08-29 | ライフ テクノロジーズ コーポレーション | 画像の取り込みおよび表示のためのシステム、方法、ならびに装置 |
WO2018062125A1 (ja) | 2016-09-28 | 2018-04-05 | オリンパス株式会社 | 細胞状態計測装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6333145B2 (ja) | 画像処理方法および画像処理装置 | |
JP4970869B2 (ja) | 観察装置および観察方法 | |
US9189677B2 (en) | Recording medium having observation program recorded therein and observation apparatus | |
US20070269085A1 (en) | Image acquiring apparatus, image acquiring method, and image acquiring program | |
JP6053327B2 (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
JP5633753B2 (ja) | フォーカス制御方法および培養観察装置 | |
US9145572B2 (en) | Observation system, recording medium, and control method of observation system | |
US11416997B2 (en) | Systems, methods, and apparatuses for image capture and display | |
JP2024019639A (ja) | 顕微鏡システム、プログラム、及び、投影画像生成方法 | |
US8237785B2 (en) | Automatic focusing apparatus for use in a microscope in which fluorescence emitted from a cell is captured so as to acquire a cell image, and automatic focusing method therefor | |
WO2018003181A1 (ja) | 撮影装置および方法並びに撮影制御プログラム | |
JP2017156208A (ja) | 撮像装置 | |
US11769236B2 (en) | Microscopy system and method for generating an HDR image | |
JP2018194780A (ja) | 顕微鏡システム、制御方法、及び、プログラム | |
JP2009162974A (ja) | 顕微鏡システム及びその制御方法 | |
JP7506523B2 (ja) | 顕微鏡システム、制御方法、プログラム | |
JP7506524B2 (ja) | 顕微鏡システム、制御方法、プログラム | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
JP2015219515A (ja) | 画像表示方法、制御装置、顕微鏡システム | |
JP2021183994A (ja) | 顕微鏡システム、制御方法、プログラム | |
JP2021183993A (ja) | 顕微鏡システム、制御方法、プログラム | |
KR102157450B1 (ko) | 관찰 장치 및 방법과, 관찰 장치 제어 프로그램 | |
CN114236804A (zh) | 用于生成概览图像的显微镜系统和方法 | |
JP2014149381A (ja) | 画像取得装置および画像取得方法 | |
JP6276220B2 (ja) | 撮像装置および撮像方法 |