JP6993423B2 - 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム - Google Patents

撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム Download PDF

Info

Publication number
JP6993423B2
JP6993423B2 JP2019550376A JP2019550376A JP6993423B2 JP 6993423 B2 JP6993423 B2 JP 6993423B2 JP 2019550376 A JP2019550376 A JP 2019550376A JP 2019550376 A JP2019550376 A JP 2019550376A JP 6993423 B2 JP6993423 B2 JP 6993423B2
Authority
JP
Japan
Prior art keywords
container
unit
imaging
shape information
axis direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019550376A
Other languages
English (en)
Other versions
JPWO2019088030A1 (ja
Inventor
孝 室岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019088030A1 publication Critical patent/JPWO2019088030A1/ja
Application granted granted Critical
Publication of JP6993423B2 publication Critical patent/JP6993423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本発明は、撮像部に容器内に収容された観察対象を撮像させる撮像制御装置及び撮像制御装置の作動方法並びに撮影制御プログラムに関するものである。
ES(Embryonic Stem)細胞及びiPS(Induced Pluripotent Stem)細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、及び病気の解明等において応用が可能なものとして注目されている。
そして、ES細胞及びiPS細胞等の多能性幹細胞、又は分化誘導された細胞等を顕微鏡装置等で撮像し、その画像の特徴を捉えることで細胞の分化状態等を評価する方法が提案されている。
一般的に、顕微鏡装置を用いて上記細胞を撮影する場合には、予め撮影条件を設定しておき、設定された撮影条件で撮影を行う。しかしながら培養された多能性幹細胞が収容された容器において、容器の曇りすなわち容器に付着した液滴、蒸発等に起因する培養液の量や濃度の変化、容器の種類の間違い、人為的ミス等の様々な要因により上記設定された撮影条件が撮影時において必ずしも最適な条件ではない場合がある。
そこで特許文献1には、事前撮影を行って事前撮像画像を取得し、事前撮像画像において輝度が低かった部分ほど入射光量が多くなるように照射光の光量分布を設定して再度撮影(本撮影)を行うことにより、照射光に起因する画像の濃度ムラを軽減する技術が開示されている。
特開2013-228361号公報
通常、ES細胞及びiPS細胞などの多能性幹細胞は、ウェルプレートなどの培養容器内に収容され、インキュベータ内において、環境温度及び環境湿度が管理された状態で培養される。そして、培養された多能性幹細胞を撮像する際に、培養容器がインキュベータから顕微鏡装置に移動される。
しかしながら、顕微鏡観察において用いられる培養容器においては、培養容器の種類、例えば製造メーカの違い等によって培養容器内面の表面処理や容器の材質等が異なることがある。この表面処理や容器の材質等が異なると、培養容器内に収容された観察対象の培養状態や、液体の表面に形成されるメニスカス等の形状が異なってしまい、光学的な条件等、撮影条件が変わってしまう場合がある。また、一般的に、上記培養容器は使い捨てタイプのものが多く、製造精度があまり良くない。培養容器の底面に形成されるたわみ(凹凸)についても、例えば製造メーカの違い等、培養容器の種類によって異なり、製造誤差の範囲も異なる場合がある。
一方、上述したように細胞を顕微鏡装置で撮影する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、上記培養容器が設置されたステージを、結像光学系に対して相対的に移動させることによって培養容器内の各観察位置を走査し、観察位置毎の画像を撮像した後、その観察位置毎の画像を結合する方法が提案されている。
ここで、培養容器の底面にはたわみがあるため、培養容器の底面のたわみ情報に基づいて、駆動部が観察位置毎に対物レンズを光軸方向に移動させることによりオートフォーカス制御を行って焦点位置を合わせる必要がある。しかしながら、培養容器の底面に形成されるたわみは、例えば製造メーカの違い等、培養容器の種類によって異なっている。従って顕微鏡装置に設置する予め定められた種類の培養容器、すなわちユーザが意図する培養容器で顕微鏡装置の撮影条件が設定されている場合に、ユーザが意図する培養容器以外の培養容器が顕微鏡装置に設置された場合には、駆動部が対物レンズを光軸方向に移動させる移動可能な範囲(以下、駆動部による駆動可能レンジという)よりも培養容器の底面のたわみ、すなわち培養容器の底面の高低差が大きくなってしまう場合があり、これにより、駆動部による駆動可能レンジを超えてしまうことによって焦点位置が合わずに撮影画像がボケた画像になってしまう場合がある。撮影画像がボケた画像になってしまった場合には、培養容器をユーザが意図する培養容器に変えて、観察対象すなわち細胞の培養からやり直す必要がある。
本発明は上記事情に鑑みなされたものであり、容器の間違いに起因する撮影画像の画質の低下を抑制できる撮影制御装置及び撮影制御装置の作動方法並びに撮影制御プログラムを提供することを目的とする。
本発明の撮影制御装置は、観察対象が収容された容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、異なっていることを報知部に報知させるか、又は予め定められた容器の底面の形状情報に基づいた撮影条件から観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させる制御部を備える。
なお、本発明において、「容器の底面」は観察対象を収容する容器内の底面であり、観察対象の設置面を意味する。
また、本発明において、「報知部」はメッセージ等を可視表示させるディスプレイ、音声が出力されることにより可聴表示させる音声再生装置、用紙等の記録媒体に記録して永久可視表示させるプリンタ、メールや電話等の通信手段及び表示灯等を意味し、上記ディスプレイ、上記音声再生装置、上記プリンタ、上記通信手段及び上記表示光のうちの少なくとも2つ以上を組み合わせてもよい。
また、本発明において「容器の底面の形状情報」は、容器の底面の高さ、容器の底部の厚さ及び容器の底面の曲率のうちの少なくとも1つ以上を含むものとする。
なお、本発明において「容器の底面の高さ」は、予め定められた基準面から容器の底面までの距離を意味する。ここで上記基準面は、容器の底部の下面としてもよいし、測定部の光の照射口を含み、かつ容器の鉛直方向に直交する面としてもよいし適宜定めることができる。基準面を容器の底部の下面とする場合には、「容器の底面の高さ」は「容器の底部の厚さ」と一致する。
また、本発明において「容器」は、蓋が被せられている場合には、蓋も含めて容器と総称する。
また、本発明の撮影制御装置は、制御部が、撮像部による本撮影の前に、観察対象が収容された容器の底面の形状を測定するプレ測定を測定部に対して行わせることにより観察対象が収容された容器の底面の形状情報を取得してもよい。
なお、本発明において「本撮影」は、ユーザが所望する撮影画像を取得する際に行われる撮影を意味し、「プレ測定」は上記本撮影が行われる前に行われる事前測定を意味する。
また、本発明の撮影制御装置は、制御部が、観察対象が収容された容器の底面に対して測定部に光を照射させ、底面で反射した反射光に基づいて形状情報として容器の底面の高さを取得してもよい。
この場合、測定部が、レーザ変位センサであってもよい。
また、本発明の撮影制御装置は、測定部が、撮像部を有し、
制御部が、撮像部に容器に収容された観察対象を撮像させて取得した撮影画像に基づいて形状情報として容器の底面の曲率を取得してもよい。
また、本発明の撮影制御装置は、容器内の観察対象の像を結像させる結像光学系に対して、観察対象が収容された容器を結像光学系の光軸方向に相対的に移動させる光軸方向駆動部が結像光学系又は容器を光軸方向に相対移動させる移動可能な範囲の大きさよりも観察対象が収容された容器の底面の高低差が大きい場合に、制御部が容器の底面の高さに応じて光軸方向駆動部に対して上記範囲の位置を変えさせて、撮像部に撮影させてもよい。
なお、本発明において、「光軸方向駆動部が結像光学系又は容器を光軸方向に相対移動させる移動可能な範囲」は、光軸方向駆動部による光軸方向において駆動可能な範囲を意味する。また「容器の底面の高低差」は、容器の底面全体において最も低いところと最も高いところの差を意味する。
また、本発明の撮影制御装置は、容器の形状情報を記憶する形状情報記憶部を備え、
形状情報記憶部が、観察対象が収容された容器の識別情報と、容器の底面の形状情報とを対応付けたテーブルを記憶していてもよい。
また、本発明の撮影制御装置は、容器が、ディッシュ、ウェルプレートまたはフラスコであってもよい。
本発明の撮影制御装置の作動方法は、制御部を備える撮影制御装置の作動方法であって、
制御部が、観察対象が収容された容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、異なっていることを報知部に報知させるか、又は予め定められた容器の底面の形状情報に基づいた撮影条件から観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させる。
なお、本発明による撮影制御装置の作動方法をコンピュータに実行させるプログラムとして提供してもよい。
本発明による他の撮影制御装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
観察対象が収容された容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、異なっていることを報知部に報知させるか、又は予め定められた容器の底面の形状情報に基づいた撮影条件から前記観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させる処理を実行する。
本発明によれば、観察対象が収容された容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、異なっていることを報知部に報知させるか、又は予め定められた容器の底面の形状情報に基づいた撮影条件から観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させるので、異なっていることを報知部に報知させる場合には、撮影しようとしている観察対象が収容された容器がユーザの所望する、つまり予め定められた容器ではないことをユーザが知ることができるので、撮影対象を例えば予め定められた容器に収容された観察対象に取り換えたり、予め定められた容器で観察対象を培養し直したり等、対策を講じることができる。従って、制御部が撮像部に画質の低下した撮影画像を撮影させるのを防止することができるので、容器の間違いに起因する撮影画像の画質の低下を抑制できる。また、観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させる場合には、撮像部は観察対象が収容された容器の底面の形状に適した撮影条件で撮影を行うことができ、容器の間違いに起因する撮影画像の画質の低下を抑制できる。
本実施形態の顕微鏡観察システムにおける第1の実施形態の顕微鏡装置の概略構成を示す図 結像光学系の構成を示す模式図 結像光学系駆動部の構成を示す模式図 ステージの構成を示す斜視図 本実施形態の顕微鏡観察システムの構成を示すブロック図 観察対象が収容された培養容器を示す模式図 培養容器の底面の形状情報を説明するための図 第1の実施形態の顕微鏡観察システムにおいて行われる一連の処理のフローチャート 第1の実施形態の顕微鏡観察システムにおいて行われる撮影条件変更処理のフローチャート 第2の実施形態の顕微鏡観察システムにおいて行われる一連の処理のフローチャート 第2の実施形態の顕微鏡観察システムにおいて行われる撮影条件変更処理のフローチャート 第3の実施形態の顕微鏡観察システムにおいて行われる一連の処理のフローチャート 第4の実施形態の顕微鏡観察システムにおいて行われる一連の処理のフローチャート 第5の実施形態の顕微鏡観察システムにおいて行われる一連の処理のフローチャート 第6の実施形態の顕微鏡観察システムにおいて行われる一連の処理のフローチャート 第7の実施形態の顕微鏡観察システムの構成を示すブロック図 第1~第3実施形態に係る撮影制御プログラムが記憶された記憶媒体から撮影制御プログラムが顕微鏡制御装置にインストールされる態様の一例を示す概念図
以下、本発明の撮影制御装置の第1の実施形態を用いた顕微鏡観察システム1について、図面を参照しながら詳細に説明する。図1は、第1の実施形態の顕微鏡観察システム1における顕微鏡装置10の概略構成を示す図である。なお本実施形態では、顕微鏡観察システム1は顕微鏡装置10と後述する顕微鏡制御装置20とから構成されており、顕微鏡制御装置20が本発明の撮影制御装置の一例である。
顕微鏡装置10は、観察対象である培養された細胞の位相差画像を撮像するものである。具体的には、顕微鏡装置10は、図1に示すように、白色光を出射する白色光源11、コンデンサレンズ12、スリット板13、結像光学系14、結像光学系駆動部15、撮像部16、検出部18及びステージ51を備える。
スリット板13は、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状の照明光Lが形成される。
図2は、結像光学系14の詳細な構成を示す図である。結像光学系14は、図2に示すように、位相差レンズ14a及び結像レンズ14dを備える。位相差レンズ14aは、対物レンズ14b及び位相板14cを備える。位相板14cは、照明光Lの波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板13のスリットの大きさは、位相板14cの位相リングと共役な関係にある。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リングに入射された直接光は、位相リングを通過することによって位相が1/4波長ずれ、かつ明るさが弱められる。一方、観察対象によって回折された回折光は大部分が位相板14cの透明板を通過し、その位相及び明るさは変化しない。
対物レンズ14bは、後述する結像光学系駆動部15によって対物レンズ14bの光軸方向に移動する。なお、本実施形態においては、対物レンズ14bの光軸方向とZ方向(鉛直方向)とは同じ方向である。対物レンズ14bのZ方向への移動によってオートフォーカス制御が行われ、撮像部16によって撮像される位相差画像のコントラストが調整される。
また、位相差レンズ14aの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズ14a又は結像光学系14を交換可能に構成するようにしてもよい。位相差レンズ14a又は結像光学系14の交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。
ここで図3に結像光学系駆動部15の構成を示す模式図を示す。結像光学系駆動部15は、培養容器50内の観察対象Sの像を結像させる結像光学系14に対して、観察対象Sが収容された培養容器50を結像光学系14の光軸方向に相対的に移動させるものであり、本発明の光軸方向駆動部の一例である。
本実施形態の結像光学系駆動部15は、図3に示すように、アクチュエータ15Bとアクチュエータ15Bの鉛直方向の上側に配置された圧電素子15Aを備える。アクチュエータ15Bは、鉛直方向(Z方向)に移動する移動部材とこの移動部材へ動力を伝達するパルスモータとを備え、後述する制御部22から出力された制御信号に基づいて駆動する。アクチュエータ15Bは、移動部材の移動によって圧電素子15Aを鉛直方向に移動させる。
圧電素子15Aは、後述する制御部22から出力された制御信号に基づいて駆動するものであり、対物レンズ14bを鉛直方向に移動させる。なお、結像光学系駆動部15は、位相差レンズ14aを通過した位相差画像をそのまま通過させる構成となっている。
本実施形態において、圧電素子15Aは、アクチュエータ15Bに比べて高速で結像光学系14をZ方向に移動させることが可能である。一方で、圧電素子15Aは、アクチュエータ15Bに比べて鉛直方向における駆動可能な範囲が小さい。具体的には圧電素子15Aの駆動可能な範囲が例えば640μmであるのに対してアクチュエータBの駆動可能な範囲は例えば5mmである。ここで圧電素子15Aの駆動可能な範囲の値は、予め後述する二次記憶部25に記憶しておく。なお圧電素子15Aの駆動可能な範囲の値が二次記憶部25に記憶されていない場合には、ユーザが入力装置40によって上記範囲の値を入力することができる。
本実施形態の結像光学系駆動部15においては、オートフォーカス制御を行う場合の対物レンズ14bのZ方向への移動は圧電素子15Aを使用し、対物レンズ14bのZ方向への移動が圧電素子15Aの駆動可能な範囲から外れた場合に、アクチュエータ15Bによって圧電素子15AをZ方向へ移動させることにより、圧電素子15Aの駆動可能な範囲の位置を変えて、圧電素子15Aによって対物レンズ14bのZ方向への移動を可能にする。なお圧電素子15A及びアクチュエータ15Bの駆動方法については後で詳細に説明する。
なお、本実施形態の結像光学系駆動部15は、圧電素子15A及びアクチュエータ15Bで構成されるものとしたが、本発明はこれに限られるものではなく、対物レンズ14bをZ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。また本実施形態のアクチュエータ15Bはパルスモータを有するものとしたが、本発明はこれに限られるものではなく、圧電素子15AをZ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。
また、本実施形態の結像光学系駆動部15は、対物レンズ14bのみをZ方向に移動させるものとしたが、本発明はこれに限られるものではなく、位相差レンズ14aをZ方向に移動させる構成としてもよい。
結像レンズ14dは、位相差レンズ14a及び結像光学系駆動部15を通過した位相差画像が入射され、これを撮像部16に結像する。
撮像部16は、結像レンズ14dによって結像された観察対象Sの像を受光し、観察対象Sを撮像して位相差画像を観察画像として出力する撮像素子を備える。撮像素子としては、CCD(charge-coupled device)イメージセンサ、及びCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等を用いることができる。撮像素子としては、RGB(Red Green Blue)のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いてもよい。
検出部18は、ステージ51に設置された培養容器50の底面50aのZ方向(鉛直方向)の位置を検出する。検出部18は、具体的には、第1の変位センサ18a及び第2の変位センサ18bを備える。第1の変位センサ18a及び第2の変位センサ18bは、位相差レンズ14aを挟んで、図1に示すX方向に並べて設けられている。本実施形態における第1の変位センサ18a及び第2の変位センサ18bはレーザ変位計(レーザ変位センサ)であり、培養容器50にレーザ光を照射し、その反射光を検出することによって、培養容器50の底面50aのZ方向の位置を検出する。ここで、図6に観察対象が収容された培養容器50を示す模式図を示す。培養容器50の底面50aは、観察対象Sを収容する培養容器50内の底面50aであり、観察対象Sの設置面である。なおこの設置面は、培養容器50の底部と観察対象である細胞との境界面である。また培養容器50の底部の下面を下面50bとする。
本実施形態においては検出部18がプレ測定を行う本発明の測定部の一例である。検出部18は後述する制御部22から出力された制御信号に基づいてプレ測定を行う。具体的には培養容器50の底面50aに対してレーザ光を照射し、培養容器50の底面50aで反射した反射光を検出することによって、培養容器50の底面50aの形状情報として培養容器50の底面50aの高さを検出する。本実施形態において培養容器50の底面50aの高さは、検出部18を基準面とし、検出部18が検出した反射光の信号の値を培養容器50の底面50aの高さを表す値とする。なお検出部18は、培養容器50の底面50aの高さとして、X-Y方向に10μm×10μmの空間分解能で底面50a全体の高さを測定する。なお空間分解能については、後述する二次記憶部25に記憶された形状情報29の計測時に使用された空間分解能を使用することが好ましい。
なお、本実施形態において培養容器50の底面50aの高さの値は、検出部18が検出した反射光の信号の値としたが、本発明はこれに限られるものではなく、上記反射光の信号の値を距離に換算した値すなわち検出部18から培養容器50の底面50aまでの距離を培養容器50の底面50aの高さとしてもよい。また検出部18が培養容器50の底部の下面50b(図6参照)で反射した反射光をさらに検出することによって、培養容器50の底面50aで反射した反射光の信号の値から培養容器50の底部の下面50bで反射した反射光の値を減算して培養容器50の底部の厚さを表す値を算出し、この値を培養容器50の底面50aの高さを表す値としてもよい。またこの高さを表す値を実際の距離の値に換算して使用してもよい。
なお、本実施形態の測定部は検出部18を使用したが、本発明はこれに限られるものではなく、例えば検出部18とは別にレーザ変位センサを顕微鏡装置10に設けても良い。レーザ変位センサは、正反射光学系計測器を使用することができる。なお本発明はレーザ変位センサに限られず、例えば共焦点式センサを使用することもできる。
検出部18によって検出された培養容器50の底面50aのZ方向の位置を表す位置情報は、制御部22に出力され、制御部22は、入力された位置情報に基づいて、結像光学系駆動部15を制御し、オートフォーカス制御を行う。
スリット板13と位相差レンズ14a及び検出部18との間には、ステージ51が設けられている。ステージ51上には、観察対象である細胞が収容された培養容器50が設置される。
培養容器50としては、シャーレ、ディッシュ又は複数のウェルが配列されたウェルプレート等を用いることができる。なお、本実施形態においては、複数のウェルが配列されたウェルプレートを培養容器として用いる。ただし本実施形態において上述した培養容器50はウェルプレートにおける1つのウェルの一例であるが、以下、ウェルプレートを培養容器50と総称して説明する。また、培養容器50に収容される細胞としては、iPS細胞及びES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋及び肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経及び臓器の細胞等がある。
ステージ51は、後述する水平方向駆動部17(図5参照)によって互いに直交するX方向及びY方向に移動する。X方向及びY方向は、観察対象設置面P1に平行な面上において互いに直交する方向であり、Z方向は、X方向及びY方向に直交する方向である。
図4は、ステージ51の一例を示す図である。ステージ51の中央には、矩形の開口5
1aが形成されている。開口51aを形成する部材の上に培養容器50が設置され、培養容器50内の細胞の位相差画像が開口51aを通過するように構成されている。
次に、顕微鏡装置10を制御する顕微鏡制御装置20の構成について説明する。図5は、第1の実施形態の顕微鏡制御装置20の構成を示すブロック図である。なお、顕微鏡装置10については、顕微鏡制御装置20の各部により制御される一部の構成のブロック図を示している。
顕微鏡制御装置20は、CPU(Central Processing Unit)21、一次記憶部24、
二次記憶部25及び外部I/F(Interface)27等を備えたコンピュータから構成される。CPU21は、制御部22及び処理部23を備え、顕微鏡観察システム1の全体を制御する。一次記憶部24は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部24の一例としては、RAM(Random Access Memory)が挙げられる。二次記憶部25は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本発明の撮影制御プログラム26の一実施形態がインストールされている。この撮影制御プログラム26がCPU21によって実行されることによって制御部22及び処理部23が機能する。また二次記憶部25は、後述する形状情報29が記憶されている。二次記憶部25の一例としては、EEPROM(Electrically Erasable Programmable Read-Only Memory)又はフラッシュメモリ等が挙げられる。外部I/F27は顕微鏡装置10と顕微鏡制御装置20との間の各種情報の送受信を司る。CPU21、一次記憶部24、及び二次記憶部25は、バスライン28に接続されている。また、外部I/F27も、バスライン28に接続されている。
撮影制御プログラム26は、DVD(Digital Versatile Disc)及びCD-ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、撮影制御プログラム26は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
形状情報29は、ユーザによって予め定められた培養容器50Sの底面すなわち設置面の形状情報である。培養容器50Sの底面の形状情報は、たとえばレーザ変位計などを用いて予め計測される。図7は培養容器50Sの底面の形状情報を説明するための図である。本実施形態の形状情報は、図7に示すように培養容器50Sの底面50aをX-Y方向に10μm×10μmの空間分解能で計測された情報とする。なお、形状情報の空間分解能はこれに限られるものではない。また、培養容器50Sの底面50aの形状情報の計測方法としては、レーザ変位計による計測に限らず、10μmオーダーで計測できる方式であれば、共焦点方式および分光干渉方式などその他の方式を用いて計測するようにしてもよい。
また、培養容器50Sの底面50aの形状情報は、ステージ51上にユーザによって予め定められた培養容器50Sを設置して、顕微鏡装置10に設けられた検出部18によって計測するようにしてもよいし、培養容器50Sの識別情報と予め計測された形状情報とを対応づけたテーブルを二次記憶部25に記憶しておいてもよい。そして、ユーザが、入力装置40を用いてユーザによって予め定められた培養容器50Sの識別情報を設定入力し、その識別情報を有する培養容器50Sの形状情報を二次記憶部25から読み出すようにしてもよい。また、培養容器50Sの識別情報については、ユーザが設定入力するのではなく、培養容器50SにバーコードやQR(Quick Response)コード(登録商標)などを付与し、そのバーコードやQRコード(登録商標)を読み取ることによって識別情報を取得するようにしてもよい。なお培養容器50Sの識別情報は、例えば製造メーカの型式番号であってもよいし、製造番号であってもよい。なお必ずしも上記テーブルを二次記憶部25に記憶しておかなくても、CPU21によって培養容器50Sの識別情報から予め計測された形状情報を導出させてもよい。
また、上記では、汎用コンピュータが顕微鏡制御装置20として機能する場合について説明したが、専用コンピュータによって実施されてもよい。専用コンピュータは、内蔵されたROM(Read Only Memory)やフラッシュメモリなど、不揮発メモリに記録されたプログラムを実行するファームウェアであってもよい。さらに、この顕微鏡制御装置20の少なくとも一部の機能を実行するためのプログラムを永久的に記憶するASIC(Application Specific Integrated Circuit :特定用途向け集積回路)やFPGA(field programmable gate arrays)などの専用回路を設けるようにしてもよい。あるいは、専用回路に記憶されたプログラム命令と、専用回路のプログラムを利用するようにプログラムされた汎用のCPUによって実行されるプログラム命令と組み合わせるようにしてもよい。以上のように、コンピュータのハードウェア構成をどのように組み合わせてプログラム命令を実行してもよい。
制御部22は、上述したように検出部18によって検出された培養容器50の底面のZ方向の位置情報に基づいて、結像光学系駆動部15を制御する。そして、結像光学系駆動部15の駆動によって結像光学系14の対物レンズ14bが光軸方向に移動し、オートフォーカス制御が行われる。また制御部22は、水平方向駆動部17を駆動制御し、これによりステージ51をX方向及びY方向に移動させる。水平方向駆動部17は、圧電素子等を有するアクチュエータから構成される。
本実施形態においては、制御部22による制御によってステージ51をX方向及びY方向に移動させ、結像光学系14を培養容器50内において2次元状に走査し、結像光学系14による各観察位置の位相差画像を撮像する。すなわち1つのウェル内で分割された複数の撮像領域(視野)毎の位相差画像が撮像される。
また、制御部22は、顕微鏡装置10によって撮影された各観察位置の位相差画像を結合することによって生成された1枚の合成位相差画像を表示装置30に表示させる表示制御部としても機能する。
ここで、顕微鏡観察において用いられる培養容器50においては、培養容器50の種類、例えば製造メーカの違い等によって培養容器50内面の表面処理や容器の材質等が異なることがある。この表面処理や容器の材質等が異なると、培養容器50内に収容された観察対象の培養状態や、液体の表面に形成されるメニスカス等の形状が異なってしまい、光学的な条件等、撮影条件が変わってしまう場合がある。また、一般的に、培養容器50は使い捨てタイプのものが多く、製造精度があまり良くない。培養容器50の底面50aに形成されるたわみ(凹凸)についても、例えば製造メーカの違い等、培養容器50の種類によって異なり、製造誤差の範囲も異なる場合がある。
一方、培養容器50の底面50aにはたわみがあるため、培養容器50の底面50aの形状情報に基づいて、結像光学系駆動部15が観察位置毎に対物レンズ14bを光軸方向に移動させることによりオートフォーカス制御を行って焦点位置を合わせる必要がある。しかしながら、培養容器50の底面50aに形成されるたわみは、例えば製造メーカの違い等、培養容器50の種類によって異なっている。従って、予め定められた顕微鏡装置10に設置すべき種類の培養容器50S、すなわちユーザが意図する培養容器50Sで顕微鏡装置10の撮影条件が設定されている場合に、ユーザが意図する培養容器50S以外の培養容器50が顕微鏡装置10に設置された場合には、設定されている撮影条件が顕微鏡装置10に設置された培養容器50に対して好適なものではない可能性がある。
例えば、圧電素子15Aが対物レンズ14bをZ方向に移動させる移動可能な範囲よりも培養容器50の底面50aのたわみ、すなわち培養容器50の底面50aの高低差が大きい場合には、圧電素子15Aによりフォーカス制御を行う際に上記移動可能な範囲を超えてしまうことによって焦点位置が合わずに撮像部16により撮影された撮影画像がボケた画像になってしまう場合がある。撮影画像がボケた画像になってしまった場合には、培養容器50をユーザが意図する培養容器50Sに変えて、観察対象すなわち細胞の培養からやり直す必要がある。なお上記ユーザが意図する培養容器50Sの底面50aの高低差は、圧電素子15Aによりフォーカス制御を行う際に上記移動可能な範囲を超えないものとなっている。すなわち、培養容器50Sの底面50aの高低差が上記移動可能な範囲を超えないものについては、対物レンズ14bのZ方向への移動が圧電素子15Aの駆動可能な範囲から外れないように、予めアクチュエータ15Bによって圧電素子15AをZ方向へ移動させることにより、圧電素子15Aの駆動可能な範囲の位置が調整されている。
本実施形態の制御部22は、観察対象が収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50Sの底面の形状情報と異なる場合に、予め定められた培養容器50Sの底面の形状情報に基づいた撮影条件から観察対象が収容された培養容器50の底面50aの形状情報に基づいた撮影条件に変更して撮像部16に撮影させる。
本実施形態の一例としての制御部22は、撮像部16による本撮影の前に、観察対象が収容された培養容器50の底面50aの形状を測定するプレ測定を検出部18に対して行わせることにより観察対象が収容された培養容器50の底面50aの形状情報として、培養容器50の底面50aの高さを取得する。なお検出部18によるプレ測定については上記に説明した通りである。
また、制御部22は取得した培養容器50の底面50aの高さの値から、培養容器50の底面50aの高低差を取得し、この高低差が、圧電素子15Aが対物レンズ14bを光軸方向に移動させる移動可能な範囲の大きさよりも大きい場合に、制御部22が培養容器50の底面50aの高さに応じてアクチュエータ15Bを駆動させることで圧電素子15AをZ方向へ移動させることにより、圧電素子15Aの駆動可能な範囲のZ方向での位置を変えさせて、撮像部16に本撮影を行わせる。具体的には、培養容器50の底面50aの高さに基づく対物レンズ14bのフォーカス位置が、圧電素子15Aの上記移動可能な範囲から外れている場合に、アクチュエータ15Bを駆動させる。これにより培養容器50の底面50aの高さの形状に合わせたフォーカス制御を自動的に行うことができるので、培養容器50を予め定められたすなわちユーザが意図する培養容器50Sに変える手間や、再度細胞の培養をやり直すために要する時間を削減することができ、かつ容器の間違いに起因する撮影画像の画質の低下を抑制できる。
次に、図5に戻り、処理部23は、撮像部16によって取得された画像信号に対して、ガンマ補正、輝度・色差変換、及び圧縮処理等の各種処理を行う。また、処理部23は、各種処理を行って得た画像信号を特定のフレームレートで1フレーム毎に制御部22に出力する。また、処理部23は、顕微鏡装置10によって撮影された各観察位置Rの位相差画像を結合することによって、1枚の合成位相差画像を生成する。
また顕微鏡制御装置20には、入力装置40と表示装置30とがバスライン28によって接続されている。
表示装置30は、上述したように制御部22によって生成された合成位相差画像を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置30をタッチパネルによって構成し、入力装置40と兼用してもよい。
入力装置40は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。本実施形態の入力装置40は、例えば位相差レンズ14aの倍率の変更指示及びステージの移動速度の変更指示等の設定入力を受け付ける。またユーザによって予め定められた培養容器50Sの識別情報の設定入力を受け付ける。
次に、本実施形態の顕微鏡観察システム1が行う処理について説明する。図8は、本実施形態の顕微鏡観察システム1において行われる処理のフローチャートである。
まず制御部22が、図8に示すように、観察対象Sが収容された培養容器50の底面50aに対して検出部18に光を照射させ(ステップST1)、検出部18が培養容器50の底面50aで反射した反射光を検出する(ステップST2)。次に制御部22が、検出部18が検出した反射光に基づいて、培養容器50の底面50aの高さを取得する(ステップST3)。
次に、制御部22が取得した高さが、二次記憶部25に形状情報29として記憶された培養容器50Sの高さ、すなわち予め定められた培養容器50Sの底面の高さと異なっていると判定した場合に(ステップST4;YES)、制御部22がCPU21に撮影条件の変更処理を行わせる(ステップST5)。
ここで、図9に本実施形態の顕微鏡観察システム1において行われる撮影条件変更処理のフローチャートを示す。
図9に示すように、まず制御部22がCPU21を駆動させることにより、図8のステップST3の処理で取得した培養容器50の底面50aの高さからこの底面50aの高低差を取得する(ステップST11)。
次に制御部22が二次記憶部25に記憶された圧電素子15Aの移動可能な範囲の大きさを取得する(ステップST12)。制御部22が上記移動可能な範囲の大きさよりも上記高低差の方が大きいと判定した場合(ステップST13;YES)、制御部22はアクチュエータ15Bに対して培養容器50の底面50aの高さに応じて圧電素子15Aの移動可能な範囲の位置を変えさせる(ステップST14)。具体的には培養容器50の底面50aの高さに基づく対物レンズ14bのフォーカス位置が、圧電素子15Aの上記移動可能な範囲から外れている場合に、アクチュエータ15Bを駆動させることにより対物レンズ14bが上記フォーカス位置に移動できるように制御部22が圧電素子15Aの上記移動可能な範囲の位置を変えさせることで撮影条件を変更する。
次に図8に戻って、CPU21が処理をステップST6へ移行して、制御部22は変更後の撮影条件を使用して撮像部16に本撮影を行わせる(ステップST6)。
一方、ステップST4にて制御部22が取得した高さが、予め定められた培養容器50Sの底面の高さと異なっていないと判定した場合に(ステップST4;NO)、CPU21が処理をステップST6へ移行して、制御部22が予め設定された撮影条件を使用して撮像部16に本撮影を行わせる(ステップST6)。
以上のようにして顕微鏡観察システム1による撮影が行われる。撮影された観察対象Sの各観察位置Rの位相差画像は、処理部23によって結合されて1枚の合成位相差画像が生成され、生成された合成位相差画像は制御部22によって表示装置30に表示される。
上記実施形態の顕微鏡観察システム1によれば、制御部22が、観察対象Sが収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50の底面50aの形状情報と異なる場合に、予め定められた培養容器50の底面50aの形状情報に基づいた撮影条件から観察対象Sが収容された培養容器50の底面50aの形状情報に基づいた撮影条件に変更して撮像部16に撮影させるので、撮像部16は観察対象Sが収容された培養容器50の底面50aの形状に適した撮影条件で撮影を行うことができ、培養容器50の間違いに起因する撮影画像の画質の低下を抑制できる。
次に本発明の撮影制御装置の第2の実施形態を用いた顕微鏡観察システム1-2について説明する。なお本実施形態の顕微鏡観察システム1-2は、図1~図5に示して説明した上記第1の実施形態の顕微鏡観察システム1の構成と本発明の測定部に対応する構成のみが異なる。このため測定部についてのみ以下説明して、その他の構成についての説明は省略する。
上記実施形態においては検出部18がプレ測定を行う本発明の測定部の一例であったのに対して、本実施形態の顕微鏡観察システム1-2において、プレ測定を行う本発明の測定部は、一例として撮像部16を有している。本実施形態の測定部は、撮像部16による本撮影の前に、撮像部16に培養容器50に収容された観察対象Sを事前撮影する、プレ測定を行う。
制御部22は、撮像部16にプレ測定を行わせることにより、撮影画像を取得し、取得した撮影画像に基づいて、培養容器50の底面50aの形状情報として、培養容器50の底面50aの曲率を取得する。具体的には、取得した撮影画像の画素値を取得し、取得した画素値に基づいて曲率を算出する。
具体的には、培養容器50として細胞が培養されている96個のウェルを有するウェルプレートを使用する場合には、デフォルトのフォーカスのZ方向の位置の値、例えばユーザが予め手動で観察して合わせたZ方向の位置の値を0として、Z方向の-150μm~+150μmの範囲において10μmの間隔でプレスキャンを行い、合計31回分のプレスキャンの測定データを取得する。31回分の測定データについては、処理速度を早くするために、それぞれ1回の測定でウェルプレートの奇数行である48個の視野のみを撮影し、撮影して取得した各視野の画像内のコントラストの平均値をそれぞれ求める。なお48個の視野においては、それぞれ1個のウェルが撮像される。そして48個の視野の各々において、最もコントラストの平均値の値が大きいZ方向の位置の値を求め、この48個の視野のX-Y方向の座標位置すなわち計測位置とこの計測位置における上記Z方向の位置の値とから曲率を求める。
次に、本実施形態の顕微鏡観察システム1-2が行う処理について説明する。図10は、本実施形態の顕微鏡観察システム1-2において行われる処理のフローチャートである。
まず制御部22が、図10に示すように、培養容器50に収容された観察対象Sを撮像部16に撮影させて(ステップST21)、撮影画像を取得する(ステップST22)。次に制御部22が、取得した撮影画像に基づいて、培養容器50の底面50aの曲率を取得する(ステップST33)。
次に、制御部22が取得した曲率が、二次記憶部25に形状情報29として記憶された培養容器50Sの底面の曲率、すなわち予め定められた培養容器50Sの底面の曲率と異なっていると判定した場合に(ステップST24;YES)、制御部22がCPU21に撮影条件の変更処理を行わせる(ステップST25)。
ここで、図11に本実施形態の顕微鏡観察システム1-2において行われる撮影条件変更処理のフローチャートを示す。
まず制御部22が、図11に示すように、観察対象Sが収容された培養容器50の底面50aに対して検出部18に光を照射させ(ステップST31)、検出部18が培養容器50の底面50aで反射した反射光を検出する(ステップST32)。次に制御部22が、検出部18が検出した反射光に基づいて、培養容器50の底面50aの高さを取得する(ステップST33)。
次に、制御部22がCPU21を駆動させることにより、図11のステップST33の処理で取得した培養容器50の底面50aの高さからこの底面50aの高低差を取得する(ステップST34)。
次に制御部22が二次記憶部25に記憶された圧電素子15Aの移動可能な範囲の大きさを取得する(ステップST35)。制御部22が上記移動可能な範囲の大きさよりも上記高低差の方が大きいと判定した場合(ステップST36;YES)、制御部22はアクチュエータ15Bに対して培養容器50の底面50aの高さに応じて圧電素子15Aの移動可能な範囲の位置を変えさせる(ステップST37)。具体的には培養容器50の底面50aの高さに基づく対物レンズ14bのフォーカス位置が、圧電素子15Aの上記移動可能な範囲から外れている場合に、アクチュエータ15Bを駆動させることにより対物レンズ14bが上記フォーカス位置に移動できるように制御部22が圧電素子15Aの上記移動可能な範囲の位置を変えさせることで撮影条件を変更する。
次に図10に戻って、CPU21が処理をステップST26へ移行して、制御部22は変更後の撮影条件を使用して撮像部16に本撮影を行わせる(ステップST26)。
一方、ステップST24にて制御部22が取得した曲率が、予め定められた培養容器50Sの底面の曲率と異なっていないと判定した場合に(ステップST24;NO)、CPU21が処理をステップST26へ移行して、制御部22が予め設定された撮影条件を使用して撮像部16に本撮影を行わせる(ステップST26)。
以上のようにして顕微鏡観察システム1-2による撮影が行われる。撮影された観察対象Sの各観察位置Rの位相差画像は、処理部23によって結合されて1枚の合成位相差画像が生成され、生成された合成位相差画像は制御部22によって表示装置30に表示される。
上記実施形態の顕微鏡観察システム1-2によれば、制御部22が、観察対象Sが収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50の底面50aの形状情報と異なる場合に、予め定められた培養容器50の底面50aの形状情報に基づいた撮影条件から観察対象Sが収容された培養容器50の底面50aの形状情報に基づいた撮影条件に変更して撮像部16に撮影させるので、撮像部16は観察対象Sが収容された培養容器50の底面50aの形状に適した撮影条件で撮影を行うことができ、培養容器50の間違いに起因する撮影画像の画質の低下を抑制できる。
次に本発明の撮影制御装置の第3の実施形態を用いた顕微鏡観察システム1-3について説明する。なお本実施形態の顕微鏡観察システム1-3は、図1~図5に示して説明した上記第1の実施形態の顕微鏡観察システム1の構成に本発明の報知部を備えている。このため報知部についてのみ以下説明して、その他の構成についての説明は省略する。
本発明の報知部は、観察対象Sが収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50の底面50aの形状情報と異なる場合に、制御部22からの指令によって異なっていることを報知する。本実施形態の顕微鏡観察システム1-3において、本発明の報知部は、一例として表示装置30で構成されている。報知部としての表示装置30は、ディスプレイで構成されており、制御部22からの指令によって、画面上に例えば「培養容器が異なっています」と表示する。
なお上記実施形態の表示装置30では、制御部22が、ディスプレイに対して、培養容器が異なっていることを示すメッセージ等を可視表示させることで、培養容器が異なっていることをユーザに警告する場合を例示したが、本発明の技術はこれに限定されるものではない。例えば、音声再生装置により音声が出力されることによる可聴表示、又は、プリンタを用いて用紙等の記録媒体に記録する永久可視表示であってもよい。また、ディスプレイによる可視表示、音声再生装置により音声が出力されることによる可聴表示、及びプリンタを用いて用紙等の記録媒体に記録する永久可視表示のうちの少なくとも2つ以上の組み合わせによる表示であってもよい。また、メールや電話等の通信手段によって培養容器が異なっていることを連絡してもよいし、表示灯を点灯や点滅させることにより培養容器が異なっていることを報知してもよい。上記の報知方法を少なくとも2つ以上組み合わせて培養容器が異なっていることを報知してもよい。
次に、本実施形態の顕微鏡観察システム1-3が行う処理について説明する。図12は、本実施形態の顕微鏡観察システム1-3において行われる処理のフローチャートである。なお本実施形態の顕微鏡観察システム1-3において行われるステップST41からステップST44の処理は、第1の実施形態の顕微鏡観察システム1において行われる処理の図8に示すフローチャートのステップST1からステップST4の処理と同じであるため、ここでの説明は省略し、異なる箇所についてのみ説明する。
図12に示すように、制御部22が取得した高さが、二次記憶部25に形状情報29として記憶された培養容器50Sの高さ、すなわち予め定められた培養容器50Sの底面の高さと異なっていると判定した場合に(ステップST44;YES)、制御部22は表示装置30に対して、上述のようにして、異なっていることを報知(表示)させて(ステップST45)、一連の処理が終了する。
上記実施形態の顕微鏡観察システム1-3によれば、制御部22が、観察対象Sが収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50の底面50aの形状情報と異なる場合に、異なっていることを表示装置30に表示させるので、撮影しようとしている観察対象Sが収容された培養容器50がユーザの所望する、つまり予め定められた培養容器50Sではないことをユーザが知ることができるので、撮影対象を例えば上記予め定められた培養容器50Sに収容された観察対象に取り換えたり、予め定められた培養容器50Sで観察対象を培養し直したり等、対策を講じることができる。従って、制御部22が撮像部16に画質の低下した撮影画像を撮影させるのを防止することができるので、培養容器50の間違いに起因する撮影画像の画質の低下を抑制できる。
なお上記実施形態の顕微鏡観察システム1-3において、結像光学系駆動部15は圧電素子15Aとアクチュエータ15Bを備えたものとしたが、本発明はこれに限られるものではなく、圧電素子15Aのみを備えたものであってもよい。
次に本発明の撮影制御装置の第4の実施形態を用いた顕微鏡観察システム1-4について説明する。なお本実施形態の顕微鏡観察システム1-4は、図1~図5に示して説明した上記第1の実施形態の顕微鏡観察システム1の構成に本発明の報知部を備えている。なお報知部は上記第3の実施形態の顕微鏡観察システム1-3が備える報知部と同様のものを使用できるため、ここでの説明は省略する。
次に、本実施形態の顕微鏡観察システム1-4が行う処理について説明する。図13は、本実施形態の顕微鏡観察システム1-4において行われる処理のフローチャートである。なお本実施形態の顕微鏡観察システム1-4において行われるステップST51からステップST54の処理は、第2の実施形態の顕微鏡観察システム1-2において行われる処理の図10に示すフローチャートのステップST21からステップST24の処理と同じであるため、ここでの説明は省略し、異なる箇所についてのみ説明する。
図13に示すように、制御部22が取得した曲率が、二次記憶部25に形状情報29として記憶された培養容器50Sの曲率、すなわち予め定められた培養容器50Sの底面の曲率と異なっていると判定した場合に(ステップST54;YES)、制御部22は表示装置30に対して、異なっていることを報知(表示)させて(ステップST55)、一連の処理が終了する。
上記実施形態の顕微鏡観察システム1-4によれば、制御部22が、観察対象Sが収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50の底面50aの形状情報と異なる場合に、異なっていることを表示装置30に表示させるので、撮影しようとしている観察対象Sが収容された培養容器50がユーザの所望する、つまり予め定められた培養容器50Sではないことをユーザが知ることができるので、撮影対象を例えば上記予め定められた培養容器50Sに収容された観察対象に取り換えたり、予め定められた培養容器50Sで観察対象を培養し直したり等、対策を講じることができる。従って、制御部22が撮像部16に画質の低下した撮影画像を撮影させるのを防止することができるので、培養容器50の間違いに起因する撮影画像の画質の低下を抑制できる。
なお上記実施形態の顕微鏡観察システム1-4において、結像光学系駆動部15は圧電素子15Aとアクチュエータ15Bを備えたものとしたが、本発明はこれに限られるものではなく、圧電素子15Aのみを備えたものであってもよい。
次に本発明の撮影制御装置の第5の実施形態を用いた顕微鏡観察システム1-5について説明する。なお本実施形態の顕微鏡観察システム1-5は、図1~図5に示して説明した上記第1の実施形態の顕微鏡観察システム1の構成と同様のものを使用できるため、ここでの説明は省略する。
本実施形態の顕微鏡観察システム1-5は、二次記憶部25に形状情報29としてユーザによって予め定められた培養容器50Sの識別情報が記憶されている。また観察対象Sが収容された培養容器50には予めこの培養容器50の識別情報に関連付いたバーコードやQRコード(登録商標)などを付与しておき、そのバーコードやQRコード(登録商標)を入力装置40を使用して読み取ることによって識別情報を取得する。なお培養容器50の識別情報は、例えば製造メーカの型式番号であってもよいし、製造番号であってもよい。
次に、本実施形態の顕微鏡観察システム1-5が行う処理について説明する。図14は、本実施形態の顕微鏡観察システム1-5において行われる処理のフローチャートである。
図5に示すように、まず制御部22は、ユーザにより入力装置40を用いて入力された観察対象Sが収容された培養容器50の識別情報を受け付け(ステップS61)、観察対象Sが収容された培養容器50の識別情報を取得する(ステップST62)。次に制御部22が、取得した識別情報が、二次記憶部25に形状情報29として記憶された培養容器50Sの識別情報、すなわち予め定められた培養容器50Sの識別情報と異なっていると判定した場合に(ステップST63;YES)、制御部22がCPU21に撮影条件の変更処理を行わせる(ステップST64)。なお撮影条件の変更処理は、上述した第2の実施形態の顕微鏡観察システム1-2において行われる図11の撮影条件変更処理と同じであるため、ここでの説明は省略する。
次に、CPU21が処理をステップST65へ移行して、制御部22は変更後の撮影条件を使用して撮像部16に本撮影を行わせる(ステップST65)。
一方、ステップST63にて制御部22が取得した識別情報が、予め定められた培養容器50Sの識別情報と異なっていないと判定した場合に(ステップST63;NO)、CPU21が処理をステップST65へ移行して、制御部22が予め設定された撮影条件を使用して撮像部16に本撮影を行わせる(ステップST65)。
以上のようにして顕微鏡観察システム1-5による撮影が行われる。撮影された観察対象Sの各観察位置Rの位相差画像は、処理部23によって結合されて1枚の合成位相差画像が生成され、生成された合成位相差画像は制御部22によって表示装置30に表示される。
上記実施形態の顕微鏡観察システム1-5によれば、制御部22が、観察対象Sが収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50の底面50aの形状情報と異なる場合に、予め定められた培養容器50の底面50aの形状情報に基づいた撮影条件から観察対象Sが収容された培養容器50の底面50aの形状情報に基づいた撮影条件に変更して撮像部16に撮影させるので、撮像部16は観察対象Sが収容された培養容器50の底面50aの形状に適した撮影条件で撮影を行うことができ、培養容器50の間違いに起因する撮影画像の画質の低下を抑制できる。
次に本発明の撮影制御装置の第6の実施形態を用いた顕微鏡観察システム1-6について説明する。なお本実施形態の顕微鏡観察システム1-6は、図1~図5に示して説明した上記第1の実施形態の顕微鏡観察システム1の構成に本発明の報知部を備えている。なお報知部は上記第3の実施形態の顕微鏡観察システム1-3が備える報知部と同様のものを使用できるため、ここでの説明は省略する。
次に、本実施形態の顕微鏡観察システム1-6が行う処理について説明する。図15は、本実施形態の顕微鏡観察システム1-6において行われる処理のフローチャートである。なお本実施形態の顕微鏡観察システム1-6において行われるステップST71からステップST73の処理は、第5の実施形態の顕微鏡観察システム1-5において行われる処理の図14に示すフローチャートのステップST61からステップST63の処理と同じであるため、ここでの説明は省略し、異なる箇所についてのみ説明する。
図15に示すように、制御部22が取得した識別情報が、二次記憶部25に形状情報29として記憶された培養容器50Sの識別情報、すなわち予め定められた培養容器50Sの識別情報と異なっていると判定した場合に(ステップST73;YES)、制御部22は表示装置30に対して、異なっていることを報知(表示)させて(ステップST74)、一連の処理が終了する。
上記実施形態の顕微鏡観察システム1-6によれば、制御部22が、観察対象Sが収容された培養容器50の底面50aの形状情報が、予め定められた培養容器50の底面50aの形状情報と異なる場合に、異なっていることを表示装置30に表示させるので、撮影しようとしている観察対象Sが収容された培養容器50がユーザの所望する、つまり予め定められた培養容器50Sではないことをユーザが知ることができるので、撮影対象を例えば上記予め定められた培養容器50Sに収容された観察対象に取り換えたり、予め定められた培養容器50Sで観察対象を培養し直したり等、対策を講じることができる。従って、制御部22が撮像部16に画質の低下した撮影画像を撮影させるのを防止することができるので、培養容器50の間違いに起因する撮影画像の画質の低下を抑制できる。
なお上記実施形態の顕微鏡観察システム1-6において、結像光学系駆動部15は圧電素子15Aとアクチュエータ15Bを備えたものとしたが、本発明はこれに限られるものではなく、圧電素子15Aのみを備えたものであってもよい。
次に本発明の撮影制御装置の第7の実施形態を用いた顕微鏡観察システム1-7について説明する。図16に本実施形態の顕微鏡観察システム1-7の構成を示すブロック図を示す。なお図16に示すように、本実施形態の顕微鏡観察システム1-7は、図5に示して説明した上記第1の実施形態の顕微鏡観察システム1の構成に鉛直方向駆動部19を備えている。また本実施形態において、結像光学系駆動部15はアクチュエータ15Bを備えていなくてもよい。
鉛直方向駆動部19は、パルスモータ等を有するアクチュエータから構成される。鉛直方向駆動部19は、制御部22によって駆動制御され、ステージ51をZ方向すなわち光軸方向に移動させる。なお鉛直方向駆動部19は、本発明の光軸方向駆動部の一例である。
上述した第1~6の実施形態の顕微鏡観察システム1~1-6においては、結像光学系14に対して観察対象Sが収容された培養容器50を相対的に移動させるために、制御部22がアクチュエータ15Bを駆動させることにより対物レンズ14bつまり結像光学系14をZ方向に移動させる。これに対して本実施形態の顕微鏡観察システム1-7においては、結像光学系14に対して観察対象Sが収容された培養容器50を相対的に移動させるために、制御部22が鉛直方向駆動部19を駆動させることによりステージ51をZ方向に移動させる。
なお、本実施形態の顕微鏡観察システム1-7の構成において、結像光学系駆動部15はアクチュエータ15Bを備えていてもよい。この場合には、結像光学系14に対して観察対象Sが収容された培養容器50を相対的に移動させるために、制御部22がアクチュエータ15Bと鉛直方向駆動部19の少なくとも一方を駆動させることによりステージ51をZ方向に移動させる。
なお、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡及び明視野顕微鏡等のその他の顕微鏡に適用することができる。
また、上記各実施形態では、撮影制御プログラム26を二次記憶部25から読み出す場合を例示したが、必ずしも最初から二次記憶部25に記憶させておく必要はない。例えば、図17に示すように、SSD(Solid State Drive)、USB(Universal Serial Bus)メモリ、又はDVD-ROM(Digital
versatile disc-Read Only Memory)等の任意の可搬型の記憶媒体250に先ずは撮影制御プログラム26を記憶させておいてもよい。この場合、記憶媒体250の撮影制御プログラム26が顕微鏡観察システム1にインストールされ、インストールされた撮影制御プログラム26がCPU21によって実行される。
また、通信網(図示省略)を介して顕微鏡装置10に接続される他のコンピュータ又はサーバ装置等の記憶部に撮影制御プログラム26を記憶させておき、撮影制御プログラム
26が顕微鏡装置10の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた撮影制御プログラム26はCPU21によって実行される。
また、上記各実施形態で説明した撮影制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記各実施形態では、コンピュータを利用したソフトウェア構成により撮影制御処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application
Specific Integrated Circuit)等のハードウェア構成のみによって、撮影制御処理が実行されるようにしてもよい。撮影制御処理がソフトウェア構成とハードウェア構成との組み合わせた構成によって実行されるようにしてもよい。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以下、本実施形態の作用効果について説明する。
観察対象が収容された容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、異なっていることを報知部に報知させるか、又は予め定められた容器の底面の形状情報に基づいた撮影条件から観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させるので、容器の間違いに起因する撮影画像の画質の低下を抑制できる。
1 顕微鏡観察システム
10 顕微鏡装置
11 白色光源
12 コンデンサレンズ
13 スリット板
14 結像光学系
14a 位相差レンズ
14b 対物レンズ
14c 位相板
14d 結像レンズ
15 結像光学系駆動部
16 撮像部
17 水平方向駆動部
18 検出部
19 鉛直方向駆動部
20 顕微鏡制御装置
21 CPU
22 制御部
23 処理部
24 一次記憶部
25 二次記憶部
26 撮影制御プログラム
27 外部I/F
28 バスライン
29 形状情報
30 表示装置
40 入力装置
50 培養容器
50S 予め定められた培養容器
50a 底面
50b 下面
51 ステージ
51a 開口
L 照明光
C 培養液
S 観察対象

Claims (7)

  1. 観察対象が収容された容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、予め定められた容器の底面の形状情報に基づいた撮影条件から前記観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させる制御部と、
    前記容器内の前記観察対象の像を結像させる結像光学系に対して、前記観察対象が収容された容器を前記結像光学系の光軸方向に相対的に移動させる光軸方向駆動部と、を備え、
    前記光軸方向駆動部は、アクチュエータと、前記アクチュエータの上側に配置され、かつ、前記アクチュエータによる前記光軸方向の移動より高速に前記光軸方向の移動を行うことが可能な圧電素子とで構成され、
    前記制御部は、前記撮像部による本撮影の前に、観察対象が収容された容器の底面の形状を測定するプレ測定を測定部に対して行わせ、前記容器の底面に対して前記測定部に光を照射させ、前記底面で反射した反射光に基づいて前記形状情報として前記容器の底面の高さを取得し、
    前記光軸方向駆動部の前記圧電素子が移動可能な範囲の大きさよりも前記容器の底面の高さに応じて前記光軸方向駆動部が移動させる移動量が大きい場合に、前記撮像部による前記本撮影の前に、前記圧電素子が移動可能な範囲に前記容器の底面の高低差が入るように前記アクチュエータにより前記圧電素子の位置を前記光軸方向に移動させて、前記撮像部に本撮影を行わせる撮影制御装置。
  2. 前記測定部は、前記撮像部を有し、
    前記制御部は、前記容器に収容された前記観察対象を前記撮像部に撮像させて取得した撮影画像に基づいて前記形状情報として前記容器の底面の曲率を取得する請求項1記載の撮影制御装置。
  3. 前記測定部は、レーザ変位センサである請求項1または2記載の撮影制御装置。
  4. 前記容器の形状情報を記憶する形状情報記憶部を備え、
    該形状情報記憶部が、前記観察対象が収容された容器の識別情報と、該容器の底面の形状情報とを対応付けたテーブルを記憶している請求項1記載の撮影制御装置。
  5. 前記容器が、ディッシュ、ウェルプレートまたはフラスコである請求項1~4いずれか1項記載の撮影制御装置。
  6. 制御部と光軸方向駆動部とを備える撮影制御装置の作動方法であって、
    前記制御部が、観察対象が収容された容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、予め定められた容器の底面の形状情報に基づいた撮影条件から前記観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して撮像部に撮影させ、
    前記光軸方向駆動部が、前記容器内の前記観察対象の像を結像させる結像光学系に対して、前記観察対象が収容された容器を前記結像光学系の光軸方向に相対的に移動させ、
    前記光軸方向駆動部は、アクチュエータと、前記アクチュエータの上側に配置され、かつ、前記アクチュエータによる前記光軸方向の移動より高速に前記光軸方向の移動を行うことが可能な圧電素子とで構成され、
    前記制御部は、前記撮像部による本撮影の前に、観察対象が収容された容器の底面の形状を測定するプレ測定を測定部に対して行わせ、前記容器の底面に対して前記測定部に光を照射させ、前記底面で反射した反射光に基づいて前記形状情報として前記容器の底面の高さを取得し、
    前記光軸方向駆動部の前記圧電素子が移動可能な範囲の大きさよりも前記容器の底面の高さに応じて前記光軸方向駆動部が移動させる移動量が大きい場合に、前記撮像部による前記本撮影の前に、前記圧電素子が移動可能な範囲に前記容器の底面の高低差が入るように前記アクチュエータにより前記圧電素子の位置を前記光軸方向に移動させて、前記撮像部に本撮影を行わせる撮影制御装置の作動方法。
  7. 撮像部と、
    測定部と、
    観察対象が収容された容器内の前記観察対象の像を結像させる結像光学系と、
    アクチュエータと、前記アクチュエータの上側に配置され、かつ、前記アクチュエータによる前記結像光学系の光軸方向の移動より高速に前記光軸方向の移動を行うことが可能な圧電素子とで構成され、前記結像光学系に対して、前記観察対象が収容された容器を前記結像光学系の光軸方向に相対的に移動させる光軸方向駆動部と
    を備えた撮影制御装置のコンピュータを、
    前記容器の底面の形状情報が、予め定められた容器の底面の形状情報と異なる場合に、予め定められた容器の底面の形状情報に基づいた撮影条件から前記観察対象が収容された容器の底面の形状情報に基づいた撮影条件に変更して前記撮像部に撮影させ、
    前記撮像部による本撮影の前に、前記容器の底面の形状を測定するプレ測定を前記測定部に対して行わせ、前記容器の底面に対して前記測定部に光を照射させ、前記底面で反射した反射光に基づいて前記形状情報として前記容器の底面の高さを取得し、
    前記光軸方向駆動部の前記圧電素子が移動可能な範囲の大きさよりも前記容器の底面の高さに応じて前記光軸方向駆動部が移動させる移動量が大きい場合に、前記撮像部による前記本撮影の前に、前記圧電素子が移動可能な範囲に前記容器の底面の高低差が入るように前記アクチュエータにより前記圧電素子の位置を前記光軸方向に移動させて、前記撮像部に本撮影を行わせる制御部として機能させるための撮影制御プログラム。
JP2019550376A 2017-11-02 2018-10-29 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム Active JP6993423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017213188 2017-11-02
JP2017213188 2017-11-02
PCT/JP2018/040146 WO2019088030A1 (ja) 2017-11-02 2018-10-29 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2019088030A1 JPWO2019088030A1 (ja) 2020-11-19
JP6993423B2 true JP6993423B2 (ja) 2022-01-13

Family

ID=66332534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019550376A Active JP6993423B2 (ja) 2017-11-02 2018-10-29 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム

Country Status (2)

Country Link
JP (1) JP6993423B2 (ja)
WO (1) WO2019088030A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203700A1 (ja) * 2019-04-02 2020-10-08 富士フイルム株式会社 観察制御装置、方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097061A (ja) 2008-10-17 2010-04-30 Olympus Corp 粗微動装置および自動合焦装置
WO2014175220A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
JP2015082098A (ja) 2013-10-24 2015-04-27 株式会社キーエンス 顕微鏡を制御する制御装置、容器ホルダー、顕微鏡システム、制御方法およびプログラム
US20160041380A1 (en) 2014-08-06 2016-02-11 Cellomics, Inc. Image-based laser autofocus system
WO2017175783A1 (ja) 2016-04-08 2017-10-12 株式会社Screenホールディングス 底面位置検出装置、画像取得装置、底面位置検出方法および画像取得方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097061A (ja) 2008-10-17 2010-04-30 Olympus Corp 粗微動装置および自動合焦装置
WO2014175220A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
JP2015082098A (ja) 2013-10-24 2015-04-27 株式会社キーエンス 顕微鏡を制御する制御装置、容器ホルダー、顕微鏡システム、制御方法およびプログラム
US20160041380A1 (en) 2014-08-06 2016-02-11 Cellomics, Inc. Image-based laser autofocus system
WO2017175783A1 (ja) 2016-04-08 2017-10-12 株式会社Screenホールディングス 底面位置検出装置、画像取得装置、底面位置検出方法および画像取得方法

Also Published As

Publication number Publication date
WO2019088030A1 (ja) 2019-05-09
JPWO2019088030A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
JP6675279B2 (ja) 撮影装置および方法並びに撮影制御プログラム
US11243386B2 (en) Microscope apparatus, observation method, and microscope apparatus-control program
JP6718024B2 (ja) 判別器の学習装置、方法およびプログラム、並びに判別器
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
WO2017195442A1 (ja) 撮影装置および方法並びに撮影装置制御プログラム
JP6667411B2 (ja) 観察装置および方法並びに観察装置制御プログラム
WO2019225325A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
JP6698421B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP7195269B2 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
US11061214B2 (en) Cell observation apparatus and method
US20200217781A1 (en) Imaging device, and operation method and imaging control program of imaging device
JP6453705B2 (ja) 撮像装置および方法並びに撮像制御プログラム
WO2019088034A1 (ja) 観察領域設定装置、撮像制御装置、観察領域設定装置の作動方法、及び観察領域設定プログラム
JP2016161610A (ja) 撮像装置および方法
JP6580242B2 (ja) 撮像装置および方法並びに撮像制御プログラム
EP3677667B1 (en) Image processing apparatus, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211209

R150 Certificate of patent or registration of utility model

Ref document number: 6993423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150