JP6815477B2 - 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム - Google Patents

顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム Download PDF

Info

Publication number
JP6815477B2
JP6815477B2 JP2019501068A JP2019501068A JP6815477B2 JP 6815477 B2 JP6815477 B2 JP 6815477B2 JP 2019501068 A JP2019501068 A JP 2019501068A JP 2019501068 A JP2019501068 A JP 2019501068A JP 6815477 B2 JP6815477 B2 JP 6815477B2
Authority
JP
Japan
Prior art keywords
container
stage
observation
optical system
imaging optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019501068A
Other languages
English (en)
Other versions
JPWO2018154924A1 (ja
Inventor
兼太 松原
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018154924A1 publication Critical patent/JPWO2018154924A1/ja
Application granted granted Critical
Publication of JP6815477B2 publication Critical patent/JP6815477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals

Description

本発明は、観察対象が収容された容器が設置されたステージを、観察対象の像を結像させる結像光学系に対して移動させることによって、観察対象全体の像を結像する顕微鏡装置および観察方法並びに顕微鏡装置制御プログラムに関する。
従来、ES(Embryonic Stem)細胞およびiPS(Induced Pluripotent Stem)細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。
ES細胞およびiPS細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備え、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、たとえばウェルプレートなどの培養容器の範囲内を結像光学系によって走査し、観察位置毎の画像を撮像した後、その観察位置毎の画像を結合する。
そして、このようなタイリング撮影を行う場合には、培養容器内の各観察位置においてオートフォーカス制御を行うことによって、ボケの少ない高画質な画像を取得することが提案されている(特許文献1〜特許文献4を参照)。
特開2010−191298号公報 特開2006−3653号公報 特開2009−198525号公報 特開2008−46327号公報
ここで、上述したようにタイリング撮影においてオートフォーカス制御を行う場合、撮影時間の短縮の観点から、オートフォーカス制御を高速かつ高精度に行うことが重要である。
しかしながら、たとえば培養容器として複数のウェルを有するウェルプレートを使用し、そのウェルプレート全体を結像光学系によって走査し、各観察位置についてオートフォーカス制御を行いながらタイリング撮影をする場合、各ウェルの底部の厚さは、製造上の誤差などに起因してウェル毎に異なる。また、培養容器のステージ上への設置の仕方によっては、ステージに対して培養容器の底面が傾いた状態で設置されて設置誤差が生じ、これにより各ウェルの底面の高さが大きく異なる場合がある。
一方で、顕微鏡装置におけるオートフォーカス制御は、圧電素子などを用いて対物レンズを移動させることによって行われるが、対物レンズの駆動範囲には限界がある。
したがって、ウェルの底面(観察対象設置面)の位置を検出してオートフォーカス制御を行う場合、隣接するウェル間で底部の厚さが大きく異なる場合または上述した設置誤差が大きい場合には、各ウェルの底面の位置が大きく異なるため、対物レンズの駆動範囲に収まらずに適切なオートフォーカス制御ができなかったり、合焦するまでに長い時間を要したりする問題がある。
この問題に対し、培養容器の底部の厚さのばらつきおよび培養容器の設置誤差をプレ計測し、その計測結果に基づいてオートフォーカス制御を行うことが考えられるが、このようなプレ計測を撮影動作(培養容器をステージ上に設置してから走査計測が終了するまでの動作)とは別に行うようにしたのでは、そのプレ計測の時間だけ撮影時間が長くなってしまう。
本発明は、上記の問題に鑑み、オートフォーカス制御をより効率的に行い、撮影時間の短縮を図ることができる顕微鏡装置および観察方法並びに顕微鏡装置制御プログラムを提供することを目的とする。
本発明の一態様による顕微鏡装置は、観察対象が収容される容器が設置されるステージと、容器内の観察対象の像を結像させる対物レンズを有する結像光学系と、ステージ上への容器の設置を受け付ける初期セット位置と、結像光学系によって容器内の各観察位置が走査される走査計測位置との間でステージを移動させるステージ駆動部と、走査計測位置において、ステージおよび結像光学系の少なくとも一方を移動させることによって、結像光学系で容器内の各観察位置を走査する走査制御部と、観察位置毎のオートフォーカス制御を行うオートフォーカス制御部と、ステージが初期セット位置から走査計測位置まで移動する間に、容器のフォーカス情報を検出するフォーカス情報検出部とを備え、オートフォーカス制御部が、ステージが走査計測位置に移動した際、フォーカス情報に基づいて、観察位置毎のオートフォーカス制御を行う。
また、上記本発明の一態様による顕微鏡装置において、フォーカス情報検出部は、フォーカス情報として容器の底面の位置を検出することができる。
また、上記本発明の一態様による顕微鏡装置において、フォーカス情報検出部は、容器の底面の少なくとも3か所を検出することができる。
また、上記本発明の一態様による顕微鏡装置においては、ステージ上に設置される容器の種類情報を取得する容器情報取得部を備えることができ、ステージ駆動部は、容器の種類情報に基づいて、初期セット位置から走査計測位置までのステージの移動経路を変更することができる。
また、上記本発明の一態様による顕微鏡装置においては、容器として、複数のウェルを有するウェルプレートを用いることができる。
また、上記本発明の一態様による顕微鏡装置においては、結像光学系を挟んで走査の方向に並べて設けられた少なくとも2つの変位センサを備えることができ、オートフォーカス制御部は、結像光学系が容器内の一の観察位置に到達する前に、先行して変位センサによって検出された一の観察位置における容器の鉛直方向の位置と、フォーカス情報とに基づいて、オートフォーカス制御を行うことができる。
また、上記本発明の一態様による顕微鏡装置において、上記変位センサは、フォーカス情報検出部として兼用することができ、ステージ駆動部は、ステージが初期セット位置から走査計測位置まで移動する間において、変位センサ上をステージが通過するように移動させることができる。
また、上記本発明の一態様による顕微鏡装置において、フォーカス情報検出部は、上記変位センサとは異なるフォーカス情報検出用の変位センサを有することができる。
また、上記本発明の一態様による顕微鏡装置において、初期セット位置から走査計測位置までのステージの移動経路は、複数方向の移動経路を有することができる。
本発明の一態様による観察方法は、観察対象が収容される容器が設置されたステージを、容器の設置を受け付ける初期セット位置からその初期セット位置とは異なる走査計測位置まで移動させ、走査計測位置において、容器内の観察対象の像を結像させる対物レンズを有する結像光学系およびステージの少なくとも一方を移動させることによって、容器内の各観察位置を走査して観察対象を観察する観察方法において、ステージが初期セット位置から走査計測位置まで移動する間に、容器のフォーカス情報を検出し、ステージが走査計測位置に移動した際、フォーカス情報に基づいて、容器内の観察位置毎のオートフォーカス制御を行う。
本発明の一態様による顕微鏡装置制御プログラムは、観察対象が収容される容器が設置されたステージを、容器の設置を受け付ける初期セット位置から走査計測位置まで移動させる手順と、走査計測位置において、容器内の観察対象の像を結像させる対物レンズを有する結像光学系およびステージの少なくとも一方を移動させることによって、容器内の各観察位置を走査させる手順とをコンピュータに実行させる顕微鏡装置制御ブログラムであって、ステージが初期セット位置から走査計測位置まで移動する間に、容器内のフォーカス情報を検出する手順と、ステージが走査計測位置に移動した際、フォーカス情報に基づいて、容器内の観察位置毎のオートフォーカス制御を行う手順をコンピュータに実行させる。
本発明の顕微鏡装置および観察方法並びに顕微鏡制御プログラムによれば、ステージが初期セット位置から走査計測位置まで移動する間に、容器のフォーカス情報を検出し、ステージが走査計測位置に移動した際、フォーカス情報に基づいて、容器内の観察位置毎のオートフォーカス制御を行うようにしたので、培養容器の底部の厚さに大きなばらつきがあったり、培養容器の設置誤差があったとしても、オートフォーカス制御をより効率的に行うことができ、かつ撮影動作中にプレ計測などを行わないので、撮影時間の短縮を図ることができる。
本発明の顕微鏡装置の一実施形態を上方から見た概略構成図 本発明の顕微鏡装置の一実施形態の具体的な構成を示す図 ステージの概略構成を示す斜視図 結像光学系の構成を示す模式図 培養容器が6つのウェルを有するウェルプレートである場合のステージの移動経路を示す図 図5に示す移動経路に沿ってステージが移動した際における培養容器の底面の検出場所を示す図 本発明の顕微鏡装置の一実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図 培養容器内における観察位置の走査位置を示す図 本発明の顕微鏡装置の一実施形態を用いた顕微鏡観察システムの作用を説明するためのフローチャート ステージが往路移動している場合において使用する変位センサを説明するための図 ステージが復路移動している場合において使用する変位センサを説明するための図 本発明の顕微鏡装置のその他の実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図 培養容器が24ウェルのウェルプレートである場合のステージの移動経路を示す図 初期設定用の変位センサを設けた顕微鏡装置の一例を示す図
以下、本発明の顕微鏡装置の一実施形態を用いた顕微鏡観察システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の顕微鏡観察システムにおける顕微鏡装置10を上方から見た図である。
顕微鏡装置10は、観察対象が収容された培養容器50(本発明の容器に相当する)が設置されたステージ51を、結像光学系14に対してX方向およびY方向に移動させることによって、培養容器50内の各観察位置を走査し、各観察位置の像を結像光学系14によって結像する。ここで、X方向およびY方向は、それぞれ、結像光学系14の光軸方向に直交する。また、X方向およびY方向は、互いに直交する。
そして、本実施形態の顕微鏡装置10においては、図1に示すように、初期セット位置P1と、走査計測位置P2とが予め設定されており、ステージ51は、まず、初期セット位置P1に配置された後、走査計測位置P2まで移動する。
初期セット位置P1は、ステージ51上への培養容器50の設置を受け付ける部分である。すなわち、ステージ51は、まず初期セット位置P1に配置され、ユーザは、初期セット位置P1に配置されたステージ51上に培養容器50を設置する。初期セット位置P1は、図1に示すように、走査計測位置P2とは別の位置に設けられている。本実施形態の顕微鏡装置10においては、走査計測位置P2にヒートガラスGが設置されているため、走査計測位置P2に配置されたステージ51上に、培養容器50を直接設置することができない。
そこで、走査計測位置P2とは異なる場所に設けられた初期セット位置P1までステージ51を一旦退避させ、ステージ51上に培養容器50を設置可能なように構成されている。なお、ヒートガラスGは、ステージ51の上方に設けられ、所定の温度に温められている。このヒートガラスGを用いてインキュベータなどから取り出された培養容器50を温めることによって、培養容器50が結露などによって曇るのを防止することができる。
走査計測位置P2においては、上述したようにステージ51が、結像光学系14に対してX方向およびY方向に移動し、これにより培養容器50内の各観察位置が結像光学系14によって走査される。
図2は、顕微鏡装置10の具体的な構成を示す図である。本実施形態の顕微鏡装置10は、観察対象である培養された細胞の位相差画像を撮像する。顕微鏡装置10は、具体的には、図1に示すように、白色光を出射する白色光源11と、コンデンサレンズ12と、スリット板13と、結像光学系14と、結像光学系駆動部15と、検出部18と、撮像素子19とを備えている。白色光源11、コンデンサレンズ12、スリット板13および撮像素子19は、図1のZ方向に延びる結像光学系14の光軸上に配置される。なお、図2においては、上述したヒートガラスGを図示省略している。
図3は、ステージ51の一例を示す図である。ステージ51の中央には、矩形の開口51aが形成されている。この開口51aを形成する枠部材の上に培養容器50が設置され、培養容器50内の細胞の位相差像が開口51aを通過するように構成されている。
本実施形態においては、培養容器50として、細胞が収容される複数のウェルを備えたウェルプレートを用いる。ただし、ウェルプレートに限らず、その他シャーレまたはディッシュなどを用いてもよい。また、培養容器50に収容される細胞としては、iPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。
スリット板13には、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられる。白色光がスリットを通過することによってリング状の照明光Lが形成される。
図4は、結像光学系14の詳細な構成を示す図である。結像光学系14は、図4に示すように、位相差レンズ14aおよび結像レンズ14dを備えている。そして、位相差レンズ14aは、対物レンズ14bおよび位相板14cを備えている。位相板14cは、照明光Lの波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板13のスリットの大きさは、位相板14cの位相リングと共役な関係にある。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成される。位相リングに入射された直接光は、位相リングを通過することによって位相が1/4波長ずれ、かつ、その明るさが弱められる。一方、観察対象によって回折された回折光は大部分が位相板14cの透明板を通過し、その位相および明るさは変化しない。
対物レンズ14bを有する位相差レンズ14aは、図2に示す結像光学系駆動部15によって対物レンズ14bの光軸方向に移動する。なお、本実施形態においては、対物レンズ14bと光軸方向とZ方向(鉛直方向)とは同じ方向である。位相差レンズ14aのZ方向への移動によってオートフォーカス制御が行われ、撮像素子19によって撮像される位相差画像のコントラストが調整される。また、本実施形態においては、対物レンズ14bを光軸方向に移動させることによってオートフォーカス制御を行うようにしたが、これに限らず、ステージ51をZ方向に移動させることによって、オートフォーカス制御を行うようにしてもよい。
また、位相差レンズ14aの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズ14aまたは結像光学系14を交換可能に構成するようにしてもよい。位相差レンズ14aまたは結像光学系14の交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。
結像光学系駆動部15は、たとえば圧電素子のようなアクチュエータを備え、後述するオートフォーカス制御部22から出力された制御信号に基づいて駆動する。なお、結像光学系駆動部15は、位相差レンズ14aを通過した位相差画像をそのまま通過させる構成となっている。また、結像光学系駆動部15の構成は圧電素子に限らず、位相差レンズ14aをZ方向に移動可能であればよく、その他の公知な構成を用いることができる。
結像レンズ14dは、位相差レンズ14aおよび結像光学系駆動部15を通過した位相差画像が入射され、入射された位相差画像を撮像素子19に結像する。
撮像素子19は、結像レンズ14dによって結像された位相差画像を撮像する。撮像素子19としては、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどが用いられる。撮像素子としては、RGB(Red Green Blue)のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。
検出部18は、ステージ51に設置された培養容器50の底面のZ方向(鉛直方向)の位置を検出する。検出部18は、具体的には、第1の変位センサ18aおよび第2の変位センサ18bを備える。
第1の変位センサ18aおよび第2の変位センサ18bは、結像光学系14(対物レンズ14b)を挟んで、X方向(走査方向)に並べて設けられている。本実施形態における第1の変位センサ18aおよび第2の変位センサ18bはレーザ変位計であり、培養容器50にレーザ光を照射し、その反射光を検出することによって、培養容器50の底面のZ方向の位置を検出する。なお、培養容器50の底面とは、培養容器50の底部と観察対象である細胞との境界面であり、すなわち観察対象設置面である。
検出部18によって検出された培養容器50のZ方向の位置情報は、後述するオートフォーカス制御部22に出力され、オートフォーカス制御部22は、入力された位置情報に基づいて、結像光学系駆動部15を制御し、オートフォーカス制御を行う。
より具体的には、本実施形態の顕微鏡装置10においては、結像光学系14がステージ51上の培養容器50の所定の観察位置に到達する前に、先行してその観察位置における培養容器50のZ方向の位置情報を第1の変位センサ18aまたは第2の変位センサ18bによって検出する。そして、結像光学系14が、上記観察位置に到達した際に、第1の変位センサ18aまたは第2の変位センサ18bによって検出された位置情報に基づいて、結像光学系駆動部15を制御し、オートフォーカス制御を行う。
ここで、上述したように培養容器50のZ方向に位置情報に基づいて、結像光学系駆動部15を制御してオートフォーカス制御を行う際、圧電素子などからなる結像光学系駆動部15の駆動範囲には限界がある。一方で、ウェルプレートなどのプラスチック製の培養容器50は、その底部の厚さの製造上のばらつきによって各ウェルの底面の位置にばらつきが生じ、結像光学系駆動部15の駆動範囲内では、適切なオートフォーカス制御をできない場合がある。また、培養容器50のステージ51上への設置の仕方によっては、ステージ51に対して培養容器50の底面が傾いた状態で設置されて設置誤差が生じ、結像光学系駆動部15の駆動範囲内では、適切なオートフォーカス制御をできない場合がある。
そこで、本実施形態においては、上述したような培養容器50の底部の厚さのばらつきおよび培養容器50の設置誤差を予め計測し、その計測結果に基づいて、結像光学系駆動部15自体をZ方向に移動させることによってオートフォーカス制御の初期設定を行い、結像光学系駆動部15の駆動範囲内において適切にオートフォーカス制御可能なようにする。
具体的には、本実施形態の顕微鏡装置10においては、図2に示すように、結像光学系14および結像光学系駆動部15並びに検出部18が、保持部16に設置されて保持されている。そして、保持部16には初期調整機構17が設けられており、初期調整機構17によって保持部16がZ方向に移動する。初期調整機構17は、たとえばパルスモータなどを備える。本実施形態においては、上述した計測結果に基づいて、初期調整機構17を制御することによってオートフォーカス制御の初期設定を行う。
ただし、上述したように培養容器50の底部の厚さのばらつきなどの計測を、撮影動作(培養容器50をステージ51上に設置してから走査計測が終了するまでの動作)とは別に行うようにしたのでは、その計測時間だけ余計に長くなってしまう。
そこで、本実施形態においては、培養容器50の底部の厚さのばらつきおよび培養容器50の設置誤差の計測を撮影動作の間に行う。具体的には、ステージ51が初期セット位置P1から走査計測位置P2まで移動する間に、培養容器50の底部の厚さのばらつきおよび培養容器50の設置誤差の計測を行う。図5は、培養容器50が、6つのウェルを有するウェルプレートである場合のステージ51の移動経路を示す。図5に示すように、初期セット位置P1から走査計測位置P2までのステージ51の移動経路は、複数方向の移動経路を有する。
そして、ステージ51は、初期セット位置P1から走査計測位置P2まで移動する間に、第1の変位センサ18aと第2の変位センサ18bの上方を通過するように移動する。これによりステージ51上に設置された培養容器50の底面が、第1の変位センサ18aおよび第2の変位センサ18bによって検出される。なお、本実施形態においては、検出部18が、本発明のフォーカス情報検出部に相当する。本実施形態において、フォーカス情報とは、培養容器50の底面のZ方向の位置情報である。
具体的には、図6に示すように、培養容器50が、図5に示すPP1の位置まで移動した場合には、培養容器50のウェルW1の底面のZ方向の位置情報が第2の変位センサ18bによって検出され、かつ、ウェルW3の底面のZ方向の位置情報が第1の変位センサ18aによって検出される。そして、培養容器50が、図5に示すPP2の位置まで移動した場合には、培養容器50のウェルW4の底面のZ方向の位置情報が第2の変位センサ18bによって検出され、かつ、ウェルW6の底面のZ方向の位置情報が第1の変位センサ18aによって検出される。次いで、培養容器50が、図5に示すPP3の位置まで移動した場合には、培養容器50のウェルW5の底面のZ方向の位置情報が第2の変位センサ18bによって検出される。本実施形態においては、ウェルW2の底面のZ方向の位置情報は、第1の変位センサ18aおよび第2の変位センサ18bのいずれにも検出されない。
このように、培養容器50の底面のZ方向の位置情報の少なくとも3か所を検出することが好ましく、より好ましくは4か所以上である。また、本実施形態のように培養容器50としてウェルプレートを用いる場合には、少なくとも3つのウェルの底面のZ方向の位置情報を検出することが好ましく、より好ましくは4つ以上のウェルである。
ステージ51が初期セット位置P1から走査計測位置P2まで移動する間に第1の変位センサ18aおよび第2の変位センサ18bによって検出された培養容器50の底面のZ方向の位置情報は、オートフォーカス制御部22に出力される。オートフォーカス制御部22は、入力された培養容器50の底面のZ方向の位置情報に基づいて、培養容器50内の各観察位置におけるオートフォーカス制御の中心値を算出する。なお、本実施形態におけるオートフォーカス制御の中心値とは、対物レンズ14bを光軸方向に移動させてオートフォーカス制御を行う際における対物レンズ14bのZ方向の初期位置を示す値である。
本実施形態においては、上述したように5つのウェルの底面のZ方向の位置情報を検出するので、この5つのZ方向の位置情報を用いて、補間演算などを行うことによって、培養容器50内の各観察位置におけるオートフォーカス制御の中心値を算出する。なお、オートフォーカス制御部22が、5つのZ方向の位置情報を用いて、培養容器50全体の底面を推定し、その推定された培養容器50全体の底面に基づいて、各観察位置の中心値を算出するようにしてもよい。
オートフォーカス制御部22は、培養容器50の各観察位置のオートフォーカス制御を行う場合、結像光学系14が各観察位置に到達した際、初期設定として、上述したように算出された各観察位置のオートフォーカス制御の中心値を用いて初期調整機構17を制御し、これにより保持部16をZ方向に移動させる。具体的には、対物レンズ14bのZ方向の位置が、上記中心値の位置となるように保持部16をZ方向に移動させる。
次いで、上述したように観察位置に到達する前に先行して第1の変位センサ18aまたは第2の変位センサ18bによって検出された位置情報に基づいて、結像光学系駆動部15を制御し、オートフォーカス制御を行う。
なお、本実施形態においては、培養容器50内の全ての観察位置についてオートフォーカス制御を行うが、必ずしもこれに限らず、たとえば2以上の観察位置毎にオートフォーカス制御を行うようにしてもよい。本発明における「観察位置毎にオートフォーカス制御を行う」とは、このような2以上の観察位置毎にオートフォーカス制御を行う方法も含む。
次に、顕微鏡装置10を制御する顕微鏡制御装置20の構成について説明する。図7は、本実施形態の顕微鏡観察システムの構成を示すブロック図である。なお、顕微鏡装置10については、顕微鏡制御装置20の各部により制御される一部の構成のブロック図を示している。
顕微鏡制御装置20は、顕微鏡装置10全体を制御し、特に、オートフォーカス制御部22、走査制御部23および表示制御部24を備える。
顕微鏡制御装置20は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成され、ハードディスクに本発明の観察装置制御プログラムの一実施形態がインストールされている。そして、この観察装置制御プログラムが中央処理装置によって実行されることによって、図7に示すオートフォーカス制御部22、走査制御部23および表示制御部24が機能する。
オートフォーカス制御部22は、上述したようにステージ51が初期セット位置P1から走査計測位置P2まで移動する間に第1の変位センサ18aおよび第2の変位センサ18bによって検出された培養容器50のZ方向の位置情報に基づいて、培養容器50内の各観察位置のオートフォーカス制御の中心値を算出する。そして、オートフォーカス制御部22は、培養容器50内の各観察位置のオートフォーカス制御の際、その算出した中心値に基づいて、初期調整機構17を制御して保持部16をZ方向に移動させて初期設定を行う。
さらに、オートフォーカス制御部22は、培養容器50内の各観察位置のオートフォーカス制御の際、上述した初期設定を行った後に、第1の変位センサ18aまたは第2の変位センサ18bによって先行して検出された培養容器50の各観察位置のZ方向の位置情報に基づいて、結像光学系駆動部15を制御する。そして、結像光学系駆動部15の駆動によって結像光学系14の対物レンズ14bが光軸方向に移動し、最終的なオートフォーカス制御が行われる。
走査制御部23は、ステージ駆動部21を駆動制御し、これによりステージ51をX−Y平面内において移動させる。ステージ駆動部21は、圧電素子などを有するアクチュエータから構成される。
走査制御部23は、ステージ駆動部21を駆動制御することによって、上述したようにステージ51を初期セット位置P1から走査計測位置P2まで移動させ、走査計測位置P2において、ステージ51をX方向およびY方向に移動させ、培養容器50内における観察位置を2次元状に走査し、各観察位置の位相差画像を撮像する。図8は、培養容器50内における観察位置の走査位置を走査経路Mで示した図である。
図8に示すように、ステージ51のX方向およびY方向の移動によって走査開始位置Sから走査終了位置Eまで走査経路Mに沿って結像光学系14が走査される。すなわち、ステージ51のX方向についての往復移動とY方向への移動を繰り返し行うことによって、培養容器50内の観察位置が2次元状に走査される。
次に、図7に戻り、表示制御部24は、顕微鏡装置10によって撮像された各観察位置の位相差画像を結合することによって、1枚の合成位相差画像を生成し、その合成位相差画像を表示装置30に表示させる。
表示装置30は、上述したように表示制御部24によって生成された合成位相差画像を表示し、たとえば液晶ディスプレイなどを備える。また、表示装置30をタッチパネルによって構成し、入力装置40と兼用するようにしてもよい。
入力装置40は、マウスやキーボードなどを備え、ユーザによる種々の設定入力を受け付ける。本実施形態の入力装置40は、たとえば位相差レンズ14aの倍率の変更指示およびステージの移動速度の変更指示などの設定入力を受け付ける。
次に、本実施形態の顕微鏡観察システムの作用について、図9に示すフローチャートを参照しながら説明する。
まず、ステージ51が初期セット位置P1に移動して設置される(S10)。そして、観察対象である細胞が収容された培養容器50が、ステージ51上に設置される(S12)。
初期セット位置P1において、ステージ51上の培養容器50が設置された後、ステージ51は、初期セット位置P1から走査計測位置P2まで移動する(S14)。具体的には、ステージ51は、図5に示した移動経路に沿って移動し、図8に示す培養容器50内の走査開始位置Sが、第2の変位センサ18b上に位置するところまで移動する。
また、ステージ51が初期セット位置P1から走査計測位置P2まで移動する間に、上述したように第1の変位センサ18aおよび第2の変位センサ18bによって、培養容器50の底面のZ方向の位置が検出される(S16)。
S16において検出された培養容器50の底面のZ方向の位置情報は、オートフォーカス制御部22によって取得され、オートフォーカス制御部22は、入力されたZ方向の位置情報に基づいて、各観察位置のオートフォーカス制御の中心値を算出する(S18)。
次いで、走査計測位置P2において、ステージ51がX方向に移動することによって走査計測が開始される(S20)。具体的には、まず、最初の観察位置について、オートフォーカス制御部22が、S18で算出された中心値に基づいて初期調整機構17を制御し、保持部16をZ方向に移動させて初期設定を行う(S22)。
そして、オートフォーカス制御部22は、上述した初期設定を行った後に、第1の変位センサ18aまたは第2の変位センサ18bによって先行して検出された最初の観察位置のZ方向の位置情報に基づいて、結像光学系駆動部15を制御し、最終的なオートフォーカス制御を行う(S24)。そして、結像光学系14によって最初の観察位置の位相差画像が結像され、撮像素子19によって撮像される(S26)。撮像素子19によって撮像された最初の観察位置の位相差画像は、表示制御部24に出力される。
そして、全ての観察位置が走査されたか否かが判定され(S28)、全ての観察位置が走査されていない場合には(S28,NO)、ステージ51がさらにX方向およびY方向に移動し、S22〜S26までの処理が繰り返して行われる。本実施形態においては、上述したように各観察位置について、第1の変位センサ18aまたは第2の変位センサ18bによって先行して培養容器50の底面のZ方向の位置検出が行われ、位置検出が行われた観察位置まで結像光学系14が移動した時点において、位相差画像の撮像が行われる。すなわち、ある観察位置の位相差画像の撮像と、その観察位置よりも走査方向について前側の位置における培養容器50のZ方向の位置検出とが並行して行われる。また、図10の矢印方向にステージ51が往路移動している場合には、第2の変位センサ18bによって培養容器50の底面のZ方向の位置が検出され、図11の矢印方向にステージ51が復路移動している場合には、第1の変位センサ18aによって培養容器50の底面のZ方向の位置が検出される。なお、上述したオートフォーカス制御の中心値に基づく初期設定については、結像光学系14が観察位置に到達する前に行うようにしてもよいし、結像光学系14が観察位置に到達した時点において行うようにしてもよい。
そして、ステージ51がX方向およびY方向に移動することによって、結像光学系14によって全ての観察位置が走査された場合には(S28,YES)、走査計測を終了する。
次いで、表示制御部24によって各観察位置の位相差画像が結合されて合成位相差画像を生成され(S30)、その生成された合成位相差画像が表示装置30に表示される(S32)。
上記実施形態の顕微鏡観察システムによれば、ステージ51が初期セット位置P1から走査計測位置P2まで移動する間に、培養容器50の底面のZ方向の位置を検出し、ステージ51が走査計測位置に移動した際、その検出した培養容器50の底面のZ方向の位置に基づいてオートフォーカス制御の初期設定を行うようにしたので、培養容器の底部の厚さに大きなばらつきがあったり、培養容器の設置誤差があったとしても、オートフォーカス制御をより効率的に行うことができ、かつ撮影動作中にプレ計測などを行わないので、撮影時間の短縮を図ることができる。
なお、上記実施形態においては、6ウェルのウェルプレートを用いるようにしたが、その他12ウェル、24ウェル、48ウェル、96ウェルなどのウェルプレートを用いるようにしてもよい。その場合、できるだけウェルプレートの全体に亘って配置された複数のウェルの底面を検出するため、初期セット位置P1から走査計測位置P2までのステージ51の移動経路をウェルプレートの種類(容器の種類)に応じて変更するようにしてもよい。具体的には、図12に示すように、顕微鏡制御装置20において、容器の種類情報を取得する容器情報取得部25をさらに設けるようにしてもよい。そして、容器情報取得部25によって取得された容器の種類の情報に基づいて、走査制御部23がステージ駆動部21を制御し、ステージ51の移動経路を変更するようにしてもよい。
なお、容器の種類の情報については、たとえばユーザが入力装置40を用いて設定入力するようにしてもよいし、培養容器50に対して、培養容器50の種類の情報を記憶した記憶媒体を設け、その記憶媒体から培養容器50の種類の情報を読み出して取得するようにしてもよい。上記記憶媒体としては、バーコードおよびIC(Integrated Circuit)チップなどがある。
図13は、培養容器50として24ウェルのウェルプレートを用いた場合におけるステージ51(培養容器50)の移動経路を示した図である。この場合のステージ51の移動経路も複数方向の移動経路からなる。24ウェルのウェルプレートを用いた場合、まず、初期セット位置P1から位置PP4まで培養容器50が到達した時点において、第1の変位センサ18aおよび第2の変位センサ18bによって2つのウェルの底面のZ方向の位置が検出される。その後、位置PP5、位置PP6および位置PP7までそれぞれ培養容器50が到達した時点において、第1の変位センサ18aおよび第2の変位センサ18bによって2つのウェルの底面のZ方向の位置が順次検出される。図13に示すような移動経路でステージ51を移動させることによって、ウェルプレートの全体に亘って配置された複数のウェルの底面を検出することができる。これにより、各観察位置のオートフォーカス制御の中心値を算出する際の補間の精度を向上させることができる。
また、上記実施形態においては、初期セット位置P1から走査計測位置P2までステージ51が移動する際、第1の変位センサ18aおよび第2の変位センサ18bによって培養容器50の底面のZ方向の位置を検出するようにしたが、これに限らず、図14に示すように、第1の変位センサ18aおよび第2の変位センサ18bと別に、初期設定用(フォーカス情報検出用)の変位センサ60を設けるようにしてもよい。そして、初期セット位置P1から走査計測位置P2までステージ51が移動する際、ステージ51が変位センサ60上を通過するようにし、これにより変位センサ60によって培養容器50の底面のZ方向の位置を検出するようにしてもよい。この場合、変位センサ60が、本発明のフォーカス情報検出部に相当する。
また、上記実施形態においては、ステージ51を移動させることによって、培養容器50内の観察位置を走査するようにしたが、これに限らず、結像光学系14、検出部18および撮像素子19などからなる撮影系を移動させるようにしてもよい。また、ステージ51と撮影系との両方を移動させるようにしてもよい。
また、上記実施形態は、本発明を位相差顕微鏡に適用したが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
10 顕微鏡装置
11 白色光源
12 コンデンサレンズ
13 スリット板
14 結像光学系
14a 位相差レンズ
14b 対物レンズ
14c 位相板
14d 結像レンズ
15 結像光学系駆動部
16 保持部
17 初期調整機構
18 検出部
18a 第1の変位センサ
18b 第2の変位センサ
19 撮像素子
20 顕微鏡制御装置
21 ステージ駆動部
22 オートフォーカス制御部
23 走査制御部
24 表示制御部
25 容器情報取得部
30 表示装置
40 入力装置
50 培養容器
51 ステージ
51a 開口
60 初期設定用の変位センサ
E 走査終了位置
G ヒートガラス
L 照明光
M 走査経路
P1 初期セット位置
P2 走査計測位置
PP1〜PP7 培養容器の位置
S 走査開始位置
W1〜W6 ウェル

Claims (10)

  1. 観察対象が収容される容器が設置されるステージと、
    前記容器内の前記観察対象の像を結像させる対物レンズを有する結像光学系と、
    前記ステージ上への前記容器の設置を受け付ける初期セット位置と、前記結像光学系によって前記容器内の各観察位置が走査される走査計測位置との間で前記ステージを移動させるステージ駆動部と、
    前記走査計測位置において、前記ステージおよび前記結像光学系の少なくとも一方を移動させることによって、前記結像光学系で前記容器内の各観察位置を走査する走査制御部と、
    前記対物レンズを前記結像光学系の光軸方向に移動させることにより前記観察位置毎のオートフォーカス制御を行うオートフォーカス制御部と、
    前記容器が設置された前記ステージが前記初期セット位置から前記走査計測位置まで前記ステージ駆動部の駆動により前記光軸方向と直交する方向に移動している最中に、前記ステージと共に移動する前記容器の底面の位置を検出することによって前記容器のフォーカス情報である前記容器の底面の位置を検出するフォーカス情報検出部とを備え、
    前記オートフォーカス制御部が、前記ステージが前記走査計測位置に移動した際、前記フォーカス情報である前記容器の底面の位置に基づいて前記オートフォーカス制御の初期位置に調整された前記対物レンズを、前記初期位置から前記光軸方向に移動させることにより前記観察位置毎のオートフォーカス制御を行う顕微鏡装置。
  2. 前記フォーカス情報検出部が、前記容器の底面の少なくとも3か所を検出する請求項1記載の顕微鏡装置。
  3. 前記ステージ上に設置される前記容器の種類情報を取得する容器情報取得部を備え、
    前記ステージ駆動部が、前記容器の種類情報に基づいて、前記初期セット位置から前記走査計測位置までの前記ステージの移動経路を変更する請求項1又は2記載の顕微鏡装置。
  4. 前記容器が、複数のウェルを有するウェルプレートである請求項1から3いずれか1項記載の顕微鏡装置。
  5. 前記結像光学系を挟んで前記走査の方向について並べて設けられた少なくとも2つの変位センサを備え、
    前記オートフォーカス制御部が、前記結像光学系が前記容器内の観察位置に到達する前に、先行して前記変位センサによって検出された前記観察位置における前記容器の鉛直方向の位置と、前記フォーカス情報とに基づいて、前記オートフォーカス制御を行う請求項1から4いずれか1項記載の顕微鏡装置。
  6. 前記変位センサが、前記フォーカス情報検出部として兼用され、
    前記ステージ駆動部が、前記ステージが前記初期セット位置から前記走査計測位置まで移動する間において、前記変位センサ上を前記ステージが通過するように移動させる請求項5記載の顕微鏡装置。
  7. 前記フォーカス情報検出部が、前記変位センサとは異なるフォーカス情報検出用の変位センサを有する請求項5記載の顕微鏡装置。
  8. 前記初期セット位置から前記走査計測位置までの前記ステージの移動経路が、複数方向の移動経路を有する請求項1から7いずれか1項記載の顕微鏡装置。
  9. 観察対象が収容される容器が設置されたステージを、前記容器の設置を受け付ける初期セット位置から該初期セット位置とは異なる走査計測位置まで移動させ、前記走査計測位置において、前記容器内の前記観察対象の像を結像させる対物レンズを有する結像光学系および前記ステージの少なくとも一方を移動させることによって、前記容器内の各観察位置を走査して前記観察対象を観察する観察方法において、
    前記容器が設置された前記ステージが前記初期セット位置から前記走査計測位置まで前記結像光学系の光軸方向と直交する方向に移動している最中に、前記ステージと共に移動する前記容器の底面の位置を検出することによって前記容器のフォーカス情報である前記容器の底面の位置を検出し、
    前記ステージが前記走査計測位置に移動した際、前記フォーカス情報である前記容器の底面の位置に基づいてオートフォーカス制御の初期位置に調整された前記対物レンズを、前記初期位置から前記光軸方向に移動させることにより前記容器内の観察位置毎のオートフォーカス制御を行う観察方法。
  10. 観察対象が収容される容器が設置されたステージを、前記容器の設置を受け付ける初期セット位置から走査計測位置まで移動させる手順と、前記走査計測位置において、前記容器内の前記観察対象の像を結像させる対物レンズを有する結像光学系および前記ステージの少なくとも一方を移動させることによって、前記容器内の各観察位置を走査させる手順とをコンピュータに実行させる顕微鏡装置制御ブログラムであって、
    前記容器が設置された前記ステージが前記初期セット位置から前記走査計測位置まで前記結像光学系の光軸方向と直交する方向に移動している最中に、前記ステージと共に移動する前記容器の底面の位置を検出することによって前記容器内のフォーカス情報である前記容器の底面の位置を検出する手順と、
    前記ステージが前記走査計測位置に移動した際、前記フォーカス情報である前記容器の底面の位置に基づいてオートフォーカス制御の初期位置に調整された前記対物レンズを、前記初期位置から前記光軸方向に移動させることにより前記容器内の観察位置毎のオートフォーカス制御を行う手順を前記コンピュータに実行させる顕微鏡装置制御プログラム。
JP2019501068A 2017-02-27 2017-12-12 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム Active JP6815477B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017034680 2017-02-27
JP2017034680 2017-02-27
PCT/JP2017/044456 WO2018154924A1 (ja) 2017-02-27 2017-12-12 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2018154924A1 JPWO2018154924A1 (ja) 2019-12-12
JP6815477B2 true JP6815477B2 (ja) 2021-01-20

Family

ID=63253177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501068A Active JP6815477B2 (ja) 2017-02-27 2017-12-12 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム

Country Status (5)

Country Link
US (1) US11243386B2 (ja)
EP (1) EP3588162B1 (ja)
JP (1) JP6815477B2 (ja)
KR (1) KR102236184B1 (ja)
WO (1) WO2018154924A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003271A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 細胞観察システム
CN117686427A (zh) 2017-06-26 2024-03-12 仪景通株式会社 细胞观察系统
EP3754595A4 (en) * 2018-02-16 2021-09-08 Nikon Corporation DEVICE, PROGRAM AND CALCULATION PROCESS
WO2020203699A1 (ja) * 2019-04-02 2020-10-08 富士フイルム株式会社 温度制御装置、方法およびプログラム、並びに観察システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197784A (ja) * 1997-01-10 1998-07-31 Sankyo Seiki Mfg Co Ltd オートフォーカス装置
US20030036855A1 (en) * 1998-03-16 2003-02-20 Praelux Incorporated, A Corporation Of New Jersey Method and apparatus for screening chemical compounds
EP1341221A1 (en) * 2000-11-22 2003-09-03 Nikon Corporation Aligner, aligning method and method for fabricating device
JP3990177B2 (ja) * 2002-03-29 2007-10-10 独立行政法人放射線医学総合研究所 顕微鏡装置
US6657216B1 (en) * 2002-06-17 2003-12-02 Nanometrics Incorporated Dual spot confocal displacement sensor
JP2006003653A (ja) 2004-06-17 2006-01-05 Olympus Corp 生体試料観察システム
JP4923541B2 (ja) * 2005-11-30 2012-04-25 株式会社ニコン 顕微鏡
JP4877588B2 (ja) 2006-08-15 2012-02-15 横河電機株式会社 合焦補正方法
KR20080046327A (ko) 2006-11-22 2008-05-27 남상우 교통수단에 마련된 게임 좌석의 온라인 예약방법 및 그홍보방법
JP4974060B2 (ja) 2008-02-19 2012-07-11 横河電機株式会社 創薬スクリーニング方法
JP5712342B2 (ja) * 2008-11-27 2015-05-07 ナノフォトン株式会社 光学顕微鏡、及びスペクトル測定方法
JP2010191298A (ja) 2009-02-19 2010-09-02 Nikon Corp 顕微鏡
JP2011095685A (ja) * 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
JP6173154B2 (ja) * 2013-10-01 2017-08-02 オリンパス株式会社 顕微鏡システム
JP6554757B2 (ja) * 2014-02-12 2019-08-07 株式会社ニコン 位相差顕微鏡
JP6513507B2 (ja) 2015-06-30 2019-05-15 富士フイルム株式会社 位相差顕微鏡および撮像方法
JP2017015978A (ja) * 2015-07-02 2017-01-19 キヤノン株式会社 画像取得装置および挟持部材

Also Published As

Publication number Publication date
EP3588162A4 (en) 2020-03-18
US20190339498A1 (en) 2019-11-07
KR102236184B1 (ko) 2021-04-02
KR20190090871A (ko) 2019-08-02
US11243386B2 (en) 2022-02-08
WO2018154924A1 (ja) 2018-08-30
JPWO2018154924A1 (ja) 2019-12-12
EP3588162A1 (en) 2020-01-01
EP3588162B1 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
JP6815477B2 (ja) 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム
US10761295B2 (en) Image focusing device, image focusing method and computer readable medium with image focusing control program
US11163145B2 (en) Observation device, observation method, and observation device control program
US20200257077A1 (en) Observation device, observation method, and observation device control program
KR102157450B1 (ko) 관찰 장치 및 방법과, 관찰 장치 제어 프로그램
EP3460557B1 (en) Observation device and method, and observation device control program
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JP6848086B2 (ja) 観察装置および方法並びに観察装置制御プログラム
KR102066807B1 (ko) 세포 관찰 장치 및 방법
JP6707207B2 (ja) 観察装置、観察方法および観察プログラム
JP2016161610A (ja) 撮像装置および方法
JPWO2019069823A1 (ja) 撮像装置、撮像装置の作動方法及び撮像制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201019

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201028

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250