JP6578278B2 - 顕微鏡用の三次元ピント調整装置および方法 - Google Patents

顕微鏡用の三次元ピント調整装置および方法 Download PDF

Info

Publication number
JP6578278B2
JP6578278B2 JP2016530956A JP2016530956A JP6578278B2 JP 6578278 B2 JP6578278 B2 JP 6578278B2 JP 2016530956 A JP2016530956 A JP 2016530956A JP 2016530956 A JP2016530956 A JP 2016530956A JP 6578278 B2 JP6578278 B2 JP 6578278B2
Authority
JP
Japan
Prior art keywords
reference object
microscope
phase
intensity
refractive index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016530956A
Other languages
English (en)
Other versions
JP2016541014A (ja
Inventor
ウェンガー、ジェローム
ドミニク ボン、ピエール
ドミニク ボン、ピエール
オリバー ピエール モネル、サージ
オリバー ピエール モネル、サージ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aix Marseille Universite
Centre National de la Recherche Scientifique CNRS
Original Assignee
Aix Marseille Universite
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aix Marseille Universite, Centre National de la Recherche Scientifique CNRS filed Critical Aix Marseille Universite
Publication of JP2016541014A publication Critical patent/JP2016541014A/ja
Application granted granted Critical
Publication of JP6578278B2 publication Critical patent/JP6578278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、顕微鏡用の三次元ピント調節装置および方法に関する。
生体撮像における最近の発展は、既存の顕微鏡の限界を押し返している。PALMまたはSTORM顕微鏡といった超解像光学顕微鏡の助けにより、観察される分子に対して回折限界を超えた位置的な分解能を実現することが現在可能である。それにもかかわらず、顕微鏡に固有の不安定性は、撮像される試料の位置のドリフトにつながり、その結果、イメージングの正確性ないし精密性を損なわせる。このドリフトは、環境から生じる音響的かつ機械的振動及び温度変動に関連し、三方向で生じうる。また、例えばPALM顕微鏡により取得されるデータ取得時間が長いかもしれず、数時間かかる場合もあり、これにより顕微鏡の安定性の観点での要求を増大させる。この文脈において、それゆえ、非常に良い時間的および空間的分解能で三次元で試料に焦点を維持することが求められる。
三次元ピント調整のための各種方法が顕微鏡使用において提案されている。これら方法の一つは、光学顕微鏡において一般的に用いられており、IR_LED源から出力される光ビームを顕微鏡に投入し、つづいて試料の薄膜により反射される信号を測定することからなる(例えば、Zemek et al., "CRISP nearly eliminates microscopy focus drift", LASER FOCUS WORLD, 48(9), 9-10, 2012を参照)。このシステムは一般的に用いられるが、光軸に沿った焦点において得られる正確性は50nmを超えない。
よりよい精度を得ることを目的として、顕微鏡の視野内のミクロンサイズのマーカを用いる他の技術が存在する。
例えば、特許出願US2013027518は、一実施の形態において、光源が試料および参照要素を照明する顕微鏡用のオートフォーカス装置を記載する。参照要素は、マーカとして機能し、試料のホルダに保持される。Z軸(顕微鏡対物レンズの光軸)に沿った試料の位置のドリフトは、参照要素の画像の横方向寸法の変化の測定により補正され、横方向寸法の変化は、参照対象物の軸方向位置の変化の絶対量の測定に対応している。この装置は約20nmの精度を得ることを可能にするが、位置を調整し、参照対象物の軸方向位置の変化の方向を評価するためにステージの閉フィードバックループ制御を必要とする。
顕微鏡下で観察される試料の位置のドリフトを評価し、したがって緩和するための別の例は、特許出願US2012300293に記載される。これは、二次元回折格子を形成するよう構成され、観察すべき試料のホルダに位置する300nmから4μmのサイズのマーカにより回折される光の強度の測定に関連する。この技術は、約数十nmの理論的精度を得ることを可能にするが、二次元の微細な回折格子の製造を必要とする。
本発明は、顕微鏡用の三次元ピント調整装置および方法を提供し、特に、単一測定で10nmより小さい分解能の自動三次元ピント調整を可能にする。
第1態様によれば、本発明は、所定の分解能の顕微鏡における三次元ピント調整装置に関し、特に電磁場の位相および強度を検出するための検出器と計算手段を備える。
より詳細には、検出器は、所定の測定面において、所定の屈折率の参照媒体に位置し、かつ、参照媒体の屈折率の実部および/または虚部とそれぞれ異なる実部および/または虚部の複素屈折率を有する参照対象物と入射光波の相互作用に起因する電磁場の位相および強度の画像の決定を可能にする。
計算手段は、位相および強度の画像の少なくとも一つから、参照対象物の三次元位置の変化の決定を可能にする。
装置を実現するため、選択された参照対象物が顕微鏡の試料ホルダと一体化される;より詳細には、参照対象物は、試料ホルダに対して不動であってもよく、又は、試料ホルダに対して既知の動きを有してもよく、又は、所望の焦点精度以下の動きを有してもよい。
出願人らは、参照対象物との相互作用に起因する電磁場の所定検出面内での位相および強度画像の同時解析から、参照対象物の軸方向および横方向の双方の変化したがって顕微鏡のドリフトを非常に高い精度で決定することが可能であることを示している。
このような装置は、従来の顕微鏡に容易に組み込まれてもよい。
一実施の形態によれば、参照対象物と相互作用する光波は、顕微鏡の光源から放射されてもよい。
本発明の一実施の形態によれば、装置は、参照対象物を照明するためのビームを放射する個別の放射源を備える。このような装置は、参照対象物を照明するためのビームを放射するソースの特性が顕微鏡の光源から独立して選択されることを可能にする。
本発明の一実施の形態によれば、装置の実現のために選択される参照対象物の寸法が顕微鏡の分解能の0.1倍から2倍の間で構成される。具体的には、入射光波と参照対象物の間で相互作用は参照対象物のサイズが何であっても可能であるが、小さい寸法の参照対象物であればより強い相互作用が得られ、その結果、測定精度の向上が可能となる。その一方で、参照対象物の寸法は、ビデオカメラの分解能により制限されないよう参照対象物の画像の形成に十分な程度に大きくなければならない。
一実施の形態によれば、参照対象物は試料の部分を形成してもよい;これは例えば、試料に固有または内在する参照対象物であってもよい。したがって、参照対象物として機能する要素は、すでに試料中に存在する。
別の実施の形態によれば、参照対象物が試料の外部要素であり、所定の屈折率の参照媒体中に配置されることが意図される。
例えば、参照対象物は、参照媒体の屈折率の実部または虚部とそれぞれ異なる屈折率の実部または虚部を有する金属または誘電体でできた粒子を備える。この違いは、有利には0.1以上であり、有利には0.5以上である。好ましくは、この種類の材料の使用は、入射光波と参照対象物との間のより強い相互作用から生じる、参照対象物の位置の関数として強く対比される位相および強度の依存性の観察を可能にする。
本発明の一実施の形態によれば、二次元の位相および強度の検出器は、電磁場の強度および位相の同時測定を可能にする改良型ハルトマンマスクを備える。
第2態様によれば、本発明は、試料ホルダと、照明ビームを放射するソースと、顕微鏡対物レンズと、本記載に係る三次元ピント調整装置と、試料ホルダおよび顕微鏡対物レンズを相対的に三次元で動かすための手段と、を備える顕微鏡に関する。
本発明の一実施の形態によれば、装置は、参照対象物の三次元位置の算出された変化を顕微鏡の移動手段に送信して顕微鏡の自動的なピント調整を可能にする制御手段を備える。
第3態様によれば、本発明は、顕微鏡の三次元ピント調整方法に関し、
所定の屈折率の参照媒体中の参照対象物を選択することであって、前記参照対象物が試料ホルダと一体化され、かつ、参照媒体の屈折率の実部および/または虚部のそれぞれと異なる実部および/または虚部の複素屈折率を有することと;
参照対象物を入射光波で照明することと;
入射波と参照対象物の相互作用から生じる電磁場の位相および強度の画像を所定の測定面内で取得することと;
位相および強度の画像の少なくとも一つから参照対象物の三次元位置の変化を決定することとを備える。
一実施の形態によれば、選択された参照対象物は試料の部分を形成し;参照対象物が例えば試料に内在している。
一実施の形態によれば、参照対象物が試料の外部の物体であり、三次元ピント調整方法は、参照媒体中に参照対象物を配置することを備える。
本発明の一実施の形態によれば、ピント調整方法は、事前の較正ステップを備え、較正ステップは、参照対象物の一連の軸方向位置について、測定面の所定地点での強度および位相を決定することを備える。
この較正は、したがって、入射光波と参照対象物の間の相互作用から生じる電磁場を例えば参照対象物の軸方向位置の関数として位相および強度を与えるチャートを用いて特徴付けることを可能にし、三次元ピント調整方法の応用を助けることを可能にする。単一の測定面内で一つの画像または一連の画像を取得することは、参照対象物の軸方向の変化の値および方向を動作中に非常に精密に決定するのに十分であり、横方向の変化は位相または強度の画像から決定可能である。
本発明の一実施の形態によれば、較正ステップは、事前測定なしにチャートを描くことを可能にする伝搬アルゴリズムを用いて、入射光波と参照対象物の間の相互作用から生じる電磁場の形態のシミュレーションにより、特性が既知である参照対象物の様々な軸方向位置について位相および強度の画像を計算することを備える。
本発明の一実施の形態によれば、較正中の位相および強度の画像の計算は、事前に取得される画像であって、参照対象物、参照媒体および放射源の全ての特性を知ることなくその状況からチャートの推定を可能にする参照対象物の少なくとも一つの画像に基づく。
本発明の一実施の形態によれば、三次元ピント調整方法はさらに、参照対象物の三次元位置の算出された変化を移動手段などに送信し、自動ピント調整の実現を可能にするステップを備える。
本発明の他の長所ないし特徴は、以下の図面により説明される記載を読むことにより明らかになるであろう。
一実施例に係る透過型で動作する三次元ピント調整装置を備える顕微鏡を模式的に示す図である。 一実施例に係る反射型で動作する三次元ピント調整装置を備える顕微鏡を模式的に示す図である。 図2Aから2Cは、本記載に係るピント調整装置用の参照対象物の例を模式的に示す図である。 図3Aから3Dは、試料ホルダに対する参照対象物の様々な位置的構成を模式的に示す図である。 図4Aから4Fは、金属粒子から形成される参照対象物と入射波の相互作用から生じる電磁場の参照対象物の様々な軸方向位置での位相および強度の画像の例を示す図である。 図5Aおよび5Bは、参照対象物の軸方向の関数として実験的および数値的に得られた、金属粒子から形成される参照対象物と入射波の相互作用から生じる電磁場の強度および位相をそれぞれ示すグラフの例を示す図である。 図6Aおよび6Bは、金属でできた参照対象物および誘電体でできた参照対象物について参照対象物の軸方向の関数として数値的に得られた、参照対象物と入射波の相互作用から生じる電磁場の強度および位相をそれぞれ示すグラフの例を示す図である。 図7Aおよび図7Bは、位相および強度のそれぞれの相対感度を参照対象物を照明する波長の関数として示すグラフの例を示す図である。 標準のオートフォーカスシステムを用いて計算される場合と本記載に係る装置例を用いて計算される場合のピント調整に求められる動きを示すグラフである。
図面において同一の要素は同じ符号により示される。
図1Aは、透過型の照明が実現する本発明の一実施の形態に係る三次元ピント調整装置IIと一体化される顕微鏡Iの例を示す。
図1Aの例に示されるように、顕微鏡は照明チャネル1と第1検出チャネル2とを備える。照明チャネル1は、コリメートされた均一照明ビームを放射するためのコヒーレント光源といったソース101を備え、例えばケーラ照明は試料ホルダ107に配置される試料103の均質な照明を得ることを可能にする。放射源は、例えば単色のソースである。検出チャネル2は、マトリクスアレイ検出器117の検出面に試料の関心のある領域の像を形成することを目的とし、例えば、CCDビデオカメラまたは電子増倍電荷結合素子(EMCCD)型の増幅型ビデオカメラである。第1検出チャネル2は、例えば焦点/無限遠で機能する光学構成にて動作するよう意図される、つまり、最適な機能構成において顕微鏡対物レンズの対象視野(「作動面」)の中心にて試料103から放射されるビームが顕微鏡対物レンズ109から出射されるときに平行ビームとなるような顕微鏡対物レンズ9を備える。第1検出チャネルはまた、検出面での像形成を可能にする光学素子を備え、光学素子は例えば光学的な対象物撮像システム115を含み、選択的に偏向手段111を含む。顕微鏡はさらに、試料ホルダ107と顕微鏡対物レンズ109を相対的に移動させ、試料の関心のある領域のピントを調整するための手段122を備える。図1の例において、移動手段は例えば電動ステージ、例えば圧電ステージを備え、試料ホルダ107が顕微鏡対物レンズの光軸に垂直なXY平面内および顕微鏡対物レンズの光軸と平行なZ軸に沿って移動可能にする。
このような顕微鏡は、照明源10のスペクトル帯の中心波長と顕微鏡対物レンズ109の開口数の比率に比例する「分解能」により慣習的に特徴付けられる。
図1Aの例に示されるように、顕微鏡1はさらに、三次元ピント調整装置IIを備える。
三次元ピント調整装置IIは、図1の例において、所定の屈折率の参照媒体中に位置するよう意図される参照対象物105を備え、参照対象物は試料ホルダ107と一体化している。代わりに、より詳細が後述されるように、参照対象物が試料の部分を形成してもよい。
三次元ピント調整装置IIはさらに、入射波と参照対象物の相互作用に起因する電磁場の所定の測定面内での位相および強度の画像の検出を可能にする検出器119と、前記電磁場の位相および強度の画像の少なくとも一つから参照対象物の三次元位置の変化の決定を可能にする計算手段121とを備える。この計算手段は、顕微鏡対物レンズと試料ホルダの間の相対的な動きを制御して、例えば自動的なピント調整を確実にするためのステージ122の制御手段と接続されてもよい。
図1Aの例において、入射波は顕微鏡の照明源101から放射される。しかしながら、三次元ピント調整装置もまた、以下に記載されるような個別のソースを備えてもよい。
三次元ピント調整装置IIが顕微鏡Iと一体化される場合、装置の感度を最大化させるために、測定面が参照対象物105の共役面の近傍に位置する面と実質的に一致することが好ましい。したがって、図1の例において、顕微鏡Iは三次元ピント調整用の第2検出チャネル3を備え、第2検出チャネル3は、図1の例において、顕微鏡の検出チャネル2と共通の顕微鏡対物レンズ109と、対物レンズ113を含む。
図1Bに示される本発明の一実施の形態によれば、試料の照明は反射型である。照明ビームは、この例において、対物レンズに向けて集束光線を通過させるのを可能にするダイクロイック板または半反射板などのプレート104により反射される。もう一度繰り返すが、放射源は、顕微鏡装置の部分を形成してもよいし、顕微鏡装置とは独立したピント調整装置の部分を形成してもよい。
本記載によれば、三次元ピント調整の実現のために選択される参照対象物は、参照対象物と相互作用する入射波の電磁場を変化させるよう、参照媒体の屈折率の実部および/または虚部とそれぞれ異なる実部および/または虚部の複素屈折率を有する。参照対象物が試料の外部の要素である場合、それは、例えば、複素屈折率の虚部が支配的な金属で構成されてもよいし、複素屈折率の実部が支配的な誘電体で構成されてもよい。
参照対象物に関し、本記載の意味することは、任意の媒体が参照対象物に接触することである。この媒体は、特に観察されるべき試料自身であってもよいし、試料ホルダの基板であってもよいし、周囲の空気またはガスであってもよい。
参照媒体と参照対象物の間の屈折率の実部または虚部の変化は、0.1以上であることが好ましい。
一実施の形態によれば、参照対象物は試料の部分を形成してもよい;より正確には、それが試料に内在する又は「固有」の要素であってもよい。任意の場合において、参照対象物として選択される試料の要素は、参照媒体の屈折率の実部または虚部とは異なる屈折率の実部もしくは屈折率の虚部をそれぞれ有する。この実施の形態によれば、参照対象物は、特に、細胞小器官、小胞、核または核小体といった細胞の一部であってもよいし、バクテリアなどの細胞全体であってもよいし、試料中に存在するデブリの欠片や残渣であってもよい。参照対象物が試料の内部にある場合、関心のある構造(つまり、ユーザにより観察され、3Dオートフォーカスが必要とされるもの)に対する理論的な動きが既知であれば、もしくは、測定時間中のその動きが所望のピント精度(典型的に顕微鏡の分解能の1/10)以下であれば、参照対象物が試料ホルダと一体化されていると考えることが可能である。それにもかかわらず、この実施の形態によれば、顕微鏡の基準フレーム内で参照対象物が不動であることが好ましい;このケースは、生体試料の研究において、いわゆる固定プロトコルを受けた後に試料が観察される場合に通常直面する。
試料に内在する要素として規定される参照対象物の場合、それは、対象物がその周囲の媒体よりも多く位相をシフトさせるか、もしくは、より多く吸収するかに応じて、試料の位相または強度の画像の助けにより「参照対象物」として選択され、識別されてもよい。
図2Aから2Cは、参照対象物が試料の外部にある場合の様々な参照対象物の実施の形態を示す。参照対象物は、例えば、試料ホルダ107の基板上に設けられる粒子または粒子一式(図2A)、試料ホルダの基板上にリソグラフィにより形成されるパッドまたはパッド一式(図2B)、あるいは、試料ホルダ自身に生成される刻印または刻印一式であって、結果として形成される所定の屈折率の液体の充填が可能な凹部(図2C)である。一実施の形態によれば、参照対象物は、これら様々な要素の組み合わせを備えてもよい。図3Aから3Dの例に示されるように、参照対象物は、試料ホルダの基板の上面に位置してもよいし(試料側、図3A)、基板の下面に位置してもよいし(対物レンズ側、図3D)、基板のバルク中であってもよいし(図3B)、あるいは、サンプルに直接固定されてもよい(図3C)。
任意の数(≧1)の参照対象物があってもよく、それがサンプルの内側または外側であってもよく、ランダムまたは規則的に配置されてもよく、結果として特にピント調整装置の感度の向上を可能にする。
本記載に係る三次元ピント調整装置は、サンプルの観察視野に配置される参照対象物と入射波の間の相互作用から生じる電磁場の位相および強度の変化の分析に基づく。具体的に、出願人らは、参照対象物との相互作用から生じる電磁場の所定の検出面での位相および強度の画像の同時分析が参照対象物の軸方向および横方向の変化を非常に正確に決定することを可能にし、結果として顕微鏡のドリフトの決定を可能にすることを実証している。入射波と参照対象物の相互作用は、参照対象物の特性に依存した様々な物理的効果、例えば散乱または吸収効果により構成されてもよく、以下により詳細に記載される特定のケースにおいてこれらの効果が共鳴可能であってもよい。
参照対象物と照明波の強い相互作用を得るために、参照対象物を形成する要素(例えば、粒子、パッド、刻印など)が顕微鏡の分解能のオーダの寸法を有することが有利である。参照対象物を形成する要素の平均サイズが顕微鏡の分解能の0.1倍から2倍の間で構成されることが好ましく、顕微鏡の分解能の0.5倍から1倍の間が好ましい。したがって、0.5から1.3の間の開口数を有する顕微鏡および照明波長が500から800nmの間で構成される照明源において、参照対象物(または参照対象物を形成する要素)の寸法は40nmから3μmの間で構成される。
位相および強度の画像は、例えば二次元検出器119を用いて検出される。しかしながら、スキャンシステムと組み合わされる一次元検出器または点検出器であってもよい。
検出器119は、位相および強度の同時解析を可能にすることが好ましい。それは例えば、所定周期pの振幅格子と周期2.pの位相格子の重畳などを採用した改良型ハルトマンマスクを用いる多重横方向シヤリング干渉装置、例えばPhasics(登録商標)社のSID4検出器であってもよく、位相および強度について波面マップの同時描画を可能にする(P. Bon et al., Opt. Express 17, 13080 (2009))。他の装置は、波面の位相マップの描画を可能にし、位相および強度の同時分析のための強度検出器を組み合わせることが可能であろう。波面解析器は例えば、波面曲率センサ、シャック−ハルトマンセンサ、または、定量位相顕微鏡の構成(例えばマッハツェンダもしくはマイケルソン構成を持つデジタルホログラフィ装置)を非限定的に備えてもよい。
図4は、二次元Phasics(登録商標)検出器により取得される強度(図4A、図4B、図4C)および位相(図4D、図4E、図4F)の画像の例を示し、測定面は顕微鏡対物レンズの作動面と共役である。
より詳細にこれら画像は、試料ホルダと一体化するよう配置され、波長670nmの照明波により照明される150nmの直径の金(gold)でできた金属粒子を含む参照対象物を用いて、顕微鏡対物レンズの作動面に対する様々な相対的位置にて得られる。z=0で示される位置は、位相および強度検出器の測定面と共役な焦点位置に対応し、この位置において参照対象物が顕微鏡対物レンズの作動面内に位置する。位置z+およびz−は、顕微鏡対物レンズの光軸に沿ってz=0の位置の前後でシフトされる参照対象物の位置に対応する。より詳細には、位置z+が参照対象物と顕微鏡対物レンズの間の増加する距離に対応し、位置z−が減少する距離に対応する。「位相」画像と呼ばれる画像は、基準位相に対する位相差を示し、より正確には、金属粒子がz=0に位置する場合、参照対象物から離れた領域(例えば観察視野の縁)にて計算される基準光路に対する光路差または「光学的位相差」(OPD)を示す。また、本明細書では電磁場の強度のみを考慮するが、「強度」画像と称される画像が振幅と十分に同等であり、電磁場の振幅が例えば伝搬計算に利用可能であることは当業者にとって明らかであろう。
図4において、強度が任意単位(A.U.)で示される一方、光路差がnmで示される。図4A,4B,4Cの強度画像は、(粒子の中心に対応する)視野の中心において、z=0での強度の最小(図4B)、焦点位置の前後での強度の増加(図4Aおよび図4C)を示す。位相画像において、視野の中心において焦点での位相差がゼロとなり(図4E)、この点は位相の基準点とみなされ、また、焦点の前後において視野の中心での位相差がそれぞれ正(図4D、位置z+)および負(図4F、位置z−)となることが分かるかもしれない。
図5Aおよび5B(それぞれ曲線51および53)は、図4に示されるような画像から測定される、焦点位置z=0に対する参照対象物のz軸方向のシフトの関数としての強度および位相(またはより正確には光路差OPD)を示す。これらの曲線は、図4に示されるものと同じ実験条件下で得られる(粒子が150nmの直径の金で構成され、照明波長が670nm)。
これら曲線は、視野の中心で測定される金属の参照対象物と入射波の相互作用から生じる電磁場について、偶挙動の強度関数および奇挙動の位相関数を粒子の軸方向位置の関数として示している。焦点位置(z=0)にて、強度が最小であり、位相の傾きが最大であることが分かるかもしれない。したがって、図5Bの例では、z=0の位置にて傾斜が−98.2nm×μm−1である。説明されるような位相および強度の変化は、以下により詳細に説明されるように、粒子の軸方向の動きの変化を非常に精密に決定するために利用されてもよい。具体的には、Nが平均化される測定数である場合に位相測定の感度が
であることが知られているため、焦点位置の軸方向の位置精度を
と概算で見積もることが可能であり、すなわち、10平均化される測定に対して約1nmとなる。この精度は、粒子のサイズより十分に小さい。
図5Aおよび5Bはまた、z軸の所定位置、好ましくは焦点位置にて取得した強度/位相画像のペアに対して数値伝搬アルゴリズムを適用することにより計算された曲線52および54を示す。
用いられるアルゴリズムは、電磁場の数値伝搬アルゴリズムである。電磁場の数値伝搬アルゴリズムは、例えばSchnarsらにより記述される("Digital recording and numerical reconstruction of holograms" Meas. Sci. Technol. 13 R85-R101 (2002))。このようなアルゴリズムは、第1平面内で決定された第1の位相および強度の画像から、第1平面から所定の伝搬距離だけ離れた第2平面内での第2の位相および強度の画像を計算することを可能にする。この伝搬アルゴリズムは、「伝搬」しようとする画像の全体に適用されてもよいし、画像の一部領域に適用されてもよく、その結果、取得速度の向上を可能にする。画像のこの領域は、横方向に固定されてもよいし、例えば画像追跡アルゴリズムの助けにより画像の関心のある領域を中心としたままにするために可動であってもよい。
図5Aおよび5Bにおいて、実験的な曲線(51,53)および伝搬アルゴリズムを用いて計算された曲線(52,54)が同様であることが分かるかもしれない。したがって、参照対象物の軸方向位置が変化する間に視野の一点で電磁場の一連の測定がなされれば、もしくは、所定の平面内で強度および位相の単一の測定がなされ、かつ、数値伝搬アルゴリズムが適用されれば、位相または強度の変化の同じ曲線が得られる。したがって、単一測定を用いて参照対象物の軸方向の動きを見積もることが可能であるように思われる。
さらに、関係する相互作用の結果として参照対象物の特性が電磁場の形態を変化させるように思われる。
出願人らは、誘電体で構成される参照対象物を用いたとしても金属粒子とともに上述した結果を得ることができ、対象物が接触する参照媒体に対して大きな屈折率差を有し、例えば高屈折率の誘電体でできた粒子であることが好ましいことを実証している。この屈折率差は、典型的に0.1以上であり、0.5以上であることが好ましい。
したがって、図6Aおよび6Bは、金属で形成された参照対象物(曲線61および63)と誘電体で形成された参照対象物(曲線62および64)について、視野の中心での強度および位相の計算に適用された上述の数値伝搬アルゴリズムの結果を参照対象物の軸方向位置の関数として示す。金属の参照対象物は上述したような150nmの直径の金でできた粒子であり、誘電体の参照対象物は300nmの直径のポリスチレンでできた粒子である。照明波長は670nmである。
図面において、金属粒子の場合には強度のz位置依存性が偶関数(曲線61)であり位相のz位置依存性が奇関数(曲線63)である一方、誘電体でできたナノ粒子の場合には強度のz位置依存性が奇関数(曲線62)であり位相のz位置依存性が偶関数(曲線64)であることが分かるかもしれない。この挙動の差は、参照対象物の複素屈折率の実部または虚部の優位性により説明できる。屈折率の実部は波動の位相に作用し、虚部は波動の強度に作用する。したがって、実部の屈折率が高い粒子(誘電体粒子の場合)は、撮像条件下で強い位相の特徴を有し(z=0にてOPDの値が最大)、その特徴は撮像面の両側で落ち込む(偶挙動)。対照的に、強度における特徴は撮像条件下で弱い(z=0にて強度値はほとんどゼロ)。虚部の屈折率が高い粒子(金属粒子の場合)について、強度挙動(z=0にて強度値が最小)および位相挙動(z=0にてOPDの値がほとんどゼロ)は反転する。
このようにして生成される位相および強度の画像の分析は、顕微鏡における迅速かつ極めて精密な三次元ピント調整方法の開発を可能にする。
具体的には、一つの画像またはN平均化される一連の画像を取得することにより、例えば温度変化または振動などに起因するドリフトを補償するオートフォーカスを得るために、よりよい精度を得ること、試料ホルダと一体化される参照対象物の軸方向の動きおよび動きの方向を決定すること、及び、顕微鏡対物レンズと試料ホルダの間で生成されるべき相対的な動きをその状況から推定することが可能になる。
本方法を実現する一実施の形態によれば、所定の測定面で取得される一つの画像または一連の画像から、電磁場の数値伝搬アルゴリズム、例えば上述のアルゴリズムを用いて、最適な軸焦点面が決定される。したがって、軸方向の動きの変化および動きの方向は、その状況から推定される。参照対象物の横方向の変化は、初期画像内または伝搬後の再構築画像内で測定されてもよい。特に、横方向の動きの測定は、参照対象物が焦点面内にあるときに取得される画像に対応する再構築画像内にてより正確になるであろう。
本発明の一実施の形態によれば、三次元ピント調整装置の較正の頼みの綱となってもよい。
例えば、較正は、図5Aおよび5Bに示されるようなチャートの記録を備えてもよい。
較正は、既知の放射源、参照媒体(のサイズおよび屈折率)および参照対象物を仮定すると、理論的であるかもしれない。理論的な較正は、入射波と参照対象物の相互作用から生じる電磁場の伝搬を参照対象物の様々な位置についてシミュレーションすることと、視野の一地点での位相および強度を決定することによりチャートを設定することを備える。較正は、例えば参照対象物を形成する粒子の中心に対応する視野の中心での位相および強度を測定することによりなされることが好ましい。位相または強度のいずれかにおける奇曲線は、一つの測定点を用いて軸方向の動きの値および方向の決定を可能にする。
したがって、このような較正を用いて三次元ピント調整方法を実現する間、参照対象物の軸方向変化の値および方向を極めて正確に知るには、単一の測定面内で一つの画像または一連の画像を取得することで十分であり、横方向の変化は、位相および強度の画像内で決定でき、有利には偶曲線上で決定できる。代わりに、軸方向の動きが既知であるため、参照対象物を焦点面内に位置させ、その結果、新しい取得画像内での横方向の動きを極めて正確に測定するために顕微鏡対物レンズおよび試料ホルダの相対移動を生じさせる指令を送信することが可能である。代わりに、軸方向の動きが既知であるため、このようにして再構築される画像内の横方向の動きを測定するために伝搬アルゴリズムを用いて焦点位置での画像を計算することが可能である。
一実施の形態によれば、較正が実験的であり、かつ、事前に取得される参照対象物の画像の少なくとも一つに基づいてもよい。したがって、参照対象物もしくは顕微鏡対物レンズまたは検出器さえも軸方向に動かされ、それぞれの移動値について、位相および強度の一つの画像または一連の画像が取得される。金属粒子の場合の例えば図5Aおよび5Bに示されるようなチャートは、その状況から推定される。代わりに、所定の平面内での位相および強度の画像の1回の取得により較正が得られてもよく、つづいて、電磁場の伝搬および様々な平面内での画像の再構築によりチャートが得られる。
三次元ピント調整方法の感度は、入射波と参照対象物の間の相互作用に依存する。例えば図5Aおよび5Bに示されるように、例えば強度変化または位相変化の振幅ΔIまたはΔΦの観点でそれを表現することが可能である。
例として、図7Aおよび7Bは、100nmの直径の金粒子について、強度および位相のそれぞれで測定した信号変化の振幅を観察波長の関数として示す。信号変化は、値が任意単位であることを意味する相対感度で表現される。実験結果は、四角の点(曲線71および72はそれぞれ位相および強度の感度)により表され、ミー(Mie)理論にしたがって計算されるナノ粒子の実効散乱断面積を示す理論的曲線と比較される。
これらの曲線から感度が波長に依存することが分かるかもしれない。この依存性は、照明波長に対して特定の比率のサイズの粒子において金属粒子中で生じるプラズモン共鳴効果により説明される。この例では、100nmの直径の金粒子に対して600nmの照明波長を用いると信号が最大化される。したがって、金属粒子を含む参照対象物を用いる場合、三次元ピント調整装置において、適切な波長の個別の光源を選択することが有利であろう。
このように記載した方法は、連続的に動作してもよいし、ユーザにより選択される所定の時点での中断をともなって動作してもよい。
出願人らは、本記載に係る三次元ピント調整方法が短い時間、典型的に約10msで非常に良い精度でのオートフォーカスを可能にすることを示している。ピントを得るのにかかる時間は、検出器の取得速度(画像全体に対して典型的に1秒あたり約60画像)および検出器の感度の双方に依存する:検出器の感度が高くなるほど、高い必要のある平均化すべき画像数が少なくなる。
図8は、本記載により得られるオートフォーカス(曲線82)と標準の商業上利用可能な顕微鏡にて得られるオートフォーカス(曲線81)の比較を示す。曲線81は、Zemekら("CRISP nearly eliminates microscopy focus drift", LASER FOCUS WORLD, 48(9), 9-10, 2012)により記載されるような「パーフェクトフォーカスシステム」タイプの商業上利用可能な軸方向ピント調整システムを備えるNikon−Ti(登録商標)の顕微鏡を用いて得られる。曲線82は、本記載に係る方法により実現されるオートフォーカスを用いて得られ、透過型の照明下で直径100nmの金粒子である参照対象物を670nmの波長により照明して観察される。単一の較正が時間t=0sにて実施される。
これら二つの曲線は、本記載に係る方法の実現可能性を実証し、本方法はさらに非常に良い時間的分解能を有する。
本記載に記載される三次元ピント調整方法は、リアルタイムでの又は実験の特定時点での自動ピント調整を実行するために顕微鏡に用いられてもよい。代わりに、サンプルの位置を制御するために本方法が用いられてもよい。これらの条件下で、移動システムが理論的に予測されるであろう態様で動かない場合、測定は、サンプルの位置を精密に制御するためのフィードバックループとして機能する。
一定数の詳細な実施例を通じて説明がなされたが、本発明に係る三次元ピント調整装置は、当業者であれば明らかであろう様々な実施例、変形例および改善例を備える。以下の請求項に記載されるように、これら様々な実施例、および改善例が本発明の範囲の一部を形成することが理解されよう。

Claims (16)

  1. 所定の分解能の顕微鏡(I)の三次元ピント調整装置(II)であって、
    所定の屈折率の参照媒体中に位置し、参照媒体の屈折率の実部および/または虚部とそれぞれ異なる実部および/または虚部の複素屈折率を有する参照対象物(105)と入射光波の相互作用から生じる電磁場の所定の測定面内での位相および強度の画像を取得する検出器(119)と、
    前記位相および強度の画像から参照対象物(105)の三次元位置の変化を決定する計算手段(121)と、を備えることを特徴とする装置。
  2. 前記参照対象物(105)を照明するためのビームを放射するソースを備えることを特徴とする請求項1に記載の装置。
  3. 前記参照対象物(105)の寸法は、顕微鏡(I)の分解能の0.1倍から2倍の間で構成されることを特徴とする請求項1または2に記載の装置。
  4. 前記参照対象物の屈折率の前記実部および/または虚部と前記参照媒体の屈折率の前記実部および/または虚部との差は、0.1以上であることを特徴とする請求項1から3のいずれか一項に記載の装置。
  5. 前記参照対象物をさらに備え、前記参照対象物は、所定の屈折率の参照媒体中に位置するよう意図され、参照媒体の屈折率の実部および/または虚部のそれぞれと異なる実部および/または虚部の複素屈折率を有することを特徴とする請求項1から4のいずれか一項に記載の装置。
  6. 前記参照対象物(105)は金属粒子を含むことを特徴とする請求項5に記載の装置。
  7. 前記参照対象物(105)は誘電体粒子を含むことを特徴とする請求項5または6に記載の装置。
  8. 位相および強度の検出器(119)は、改良型ハルトマンマスクを備えることを特徴とする請求項1から7のいずれか一項に記載の装置。
  9. 試料ホルダ(107)と、
    照明ビーム(101)を放射するためのソースと、
    顕微鏡対物レンズ(109)と、
    請求項1から8のいずれか一項に記載の三次元ピント調整装置(II)と、
    試料ホルダと顕微鏡対物レンズを相対的に三次元で移動させるための手段(122)と、を備えることを特徴とする顕微鏡。
  10. 参照対象物の三次元位置の算出された変化を顕微鏡の移動手段(122)に送信する制御手段を備えることを特徴とする請求項9に記載の顕微鏡。
  11. 所定の屈折率の参照媒体中の少なくとも一つの参照対象物(105)を選択することであって、前記参照対象物が試料ホルダ(107)と一体化され、かつ、前記参照媒体の屈折率の実部および/または虚部のそれぞれと異なる実部および/または虚部の複素屈折率を有することと、
    前記参照対象物を入射光波(1)で照明することと、
    入射波(1)と参照対象物(105)の相互作用から生じる電磁場の位相および強度の画像を所定の測定面内で取得することと、
    前記位相および強度の画像から参照対象物(105)の三次元位置の変化を決定することと、を備えることを特徴とする顕微鏡の三次元ピント調整方法。
  12. 参照対象物が試料の部分を形成することを特徴とする請求項11に記載の顕微鏡の三次元ピント調整方法。
  13. 参照対象物が試料の外部にあり、当該方法は、参照媒体中に参照対象物を配置することを備えることを特徴とする請求項11または12に記載の顕微鏡の三次元ピント調整方法。
  14. 事前の較正ステップを備え、前記較正ステップは、参照対象物(105)の一連の軸方向について、測定面の所定地点での入射波(1)と参照対象物(105)の相互作用から生じる電磁場の強度および位相を決定することを備えることを特徴とする請求項11から13のいずれか一項に記載の顕微鏡ピント調整方法。
  15. 前記較正ステップは、入射波(1)と参照対象物(105)の相互作用から生じる電磁場の位相および強度の画像の少なくとも一つを参照対象物の一つの軸方向位置について取得することと、参照対象物の様々な軸方向位置について位相および強度の画像を計算することとを備え、前記画像が測定された位相および強度の画像から伝搬アルゴリズムを用いて取得されることを特徴とする請求項14に記載の顕微鏡ピント調整方法。
  16. 参照対象物(105)の三次元位置の算出された変化を顕微鏡に送信することをさらに備えることを特徴とする請求項11から15のいずれか一項に記載の顕微鏡ピント調整方法。
JP2016530956A 2013-11-13 2014-10-31 顕微鏡用の三次元ピント調整装置および方法 Active JP6578278B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
FR1361065 2013-11-13
FR1361065A FR3013128B1 (fr) 2013-11-13 2013-11-13 Dispositif et methode de mise au point tridimensionnelle pour microscope
FR1456113A FR3013129B1 (fr) 2013-11-13 2014-06-30 Dispositif et methode de mise au point tridimensionnelle pour microscope
FR1456113 2014-06-30
PCT/EP2014/073446 WO2015071116A1 (fr) 2013-11-13 2014-10-31 Dispositif et methode de mise au point tridimensionnelle pour microscope

Publications (2)

Publication Number Publication Date
JP2016541014A JP2016541014A (ja) 2016-12-28
JP6578278B2 true JP6578278B2 (ja) 2019-09-18

Family

ID=49998477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016530956A Active JP6578278B2 (ja) 2013-11-13 2014-10-31 顕微鏡用の三次元ピント調整装置および方法

Country Status (6)

Country Link
US (1) US10261305B2 (ja)
EP (1) EP3069185B1 (ja)
JP (1) JP6578278B2 (ja)
ES (1) ES2879289T3 (ja)
FR (2) FR3013128B1 (ja)
WO (1) WO2015071116A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401793B2 (en) * 2010-06-17 2019-09-03 Purdue Research Foundation Digital holographic method of measuring cellular activity and measuring apparatus with improved stability
US10371874B2 (en) * 2016-06-20 2019-08-06 Yonsei University, University—Industry Foundation (UIF) Substrate unit of nanostructure assembly type, optical imaging apparatus including the same, and controlling method thereof
WO2018102147A1 (en) * 2016-11-29 2018-06-07 University Of Pittsburgh-Of The Commonwealth System Of Higher Education System and method for estimating and compensating for sample drift during data acquisition in fluorescence microscopy
CN106842535B (zh) * 2017-01-13 2019-10-29 清华大学 基于光流的相位显微成像系统及其方法
US12055471B2 (en) 2019-08-30 2024-08-06 Centre National De La Recherche Scientifique Method and device for the optical characterization of particles
FR3100335B1 (fr) * 2019-08-30 2024-03-29 Centre Nat Rech Scient Méthode et dispositif de caractérisation optique de particules
DE102021102990A1 (de) * 2021-02-09 2022-08-11 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bestimmung der optimalen Position der Fokalebene zum Mikroskopieren einer Probe
WO2023075674A1 (en) * 2021-11-01 2023-05-04 Holtra Ab Method and arrangement for optical detection of dielectric particles
SE2230165A1 (en) * 2021-11-01 2023-05-02 Holtra Ab Method and arrangement for optical detection of dielectric particles

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
JP4786291B2 (ja) * 2005-10-19 2011-10-05 浜松ホトニクス株式会社 光ピンセット装置
US7848019B2 (en) * 2007-12-10 2010-12-07 Cytyc Corporation Microscope calibration apparatus and method and stage including calibration apparatus
JP4236123B1 (ja) * 2008-04-21 2009-03-11 株式会社林創研 三次元画像取得装置
JP5173850B2 (ja) * 2009-01-05 2013-04-03 キヤノン株式会社 検査装置
US20120162733A1 (en) * 2009-06-26 2012-06-28 Consiglio Nazionale Delle Ricerche Method for controlling depth-of-focus in 3d image reconstructions, in particular for synthesizing three-dimensional dynamic scene for three-dimensional holography display, and holographic apparatus utilizing such a method
JP5601539B2 (ja) * 2009-07-13 2014-10-08 株式会社ニコン 3次元方向ドリフト制御装置および顕微鏡装置
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
WO2011143121A2 (en) * 2010-05-10 2011-11-17 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Spatial-domain low-coherence quantitative phase microscopy
US8867033B2 (en) * 2010-06-15 2014-10-21 MKS Technology Spectrometer
DE102011003807A1 (de) * 2011-02-08 2012-08-09 Leica Microsystems Cms Gmbh Mikroskop mit Autofokuseinrichtung und Verfahren zur Autofokussierung bei Mikroskopen
US8717673B2 (en) * 2011-05-28 2014-05-06 Board Of Trustees Of The University Of Illinois Simple ultra-stable stage with built-in fiduciary markers for fluorescence nanoscopy
FR2978254B1 (fr) 2011-07-21 2014-01-24 Imagine Optic Methode et dispositif optique pour la localisation d'une particule en super resolution
JP5854680B2 (ja) * 2011-07-25 2016-02-09 キヤノン株式会社 撮像装置
EP2737356A1 (en) * 2011-07-25 2014-06-04 Mad City Labs, Inc. Active-feedback positional drift correction in a microscope image using a fiduciary element held on a nanopositioning stage
EP2905645B1 (en) * 2012-10-05 2018-03-07 University of Hyogo Holographic microscope and holographic image generation method
JP6112872B2 (ja) * 2013-01-18 2017-04-12 キヤノン株式会社 撮像システム、画像処理方法、および撮像装置
US9377292B2 (en) * 2013-08-06 2016-06-28 Zygo Corporation Interferometry employing refractive index dispersion broadening of interference signals

Also Published As

Publication number Publication date
US10261305B2 (en) 2019-04-16
FR3013129A1 (fr) 2015-05-15
WO2015071116A1 (fr) 2015-05-21
FR3013129B1 (fr) 2017-12-08
FR3013128B1 (fr) 2016-01-01
JP2016541014A (ja) 2016-12-28
EP3069185A1 (fr) 2016-09-21
US20160341946A1 (en) 2016-11-24
FR3013128A1 (fr) 2015-05-15
ES2879289T3 (es) 2021-11-22
EP3069185B1 (fr) 2021-05-05

Similar Documents

Publication Publication Date Title
JP6578278B2 (ja) 顕微鏡用の三次元ピント調整装置および方法
US7839551B2 (en) Holographic microscopy of holographically trapped three-dimensional structures
US9116120B2 (en) Three dimensional imaging
JP5168168B2 (ja) 屈折率測定装置
US8331019B2 (en) Holographic microscopy of holographically trapped three-dimensional nanorod structures
US9857302B2 (en) Method and apparatus for manipulating near field using light scattering
JP6091314B2 (ja) ホログラフィック反射撮像装置および方法
US9194818B2 (en) Distance measurement system and optical resolution improvement apparatus
JP2004538451A (ja) 三次元顕微鏡検査法によってサンプルを得るための方法およびデバイス
US20220262087A1 (en) Method and apparatus for super-resolution optical imaging
TWI797377B (zh) 表面形狀量測裝置以及表面形狀量測方法
JPH0344613A (ja) 顕微方法及び装置
GB2477844A (en) Highly spatially resolved optical spectroscopy/microscopy
US11187518B2 (en) Method and apparatus for super-resolution optical metrology
KR101505745B1 (ko) 이중 검출 반사 공초점 현미경 및 이를 사용하는 시편의 높이의 정보를 검출하는 방법
KR102272366B1 (ko) 위상 정보 추출과 입체 영상 구성 방법 및 장치
JP4989764B2 (ja) 超高分解能走査光学測定装置
JP2021135409A (ja) 位相イメージング装置、位相イメージング方法
KR101531102B1 (ko) 빛의 산란을 이용한 근접장 제어 장치 및 방법
JPH1144517A (ja) 形状測定方法及び形状測定器
JP2023119281A (ja) 光計測システム、情報処理装置、光計測方法および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190826

R150 Certificate of patent or registration of utility model

Ref document number: 6578278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250