JP6989007B2 - マニピュレーションシステム及びマニピュレーションシステムの駆動方法 - Google Patents

マニピュレーションシステム及びマニピュレーションシステムの駆動方法 Download PDF

Info

Publication number
JP6989007B2
JP6989007B2 JP2020522173A JP2020522173A JP6989007B2 JP 6989007 B2 JP6989007 B2 JP 6989007B2 JP 2020522173 A JP2020522173 A JP 2020522173A JP 2020522173 A JP2020522173 A JP 2020522173A JP 6989007 B2 JP6989007 B2 JP 6989007B2
Authority
JP
Japan
Prior art keywords
pipette
control unit
micro
sample stage
manipulation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020522173A
Other languages
English (en)
Other versions
JPWO2019230635A1 (ja
Inventor
裕基 植田
学 岸田
伸明 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NSK Ltd
Original Assignee
NSK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NSK Ltd filed Critical NSK Ltd
Publication of JPWO2019230635A1 publication Critical patent/JPWO2019230635A1/ja
Application granted granted Critical
Publication of JP6989007B2 publication Critical patent/JP6989007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1065Multiple transfer devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/32Micromanipulators structurally combined with microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Microscoopes, Condenser (AREA)
  • Manipulator (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本発明は、マニピュレーションシステム及びマニピュレーションシステムの駆動方法に関する。
バイオテクノロジ分野において、微小な対象物に微細な操作を行うマイクロマニピュレーションシステムが知られている。マニピュレーションシステムは、顕微鏡観察下で、微小対象物を保持するための保持用ピペットで微小対象物の位置を固定しつつ、操作用ピペットを微小対象物の操作対象の位置に突き刺してインジェクション操作が行われる。これにより、マニピュレーションシステムは、細胞や卵にDNA溶液や細胞を注入する等の操作を行う。
下記特許文献1には、細胞(標本)へのインジェクションを自動で行うマニピュレーションシステムが記載されている。また、下記特許文献2には、微小対象物に対して電場を作用させることで、微小対象物の位置を変化させる位置決め装置が記載されている。
特許第4838520号公報 特開2001−239500号公報
インジェクション操作を行う場合、操作者の高い技術が必要であり、微小対象物の損傷や、操作者の感覚に依存した操作のバラツキが生じる可能性がある。これらの操作を自動制御で行う場合、微小対象物の操作対象位置を検出することが困難であり、操作対象位置に操作用ピペットを突き刺すことが困難な場合がある。
特許文献1のマイクロマニピュレータシステムは、微小対象物の操作対象位置の検出及び操作対象位置の位置決めは行っていない。また、特許文献2の位置決め装置は、電場を発生させる電極や制御装置を別途設ける必要があり、作業スペースを確保することが困難となる可能性がある。
本発明は、上記の課題に鑑みてなされたものであって、簡易な構成で微小対象物の操作対象位置を検出することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供する。
上記の目的を達成するため、本発明の一態様に係るマニピュレーションシステムは、微小対象物が載置される試料ステージと、前記微小対象物を保持するための第1ピペットを備える第1マニピュレータと、前記第1ピペットに保持された前記微小対象物を操作するための第2ピペットを備える第2マニピュレータと、前記微小対象物を撮像する撮像部と、前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御する制御部と、を備え、前記制御部は、前記試料ステージに垂直な方向から見たときに、前記微小対象物と重なり、かつ、前記第2ピペットの延在方向と直交する方向で前記微小対象物の中心から離れた位置で、前記第2ピペットを前記微小対象物の上側から前記試料ステージに近づく方向に移動させる。
これによれば、第2ピペットが高さ方向に移動して微小対象物に接触することで、微小対象物が回転する。このため、マニピュレーションシステムは、操作対象位置が検出されない場合においても、微小対象物を回転操作することで操作対象位置を変化させて、操作対象位置の検出が可能となる。また、第2ピペットにより回転操作を行うことができるため、マニピュレーションシステムは、微小対象物の回転操作のための専用機器が不要である。したがって、マニピュレーションシステムは、簡易な構成で微小対象物の操作対象位置を検出することができる。
マニピュレーションシステムの望ましい態様として、前記第2ピペットの先端は、前記試料ステージに垂直な方向から見たときに、前記微小対象物の外周よりも外側に配置されて、前記第2ピペットの軸部が前記微小対象物に接触する。これによれば、微小対象物の回転操作の際に、第2ピペットの先端が微小対象物に接触しない。このため、マニピュレーションシステムは、微小対象物の損傷や、第2ピペットの損傷を抑制することができる。
マニピュレーションシステムの望ましい態様として、前記制御部は、前記撮像部の画像データに基づいて前記微小対象物の操作対象位置を検出し、前記第2ピペットを前記操作対象位置に移動させて、前記微小対象物に対する操作を前記第2ピペットに実行させる。これによれば、制御部が、画像データに基づいて操作対象位置を検出するため、操作者の熟練度によらず、操作対象位置を検出することができる。また、操作対象位置の検出と、微小対象物に対する操作が制御部により自動で行われるため、マニピュレーションシステムは、効率よくかつ好適に微小対象物を操作することができる。
マニピュレーションシステムの望ましい態様として、前記制御部は、前記第1ピペットを高さ方向に操作し、異なる高さ位置ごとに撮像された前記微小対象物の複数の画像データに基づいて、前記微小対象物の操作対象位置を検出する。これによれば、マニピュレーションシステムは、精度よく操作対象位置を検出することができる。
本発明の一態様に係るマニピュレーションシステムの駆動方法は、微小対象物が載置される試料ステージと、前記微小対象物を保持するための第1ピペットを備える第1マニピュレータと、前記第1ピペットに保持された前記微小対象物を操作するための第2ピペットを備える第2マニピュレータと、前記微小対象物を撮像する撮像部と、前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御する制御部と、を備えるマニピュレーションシステムの駆動方法であって、前記第1ピペットに保持された前記微小対象物の操作対象位置を、前記撮像部の画像データに基づいて前記制御部が検出する検出ステップと、前記検出ステップで前記操作対象位置が検出されない場合に、前記制御部は、前記試料ステージに垂直な方向から見たときに、前記微小対象物と重なり、かつ、前記第2ピペットの延在方向と直交する方向で前記微小対象物の中心から離れた位置で、前記第2ピペットを前記微小対象物の上側から前記試料ステージに近づく方向に移動させる回転ステップと、を含む。
これによれば、第2ピペットが高さ方向に移動して微小対象物に接触することで、微小対象物が回転する。このため、マニピュレーションシステムの駆動方法は、操作対象位置が検出されない場合においても、微小対象物を回転操作することで操作対象位置を変化させ、操作対象位置の検出が可能となる。また、第2ピペットにより回転操作を行うことができるため、マニピュレーションシステムの駆動方法は、回転操作のための専用機器が不要である。したがって、マニピュレーションシステムの駆動方法は、簡易な構成で微小対象物の操作対象位置を検出することができる。
本発明によれば、簡易な構成で微小対象物の操作対象位置を検出することができる。
図1は、実施形態に係るマニピュレーションシステムの構成を模式的に示す図である。 図2は、微動機構の一例を示す断面図である。 図3は、マニピュレーションシステムの制御ブロック図である。 図4は、実施形態のマニピュレーションシステムの駆動方法を示すフローチャート図である。 図5は、画像処理により検出された細胞及び核の模式図である。 図6は、マニピュレーションシステムによる細胞の核の位置の検出操作を示す模式図である。 図7は、マニピュレーションシステムによる細胞の回転操作を示すフローチャート図である。 図8は、マニピュレーションシステムによる細胞の回転操作を説明するための説明図である。 図9は、マニピュレーションシステムによる細胞の回転操作を説明するための説明図である。 図10は、マニピュレーションシステムによる細胞の回転操作の変形例を説明するための説明図である。
以下、本発明につき図面を参照しつつ詳細に説明する。なお、下記の発明を実施するための形態(以下、実施形態という)により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。
(実施形態)
図1は、実施形態に係るマニピュレーションシステムの構成を模式的に示す図である。マニピュレーションシステム10は、顕微鏡観察下で微小対象物(例えば細胞や卵など)である試料を操作するためのシステムである。図1に示すように、マニピュレーションシステム10は、顕微鏡ユニット12と、第1マニピュレータ14と、第2マニピュレータ16と、マニピュレーションシステム10を制御するコントローラ43とを備えている。顕微鏡ユニット12の両側に第1マニピュレータ14と第2マニピュレータ16とが分かれて配置されている。
顕微鏡ユニット12は、撮像素子を含むカメラ18と、顕微鏡20と、試料ステージ22とを備えている。試料ステージ22は、シャーレなどの試料保持部材11を支持可能であり、試料保持部材11の直上に顕微鏡20が配置される。顕微鏡ユニット12は、顕微鏡20とカメラ18とが一体構造となっており、試料保持部材11に向けて光を照射する光源(図示は省略している)を備えている。なお、カメラ18は、顕微鏡20と別体に設けてもよい。
試料保持部材11には、試料を含む溶液が収容される。試料保持部材11の試料に光が照射され、試料保持部材11の試料で反射した光が顕微鏡20に入射する。試料に関する光学像は、顕微鏡20で拡大された後、カメラ18で撮像される。顕微鏡ユニット12は、カメラ18で撮像された画像を基に試料の観察が可能となっている。
図1に示すように、第1マニピュレータ14は、第1ピペット保持部材24と、X−Y軸テーブル26と、Z軸テーブル28と、X−Y軸テーブル26を駆動する駆動装置30と、Z軸テーブル28を駆動する駆動装置32とを備える。第1マニピュレータ14は、X軸−Y軸−Z軸の3軸構成のマニピュレータである。
なお、本実施形態において、水平面内の一方向をX軸方向、水平面内においてX軸方向と交差する方向をY軸方向、X軸方向及びY軸方向のそれぞれと交差する方向(すなわち鉛直方向)をZ軸方向とする。試料ステージ22の表面は、XY平面と平行であり、Z軸方向と直交する。
X−Y軸テーブル26は、駆動装置30の駆動により、X軸方向又はY軸方向に移動可能となっている。Z軸テーブル28は、X−Y軸テーブル26上に上下移動可能に配置され、駆動装置32の駆動によりZ軸方向に移動可能になっている。駆動装置30、32は、コントローラ43に接続されている。
第1ピペット保持部材24は、Z軸テーブル28に連結され、先端に毛細管チップである第1ピペット25が取り付けられている。第1ピペット保持部材24は、X−Y軸テーブル26とZ軸テーブル28の移動に従って3次元空間を移動領域として移動できる。第1ピペット保持部材24は、試料保持部材11に収容された試料を、第1ピペット25を介して保持することができる。すなわち、第1マニピュレータ14は、微小対象物の保持に用いられる保持用マニピュレータであり、第1ピペット25は、微小対象物の保持手段として用いられるホールディングピペットである。
第2マニピュレータ16は、第2ピペット保持部材34と、X−Y軸テーブル36と、Z軸テーブル38と、X−Y軸テーブル36を駆動する駆動装置40と、Z軸テーブル38を駆動する駆動装置42とを備える。第2マニピュレータ16は、X軸−Y軸−Z軸の3軸構成のマニピュレータである。
X−Y軸テーブル36は、駆動装置40の駆動により、X軸方向又はY軸方向に移動可能となっている。Z軸テーブル38は、X−Y軸テーブル36上に上下移動可能に配置され、駆動装置42の駆動によりZ軸方向に移動可能になっている。駆動装置40、42は、コントローラ43に接続されている。
第2ピペット保持部材34は、Z軸テーブル38に連結され、先端にガラス製の第2ピペット35が取り付けられている。第2ピペット保持部材34は、X−Y軸テーブル36とZ軸テーブル38の移動に従って3次元空間を移動領域として移動できる。第2ピペット保持部材34は、試料保持部材11に収容された試料を人工操作することが可能である。すなわち、第2マニピュレータ16は、微小対象物の操作(DNA溶液の注入操作や穿孔操作など)に用いられる操作用マニピュレータであり、第2ピペット35は、微小対象物のインジェクション操作手段として用いられるインジェクションピペットである。
X−Y軸テーブル36とZ軸テーブル38は、第2ピペット保持部材34を、試料保持部材11に収容された試料などの操作位置まで粗動駆動する粗動機構(3次元移動テーブル)として構成されている。また、Z軸テーブル38と第2ピペット保持部材34との連結部には、ナノポジショナとして微動機構44が備えられている。微動機構44は、第2ピペット保持部材34をその長手方向(軸方向)に移動可能に支持するとともに、第2ピペット保持部材34をその長手方向(軸方向)に沿って微動駆動するように構成される。
図2は、微動機構の一例を示す断面図である。図2に示すように微動機構44は、第2ピペット保持部材34を駆動対象とする圧電アクチュエータ44aを備える。圧電アクチュエータ44aは、筒状のハウジング87と、ハウジング87の内部に設けられた転がり軸受80、82と、圧電素子92とを含む。ハウジング87の軸方向に第2ピペット保持部材34が挿通される。転がり軸受80、82は、第2ピペット保持部材34を回転可能に支持する。圧電素子92は、印加される電圧に応じて第2ピペット保持部材34の長手方向に沿って伸縮する。第2ピペット保持部材34の先端側(図2左側)には第2ピペット35(図1参照)が取り付けられ固定される。
第2ピペット保持部材34は、転がり軸受80、82を介してハウジング87に支持される。転がり軸受80は、内輪80aと、外輪80bと、内輪80aと外輪80bとの間に設けられたボール80cとを備える。転がり軸受82は、内輪82aと、外輪82bと、内輪82aと外輪82bとの間に設けられたボール82cとを備える。各外輪80b、82bがハウジング87の内周面に固定され、各内輪80a、82aが中空部材84を介して第2ピペット保持部材34の外周面に固定される。このように、転がり軸受80、82は、第2ピペット保持部材34を回転自在に支持するようになっている。
中空部材84の軸方向の略中央部には、径方向外方に突出するフランジ部84aが設けられている。転がり軸受80は、フランジ部84aに対して第2ピペット保持部材34の先端側に配置され、転がり軸受82はフランジ部84aに対して後端側に配置される。内輪間座としてのフランジ部84aを挟んで転がり軸受80の内輪80aと、転がり軸受82の内輪82aとが配置される。第2ピペット保持部材34の外周面にねじ加工が施されており、内輪80aの先端側、及び内輪82aの後端側からロックナット86、86が第2ピペット保持部材34に螺合される。これにより、転がり軸受80、82の軸方向の位置が固定される。
円環状のスペーサ90は、転がり軸受80、82と同軸に外輪82bの軸方向後端側に配置される。スペーサ90の軸方向後端側には、円環状の圧電素子92がスペーサ90と略同軸に配置される。さらに圧電素子92の軸方向後端側にはハウジング87の蓋88が配置される。蓋88は、圧電素子92を軸方向に固定するためのもので、第2ピペット保持部材34が挿通する孔部を有する。蓋88は、例えば、ハウジング87の側面に不図示のボルトにより締結されていてもよい。なお、圧電素子92は、棒状又は角柱状としてスペーサ90の周方向に略等配となるように並べても良く、第2ピペット保持部材34を挿通する孔部を有した角筒としても良い。
圧電素子92はスペーサ90を介して転がり軸受82と接している。圧電素子92は、リード線(図示せず)を介してコントローラ43に接続されている。圧電素子92は、コントローラ43からの印加電圧に応答して軸方向に沿って伸縮し、第2ピペット保持部材34をその軸方向に沿って微動させるようになっている。第2ピペット保持部材34が軸方向に沿って微動すると、この微動が第2ピペット35(図1参照)に伝達され、第2ピペット35の位置が微調整されることになる。また、圧電素子92により第2ピペット保持部材34が軸方向に振動すると、第2ピペット35も軸方向に振動する。このように微動機構44により、微小対象物への操作(DNA溶液や細胞の注入操作や穿孔操作など)の際には、より正確な操作が可能となり、圧電素子92による穿孔作用の向上を実現できる。
なお、上述の微動機構44は、微小対象物の操作用の第2マニピュレータ16に設けられるとしているが、微小対象物の固定用の第1マニピュレータ14に設けてもよく、省略することも可能である。
次に、コントローラ43によるマニピュレーションシステム10の制御について図3を参照して説明する。図3は、マニピュレーションシステムの制御ブロック図である。
コントローラ43は、演算手段としてのCPU(Central Processing Unit)及び記憶手段としてのハードディスク、RAM(Random Access Memory)、ROM(Read Only Memory)等のハードウェア資源を備える。コントローラ43は、記憶部46Bに格納された所定のプログラムに基づいて各種の演算を行い、演算結果に従って制御部46Aが各種の制御を行うように駆動信号を出力する。
制御部46Aは、顕微鏡ユニット12の焦点合わせ機構81、第1マニピュレータ14の駆動装置30、駆動装置32、シリンジポンプ29、第2マニピュレータ16の駆動装置40、駆動装置42、圧電素子92、注入ポンプ39を制御する制御回路である。制御部46Aは、必要に応じて設けられたドライバやアンプ等を介して、顕微鏡ユニット12、第1マニピュレータ14及び第2マニピュレータ16のそれぞれに駆動信号を出力する。制御部46Aは、駆動装置30、32、40、42にそれぞれ駆動信号Vxy、V(図1参照)を供給する。駆動装置30、32、40、42は、駆動信号Vxy、Vに基づいてX−Y−Z軸方向に駆動する。制御部46Aは、微動機構44にナノポジショナ制御信号V(図1参照)を供給して、微動機構44の制御を行ってもよい。
コントローラ43は、情報入力手段としてジョイスティック47と、入力部49とが接続されている。入力部49は、例えばキーボードやタッチパネル、マウス等である。また、コントローラ43は、液晶パネル等の表示部45が接続される。表示部45にはカメラ18で取得した顕微鏡画像や各種制御用画面が表示されるようになっている。なお、入力部49としてタッチパネルが用いられる場合には、表示部45の表示画面にタッチパネルを重ねて用い、操作者が表示部45の表示画像を確認しつつ入力操作を行うようにしてもよい。
ジョイスティック47は公知のものを用いることができる。ジョイスティック47は、例えば、基台と、基台から直立するハンドル部とを備えている。ジョイスティック47は、ハンドル部を傾斜させるように操作することで駆動装置30、40のX−Y駆動を行うことができ、ハンドル部をねじることで駆動装置32、42のZ駆動を行うことができる。ジョイスティック47は、シリンジポンプ29、圧電素子92、注入ポンプ39の各駆動を操作するためのボタン47Aを備えていてもよい。
コントローラ43は、さらに画像入力部43A、画像処理部43B、画像出力部43C及び位置検出部43Dを備えている。顕微鏡20を通してカメラ18で撮像した画像信号VPIX(図1参照)が画像入力部43Aに入力される。画像処理部43Bは、画像入力部43Aから画像信号を受け取って、画像処理を行う。画像出力部43Cは、画像処理部43Bで画像処理された画像情報を表示部45へ出力する。位置検出部43Dは、微小対象物である細胞100等の位置や、細胞100の核100A等の位置を、画像処理後の画像情報に基づいて検出することができる。細胞100の核100Aは、第2ピペット35によるインジェクション操作を行う操作対象である。位置検出部43Dは、画像情報に基づいてカメラ18の撮像領域内における細胞100等の有無を検出することができる。また、位置検出部43Dは、第1ピペット25及び第2ピペット35の位置を検出してもよい。画像入力部43A、画像処理部43B、画像出力部43C及び位置検出部43Dは、制御部46Aにより制御される。
画像処理部43Bは、例えば細胞100の位置や細胞100の核100Aの位置を検出するために、画像入力部43Aから受け取った画像信号について二値化処理とフィルタ処理を実行する。画像処理部43Bは、画像信号をグレースケール化して、あらかじめ設定された所定の閾値に基づいて、このグレースケール画像をモノクロ画像に変換する。そして、画像処理部43Bは、二値化処理とフィルタ処理により得られたモノクロ画像に基づいてエッジ抽出処理やパターンマッチングを行う。その処理結果に基づいて位置検出部43Dは、細胞100の位置や細胞100の核100Aの位置を検出することができる。
制御部46Aは、位置検出部43Dからの位置情報、及び細胞等の有無の情報に基づいて、第1マニピュレータ14及び第2マニピュレータ16を制御する。本実施形態において、制御部46Aは、第1マニピュレータ14及び第2マニピュレータ16を所定のシーケンスで自動的に駆動する。かかるシーケンス駆動は、記憶部46Bにあらかじめ保存された所定のプログラムによるCPUの演算結果に基づいて、制御部46Aが順次それぞれに駆動信号を出力することで行われる。
次にマニピュレーションシステム10の駆動方法について説明する。図4は、実施形態のマニピュレーションシステムの駆動方法を示すフローチャート図である。図5は、画像処理により検出された細胞及び核の模式図である。図6は、マニピュレーションシステムによる細胞の核の位置の検出操作を示す模式図である。
本実施形態のマニピュレーションシステム10は、試料保持部材11に載置された複数の細胞100に対して、1つの細胞100ごとに操作を行い、複数の細胞100について操作を繰り返し実行することができる。コントローラ43は、複数の細胞100に対する操作を自動で実行する。以下の説明では、1つの細胞100に対する操作を説明する。ここで細胞100は卵細胞である。
まず、操作者は、シャーレ等の試料保持部材11を用意し、操作対象の細胞100を試料保持部材11の所定の位置に載置する。図1に示すように、第1ピペット25と第2ピペット35とは、間隔を有して対向して配置されている。細胞100は、第1ピペット25及び第2ピペット35の近傍に配置される。
制御部46Aは、シリンジポンプ29(図3参照)を駆動させ、第1ピペット25の吸引を実行させる。これにより、第1ピペット25の内部が陰圧となり、第1ピペット25の開口25aに向かって試料保持部材11の培養液の流れが発生する。細胞100は、培養液とともに吸引されて、第1ピペット25の開口25a(図6参照)に保持される。
制御部46Aは、第1ピペット25に保持された細胞100をカメラ18の撮像領域IA(図8参照)に移動させる。そして、制御部46Aは、顕微鏡ユニット12によって細胞100を撮像し、細胞100の画像データを取得する(ステップST11)。
次に、制御部46Aは、第1ピペット25のZ軸方向の移動回数nを比較する(ステップST12)。ここで、移動回数nは、第1ピペット25を高さピッチh1(図6参照)ずつ移動させて、核100Aの高さ位置HP0、HP1、HP2、HP3、HP4を変更した回数である。移動回数nは、記憶部46Bに記憶される。
移動回数nが移動終了回数Neよりも小さい場合(ステップST12、n<Ne)、制御部46Aは、移動回数nがn=0であるかどうかを判断する(ステップST13)。移動終了回数Neは、あらかじめ設定された第1ピペット25のZ軸方向の移動回数である。移動終了回数Neは、入力部49から入力されて記憶部46Bに記憶される。例えば、図6では移動終了回数Neは、Ne=5である。移動終了回数Neは、4以下でもよく、6以上でもよい。移動終了回数Neは、例えば、細胞100の大きさ、高さピッチh1、画像処理速度等に応じて変更できる。
移動回数nがn=0である場合(ステップST13、Yes)、制御部46Aは、移動回数nをn=1に更新する(ステップST13−1)。そして、制御部46Aは、細胞100の核100Aを画像処理により検出する(ステップST14)。卵細胞は半透明なので、図5左図に示すように、焦点が合っている高さ(焦点位置SF)で、細胞100をスライスしたような画像データが得られる。この画像データについて、画像処理部43Bが画像処理を行う。画像処理部43Bは上述した二値化処理とフィルタ処理を実行する。これにより、図5右図に示すように、画像処理部43Bは、核100Aと対応する位置の色が周囲と異なるモノクロ画像を出力し、エッジ抽出処理やパターンマッチングを行う。
制御部46Aは、画像処理の結果に基づいて核100Aが検出されたかどうかを判断する(ステップST15)。核100Aが検出された場合(ステップST15、Yes)、位置検出部43Dは、図5右図に示す画像処理結果から、核100Aと対応する同等の大きさで、円形に近く、かつ周囲と色が異なる領域を検出する。これにより、位置検出部43Dは、細胞100の核100Aの位置を検出することができる。検出された核100Aの位置は、記憶部46Bに記憶される。
制御部46Aは、第2ピペット35により、核100Aの位置へのインジェクション操作を実行する(ステップST16)。その後、制御部46Aは、第1ピペット25及び第2ピペット35を初期位置へ移動させて(ステップST17)、核100Aの位置の検出及びインジェクション操作を終了する。
核100Aが検出されない場合(ステップST15、No)、制御部46Aは、移動回数nの比較ステップ(ステップST12、ステップST13)を繰り返し実行する。移動回数nが移動終了回数Neよりも小さく(ステップST12、n<Ne)、且つ、移動回数nがn=0ではない場合(ステップST13、No)、制御部46Aは、第1ピペット25を高さ方向に操作する(ステップST21)。
図6に示すように、制御部46Aは、第1ピペット25を高さピッチh1ずつ移動させて、核100Aの高さ位置HP0、HP1、HP2、HP3、HP4を変更する。例えば、制御部46Aは、第1ピペット25を、高さ位置HP0から高さ位置HP1にZ軸方向に移動させる。なお、本明細書において、第1ピペット25の高さ位置は、開口25aの中心を通る仮想線が、第1ピペット25の端面と交差する位置の、Z軸方向の高さである。制御部46Aは、第1ピペット25の高さ位置を順次変更することで、核100Aの位置が顕微鏡20の焦点位置SFに一致するように、細胞100を操作する。なお、高さ位置HP0、HP1、HP2、HP3、HP4の移動の順番、高さピッチh1は適宜調整可能である。
制御部46Aは、第1ピペット25を高さピッチh1だけ移動させた後、移動回数nをn=n+1に更新する(ステップST22)。そして、核100Aの高さ位置HP0、HP1、HP2、HP3、HP4ごとに、上述した画像処理及び核100Aの検出処理(ステップST14、ST15)を繰り返し実行する。移動終了回数Neまでに核100Aが検出された場合、制御部46Aは、第2ピペット35により、核100Aの位置へのインジェクション操作を実行する(ステップST15)。この場合、図6に示すように、第2ピペット35の高さ位置を核100Aの高さ位置に移動させることで、良好にインジェクション操作を実行できる。
移動回数nが移動終了回数Neに達した場合(ステップST12、n=Ne)、制御部46Aは、細胞100の回転操作を実行する(ステップST30)。図7は、マニピュレーションシステムによる細胞の回転操作を示すフローチャート図である。図8及び図9は、マニピュレーションシステムによる細胞の回転操作を説明するための説明図である。なお、図8は、カメラ18の撮像領域IAをZ軸方向から見たときの説明図である。また、図9は、第1ピペット25に保持された細胞100をX軸方向から見たときの説明図である。
図7及び図8に示すように、制御部46Aは、第1ピペット25を移動させて、細胞100を初期位置に移動させる(ステップST30−1)。このときの第2ピペット35の先端35aの位置は(X0、Y0、Z0)である。次に、制御部46Aは、第2ピペット35を移動させる(ステップST30−2)。図8に示すように、第2ピペット35は、X軸方向に延在する。制御部46Aは、Z軸方向から見たときに、細胞100と重なる位置であって、細胞100の中心100CからY軸方向に離れた位置に第2ピペット35を移動させる。距離L(図9参照)は、このときの第2ピペット35の軸部35bと、細胞100の中心100CとのY軸方向の距離である。また、第2ピペット35の先端35aは、Z軸方向から見たときに、細胞100の外周よりも外側に配置され、第2ピペット35の軸部35bが細胞100と重なる位置に配置される。このときの第2ピペット35の先端53aの位置は(X1、Y1、Z1)である。
次に、制御部46Aは、シリンジポンプ29を制御して、第1ピペット25による吸引を弱める(ステップST30−3)。これにより、細胞100は第1ピペット25から離れる方向にわずかに移動する。又は、細胞100は回転できるように第1ピペット25の開口25aに接していてもよい。このとき、図9に示すように、第2ピペット35は、細胞100と接しない位置に設けられる。
制御部46Aは、第2ピペット35を細胞100の上側から試料ステージ22に近づく方向に移動させる。これにより、細胞100が第2ピペット35の軸部35bに接触して回転する(ステップST30−4)。具体的には、図9に示すように、第2ピペット35が下側に移動することで、細胞100の位置100Dで接する(ステップST30−4−1)。ここで、X軸方向から見たときに、細胞100の中心100Cと、位置100Dとを結ぶ仮想線を、仮想線A2とする。
第2ピペット35が、さらに下側に移動することで、細胞100の位置100Dには、下側に向かう力が加えられる。このとき、第1ピペット25により、細胞100には、開口25aの中心に向かう吸引力が加えられる。このため、細胞100は、中心100Cを通り、X軸方向に平行な方向を中心軸として回転しつつ、第2ピペット35によりY軸方向に押し出されるように移動する(ステップST30−4−2)。
第2ピペット35がさらに下側に移動し、細胞100から離れると、細胞100の回転が終了する(ステップST30−4−3)。このときの第2ピペット35の先端53aの位置は(X1、Y1、Z2)である。そして、第1ピペット25の吸引により、細胞100の中心100Cは、開口25aの中心に一致するように移動する。ここで、X軸方向から見たときに、細胞100の中心100Cと、第2ピペット35が細胞100から離れた場合における位置100Dとを結ぶ仮想線を、仮想線A3とする。細胞100の回転角度θは、仮想線A2と仮想線A3とがなす角度とする。細胞100の回転により、核100Aも、中心100Cを通り、X軸方向に平行な方向を中心軸として回転角度θだけ回転する。本実施形態のマニピュレーションシステム10において、細胞100の回転角度θは、第2ピペット35を細胞100に接触させる位置100D(距離L)によって調整できる。細胞100の半径をRとしたとき、回転角度θだけ回転させる場合、距離LはL=Rcos(θ/2)となる。
細胞100の回転操作を行った後、制御部46Aは、シリンジポンプ29の吸引を再開し、第1ピペット25の内部を陰圧にして吸引する(ステップST30−5)。これにより第1ピペット25に細胞100が保持される。その後、第2ピペット35を初期状態の位置(X0、Y0、Z0)に移動させる(ステップST30−6)。
その後、図4に示すように、制御部46Aは、移動回数nをn=0にリセットする(ステップST31)。そして、制御部46Aは、上述した画像処理、核100Aの位置座標の取得及び第1ピペット25の高さ位置の操作を、核100Aが検出されるまで繰り返し実行する。
マニピュレーションシステム10は、これら一連の動作を制御部46Aが自動で行う。このため、マニピュレーションシステム10は、操作者の熟練度や技術によらず、効率よく細胞100を操作することができる。
以上説明したように、マニピュレーションシステム10は、試料ステージ22と、第1マニピュレータ14と、第2マニピュレータ16と、撮像部(顕微鏡ユニット12)と、制御部46Aと、を有する。試料ステージ22は、微小対象物(細胞100)が載置される。第1マニピュレータ14は、微小対象物を保持するための第1ピペット25を備える。第2マニピュレータ16は、第1ピペット25に保持された微小対象物を操作するための第2ピペット35を備える。撮像部は、微小対象物を撮像する。制御部46Aは、試料ステージ22、第1ピペット25、第2ピペット35及び撮像部を制御する。制御部46Aは、試料ステージ22に垂直な方向から見たときに、微小対象物と重なり、かつ、第2ピペット35の延在方向と直交する方向で微小対象物の中心から離れた位置で、第2ピペット35を微小対象物の上側から試料ステージ22に近づく方向に移動させる。
これによれば、第2ピペット35が高さ方向に移動して微小対象物に接触することで、微小対象物が回転する。このため、マニピュレーションシステム10は、操作対象位置(核100Aの位置)が検出されない場合においても、微小対象物を回転操作することで操作対象位置を変化させて、操作対象位置の検出が可能となる。また、第2ピペット35により回転操作を行うことができるため、マニピュレーションシステム10は、微小対象物の回転操作のための専用機器が不要である。したがって、マニピュレーションシステム10は、簡易な構成で微小対象物の操作対象位置を検出することができる。
また、マニピュレーションシステム10において、第2ピペット35の先端35aは、試料ステージ22に垂直な方向から見たときに、微小対象物の外周よりも外側に配置されて、第2ピペット35の軸部35bが微小対象物に接触する。これによれば、微小対象物の回転操作の際に、第2ピペット35の先端35aが微小対象物に接触しない。このため、マニピュレーションシステム10は、微小対象物の損傷や、第2ピペット35の損傷を抑制することができる。
また、マニピュレーションシステム10において、制御部46Aは、撮像部の画像データに基づいて微小対象物の操作対象位置を検出し、第2ピペット35を操作対象位置に移動させて、微小対象物に対する操作を第2ピペット35に実行させる。これによれば、制御部46Aが、画像データに基づいて操作対象位置を検出するため、操作者の熟練度によらず、操作対象位置を検出することができる。また、操作対象位置の検出と、微小対象物に対する操作が制御部46Aにより自動で行われるため、マニピュレーションシステム10は、効率よくかつ好適に微小対象物を操作することができる。
また、マニピュレーションシステム10において、制御部46Aは、第1ピペット25を高さ方向に操作し、異なる高さ位置ごとに撮像された微小対象物の複数の画像データに基づいて、操作対象位置を検出する。これによれば、マニピュレーションシステム10は、精度よく操作対象位置を検出することができる。
また、マニピュレーションシステム10の駆動方法は、第1ピペット25に保持された微小対象物(細胞100)の操作対象位置(核100Aの位置)を、撮像部(顕微鏡ユニット12)の画像データに基づいて制御部46Aが検出する検出ステップ(ステップST14)と、検出ステップで操作対象位置が検出されない場合に、制御部46Aは、試料ステージ22に垂直な方向から見たときに、微小対象物と重なり、かつ、第2ピペット35の延在方向(X軸方向)と直交する方向(Y軸方向)で微小対象物の中心100Cから離れた位置で、第2ピペット35を微小対象物の上側から試料ステージ22に近づく方向に移動させる回転ステップ(ステップST30)と、を含む。
(変形例)
図10は、マニピュレーションシステムによる細胞の回転操作の変形例を説明するための説明図である。図8、図9では、X軸方向に平行な方向を中心軸として、細胞100を回転操作する場合を示したが、Z軸方向に平行な方向を中心軸として、細胞100を回転操作することもできる。
図10に示すように、制御部46Aは、第1ピペット25を移動させて、細胞100を初期位置に移動させる(ステップST30A−1)。この際、第2ピペット35も初期状態の位置に戻す。次に、制御部46Aは、第2ピペット35を移動させる(ステップST30A−2)。これにより、第2ピペット35の先端35aが座標(IX0、IY0)から座標(IX3、IY3)に位置する。座標(IX3、IY3)は、細胞100の中心100Cを通るY軸に平行な直線と、中心100Cと第2ピペット35の先端35aとを結ぶ直線とのなす角度θが45°以下となる領域に位置する。
次に、制御部46Aは、シリンジポンプ29を停止し、第1ピペット25による吸引を停止させる(ステップST30A−3)。制御部46Aは、第1ピペット25の内部がわずかに陽圧になるように駆動してもよい。これにより、細胞100は第1ピペット25から離れる方向にわずかに移動する。細胞100が移動する際に、第2ピペット35の先端35aと接触することにより、細胞100が回転する(ステップST30A−4)。この操作により細胞100をXY平面内で回転させることが可能となる。つまり、細胞100は、Z軸方向に平行な方向を中心軸として回転する。このような操作によれば、細胞100の移動に伴って回転するため、第2ピペット35を操作して細胞100を回転させる場合と比較して、細胞100の損傷を抑制することができる。
細胞100の回転操作を行った後、制御部46Aは、シリンジポンプ29の吸引を再開し、第1ピペット25の内部を陰圧にして吸引する(ステップST30A−5)。これにより第1ピペット25に細胞100が保持される。その後、第2ピペット35を初期状態の位置(IX0、IY0)に移動させる(ステップST30A−6)。その後、制御部46Aは、図4に示した画像処理、核100Aの位置座標の取得及び第1ピペット25の高さ位置の操作を、核100Aが検出されるまで繰り返し実行する。
なお、本実施形態及び変形例のマニピュレーションシステム10及びマニピュレーションシステム10の駆動方法は適宜変更してもよい。例えば、第1ピペット25、第2ピペット35等の形状等は、微小対象物の種類や、微小対象物に対する操作に応じて適宜変更することが好ましい。細胞保持操作、核検出操作、インジェクション操作、細胞載置操作の各操作において、適宜手順の一部を省略してもよく、また、手順を置換して実行してもよい。
10 マニピュレーションシステム
11 試料保持部材
12 顕微鏡ユニット
14 第1マニピュレータ
16 第2マニピュレータ
18 カメラ
20 顕微鏡
22 試料ステージ
24 第1ピペット保持部材
25 第1ピペット
26、36 X−Y軸テーブル
28、38 Z軸テーブル
30、32、40、42 駆動装置
34 第2ピペット保持部材
35 第2ピペット
35a 先端
35b 軸部
43 コントローラ
44 微動機構
46A 制御部
100 細胞
100A 核
100C 中心

Claims (4)

  1. 微小対象物が載置される試料ステージと、
    前記微小対象物を保持するための第1ピペットを備える第1マニピュレータと、
    前記第1ピペットに保持された前記微小対象物を操作するための第2ピペットを備える第2マニピュレータと、
    前記試料ステージに垂直な方向で、前記微小対象物を上側から撮像する撮像部と、
    前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御する制御部と、を備え、
    前記制御部は、前記試料ステージに垂直な方向から見たときに、前記微小対象物と重なり、かつ、前記第2ピペットの延在方向と直交する方向で前記微小対象物の中心から離れた位置で、前記第2ピペットを前記微小対象物の上側から前記試料ステージに近づく方向に移動させ
    前記第2ピペットの先端は、前記試料ステージに垂直な方向から見たときに、前記微小対象物の外周よりも外側に配置されて、前記第2ピペットの軸部が前記微小対象物に接触する、
    マニピュレーションシステム。
  2. 前記制御部は、前記撮像部の画像データに基づいて前記微小対象物の操作対象位置を検出し、前記第2ピペットを前記操作対象位置に移動させて、前記微小対象物に対する操作を前記第2ピペットに実行させる、
    請求項1に記載のマニピュレーションシステム。
  3. 前記制御部は、前記第1ピペットを高さ方向に操作し、異なる高さ位置ごとに撮像された前記微小対象物の複数の画像データに基づいて、前記微小対象物の操作対象位置を検出する、
    請求項1又は請求項に記載のマニピュレーションシステム。
  4. 微小対象物が載置される試料ステージと、
    前記微小対象物を保持するための第1ピペットを備える第1マニピュレータと、
    前記第1ピペットに保持された前記微小対象物を操作するための第2ピペットを備える第2マニピュレータと、
    前記試料ステージに垂直な方向で、前記微小対象物を上側から撮像する撮像部と、
    前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御する制御部と、を備えるマニピュレーションシステムの駆動方法であって、
    前記第1ピペットに保持された前記微小対象物の操作対象位置を、前記撮像部の画像データに基づいて前記制御部が検出する検出ステップと、
    前記検出ステップで前記操作対象位置が検出されない場合に、前記制御部は、前記試料ステージに垂直な方向から見たときに、前記微小対象物と重なり、かつ、前記第2ピペットの延在方向と直交する方向で前記微小対象物の中心から離れた位置で、前記第2ピペットを前記微小対象物の上側から前記試料ステージに近づく方向に移動させる回転ステップと、を含み、
    前記回転ステップにおいて、前記第2ピペットの先端は、前記試料ステージに垂直な方向から見たときに、前記微小対象物の外周よりも外側に配置されて、前記第2ピペットの軸部が前記微小対象物に接触する、
    マニピュレーションシステムの駆動方法。
JP2020522173A 2018-06-01 2019-05-27 マニピュレーションシステム及びマニピュレーションシステムの駆動方法 Active JP6989007B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018106391 2018-06-01
JP2018106391 2018-06-01
PCT/JP2019/020857 WO2019230635A1 (ja) 2018-06-01 2019-05-27 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Publications (2)

Publication Number Publication Date
JPWO2019230635A1 JPWO2019230635A1 (ja) 2021-07-01
JP6989007B2 true JP6989007B2 (ja) 2022-01-05

Family

ID=68698096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020522173A Active JP6989007B2 (ja) 2018-06-01 2019-05-27 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Country Status (4)

Country Link
US (1) US12055556B2 (ja)
JP (1) JP6989007B2 (ja)
DE (1) DE112019002795T5 (ja)
WO (1) WO2019230635A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11858142B2 (en) * 2019-03-08 2024-01-02 Nsk Ltd. Manipulation system and driving method of manipulation system
US12000848B2 (en) * 2019-04-08 2024-06-04 Molecular Devices, Llc Incubation system and method for automated cell culture and testing

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3445769B2 (ja) 2000-02-25 2003-09-08 俊郎 樋口 位置決め装置および位置決め方法
JP4838520B2 (ja) 2005-03-11 2011-12-14 オリンパス株式会社 マイクロマニピュレータシステム、プログラム、及び結果確認支援方法
JP2009202331A (ja) * 2007-07-27 2009-09-10 Nsk Ltd マニピュレータ、マニピュレータの駆動方法、マニピュレータシステム及び微小操作対象物の操作方法
WO2012018136A1 (ja) * 2010-08-06 2012-02-09 日本精工株式会社 マニピュレータシステム及び微小操作対象物の操作方法
JP2013160960A (ja) 2012-02-07 2013-08-19 Nsk Ltd マニピュレータシステム及び微小操作対象物の操作方法
JP2017071020A (ja) * 2015-10-07 2017-04-13 日本精工株式会社 マニピュレーションシステム、回転アクチュエータ及びマニピュレーションシステムの駆動方法
JP6690245B2 (ja) * 2016-01-12 2020-04-28 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Also Published As

Publication number Publication date
US20210215727A1 (en) 2021-07-15
DE112019002795T5 (de) 2021-05-12
JPWO2019230635A1 (ja) 2021-07-01
WO2019230635A1 (ja) 2019-12-05
US12055556B2 (en) 2024-08-06

Similar Documents

Publication Publication Date Title
JP6690245B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP5928900B2 (ja) マニピュレータシステム及び微小操作対象物の操作方法
JP6989007B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP2017071020A (ja) マニピュレーションシステム、回転アクチュエータ及びマニピュレーションシステムの駆動方法
JP2013160960A (ja) マニピュレータシステム及び微小操作対象物の操作方法
JP5910407B2 (ja) 硬さ試験機および硬さ試験機における硬さ試験方法
JP2009211027A (ja) マニピュレータシステム及び微小操作対象物の操作方法
JP6528911B2 (ja) マニピュレーションシステム
WO2015050205A1 (ja) マニピュレータシステム及び微小操作対象物の操作方法
JP7188141B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP4758526B2 (ja) 微細作業用マイクロマニピュレーション装置
US20180180867A1 (en) Microscope and setting support method
JP2017205089A (ja) 圧力制御装置、マニピュレーションシステム及び圧力制御方法
JP6859861B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
CN104655626B (zh) 一种显微镜下观察立体结构的装置
JP4331748B2 (ja) マニピュレータ装置、およびマニピュレータ装置を用いた処置具操作方法
JP6035948B2 (ja) 圧電アクチュエータ及びマニピュレータ
JP2011013416A (ja) マニピュレーションシステム及びマニピュレーションシステム駆動方法
JP7322531B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JPWO2020044683A1 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
US11858142B2 (en) Manipulation system and driving method of manipulation system
JP2006133183A (ja) 複合顕微鏡
JP7468211B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP2022131352A (ja) 細胞塊の採取装置及び細胞塊の採取方法
JP6680148B2 (ja) 微小対象物操作用ポンプ装置及びマニピュレーションシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R150 Certificate of patent or registration of utility model

Ref document number: 6989007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150