JP6854000B2 - 微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラム - Google Patents

微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラム Download PDF

Info

Publication number
JP6854000B2
JP6854000B2 JP2016211838A JP2016211838A JP6854000B2 JP 6854000 B2 JP6854000 B2 JP 6854000B2 JP 2016211838 A JP2016211838 A JP 2016211838A JP 2016211838 A JP2016211838 A JP 2016211838A JP 6854000 B2 JP6854000 B2 JP 6854000B2
Authority
JP
Japan
Prior art keywords
wave number
range
value
fine particles
evaluation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016211838A
Other languages
English (en)
Other versions
JP2018072141A (ja
Inventor
逸雄 花▲崎▼
逸雄 花▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Original Assignee
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY filed Critical NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority to JP2016211838A priority Critical patent/JP6854000B2/ja
Publication of JP2018072141A publication Critical patent/JP2018072141A/ja
Application granted granted Critical
Publication of JP6854000B2 publication Critical patent/JP6854000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラムに関する。
流体中の微粒子や分子の運動を計測する技術として、光学顕微鏡を用いたLOC(Lab On a Chip)と呼ばれる、チップ上に微細加工されたラボ・オン・チップ・デバイスを用いた極小規模で実験を行う技術が知られている。LOC技術では、一粒子追跡(SPT:Single Particle Tracking)技術を用いた粒子追跡流速測定技術(PTV:Particle Tracking Velocimetry)、つまり粒子の軌跡から「速度」場を計測する。流速場の評価は光学系構成や画像を二値化して微粒子の位置を特定して軌跡を獲得するアルゴリズムなど多数の技術が開発されている。ところで、流速場の評価技術の開発段階では、熱揺らぎに起因する微小な粒子のランダムなブラウン運動が「ノイズ」として忌避される。これに対して、バイオテクノロジー等の分野では細胞計測として、細胞内やLOC内で注目する分子のブラウン運動の様子自体を計測することが求められる場合がある。しかし、光学顕微鏡では、光源の波長(の半分程度)より小さい物体を捉えることが困難なため、対象となる微粒子や分子は蛍光染色してから観察することが一般的である。
対象となる微粒子や分子を蛍光染色してから観察する際には、蛍光染色に多くの作業量が生じる上に特定の対象となる微粒子や分子だけを染色するのに満たすべき技術条件も存在する。また、蛍光染色に用いる蛍光色素はブリンキングや退色を示すため、観察に際しては熟練が必要である。したがって、微粒子や分子の運動を観察する際に、蛍光染色不要とする技術が求められている。
一方、インクや機能性微粒子合成など産業的な場面では、流体中に分散された微粒子の拡散係数や有効粒径を評価することが求められている。微粒子の拡散係数や有効粒径を評価する際には、細胞計測と違い蛍光染色は非現実的である。例えば、一粒子追跡技術によるSPT装置では、光学顕微鏡に取り付けたカメラ装置で撮像した連続する複数の画像データ(動画データ)から、粒子の位置を時々刻々特定して同一粒子を特定することにより軌跡を得て、その軌跡から拡散係数を評価する。ところが、光学顕微鏡では光源の波長より小さい粒子を捉えることが困難であることに加えて、微粒子を含む高濃度の流体では同一粒子を特定しつつ追跡することが困難である。
そこで、近年、微粒子の拡散係数や有効粒径を評価する場面では、動的光散乱(DLS:Dynamic Light Scattering)の現象を利用した特別の光学系を備えたDLS装置が用いられている。しかし、DLS装置は、光学顕微鏡と異なり空間解像度が無いことが知られている。つまり、対象を空間的に一様と見なしている。しかも、DLS装置は特別の光学系を備えた高価な装置になることが一般的であり、また、DLS装置により得られる基本的な情報は拡散係数及び拡散係数を基にした有効粒径である。
これに対して、動的光散乱と光学顕微鏡の間の時空間スケールで拡散係数の計測を可能にしたDDM(Differential Dynamic Microscopy)技術が提案されている(例えば、非特許文献1参照)。このDDM技術では、光学顕微鏡と高感度カメラで獲得した動画からDLSの原理を理論的に活用することにより、画像の二値化で粒子位置を特定して軌跡を得ることなく拡散係数の評価を可能にしている。
Robert Cerbino and Veronique Trappe, PHYSICAL REVIEW LETTERS,100,188102(2008)
しかしながら、DDM技術では、空間解像度を活用して得られるのはDLSと同様に観測領域を集約した1つの数値だけである。また、DDM技術では、拡散係数の評価に際して、非線形関数等の特定関数へフィッティングする場合に、特定関数に適合するフィッティング範囲を特定する必要がある。ところが、フィッティング範囲の特定を手作業で行うと、拡散係数の評価結果がばらついてしまい、安定した拡散係数の評価を行うことができない。このため、動的光散乱技術を用いて対象となる微粒子の拡散係数の評価には改善の余地がある。
本開示は、上記事実に鑑みてなされたもので、光学顕微鏡を用いて流体中における微粒子の拡散係数等の微粒子情報を簡単かつ自動的に解析することができる微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラムを提供することを目的とする。
上記目的を達成するために、本開示の微粒子情報解析装置は、運動する複数の微粒子を含み、かつ照明光で照明された対象物を連続して撮像する撮像部と、前記撮像部で撮像した連続する複数の撮像画像の2つの撮像画像各々の差分画像における画像強度の波数、及び前記画像強度の波数に対する前記複数の微粒子の自己相関情報を導出する導出部と、動的光散乱現象に基づいて定められた前記波数qと、前記自己相関情報、前記複数の微粒子の拡散係数Dとの間における依存関係に適合し、かつ前記導出部で導出した前記自己相関情報に対する前記画像強度の波数フィッティング範囲の候補範囲を複数導出し、導出した複数の候補範囲の中から前記依存関係の評価用物理量を表す評価関数の最適値を与えるフィッティング範囲を探索する探索部と、前記探索部で探索した前記画像強度の波数フィッティング範囲内の波数、及び前記依存関係を用いて拡散係数を演算する演算部と、を備えた微粒子情報解析装置であって、前記探索部は、前記フィッティング範囲を探索する際に、次式で示される評価関数fを用いて全ての候補範囲[Q1、Q2]における前記評価関数fの値を評価し、前記評価関数fの値が最適値となる候補範囲を前記フィッティング範囲とする。
Figure 0006854000

ただし、Qは波数qの対数で表されるパラメータ、Tは時定数τの対数で表されるパラメータ、nは、前記候補範囲の下限値Q1、上限値Q2、及びパラメータQの微小値ΔQを用いて次式で表される値である。
Figure 0006854000

前記微粒子情報解析装置では、前記探索部は、前記関係に適合する前記波数の範囲を候補範囲として複数導出し、導出した複数の候補範囲の中から前記関係の評価用物理量を表す評価関数の最適値を与える候補範囲を前記波数の範囲として導出する。
前記微粒子情報解析装置では、前記演算部は、ストークス−アインシュタインの関係を用いて、前記算出した拡散係数に対応する粒子径を算出する粒子径算出部を含むことができる
前記微粒子情報解析装置では、前記照明光は、白色光とすることができる。
前記依存関係は、前記自己相関情報が前記波数q、前記拡散係数D、及び時定数τの関係を示す場合、次式で表すことができる。
Figure 0006854000

本開示の微粒子情報解析方法は、コンピュータが、複数の運動する微粒子を含み、かつ照明光で照明された対象物を連続して撮像した複数の撮像画像の2つの撮像画像各々の差分画像における画像強度の波数、及び前記画像強度の波数に対する前記複数の微粒子の自己相関情報を導出し、動的光散乱現象に基づいて定められた前記波数、前記自己相関情報、前記複数の微粒子の拡散係数との間における依存関係に適合する、前記導出した前記自己相関情報に対する前記画像強度の波数のフィッティング範囲を候補範囲として複数導出し、導出した複数の候補範囲の中から前記依存関係の評価用物理量を表す評価関数の最適値を与える候補範囲を前記波数の範囲として導出することにより探索し、探索した前記画像強度の波数の範囲内の波数、及び前記依存関係を用いて拡散係数を演算する微粒子情報解析方法であって、前記フィッティング範囲を探索する際に、次式で示される評価関数を用いて全ての候補範囲[Q1、Q2]における前記評価関数の値を評価し、前記評価関数の値が最小値となる候補範囲を前記フィッティング範囲とする。
Figure 0006854000

ただし、Qは波数qの対数で表されるパラメータ、Tは時定数τの対数で表されるパラメータ、nは、評価関数fの値を評価する場合の候補範囲の下限値Q1、上限値Q2、及びパラメータQの微小値ΔQを用いて次式で表される値である。
Figure 0006854000
本開示の微粒子情報解析プログラムは、複数の運動する微粒子を含み、かつ照明光で照明された対象物を連続して撮像した複数の撮像画像の2つの撮像画像各々の差分画像における画像強度の波数、及び前記画像強度の波数に対する前記複数の微粒子の自己相関情報を導出し、動的光散乱現象に基づいて定められた前記波数、前記自己相関情報、前記複数の微粒子の拡散係数との間における依存関係に適合する、前記導出した前記自己相関情報に対する前記画像強度の波数のフィッティング範囲を候補範囲として複数導出し、導出した複数の候補範囲の中から前記依存関係の評価用物理量を表す評価関数の最適値を与える候補範囲を前記波数の範囲として導出することにより探索し、探索した前記画像強度の波数の範囲内の波数、及び前記依存関係を用いて拡散係数を演算する処理をコンピュータに実行させるための微粒子情報解析プログラムであって、前記フィッティング範囲を探索する際に、次式で示される評価関数を用いて全ての候補範囲[Q1、Q2]における前記評価関数の値を評価し、前記評価関数の値が最小値となる候補範囲を前記フィッティング範囲とする処理をコンピュータに実行させる。
Figure 0006854000

ただし、Qは波数qの対数で表されるパラメータ、Tは時定数τの対数で表されるパラメータ、nは、評価関数fの値を評価する場合の候補範囲の下限値Q1、上限値Q2、及びパラメータQの微小値ΔQを用いて次式で表される値である。
Figure 0006854000
本開示によれば、光学顕微鏡を用いて流体中における微粒子の拡散係数等の微粒子情報を簡単かつ自動的に解析することができる、という効果を奏する。
施形態に係るシステムの構成の一例を示すブロック図である。 施形態に係る微粒子が封入された試料台を示す概念図である。 施形態に係る解析装置の構成の一例を示すブロック図である。 施形態に係る解析装置で実行される評価処理の流れの一例を示すフローチャートである。 施形態に係る解析装置で微粒子情報を解析する場合に適用可能な画像領域の一例を示すイメージ図である。 施形態に係るシステムを用いた第1の実験例の解析結果を示すイメージ図である。 施形態に係るシステムを用いた第2の実験例の解析結果を示すイメージ図である。
以下、図面を参照して本開示の実施の形態を説明する。
本実施形態では、微粒子の各種情報を解析する微粒子情報解析技術を開示する。
従来、複数のデータに対して特定の関数をフィッティングする際に、特定のデータセットに対して、特定の関数に含まれるパラメータの値を調整するために最小二乗法等が用いられている。複数のデータには、特定の関数から乖離したデータを含む場合があり、特定の関数にフィッティングするデータの選別を要する場合がある。この場合、複数のデータに対して直観的にデータを選別する場合が多い。そこで、本実施形態に係る微粒子情報解析技術は、直観的に判断されていた、特定の関数にフィッティングする最適なデータセットを判定できる特定のスケーリング則が成立する範囲を、誤差に関する評価関数を定義することにより、自動判定できるようにしたものである。
本実施の形態では、微粒子情報解析技術を実現するために、光学顕微鏡を用いて微粒子の各種情報を計測することが可能なシステムを提供する。
図1に、本実施の形態に係る微粒子の各種情報を解析するシステムの構成の一例として微粒子情報解析システム10を示す。本実施形態に係る微粒子情報解析システム10は、対象物を目視観察可能な光学顕微鏡20に、対象物を撮像するカメラ装置28が取り付けられて構成されている。本実施形態では、光学顕微鏡20の一例として、倒立型の光学顕微鏡20を用いている。カメラ装置28は、撮像した画像情報を情報処理して微粒子情報を解析する解析装置30に接続されている(詳細は後述する)。
なお、本実施形態では、光学顕微鏡20の一例として、倒立型の光学顕微鏡20を用いている。倒立型の光学顕微鏡20の一例としては、オリンパス製の IX73 を用いることができる。なお、本実施形態では、倒立型の光学顕微鏡を用いた場合を説明するが、光学顕微鏡は倒立型の光学顕微鏡に限定されるものではない。また、本実施形態では、位相差機能を付与した構成で光学顕微鏡20を用いるが、位相差機能を付与するか否かは微粒子の各種情報を計測することに直接関係はない。
図1に示すように、光学顕微鏡20は、照明部22、対物レンズ25、及びアイピース27を備えている。照明部22の光の射出側には、微粒子を含む対象物Obが封入された試料台24が配置されている。照明部22は、光源22Aと照明レンズ22Bを備えており、微粒子を含む対象物Obを照明する。本実施形態では、光源22Aとして白色光源を用い、また光源22Aと照明レンズ22Bによる光学系を、対象物Obに均一に照明する所謂ケーラー照明光学系として機能するように配置して、対象物Obを観察する一般的な光学顕微鏡を用いている。試料台24は、観察位置を変更するための試料設置ステージ23上に取り付けられる。試料設置ステージ23は、光軸方向(図1に矢印Zで示す方向)、及び光軸方向と直交しかつ各々直交する方向(図1に矢印X及び矢印Yで示す方向)に、観察位置を変更することができる。従って、試料設置ステージ23は、X軸、Y軸及びZ軸の少なくとも1軸に沿って試料台24に封入された微粒子を含む対象物Obの位置を調整することができるようになっている。なお、観察位置を変更する方向は、直交する方向でなくてもよく、例えば光軸方向と交差する方向でもよい。
本実施形態において、微粒子を含む対象物Obを照明する照明光学系として、ケーラー照明光学系であることが望ましいが、ケーラー照明光学系に限定されるものではなく、この他の照明光学系を用いてもよい。また、照明光学系の光源として白色光源を用いた場合を説明するが、白色光源に限定されるものではなく、単色光源や複数の単色光源を組み合わせた光源を用いてもよい。
照明部22により白色光が照明された試料台24の光の射出側には、対物レンズ25及びアイピース27が順に設けられており、白色光で照明された微粒子を含む対象物Obを観察者が観察可能になっている。また、対物レンズ25の光の射出側にはビームスプリッタ26が設けられており、ビームスプリッタ26は、対物レンズ25の光の射出側の光路を2光路に分岐する。ビームスプリッタ26で分岐された一方の光路は、アイピース27へ至り、他方の光路は、対象物Obの状態を映像により観察可能とするカメラ装置28に至るように構成されている。カメラ装置28は、撮像した画像情報を情報処理して微粒子情報を解析する解析装置30に接続されている。なお、対物レンズ25の光の射出側の光路を分岐する光学素子はビームスプリッタ26に限定されるものではなく、ミラー等の光学素子により光路を複数に分岐する分岐部であればよい。
本実施形態で適用可能なカメラ装置28は、高いフレームレートが確保でき、かつ高感度のカメラ装置であればよく、例えば、 Andor 社製の Zyla のカメラ装置が挙げられる。
図2に、本実施の形態に係る微粒子を含む対象物Obが封入された試料台24の構成の一例を示す。試料台24は、対象物Obを封入する空間24Hが設けられた台座24Aを備えている。台座24Aの空間24Hに微粒子を含む対象物Obが封入される。台座24Aにおける空間24Hの開放部分の各々(上部及び下部)に、カバーガラス24Bが取り付けられることによって、微粒子を含む対象物Obが封入された状態の試料台24が形成される。
カメラ装置28は、解析装置30に接続されており、解析装置30は、カメラ装置28で撮像した画像を用いて対象物Obに含まれる微粒子の拡散係数を導出したり、微粒子径を導出したりする。
次に、解析装置30について説明する。
図3に、解析装置30を実現可能なコンピュータ構成の一例を示す。解析装置30は、キーボード等の入力部32、ディスプレイ等の表示部34、及び装置本体36を備えている。装置本体36は、CPU36A、RAM36B、ROM36C、およびインタフェース(I/O)36Gを備え、これらはバス36Hを介して互いに接続されている。また、バス36Hには、例えば拡散係数導出プログラム等の解析プログラム36Eを記憶した記憶部36Dが接続されている。また、インタフェース36Gには、カメラ装置28も接続されている。なお、記憶部36Dは、HDD(Hard Disk Drive)や不揮発性のフラッシュメモリ等によって実現できる。
CPU36Aは、例えば拡散係数導出プログラム等の解析プログラム36Eを記憶部36Dから読み出してRAM36Bに展開して処理を実行する。これによって、カメラ装置28で撮像した画像に基づいた微粒子を含む対象物Obの表示、その微粒子の拡散係数や微粒子径等の微粒子情報を解析する解析機能が実行される。
ここで、解析プログラム36Eによって微粒子情報を解析する解析機能の一例として、連続して撮像した複数の撮像画像を用いて、流体中に散在する微粒子の粒子径に対応する拡散係数を導出するアルゴリズムを説明する。
本実施形態に係る解析装置30で実行されるアルゴリズムは、複数の運動する微粒子を含み、かつ照明光で照明された対象物を、カメラ装置28で連続して撮像した複数の撮像画像各々の差分画像における画像強度の波数、及び画像強度の波数に対する複数の微粒子の自己相関情報を導出し、動的光散乱現象に基づいて定められた波数、自己相関情報、及び複数の微粒子の拡散係数の関係に適合する自己相関情報に対する画像強度の波数の範囲を探索し、探索した画像強度の波数の範囲内の波数、及び前記関係を用いて拡散係数を演算する処理をコンピュータに実行させるものである。
具体的には、まず、粘度ηを有するバルク条件の流体中では、直径dを有する微粒子の拡散係数Dは、ストークス−アインシュタイン(Stokes-Einstein)の関係により、
Figure 0006854000



と表すことができる。ここで、kは、ボルツマン(Boltzmann)定数、Tは絶対温度である。
拡散係数Dは、固体壁面近傍では流体力学的効果や直接的なクーロン(Coulomb)力やファンデルワールス力(van der Waals force)の相互作用によりバルクとは異なる値になることが知られている。また、微粒子群の濃度が極端に高くなった場合も分散液全体としての粘度が変わるため希薄条件とは異なる値になる。
なお、本実施形態では、説明を簡単にするために、バルクの水中に微粒子群を分散させたものを解析対象として用いた場合を説明する。
ところで、DDM技術では、光学顕微鏡20で撮像した連続する画像の時間差Δtにおける時間差分画像をフーリエ変換した画像強度F(q,Δt)の波数依存性は、次の式(E1)で表すことができる(文献PRL(Robert Cerbino and Veronique Trappe, PHYSICAL REVIEW LETTERS,100,188102(2008))参照)。
Figure 0006854000

式(E1)は、特定の波数qの範囲における、画像強度Fの波数依存性を示したものであり、概要的には右辺の第1項は微粒子に関連する項であり、第2項はカメラ装置28のノイズを示す項である。そして、様々な波数qの値に対して式(E1)の関係式で画像強度F(波数qと時間差Δtの関係)をフィッティングすれば、波数qと時定数τの関係が得られる。また、技術文献("Dynamic Light Scattering" B.J.Bern & R. Pecora著(Dover))に時定数の関係式に関する導出について記載されているように、動的光散乱と同様の物理法則により、時定数τと波数qと散乱体(微粒子を含む対象物Ob)の拡散係数Dとの間の関係は、次の式(E2)で表すことができる。この式(E2)、及び波数qと時定数τの関係を用いて、拡散係数Dを得ることができる。
Figure 0006854000

これにより、例えば、SPT技術を実施できない、干渉縞のようにまだら模様の明暗画像の連続する複数の画像データ(動画データ)から拡散係数Dを獲得することができる。
なお、式(E2)に示すように、時定数τは波数qが大きくなるにしたがって小さくなる。従って、式(E2)に示す関係は、明暗画像の時間相関、例えば、微粒子の自己相関を示す自己相関情報と捉えることもできる。また、時定数τは、緩和時間を示す情報と捉えることもできる。
ここで、一般的には、式(E2)の成立範囲は、波数qを横軸とし時定数τを縦軸として、波数qと時間差Δtの関係である実験結果として得られた波数qと時定数τをプロットしたグラフから直観的に判断される。式(E2)で表されるスケーリング則を1個得るだけであれば、目視に基づく作業が可能である。ところが、多数回繰り返して式(E2)の成立範囲を得ることは困難である。また、式(E2)の成立範囲の判定は、目視に基づく主観的な判定ではなく、客観的な指標を用いた判定を行うことが望ましい。
そこで、本実施形態では、客観的な指標として得た式(E2)の成立範囲を用いて拡散係数Dを獲得する。以下、本実施形態における拡散係数Dの獲得について詳細に説明する。
まず、時定数τを用いた次の式(E3)でパラメータTを定義し、式(E4)で波数qを用いたパラメータQを定義する。
Figure 0006854000

次に、式(E2)で表されるスケーリング則は、式(E3)及び式(E4)を用いて、次の式(E5)で表すことができる。
Figure 0006854000

特定の範囲[Q1、Q2]でフィッティングを行えば、その係数の値に応じて得られるフィッティング関数と、波数qと時間差Δtの関係である実験値との残差(誤差)を定量化することができる。この残差の二乗を最小化する最小二乗法により、拡散係数Dを得ることができる。このように、通常は定められた実験値の集合に対して、特定の関数を定義し、その残差の二乗を最小化する方法が最小二乗法である。最小二乗法は所謂極値原理の一種であり、変分原理や最適化問題における特定の関数の微分値をゼロにする評価基準の一例と考えることもできる。
本実施形態では、極値原理を、DDMにおけるフィッティングされるべき「範囲」の決定に応用する。一般に、独立同分布な確率変数に対してサンプル数に応じて標準誤差(σ/√n)を得ることができるが、範囲を定めてフィッティングした際に得られる残差に対して同様の形で評価関数を定義する。そして、残差の二乗に関連する量(σ/n)を考える。この場合、注意すべきは、フィッティング範囲[Q1、Q2]の検討は一般的な単なる独立同分布な量の平均値に対する誤差検討とは異なり、式(E5)が成立する妥当な範囲を超えると誤差が著しく増大することである。しかし、その増大が著しくなる際には、自明な境界値は存在しない。したがって、目視でこれを評価すると、評価者によってフィッティング結果が相違する。この相違に対して本実施形態では、式(E9)により表される評価関数を定義し、特定の範囲[Q1、Q2]を導出することで解消した。つまり、残差の二乗に関連する量を、式(E6)により表す。式(E6)に、式(E7)及び式(E8)を適用して、式(E9)で表される関数を定義し、評価関数とした。
Figure 0006854000


Figure 0006854000



Figure 0006854000



Figure 0006854000


ここで、評価関数を定義する際に、[σ(Q1,Q2)]として新たに定義した量は、式(E5)における係数−2(つまり、式(E2)における−2乗)とみなされるのが妥当か否かを評価するためのものである。コンピュータ(解析装置30)を用いてこの評価関数(式(E9))を全ての範囲[Q1,Q2]の候補について評価し、その最小値を与える範囲[Q1,Q2]を最適なフィッティング範囲とする。この条件が破綻せず機能すれば、つまり式(E2)が成立した場合に、自動的に拡散係数Dを評価することが可能になる。
次に、本実施形態に係る解析装置30で実行される拡散係数Dの評価処理を含む解析処理について、さらに説明する。
図4に、解析装置30で実行される解析処理の流れの一例を示す。解析装置30では、CPU36Aが記憶部36Dに記憶された解析プログラム36Eを読み出してRAM36Bに展開して解析処理を実行する。本実施形態では、解析プログラム36Eは、微粒子情報を解析する解析処理の一例として、拡散係数Dを評価して、拡散係数Dを導出する拡散係数導出プログラムを含んでいる。
まず、ステップS100では、画像演算処理が実行される。画像演算処理は、カメラ装置28で撮像した動画を構成する連続した複数の画像を用いて、時間差分に関する空間的FFT(Fast Fourier Transform)を全時間差条件について行い、画像強度Fを得る処理である。このステップS100では、各波数qについて画像強度Fが導出される。なお、時間差分に関する空間的FFT処理は、既知の演算処理プログラムが予めROM36Dに記憶されており、その演算処理プログラムをROM36Dから読み出してRAM36Bに展開して処理を実行する。この場合、撮像画像を縦横に複数分割した画素の輝度データ各々のデータ群が画像データとして入力され、波数qと時間差Δtに対する画像強度Fを示すデータが出力される。
次のステップS110では、時定数演算処理が実行される。時定数演算処理は、ステップS100で得られた各波数qの値に関して式(E1)のフィッティング計算を実行し、時定数τ(q)の実験的な結果を得る処理である。ステップS110では、ステップS100で出力されたデータが入力され、時定数τ(q)の実験的な結果を示すデータが出力される。
次のステップS120では、フィッティング処理が実行される。フィッティング処理は、ステップS110で実験的に得られた時定数τ(q)に対して、式(E2)が成立する範囲[Q1,Q2]を判断するため、全ての範囲[Q1,Q2]の条件についてフィッティング計算を実行する処理である。ステップS120では、ステップS110で実験的な結果として得られた時定数τ(q)を示すデータが入力される。そして、ステップS120では、実験的な結果として得られた時定数τ(q)に対して、式(E2)が成立する範囲[Q1,Q2]の全てを含むデータが、候補の範囲[Q1,Q2]を複数含むデータとして出力される。
次のステップS130では、探索処理が実行される。探索処理は、ステップS120で求めた候補の範囲[Q1,Q2]の全ての中から、式(E9)の計算結果を最小にする最適な範囲[Q1,Q2]を探索する処理である。ステップS130では、ステップS120で出力された候補の範囲[Q1,Q2]の複数のデータが入力される。また、ステップS130では、入力された複数のデータ各々を式(E9)に代入した計算結果が最小になる範囲[Q1,Q2]が最適な範囲[Q1,Q2]の探索結果を示すデータとして出力される。
次のステップS140では、評価処理が実行される。評価処理は、ステップS130の探索結果による最適な範囲[Q1,Q2]で得られた拡散係数Dを評価する処理である。ステップS140では、ステップS130で出力された最適な範囲[Q1,Q2]のデータが入力され、入力された範囲[Q1,Q2]の評価結果を示すデータが出力される。つまり、ステップS130の探索結果による最適な範囲[Q1,Q2]について、式(E2)が成立する場合に、式(E2)で得られた値を拡散係数Dとして出力する。
このようにして、微粒子を含む対象物の拡散係数Dを導出することができる。なお、拡散係数Dを導出できれば、式(E0)を用いて微粒子の直径dを導出するこもできる。従って、カメラ装置28で撮像した画像に基づいた微粒子を含む対象物Obの表示、その微粒子の拡散係数や微粒子の直径等の微粒子情報を解析することができる。
なお、本開示の撮像部は、カメラ装置28に対応する。また、本開示の導出部、探索部、及び演算部は、解析装置30に対応する。さらに、本開示の導出部の機能は、図4に示すステップS100及びステップS110で実行される処理の機能に対応する。また、本開示の探索部の機能は、図4に示すステップS120及びステップS130で実行される処理の機能に対応する。さらに、本開示の演算部の機能は、図4に示すステップS140で実行される処理の機能に対応する。
また、本実施形態では、カメラ装置28で撮像した画像を示す画像データを用いて微粒子の拡散係数Dや微粒子の直径d等の微粒子情報を解析した場合を説明したが、解析に用いる画像は、カメラ装置28で撮像した画像の全領域を用いることに限定されない。例えば、カメラ装置28で撮像した画像の一部の領域を関心領域ROI(Region of Interest)として定め、関心領域ROIにおける微粒子の拡散係数Dや微粒子の直径d等の微粒子情報を解析してもよい。また、カメラ装置28で撮像した画像を複数に分割し、分割した各領域または分割した一部の領域の画像データを関心領域ROIとして定めて微粒子の拡散係数Dや微粒子の直径d等の微粒子情報を解析してもよい。
図5に、本実施形態に係る解析装置30を用いて微粒子情報を解析する場合に適用可能な画像領域の一例を示す。図5(A)は、カメラ装置28で撮像した画像28Gに含まれる一部画像28Gaを示し、図5(B)は、カメラ装置28で撮像した画像28Gを複数(図5(B)では4つ)に分割した分割画像28G−1、28G−2、28G−3、28G−4を示している。
以上説明したように、本実施形態によれば、空間解像度を活用して連続して撮像された撮像画像を用いて運動する微粒子を示す関数へフィッティングする際の成立範囲を特定することができる。これによって、光学顕微鏡を用いて流体中における微粒子の微粒子情報として拡散係数Dを簡単かつ自動的に解析することができる。
つまり、光学顕微鏡を用いて流体中の微粒子群を観察して拡散係数Dを求める場合、微粒子の直径が可視光の波長未満の場合には、光学顕微鏡では目視で粒子を確認することが困難である。また、微粒子の直径が可視光の波長以上の大きさであっても、流体中の微粒子群を撮像した画像を二値化できない場合には、SPT技術を利用することが困難である。一方、DDM技術は、SPT技術を用いたものではなく二値化も不要なため、微粒子を追跡することが困難な場合であっても、拡散係数Dを評価することが可能である。ただし、DDM技術による解析では空間解像度を活用して光の信号から拡散係数Dを抽出する際に、データが示す関数へのフィッティングが必要である。そのフィッティングの成立範囲は、光学系や測定対象で変動するので、妥当な範囲を目視で判断することになる。しかし、フィッティングの成立範囲を目視で判断する場合、撮像画像内に関心領域ROIを定めて拡散係数Dを評価する際には、関心領域ROIの個数に応じて目視による判断が増加することになるので非現実的である。これに対して、本実施形態ではフィッティング範囲をコンピュータを用いて自動判定できるため、拡散係数Dの評価を容易に実行することができる。また、フィッティング成立範囲の基準が客観化されるため、その評価の信頼性が作業者によって相違するような混乱が生じることもない。
また、粒子に関する粒子情報を解析する場合、粒子の運動を追跡することや画像を二値化して閾値を設定することは暗黙の前提であるが、本実施形態ではそれらの前提に拘束されることはない。
さらに、本実施形態では、流速でなく拡散係数Dを定量評価の対象としており、DLS技術を用いた解析装置に比較して安価な装置構成によってDLS技術では困難であった空間分布の評価を容易に行うことができる。また、本実施形態では、光学顕微鏡を用いて微粒子情報を解析する際に、粒子への染色を必要としないため、粒子への染色によって特性の変化が懸念される対象物の解析を容易に実行することができる。
次に、本実施形態に係る微粒子情報解析システム10を用いて微粒子情報を解析した実験例を説明する。本実験例では、微粒子情報として拡散係数Dが既知の微粒子について、微粒子情報解析システム10による解析結果を比較するために、バルクの水中において水と比重の近いポリスチレンで構成され直径が既知の微粒子群を分散させたものを解析対象として用いた場合を説明する。
第1の実験例では、対物レンズ25として20倍の位相差対物レンズを用いた。また、第1の実験例では、解析対象として、Merck社製のmicromerシリーズで粒径500(nm)(メーカーによる公称値)の分散水を純水で希釈し、濃度が0.5mg/mlの状態で、厚さ0.5mmの試料台24に封入された対象物について、解析を行った。粒径500nm、温度20℃での水の粘度として約1×10−3(Pas)を用いると、ストークス−アインシュタインの関係から拡散係数Dは8.6×10−13(m/s)と推定される。
図6に、第1の実験例における解析結果を示す。第1の実験例は、画像の明暗による二値化で粒子を特定することが困難な高濃度微粒子分散試料に対して、解析を実行したものである。図6(A)は、カメラ装置28で撮像した画像28Gとして、縦横に(512×512)画素の画像を関心領域ROIとして定めて解析した結果を示す。また、図6(B)は、カメラ装置28で撮像した画像28Gに含まれる一部画像28Gaとして、縦横に(64×64)画素の領域を関心領域ROIとして定めて解析した結果を示す。
図6(A)及び図6(B)に示すようにスケーリング則(式(E2)参照)が成立する妥当な範囲を自動的に特定することができた。つまり、カメラ装置28で連続して撮像した複数の撮像画像から得られた波数及び緩和時間の関係を示す結果の打点Pの密集部分に、スケーリング則(式(E2)参照)が成立する範囲を自動的に特定した結果による線分Lが描画されていることからも理解できる。
具体的には、第1の実験例の解析により得られた拡散係数Dの値は(512×512)画素の動画を用いた場合、8.4×10−13/sが得られた。また、撮像画像の一部である縦横に(64×64)画素の領域を関心領域ROIを定めて解析した場合、拡散係数Dの値は6.8×10−13/sが得られた。これらの値は、ストークス−アインシュタインの関係に基づいた予測値に対応している。
また、第1の実験例の解析により得られた波数の範囲の探索結果を示すデータセットの一例は、(512×512)画素の動画を用いた場合、4.531×10−6mと、4.569×10−6mと、が得られた。また、縦横に(64×64)画素の領域を関心領域ROIを定めて解析した場合、4.833×10−6mと、5.135×10−6mと、が得られた。これらのデータセットは、スケーリング則(式(E2)参照)が成立する範囲を自動的に特定した結果による線分Lに対する誤差が少なく、線分Lに近い打点である。
第2の実験例では、第1の実験例における微粒子分散試料を変更して解析したものである。第2の実験例では、解析対象として、粒径50(nm)のポリスチレン球を濃度1.0mg/mlの状態で分散させ、厚さ0.5mmの試料台24に封入された対象物について、解析を行った。ストークス−アインシュタインの関係から拡散係数Dは8.6×10−12(m/s)と推定される。
図7に、第2の実験例における解析結果を示す。第2の実験例は、粒子の直径が小さくSPT技術を用いた解析が困難な微粒子分散試料に対して、解析を実行したものである。図7(A)は、カメラ装置28で撮像した画像28Gとして、縦横に(512×512)画素の画像を関心領域ROIとして定めて解析した結果を示す。また、図7(B)は、カメラ装置28で撮像した画像28Gに含まれる一部画像28Gaとして、縦横に(32×32)画素の領域を関心領域ROIとして定めて解析した結果を示す。
図7(A)及び図7(B)に示すようにスケーリング則(式(E2)参照)が成立する妥当な範囲を自動的に特定することができた。第2の実験例の解析により得られた拡散係数Dの値は(512×512)画素の動画を用いた場合、7.9×10−12/sが得られた。また、撮像画像の一部である縦横に(32×32)画素の領域を関心領域ROIを定めて解析した場合、拡散係数Dの値は6.3×10−12/sが得られた。これらの値は、ストークス−アインシュタインの関係に基づいた予測値に対応している。
また、第2の実験例の解析により得られた波数の範囲の探索結果を示すデータセットの一例は、(512×512)画素の動画を用いた場合、4.191×10−6mと、4.229×10−6mと、が得られた。また、縦横に(32×32)画素の領域を関心領域ROIを定めて解析した場合、3.021×10−6mと、3.625×10−6mと、が得られた。これらのデータセットは、スケーリング則(式(E2)参照)が成立する範囲を自動的に特定した結果による線分Lに対する誤差が少なく、線分Lに近い打点である。
ところで、拡散係数Dの測定値の精度を確保することは容易ではないことが知られている。例えば、実験により拡散係数Dを計測した場合では水中の球状微粒子でも理論値に対して、異なる指標や文献値と比較した際に、数倍以内の精度であれば拡散係数Dの測定値は高精度であると認識されることが多い。また、細胞内の計測等も含めた場合には、拡散係数Dの測定値の桁が一致すれば、拡散係数Dの測定値は十分な結果であると見なされる場合もあり、拡散係数Dの評価は困難である。このため、ストークス−アインシュタインの関係から推定した値と、本実験例による解析値とは、近似していると見なせ、上記実施形態に係る微粒子情報解析技術の有効性を十分に示していると考えられる。また、SPT技術により評価が困難な高濃度の系で評価できることは、上記実施形態に係る微粒子情報解析技術の実用性の高さを示している。
なお、本実施形態に係る微粒子の各種情報を解析するシステム、方法、及びアルゴリズムは、以下の産業上の利用可能性を有している。
本実施形態に係る微粒子の各種情報を解析するシステム、方法、及びアルゴリズムは、原理的には、動的光散乱(DLS)の技術が利用される場面に応用できる。例えば、創薬に重要なタンパク質や有機低分子の結晶作製技術では、未だに結晶化という物理現象のメカニズムまでは解明されていない。DLSでは空間解像度が無いが、光学顕微鏡での目視観察による計測では感知できない小さなクラスターの形成も、本実施形態で拡散係数Dの定量評価を通じて空間分布まで捉えることができる。これにより、プロセス条件の設計が可能になり、長期的には結晶化技術を体系化することができる。また、LOCを用いた分析システムや顔料インク技術、さらにコロイドを扱う場合に、分散・凝集の様子を空間分布と共に得ることができることは、非平衡現象であるプロセス技術開発への活用も含めて応用範囲を広めることができる。さらに、光学顕微鏡を用いて微粒子情報を解析するが、DLS技術で知られるように非染色で解析することができ、微粒子情報を解析する場面の拡張性が向上する。
なお、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
10 微粒子情報解析システム
20 光学顕微鏡
22 照明部
22A 光源
22B 照明レンズ
24 試料台
25 対物レンズ
26 ビームスプリッタ
27 アイピース
28 カメラ装置
28G 画像
30 解析装置
32 入力部
34 表示部
36 装置本体
36D 記憶部
36E 解析プログラム
Δt 時間差
τ 時定数
q 波数
D 拡散係数
画像強度
Ob 対象物

Claims (6)

  1. 運動する複数の微粒子を含み、かつ照明光で照明された対象物を連続して撮像する撮像部と、
    前記撮像部で撮像した連続する複数の撮像画像の2つの撮像画像各々の差分画像における画像強度の波数、及び前記画像強度の波数に対する前記複数の微粒子の自己相関情報を導出する導出部と、
    動的光散乱現象に基づいて定められた前記波数qと、前記自己相関情報、前記複数の微粒子の拡散係数Dとの間における依存関係に適合し、かつ前記導出部で導出した前記自己相関情報に対する前記画像強度の波数フィッティング範囲の候補範囲を複数導出し、導出した複数の候補範囲の中から前記依存関係の評価用物理量を表す評価関数の最適値を与えるフィッティング範囲を探索する探索部と、
    前記探索部で探索した前記画像強度の波数フィッティング範囲内の波数、及び前記依存関係を用いて拡散係数を演算する演算部と、
    を備えた微粒子情報解析装置であって、
    前記探索部は、前記フィッティング範囲を探索する際に、次式で示される評価関数fを用いて全ての候補範囲[Q1、Q2]における前記評価関数fの値を評価し、前記評価関数fの値が最適値となる候補範囲を前記フィッティング範囲とする微粒子情報解析装置。
    Figure 0006854000

    ただし、Qは波数qの対数で表されるパラメータ、Tは時定数τの対数で表されるパラメータ、nは、前記候補範囲の下限値Q1、上限値Q2、及びパラメータQの微小値ΔQを用いて次式で表される値である。
    Figure 0006854000

  2. 前記演算部は、
    ストークス−アインシュタインの関係を用いて、前記演算した拡散係数に対応する粒子径を算出する粒子径算出部を含む
    請求項1に記載の微粒子情報解析装置。
  3. 前記照明光は、白色光である
    請求項1又は請求項2に記載の微粒子情報解析装置。
  4. 前記依存関係は、前記自己相関情報が前記波数q、前記拡散係数D、及び時定数τの関係を示す場合、次式で表される
    請求項1〜請求項3の何れか1項に記載の微粒子情報解析装置。
    Figure 0006854000

  5. コンピュータが、
    複数の運動する微粒子を含み、かつ照明光で照明された対象物を連続して撮像した複数の撮像画像の2つの撮像画像各々の差分画像における画像強度の波数、及び前記画像強度の波数に対する前記複数の微粒子の自己相関情報を導出し、
    動的光散乱現象に基づいて定められた前記波数、前記自己相関情報、前記複数の微粒子の拡散係数との間における依存関係に適合する、前記導出した前記自己相関情報に対する前記画像強度の波数のフィッティング範囲を候補範囲として複数導出し、導出した複数の候補範囲の中から前記依存関係の評価用物理量を表す評価関数の最適値を与える候補範囲を前記波数の範囲として導出することにより探索し、
    探索した前記画像強度の波数の範囲内の波数、及び前記依存関係を用いて拡散係数を演算する微粒子情報解析方法であって、
    前記フィッティング範囲を探索する際に、次式で示される評価関数を用いて全ての候補範囲[Q1、Q2]における前記評価関数の値を評価し、前記評価関数の値が最小値となる候補範囲を前記フィッティング範囲とする微粒子情報解析方法。
    Figure 0006854000

    ただし、Qは波数qの対数で表されるパラメータ、Tは時定数τの対数で表されるパラメータ、nは、評価関数fの値を評価する場合の候補範囲の下限値Q1、上限値Q2、及びパラメータQの微小値ΔQを用いて次式で表される値である。
    Figure 0006854000

  6. 複数の運動する微粒子を含み、かつ照明光で照明された対象物を連続して撮像した複数の撮像画像の2つの撮像画像各々の差分画像における画像強度の波数、及び前記画像強度の波数に対する前記複数の微粒子の自己相関情報を導出し、
    動的光散乱現象に基づいて定められた前記波数、前記自己相関情報、前記複数の微粒子の拡散係数との間における依存関係に適合する、前記導出した前記自己相関情報に対する前記画像強度の波数のフィッティング範囲を候補範囲として複数導出し、導出した複数の候補範囲の中から前記依存関係の評価用物理量を表す評価関数の最適値を与える候補範囲を前記波数の範囲として導出することにより探索し、
    探索した前記画像強度の波数の範囲内の波数、及び前記依存関係を用いて拡散係数を演算する処理をコンピュータに実行させるための微粒子情報解析プログラムであって、
    前記フィッティング範囲を探索する際に、次式で示される評価関数を用いて全ての候補範囲[Q1、Q2]における前記評価関数の値を評価し、前記評価関数の値が最小値となる候補範囲を前記フィッティング範囲とする微粒子情報解析プログラム。
    Figure 0006854000

    ただし、Qは波数qの対数で表されるパラメータ、Tは時定数τの対数で表されるパラメータ、nは、評価関数fの値を評価する場合の候補範囲の下限値Q1、上限値Q2、及びパラメータQの微小値ΔQを用いて次式で表される値である。
    Figure 0006854000

JP2016211838A 2016-10-28 2016-10-28 微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラム Active JP6854000B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016211838A JP6854000B2 (ja) 2016-10-28 2016-10-28 微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016211838A JP6854000B2 (ja) 2016-10-28 2016-10-28 微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラム

Publications (2)

Publication Number Publication Date
JP2018072141A JP2018072141A (ja) 2018-05-10
JP6854000B2 true JP6854000B2 (ja) 2021-04-07

Family

ID=62114020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016211838A Active JP6854000B2 (ja) 2016-10-28 2016-10-28 微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラム

Country Status (1)

Country Link
JP (1) JP6854000B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266710A (ja) * 1999-03-15 2000-09-29 Toshiba Corp 回路基板劣化診断装置
WO2007091359A1 (ja) * 2006-02-08 2007-08-16 Nec Corporation ばらつきシミュレーション・システム、ばらつき決定モデル方法と装置ならびにプログラム
JP2010243374A (ja) * 2009-04-08 2010-10-28 Chuo Univ ナノ粒子の粒径測定装置及びナノ粒子の粒径測定方法
US9658156B2 (en) * 2010-03-03 2017-05-23 Wyatt Technology Corporation Method of characterizing interactions and screening for effectors
JP2013195127A (ja) * 2012-03-16 2013-09-30 Olympus Corp 生物試料の画像解析装置、画像解析方法、およびプログラム

Also Published As

Publication number Publication date
JP2018072141A (ja) 2018-05-10

Similar Documents

Publication Publication Date Title
Bayles et al. Dark-field differential dynamic microscopy
Kacker et al. Application of inline imaging for monitoring crystallization process in a continuous oscillatory baffled crystallizer
Peterson et al. High resolution surface plasmon resonance imaging for single cells
EP2739955B1 (en) Optical detection and analysis of particles
Dickstein et al. Automatic dendritic spine quantification from confocal data with Neurolucida 360
JP6505101B2 (ja) 計器の較正における及びこれに関する改善
US20170074768A1 (en) Common Radiation Path for Acquiring Particle Information by Means of Direct Image Evaluation and Differential Image Analysis
Mickler et al. Drop swarm analysis in dispersions with incident-light and transmitted-light illumination
Go et al. Three-dimensional volumetric monitoring of settling particulate matters on a leaf using digital in-line holographic microscopy
He et al. Morphology analysis of unlabeled red blood cells based on quantitative differential phase contrast microscopy
JP6854000B2 (ja) 微粒子情報解析装置、微粒子情報解析方法及び微粒子情報解析プログラム
Giavazzi et al. Probing roto-translational diffusion of small anisotropic colloidal particles with a bright-field microscope
Luo et al. Pattern matching for three-dimensional tracking of sub-micron fluorescent particles
JP2012194165A (ja) 走査型顕微光散乱測定解析装置および光散乱解析方法
Schmalenberg et al. Temperature-controlled minichannel flow-cell for non-invasive particle measurements in solid-liquid flow
Cacace et al. Compact holographic microscope for imaging flowing microplastics
Su et al. Lensless shadow microscopy-based shortcut analysis strategy for fast quantification of microplastic fibers released to water
Machin et al. Single particle tracking across sequences of microscopical images: application to platelet adhesion under flow
Shimoni et al. Normalized polarization ratios for the analysis of cell polarity
Rodriguez et al. Refining particle positions using circular symmetry
JP7256125B2 (ja) 細胞分析方法及び装置
US20230175949A1 (en) Imaging flow cytometer
JP2013195127A (ja) 生物試料の画像解析装置、画像解析方法、およびプログラム
Rodriguez et al. A robust particle detection algorithm based on symmetry
Malec et al. Microfluidic Platform combined with a Dark Field Imaging System for Quantification of E. coli Contamination in Water

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210308

R150 Certificate of patent or registration of utility model

Ref document number: 6854000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250