JP7473185B2 - フローサイトメータ、イメージング装置、位置検出方法、及びプログラム - Google Patents
フローサイトメータ、イメージング装置、位置検出方法、及びプログラム Download PDFInfo
- Publication number
- JP7473185B2 JP7473185B2 JP2020116430A JP2020116430A JP7473185B2 JP 7473185 B2 JP7473185 B2 JP 7473185B2 JP 2020116430 A JP2020116430 A JP 2020116430A JP 2020116430 A JP2020116430 A JP 2020116430A JP 7473185 B2 JP7473185 B2 JP 7473185B2
- Authority
- JP
- Japan
- Prior art keywords
- position detection
- detection line
- flow
- optical signal
- width direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 694
- 238000003384 imaging method Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims description 283
- 238000004364 calculation method Methods 0.000 claims description 212
- 238000005286 illumination Methods 0.000 claims description 128
- 238000005259 measurement Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 44
- 239000012530 fluid Substances 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 34
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 151
- 210000004027 cell Anatomy 0.000 description 81
- 238000010586 diagram Methods 0.000 description 51
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 11
- 238000011144 upstream manufacturing Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000000877 morphologic effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000684 flow cytometry Methods 0.000 description 2
- 239000011859 microparticle Substances 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000005061 intracellular organelle Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図1は、本実施形態に係るフローサイトメータ1の一例を示す図である。フローサイトメータ1は、マイクロ流体装置2と、光源3と、空間光変調部4と、光検出用光学系5と、光検出器6、DAQ(Data Acquisition)デバイス7と、パーソナルコンピュータ(PC:Personal Computer)8と、流路位置制御装置9とを備える。
光源3が発する照明光LEは、空間光変調部4を通じて、流路20に対して構造化照明光SLEとして照射される。光源3が発する照明光LEは、コヒーレント光であっても、インコヒーレント光であってもよい。本実施形態では、光源3が発する照明光LEは、一例として、コヒーレント光である。
なお、光透過領域の形状及び大きさは、空間光変調器40の光透過領域内で統一されていれば正方形に限らず、大きさも自由に変えられる。光透過領域の形状は、他の多角形や円などであってもよい。
空間フィルター42は、第1レンズ41によって集光された構造化照明光SLEを、空間的に変化する雑音に相当する成分を除去することによって、構造化照明光SLEの強度分布をガウス分布に近づける。
第2レンズ43は、空間フィルター42によって雑音が除去された構造化照明光SLEを平行光にする。
対物レンズ44は、第2レンズ43によって平行光にされた構造化照明光SLEを集光し、流路20の照射位置に結像させる。
なお、対物レンズ44は、ドライ対物レンズあっても、液浸対物レンズであってもよい。液浸対物レンズとは、油浸レンズや、水浸レンズなどである。
光検出用光学系5は、細胞Cの像を光検出器6に結像させるための光学的な仕組みであり、結像レンズをその構成に含む。光検出用光学系5は、細胞Cからの光信号LSを結像レンズにより集光し、光検出器6により検出する。細胞Cからの光信号LSは、例えば、蛍光や、透過光、散乱光、干渉光である。光検出用光学系5に含まれる結像レンズは、光信号LSを光検出器6に結像させる位置に配置されることが望ましいが、光検出器6に十分な量の光を集光させる位置に配置されればよい。なお、光検出用光学系5は、結像レンズに加え、ダイクロイックミラーや波長選択的なフィルターを備えていてもよい。
情報生成部80は、DAQデバイス7から出力される電子データに基づいて、細胞Cの形態情報を示す光学情報を生成する。細胞Cの形態情報とは、細胞Cの形状、形態、または構造のうちいずれか1以上である。情報生成部80は、生成した光学情報を記憶する。光学情報は、一例として、細胞Cからの光信号LSの強度の時系列変化を波形によって示す情報である。この波形と細胞Cの形態情報とは対応しており、光学情報は細胞Cを識別するために用いることができる。また別の一例として、光学情報は、機械学習において、細胞Cの形態情報と波形信号との関係を学習する際の教師データとしても用いられ、教師あり学習により得られた推論モデルを用いて推論時に測定した波形信号から細胞Cの識別が行われる。
流路20には、位置検出線Lとして、第1位置検出線L1と、第2位置検出線L2と、第3位置検出線L3と、第4位置検出線L4とが配置されている。
本実施形態では、一例として、細胞Cの流路20の幅方向の位置xがx軸の+x方向にずれると、このずれに応じて時間差τは単調に増加する。
例えば、上流側から第3位置検出線L3、第1位置検出線L1、第2位置検出線L2、第4位置検出線L4の順に備えられてもよいし、上流側から第1位置検出線L1、第3位置検出線L3、第2位置検出線L2、第4位置検出線L4の順に備えられてもよいし、上流側から第1位置検出線L1、第3位置検出線L3、第4位置検出線L4、第2位置検出線L2の順に備えられてもよい。
また、本実施形態では、細胞Cの流路20の幅方向の位置xを測定するための2本の位置検出線L(第1位置検出線L1、及び第2位置検出線L2)は、一方の端において接している。つまり、位置検出距離D12は一方の端においてゼロとなる。
なお、後述の図16の例で示すように、位置検出距離D12は一方の端においてゼロとならなくてもよい。つまり、第1位置検出線L1、及び第2位置検出線L2は、両端のいずれにおいても接していなくてもよい。また、位置検出距離D12は、x軸について単調に変化しさえすれば、第1位置検出線L1、及び第2位置検出線L2の一方の端においてゼロとならなくてもよい。つまり、第1位置検出線L1と第2位置検出線L2とが一方の端以外において交点をもってもよい。
図4は、本実施形態に係る演算部81の構成の一例を示す図である。演算部81は、制御部810と、記憶部817とを備える。
位置算出部815は、位置検出距離算出部814が算出した位置xに対応する位置検出距離D12と、検出距離幅方向対応情報818とに基づいて細胞Cの流路20の幅方向の位置xを算出する。ここで検出距離幅方向対応情報818は、位置検出距離D12と流路20の幅方向の位置xとの対応関係を示す情報である。
出力部816は、位置算出部815が算出した細胞Cの流路20の幅方向の位置xを、流路位置制御装置9に出力する。
ステップS10:信号強度取得部811は、DAQデバイス7から出力される電子データSDを、信号強度の時間変化を波形として示す計測信号SGとして取得する。
また、シグナルPRは、細胞Cが検出領域Rにランダムに配置される複数の検出位置を通過したことによって検出された光信号に対応する。
ここで上述したように、位置検出距離D12は、時間差算出部812が算出した時間差τと流速vとに基づいて算出されている。つまり、位置検出距離D12は、時間差τに基づいて算出された量である。したがって、位置算出部815は、時間差算出部812が算出した時間差τと、検出距離幅方向対応情報818とに基づいて細胞Cの流路20の幅方向の位置xを算出する。
以上で、演算部81は、位置算出処理を終了する。
上述した実施形態では、細胞Cの流路20の幅方向の位置xを測定するために用いられる位置検出線Lと、流路20を流れる流体の流速v測定するために用いられる位置検出線Lとが別に配置される場合の一例について説明したが、これに限らない。本変形例1では、細胞Cの流路20の幅方向の位置xを測定するために用いられる位置検出線Lのうちいずれか1つと、流路20を流れる流体の流速v測定するために用いられる位置検出線Lのうちいずれか1つとが、1つの位置検出線Lによって兼ねられる場合の一例について説明する。
上述した実施形態では、流路20において、細胞Cの流路20の幅方向の位置xを測定するために2本の位置検出線L(第1位置検出線L1、及び第2位置検出線L2)が配置されて、1個の細胞Cが流路20を通過する場合に位置xが1回測定される場合の一例について説明したが、これに限らない。細胞Cの流路20の幅方向の位置xは、1個の細胞Cが流路20を通過する場合に複数回測定されてもよい。本変形例2では、位置xを測定するための位置検出線Lが3本以上配置される場合の一例について説明する。
上述した実施形態およびその変形例では、流路20において、細胞Cの流路20の幅方向の位置xを測定するための2本の位置検出線Lの間の角度が45度である場合の一例について説明したが、これに限らない。本変形例3では、第1位置検出線L1cと第2位置検出線L2cとの間の角度が45度以上である場合の一例について説明する。
第4位置検出線L4cは、第2位置検出線L2cと略平行に配置されている。図3の流路20とは異なり、図11の流路20cでは、第2位置検出線L2cが流路20cの幅方向に対して傾いているため、流速v測定するために用いられる位置検出線Lcは、流路20cの幅方向に対して傾いている。
したがって、第1位置検出線L1cと第2位置検出線L2cとの間の角度を大きくとり位置検出距離D12を長くすることで、演算部81の細胞Cの流路20の幅方向の位置xの測定の精度は高くなる。
また、上述した実施形態では、位置検出線Lが直線である場合の一例について説明したが、これに限らない。本変形例4では、位置検出線Lが直線以外である場合の一例について説明する。
図14は、本変形例4に係る別の位置検出線Leの一例を示す図である。第1位置検出線L1eは、折れ線である。第2位置検出線L2eは、直線である。第1位置検出線L1eと第2位置検出線L2eとの間の距離である位置検出距離D12eは、流路20eの幅方向の位置に応じて単調に変化する。なお、位置検出距離D12eが流路20eの幅方向の位置に応じて単調に変化しさえすれば、第2位置検出線L2eは折れ線であってよい。また、位置検出距離D12eが流路20eの幅方向の位置に応じて単調に変化しさえすれば、第1位置検出線L1eが直線であって、第2位置検出線L2eが折れ線であってもよい。
図15は、本変形例4に係るさらに別の位置検出線Lfの一例を示す図である。第1位置検出線L1f、及び第2位置検出線L2fはそれぞれ、複数の離散的な線分から構成される。第1位置検出線L1fは、線分L1f-1、線分L1f-2、及び線分L1f-3から構成される。第2位置検出線L2fは、線分L2f-1、線分L2f-2、及び線分L2f-3から構成される。第1位置検出線L1fと第2位置検出線L2fとの間の距離である位置検出距離D12eは、流路20fの幅方向の位置に応じて単調に変化する。
また、上述の実施形態では、細胞Cの流路20の幅方向の位置xを測定するための2本の位置検出線L(第1位置検出線L1、及び第2位置検出線L2)が一端において接している場合の一例について説明したが、これに限らない。
図16は、本変形例5に係る位置検出線Lgの一例を示す図である。流路20gにおいて、第1位置検出線L1gと、第2位置検出線L2gとは両端のいずれにおいても接していない。つまり、第1位置検出線L1gと第2位置検出線L2gとの間の距離である位置検出距離D12gの最小の値は、ゼロでない所定の値である。ここで位置検出距離D12と、流路20の幅方向の位置について単調に変化する。
なお、第1位置検出線L1gと第2位置検出線L2gとのうち一方が、検出領域Rよりも流路20の上流側(y軸方向の-y方向)に配置されて、他方が下流側(y軸方向の+y方向)に配置されてもよい。
また上述の実施形態では、位置検出線Lが流路20の幅方向の長さが流路20の幅と等しい場合の一例について説明したが、これに限らない。位置検出線Lの長さは、流路20の幅よりも短くてよい。例えば、流路20の幅方向の両端に位置検出線Lが配置されていない範囲が設けられてもよい。
図17は、本変形例6に係る位置検出線Lhの一例を示す図である。第1位置検出線L1hの流路20hの幅方向の長さと、第2位置検出線L2hの流路20hの幅方向の長さとは、流路20hの幅よりも短い。つまり、流路20hでは、幅方向の両端に位置検出線Lhが配置されていない。なお、流路20の幅方向の両端に位置検出線Lが配置されていない範囲の長さは、細胞Cのサイズに比べて狭いことが好ましい。
マイクロ流体装置2は、観測対象物(本実施形態において、細胞C)が流体と共に流れ得る流路20を備える。
光源3は、流路20に照明光LEを照射する。
光検出器6は、流路20を流れる観測対象物(本実施形態において、細胞C)に照明光LEが照射されて観測対象物(本実施形態において、細胞C)から発せられる光信号(本実施形態において、光信号LSが光検出用光学系5によって集光された光信号)の強度を時系列に検出する。
情報生成装置(本実施形態において、情報生成部80)は、光検出器6が出力する電気信号パルスを変換した電子データに基づいて観測対象物(本実施形態において、細胞C)の形状、形態、または構造のうちいずれか1以上を示す光学情報を生成する。
演算装置(本実施形態において、演算部81)は、光検出器6が検出する光信号LSの信号強度の時間変化においてピークを検出した時間に基づいて観測対象物(本実施形態において、細胞C)の流路20の幅方向の位置xを算出する。
時間差算出部812は、光検出器6が第1位置検出線L1上のいずれかの検出位置において細胞通過による光信号の強度のピークを検出した時間と、光検出器6が第2位置検出線L2上のいずれかの検出位置において細胞通過による光信号の強度のピークを検出した時間との時間差τを算出する。
位置算出部815は、時間差算出部812が算出した時間差τと、時間差τと流路20の幅方向の位置との対応関係とに基づいて観測対象物(本実施形態において、細胞C)の流路20の幅方向の位置xを算出する。
本実施形態に係るフローサイトメータ1では、観測対象物の流路20の幅方向の位置xを算出するための位置検出線L(本実施形態の一例では、第1位置検出線L1、及び第2位置検出線L2)を細胞の形態情報に関する光学情報を取得するための照明のパターンに含めて配置することで流路20上に簡便に配置でき、流線の位置ずれが生じた場合にも、流路の位置を適宜補正して好適な条件での測定を継続できる。
演算装置(本実施形態において、演算部81)は、流速算出部813と、位置検出距離算出部814とをさらに備える。
流速算出部813は、光検出器6が第3位置検出線L3上のいずれかの検出位置において光信号の強度のピークを検出した時間と、光検出器6が第4位置検出線L4上のいずれかの検出位置において光信号の強度のピークを検出した時間と、流速測定距離D34とに基づいて流路20を流れる流体の流速vを算出する。
位置検出距離算出部814は、時間差算出部812が算出した時間差τと、流速算出部813が算出した流速vとに基づいて観測対象物(本実施形態において、細胞C)の流路20の幅方向の位置xに対応する位置検出距離D12を算出する。
ここで流路20を流れる流体の流速vは、例えばマイクロ流体装置2によって設定されるが、実際の流速vが設定された流速vと異なってしまっている場合がある。本実施形態に係るフローサイトメータ1では、観測対象物を流路20に流しながら流速vを同時に測定できるため、設定された流速vの値を用いる場合に比べてより正確な流速vの値を、位置検出距離D12を算出するために用いることができる。
上述したように構造化照明の構成では、フローサイトメータ1は、光源3と流路20との間の光路に設置されて、照明光LEを構造化する空間光変調部4を備える。構造化照明の構成では、光源3は、空間光変調部4によって構造化された照明光(本実施形態において、構造化照明光SLE)を流路20に照射する。
この構成により、本実施形態に係るフローサイトメータ1では、構造化された照明により観測対象物の光学情報の生成と並行して流路20の幅方向の位置xを算出することができるため、流線の位置ずれを検出しながら位置ずれに対して敏感な構造化照明を用いた観測対象物の測定を行うことができる。
この構成により、本実施形態に係るフローサイトメータ1では、位置検出距離D12と流路20の幅方向の位置とが1対1に対応するため、位置検出距離D12を細胞Cの流路20の幅方向の位置xに換算することができる。
この構成により、本実施形態に係るフローサイトメータ1では、流路20の幅方向において位置検出線Lには隙間がないため、細胞Cのサイズによらず細胞Cが位置検出線Lを通過せずに細胞Cの流路20の幅方向の位置xを測定し損ねることを防ぐことができる。
この構成により、本実施形態に係るフローサイトメータ1では、流路20における位置検出線Lの配置が、位置検出線Lが直線でない場合に比べて容易である。ここで上述したように、位置検出線Lとは複数の検出位置の集まりであって、それら複数の検出位置は、空間光変調部4により変調され流路に照射される構造化照明のパターンとして実現される。構造化照明のパターンは、例えば、正方形などの形状をもつ光透過領域を単位とした複数の照射領域の群として構成される。そのため、位置検出線Lの形状は、直線の方が曲線に比べてそれらの正方形などの形状をもつ光透過領域を単位として実現しやすい。また、位置検出距離D12と流路20の幅方向の位置関係を1対1に対応させる際にも、対応関係がシンプルで検出位置の配置等が容易である。
この構成により、本実施形態に係るフローサイトメータ1では、位置検出線の配置を光学情報を取得するための構造化照明によって実現できるため、流路20において位置検出線を簡便に設定できる。
なお、上述した説明では、空間光変調器40によって照明光LEが構造化される場合の一例について説明したが、これに限らない。空間光変調部は、空間光変調器の代わりにマスクを備え、マスクにより構造化された照明光により観測対象物が照射される構成でもよい。照明光を構造化するとは、照明光のマスクの入射面に含まれる複数の領域ごとに照明光の光特性を変調することである。図18を参照し、第2の実施形態に係るフローサイトメータ1iについて説明する。図18は、第2の実施形態に係るフローサイトメータ1iの一例を示す図である。本実施形態は構造化照明の構成の1つの構成例である。
空間光変調部4iは、マスク40iと、第1レンズ41iとを備える。マスク40iと、第1レンズ41iとは、光源3に近い側からこの順に光源3と光検出器6との間の光路上に配置される。
上述した説明では、空間光変調部4及び空間光変調部4iが、照明光LEを変調する構造化照明の構成について説明したが、これに限られない。図19を参照し、第3の実施形態のフローサイトメータであるフローサイトメータ1jについて説明する。図19は、第3の実施形態に係るフローサイトメータ1jの一例を示す図である。
構造化検出では、マスク40jによって構造化された構造化光信号SLSjが光検出用光学系を介して光検出器6により検出される。
照明光学系10jは、光源3からの照明光LEによって流路20を流れる細胞Cを照明する。第1レンズ41jは、細胞Cからの光信号LSjを集光し、マスク40j上に結像させる。光検出器6はマスク40jの光透過領域を介して構造化された構造化光信号SLSjを検出する。
上記の構成により、構造化検出では、マスク40jの光透過領域と共役な位置を、流路20を通過する細胞Cからの光信号LSを検出する光信号検出位置として配置でき、光信号検出位置を介して光検出器6により検出した光信号をもとに細胞Cの形態情報に関する光学情報や細胞Cの幅方向の位置xが測定される。すなわち、構造化検出では、マスク40jに設けられる光透過領域の形状や配置パターンにより、流路20の幅方向の位置検出の集まりを位置検出線Lとして配置できる。なお、上記のように構造化検出の構成により位置検出線を配置することを、位置検出線が空間光変調部により構造化される光信号により配置されるとも記載する。
上述したように構造化検出の構成では、フローサイトメータ1jは、流路20と光検出器6との間の光路に設置されて、光信号LSjを構造化する空間光変調部4jを備える。構造化検出の構成では、光検出器6は、光信号LSjが空間光変調部4jによって構造化された光信号(本実施形態において、構造化光信号SLSj)の強度を時系列に検出する。
この構成により、本実施形態に係るフローサイトメータ1では、位置検出線の配置を光学情報を取得するための構造化検出によって実現できるため、流路20において位置検出線を簡便に設定できる。
以下、図面を参照しながら本発明の第4の実施形態について詳しく説明する。
上記第1の実施形態では、フローサイトメータは、流路を流れる流体の流速を測定し、その値を利用して観測対象物の流路の幅方向の位置を測定する場合について説明をした。本実施形態では、フローサイトメータが、流速を用いずに観測対象物の流路の幅方向の位置を測定する場合について説明をする。なお、本実施形態では、流路を流れる流体の流速は一定である。
本実施形態に係るフローサイトメータをフローサイトメータ1kといい、演算装置を演算部81kという。
ここで基準となる基準時間差τ0は、例えば、細胞Cが上述の基準位置の流線上を移動した場合に、第1位置検出線L1を通過した時間と第2位置検出線L2を通過した時間との時間差τとすることができる。また基準時間差τ0の別の例として、一定数の細胞Cについて第1位置検出線L1を通過した時間と第2位置検出線L2を通過した時間との時間差τを測定し、その平均値を基準時間差τ0として設定することもできる。
ここで時間差幅方向対応テーブル818kは、時間差τの基準時間差τ0に対するずれΔτと、細胞Cの流路20の幅方向の位置xとが予め測定された結果に基づいて作成される。なお、この予め行われる位置xの測定は、上述した流速vに基づく第1の実施形態の方法に基づいて行われてもよいし、他の測定方法に基づいて行われてもよい。
上述した測定方法によって、流線の位置ずれは、ピクセルサイズ以下とすることができる。ここでピクセルサイズは、数マイクロメートルである。
以下、図面を参照しながら本発明の第5の実施形態について詳しく説明する。
本実施形態では、情報生成装置が生成する光学情報に基づいて流路を流れる細胞を判別する場合について説明をする。本実施形態では、流路20の幅方向を水平方向ともいう。また、本実施形態では、流路20における光検出用光学系5に含まれる結像レンズ50(不図示)の光軸OXの方向を光軸方向という。光軸OXの方向は流路の深さの方向である。また、細胞Cの水平方向の位置、及び光軸方向の位置をそれぞれ、水平方向位置、及び光軸方向位置という。水平方向位置は、流路20の幅方向の位置xと同じである。
図23は、本実施形態に係る演算部81mの構成の一例を示す図である。本実施形態に係る演算部81m(図23)と第1の実施形態に係る演算装置10(図4)とを比較すると、光学情報取得部820m、位置判定部821m、判別部822m、学習部823m、及び記憶部817mが異なる。ここで、他の構成要素(信号強度取得部811、時間差算出部812、流速算出部813、位置検出距離算出部814、位置算出部815、及び出力部816)が持つ機能は第1の実施形態と同じである。
位置判定部821mは、出力部816が出力する細胞Cの流路20の幅方向の位置x(水平方向位置)が流路20の幅方向について所定の範囲内であるか否かを判定する。なお、以下の説明において、細胞Cの流路20の幅方向の位置x(水平方向位置)を示す情報を位置情報IPという。
判別部822mは、学習用の細胞と、学習用細胞についての光学情報ICとの関係を学習し、作成された推論モデルとPC8が生成する光学情報ICに基づいて細胞Cを判別する。その際、判別部822mは、位置判定部821mの判定結果に基づいて、流路20の水平方向位置における所定の範囲である領域Z1内を流れる細胞Cを判別対象とする。
領域Z1は、例えば、流路20の水平方向位置において、初期の細胞Cの通過位置を中心に所定の距離だけずれた位置を含む区分までの線分である。
学習部823mは、機械学習を実行する。学習部823mは、学習用の細胞と、学習用の細胞を用いた測定により得られる光学情報との関係を学習する。学習部823mが実行する機械学習とは、一例として、深層学習である。
ここで図25を参照し、上述した学習用の細胞についての領域Z1について説明する。図25は、本実施形態に係る学習用の細胞の領域Z1の一例を示す図である。図25(A)には、フローサイトメータ1mを用いて学習用の測定を行った際に、細胞が通過した水平方向位置を測定し、流路の水平方向位置について取り得る値の範囲を所定の区間に区切った場合に、所定の区間に水平方向位置の測定値が含まれる細胞Cの数を所定の区間毎に示すヒストグラムである。比較のために図25(B)に、機械学習の推論時において細胞Cが通過した水平方向位置を測定し、水平方向位置について取り得る値の範囲を所定の区間に区切った場合に、所定の区間に水平方向位置の測定値が含まれる細胞Cの数を所定の区間毎に示すヒストグラムを示す。
本実施形態では、学習部823mが学習に用いる学習用の細胞は、領域Z1内を流れる細胞Cである。この領域Z1は、判別部822mが推論時に判別対象とする細胞Cが流れる領域Z1と同じである。つまり、学習用の細胞とは、判別部822mが判別対象とする細胞Cが流れる領域Z1と同じ領域Z1内を流れる細胞Cである。
記憶部817mは、種々の情報を記憶する。記憶部817mが記憶する情報には、学習結果824mが含まれる。学習結果824mは、学習部823mによって学習が実行された結果である。学習結果824mは、上述した推論モデルである。学習結果824mは、予め学習が実行されて記憶部817mに記憶される。
次に図26を参照し、演算部81mが細胞Cを判別する処理である細胞判別処理について説明する。図26は、本実施形態に係る細胞判別処理の一例を示す図である。図26に示す細胞判別処理は、1個の細胞Cに対して実行される。流路20を流れる複数の細胞に対して実行される細胞判別処理は、図26に示す細胞判別処理を1単位として複数の細胞に対して繰り返し実行される。
ステップS220:位置判定部821mは、出力部816が出力する位置情報IPが示す細胞Cの水平方向位置が流路20における幅方向について所定の範囲である領域Z1内であるか否かを判定する。
以上で、演算装置10は、細胞判別処理を終了する。
以上に説明したように、本実施形態に係るフローサイトメータ1mでは、演算装置(本実施形態において演算部81m)は、判別部822mと、位置判定部821mとを備える。
判別部822mは、情報生成装置(本実施形態において情報生成部80)が生成する光学情報ICに基づいて観測対象物(本実施形態において細胞C)を判別する。
位置判定部821mは、位置算出部815が算出する流路20の幅方向の位置xが流路20の幅方向について所定の範囲(本実施形態において領域Z1)内であるか否かを判定する。
判別部822mは、位置判定部821mの判定結果に基づいて、所定の範囲(本実施形態において領域Z1)内を流れる観測対象物(本実施形態において細胞C)を判別対象とする。
また、学習用の観測対象物(本実施形態において学習用の細胞)とは、所定の範囲(本実施形態において領域Z1)内を流れる観測対象物(本実施形態において細胞)である。
また、上述した実施形態における演算部81、81kの一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。演算部81、81k、81mの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
Claims (13)
- 観測対象物が流体と共に流れ得る流路を備えるマイクロ流体装置と、
前記流路に照明光を照射する光源と、
前記流路を流れる前記観測対象物に照明光が照射されて前記観測対象物から発せられる光信号の強度を時系列に検出する光検出器と、
前記光検出器が検出する前記光信号の強度に基づいて前記観測対象物の形状、形態、または構造のうちいずれか1以上を示す光学情報を生成する情報生成装置と、
前記光検出器が前記光信号の強度のピークを検出した時間に基づいて前記観測対象物の前記流路の幅方向の位置を算出する演算装置と、
前記光源と前記光検出器との間の光路に設置されて、前記照明光、または前記光信号のいずれかを構造化する空間光変調部と、
を備えるフローサイトメータであって、
前記マイクロ流体装置は、前記流路において、
前記光検出器が前記観測対象物の位置を検出するための複数の検出位置の集まりである位置検出線と、前記光検出器が前記光学情報を検出するための複数の検出位置と、が配置され、
前記位置検出線は、少なくとも前記幅方向について長さをもつ第1位置検出線と、前記幅方向において前記第1位置検出線と重なる部分を有して配置される第2位置検出線と、を含み、
前記第1位置検出線と前記第2位置検出線との前記流路の長さ方向についての距離である位置検出距離は、前記幅方向の位置に応じて変化し、
前記光学情報を検出するための前記複数の検出位置は、前記空間光変調部により構造化される前記照明光、または前記空間光変調部により構造化される前記光信号により、前記流路の検出領域に配置され、
前記位置検出線は、前記空間光変調部により構造化される前記照明光、または前記空間光変調部により構造化される前記光信号により、前記流路の長さ方向について前記検出領域とは異なる位置に配置され、
前記演算装置は、
前記光検出器が前記第1位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間と、前記光検出器が前記第2位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間との時間差を算出する時間差算出部と、
前記時間差算出部が算出した前記時間差と、前記流体の流速とに基づいて前記位置検出距離を算出する位置検出距離算出部と、
前記位置検出距離と前記幅方向の位置との対応関係とに基づいて前記観測対象物の前記幅方向の位置を算出する位置算出部と
を備える
フローサイトメータ。 - 前記演算装置の演算結果に基づいて前記流路の位置を制御する流路位置制御装置をさらに備える
請求項1記載のフローサイトメータ。 - 前記流路において、
前記位置検出線である第3位置検出線が配置され、
前記位置検出線であって前記第3位置検出線と略平行な第4位置検出線が、前記第3位置検出線と所定の距離である流速測定距離だけ離れて、前記幅方向において前記第3位置検出線と重なる部分を有して配置され、
前記演算装置は、
前記光検出器が前記第3位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間と、前記光検出器が前記第4位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間と、前記流速測定距離とに基づいて前記流体の流速を算出する流速算出部をさらに備え、
前記位置検出距離算出部は、前記時間差算出部が算出した前記時間差と、前記流速算出部が算出した前記流速とに基づいて前記位置検出距離を算出する
請求項1または2に記載のフローサイトメータ。 - 前記光源は、前記光源と前記流路との間の光路に設置された前記空間光変調部によって構造化される前記照明光を前記流路に照射する、
請求項1または2に記載のフローサイトメータ。 - 前記光検出器は、前記流路と前記光検出器との間の光路に設置された前記空間光変調部によって構造化される前記光信号の強度を時系列に検出する
請求項1または2に記載のフローサイトメータ。 - 前記位置検出線は、前記位置検出距離が前記幅方向の位置に応じて単調に変化する
請求項1または請求項2に記載のフローサイトメータ。 - 前記位置検出線は、直線である
請求項1または請求項2に記載のフローサイトメータ。 - 前記第1位置検出線と前記第2位置検出線との間の角度は所定の値以上である
請求項7に記載のフローサイトメータ。 - 前記演算装置は、
前記情報生成装置が生成する前記光学情報に基づいて前記観測対象物を判別する判別部と、
前記位置算出部が算出する前記幅方向の位置が前記幅方向について所定の範囲内であるか否かを判定する位置判定部と
をさらに備え、
前記判別部は、前記位置判定部の判定結果に基づいて、前記所定の範囲内を流れる前記観測対象物を判別対象とする
請求項1から請求項8のいずれか一項に記載のフローサイトメータ。 - 前記判別部は、学習用の観測対象物と前記学習用の観測対象物についての前記光学情報との関係が学習されることによって作成された推論モデルと、前記情報生成装置が生成する前記光学情報とに基づいて前記観測対象物を判別し、
前記学習用の観測対象物が前記所定の範囲内を流れる観測対象物である
請求項9に記載のフローサイトメータ。 - 請求項1から請求項10のいずれか一項に記載のフローサイトメータと、
前記情報生成装置が生成する前記光学情報に基づいて前記観測対象物の画像を生成する画像生成部を備える画像生成装置と、
を備えるイメージング装置。 - 観測対象物が流体と共に流れ得る流路を備えるマイクロ流体装置と、
前記流路に照明光を照射する光源と、
前記流路を流れる前記観測対象物に照明光が照射されて前記観測対象物から発せられる光信号の強度を時系列に検出する光検出器と、
前記光検出器が検出する前記光信号の強度に基づいて前記観測対象物の形状、形態、または構造のうちいずれか1以上を示す光学情報を生成する情報生成装置と、
前記光検出器が検出する前記光信号の強度に基づいて前記観測対象物の前記流路の幅方向の位置を算出する演算装置と、
前記光源と前記光検出器との間の光路に設置されて、前記照明光、または前記光信号のいずれかを構造化する空間光変調部と、
を備え、
前記マイクロ流体装置は、前記流路において、
前記光検出器が前記観測対象物の位置を検出するための複数の検出位置の集まりである位置検出線と、前記光検出器が前記光学情報を検出するための複数の検出位置と、が配置され、
前記位置検出線は、少なくとも前記幅方向について長さをもつ第1位置検出線と、前記幅方向において前記第1位置検出線と重なる部分を有して配置される第2位置検出線と、を含み、
前記第1位置検出線と前記第2位置検出線との前記流路の長さ方向についての距離である位置検出距離は、前記幅方向の位置に応じて変化し、
前記光学情報を検出するための前記複数の検出位置は、前記空間光変調部により構造化される前記照明光、または前記空間光変調部により構造化される前記光信号により、前記流路の検出領域に配置され、
前記位置検出線は、前記空間光変調部により構造化される前記照明光、または前記空間光変調部により構造化される前記光信号により、前記流路の長さ方向について前記検出領域とは異なる位置に配置されるフローサイトメータにおける前記観測対象物の前記幅方向の位置を算出する方法であって、
前記光検出器が前記第1位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間と、前記光検出器が前記第2位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間との時間差を算出する時間差算出過程と、
前記時間差算出過程において算出された前記時間差と、前記流体の流速とに基づいて前記位置検出距離を算出する位置検出距離算出過程と、
前記位置検出距離と前記幅方向の位置との対応関係とに基づいて前記観測対象物の前記幅方向の位置を算出する位置算出過程と
を有する位置検出方法。 - 観測対象物が流体と共に流れ得る流路を備えるマイクロ流体装置と、
前記流路に照明光を照射する光源と、
前記流路を流れる前記観測対象物に照明光が照射されて前記観測対象物から発せられる光信号の強度を時系列に検出する光検出器と、
前記光検出器が検出する前記光信号の強度に基づいて前記観測対象物の形状、形態、または構造のうちいずれか1以上を示す光学情報を生成する情報生成装置と、
前記光検出器が検出する前記光信号の強度に基づいて前記観測対象物の前記流路の幅方向の位置を算出する演算装置と、
前記光源と前記光検出器との間の光路に設置されて、前記照明光、または前記光信号のいずれかを構造化する空間光変調部と、
を備え、
前記マイクロ流体装置は、前記流路において、
前記光検出器が前記観測対象物の位置を検出するための複数の検出位置の集まりである位置検出線と、前記光検出器が前記光学情報を検出するための複数の検出位置と、が配置され、
前記位置検出線は、少なくとも前記幅方向について長さをもつ第1位置検出線と、前記幅方向において前記第1位置検出線と重なる部分を有して配置される第2位置検出線と、を含み、
前記第1位置検出線と前記第2位置検出線との前記流路の長さ方向についての距離である位置検出距離は、前記幅方向の位置に応じて変化し、
前記光学情報を検出するための前記複数の検出位置は、前記空間光変調部により構造化される前記照明光、または前記空間光変調部により構造化される前記光信号により、前記流路の検出領域に配置され、
前記位置検出線は、前記空間光変調部により構造化される前記照明光、または前記空間光変調部により構造化される前記光信号により、前記流路の長さ方向について前記検出領域とは異なる位置に配置されるフローサイトメータにおける前記観測対象物の前記幅方向の位置算出を実行するコンピュータに、
前記光検出器が前記第1位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間と、前記光検出器が前記第2位置検出線上のいずれかの前記検出位置において前記光信号の強度のピークを検出した時間との時間差を算出する時間差算出ステップと、
前記時間差算出ステップにおいて算出された前記時間差と、前記流体の流速とに基づいて前記位置検出距離を算出する位置検出距離算出ステップと、
前記位置検出距離と前記幅方向の位置との対応関係とに基づいて前記観測対象物の前記幅方向の位置を算出する位置算出ステップと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116430A JP7473185B2 (ja) | 2020-07-06 | 2020-07-06 | フローサイトメータ、イメージング装置、位置検出方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116430A JP7473185B2 (ja) | 2020-07-06 | 2020-07-06 | フローサイトメータ、イメージング装置、位置検出方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024059574A Division JP2024088702A (ja) | 2024-04-02 | フローサイトメータ、及び位置検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022014213A JP2022014213A (ja) | 2022-01-19 |
JP7473185B2 true JP7473185B2 (ja) | 2024-04-23 |
Family
ID=80185233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020116430A Active JP7473185B2 (ja) | 2020-07-06 | 2020-07-06 | フローサイトメータ、イメージング装置、位置検出方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7473185B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080068605A1 (en) | 2006-05-18 | 2008-03-20 | Herzog William D | Method and apparatus for simultaneously measuring a three dimensional position of a particle in a flow |
US20130077096A1 (en) | 2006-05-18 | 2013-03-28 | Massachusetts Institute Of Technology | Method and apparatus for measuring a position of a particle in a flow |
JP2016191715A (ja) | 2012-03-30 | 2016-11-10 | ソニー株式会社 | マイクロチップ型光学測定装置及び該装置における光学位置調整方法 |
WO2018181458A1 (ja) | 2017-03-29 | 2018-10-04 | シンクサイト株式会社 | 学習結果出力装置及び学習結果出力プログラム |
-
2020
- 2020-07-06 JP JP2020116430A patent/JP7473185B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080068605A1 (en) | 2006-05-18 | 2008-03-20 | Herzog William D | Method and apparatus for simultaneously measuring a three dimensional position of a particle in a flow |
US20130077096A1 (en) | 2006-05-18 | 2013-03-28 | Massachusetts Institute Of Technology | Method and apparatus for measuring a position of a particle in a flow |
JP2016191715A (ja) | 2012-03-30 | 2016-11-10 | ソニー株式会社 | マイクロチップ型光学測定装置及び該装置における光学位置調整方法 |
WO2018181458A1 (ja) | 2017-03-29 | 2018-10-04 | シンクサイト株式会社 | 学習結果出力装置及び学習結果出力プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022014213A (ja) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7205521B2 (en) | Speckle based sensor for three dimensional navigation | |
JP5381741B2 (ja) | 光学的測定装置及び光学的測定方法 | |
JP6359466B2 (ja) | サブ解像度での光学的検出 | |
JPH05346390A (ja) | 粒子分析装置 | |
CN109477783B (zh) | 用于借助于动态光散射确定悬浮在液体和流动介质中的颗粒的平均颗粒大小的方法及其设备 | |
EP3809141B1 (en) | Elevator comprising a device for measuring the speed of the elevator | |
JPH06186156A (ja) | 粒子分析装置 | |
JP7308823B2 (ja) | 粒子径分布測定装置及び粒子径分布測定装置用プログラム | |
US10809176B2 (en) | Ultra-high throughput detection of fluorescent droplets using time domain encoded optofluidics | |
JP7473185B2 (ja) | フローサイトメータ、イメージング装置、位置検出方法、及びプログラム | |
US20070047836A1 (en) | Analysis of signal oscillation patterns | |
TW201816520A (zh) | 掃描反射鏡振幅測量裝置及測量方法 | |
WO2023062830A1 (ja) | フローサイトメータ、イメージング装置、位置検出方法、及びプログラム | |
JP2024088702A (ja) | フローサイトメータ、及び位置検出方法 | |
US20220146805A1 (en) | Microscope system, focus adjustment program, and focus adjustment system | |
US20180045646A1 (en) | System and method for three-dimensional micro particle tracking | |
US7012691B2 (en) | Optical moving information measuring apparatus and carrier system incorporating the same | |
KR101505745B1 (ko) | 이중 검출 반사 공초점 현미경 및 이를 사용하는 시편의 높이의 정보를 검출하는 방법 | |
WO2023062831A1 (ja) | フローサイトメータ、位置算出方法、及びプログラム | |
US20240230507A1 (en) | Feature value calculation device, feature value calculation method, and program | |
KR102547422B1 (ko) | 이미징 장치, 이를 포함하는 이미징 시스템, 이미징 장치 및 시스템을 이용한 이미징 방법, 이미징 장치 및 시스템을 이용한 반도체 장치의 제조 방법 | |
JP2022014302A (ja) | フローサイトメータ、位置算出方法、及びプログラム | |
KR102410822B1 (ko) | 평가 방법, 결정 방법, 리소그래피 장치, 및 비일시적 컴퓨터 판독가능 저장 매체 | |
US20230266229A1 (en) | Flow cytometer, cell sorter, optical information generation method, and program | |
JP3031207B2 (ja) | 画像測定方法、画像測定装置、及びセンサユニット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200813 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7473185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |