JP7427291B2 - イメージングフローサイトメーター - Google Patents

イメージングフローサイトメーター Download PDF

Info

Publication number
JP7427291B2
JP7427291B2 JP2022548354A JP2022548354A JP7427291B2 JP 7427291 B2 JP7427291 B2 JP 7427291B2 JP 2022548354 A JP2022548354 A JP 2022548354A JP 2022548354 A JP2022548354 A JP 2022548354A JP 7427291 B2 JP7427291 B2 JP 7427291B2
Authority
JP
Japan
Prior art keywords
imaging
image
flow path
cells
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022548354A
Other languages
English (en)
Other versions
JPWO2022054908A1 (ja
Inventor
禎生 太田
昌士 鵜川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Publication of JPWO2022054908A1 publication Critical patent/JPWO2022054908A1/ja
Application granted granted Critical
Publication of JP7427291B2 publication Critical patent/JP7427291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404Handling flow, e.g. hydrodynamic focusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N2015/025Methods for single or grouped particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N2015/0294Particle shape
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404Handling flow, e.g. hydrodynamic focusing
    • G01N2015/142Acoustic or ultrasonic focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1443Auxiliary imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1445Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497Particle shape

Landscapes

  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、イメージングフローサイトメーターに関する。
本願は、2020年9月10日に、日本に出願された特願2020-152331号に基づき優先権を主張し、その内容をここに援用する。
従来、流路を流れる観測対象物に照明光を照射して発せられる光を測定することによって観測対象物の特徴を評価するフローサイトメトリー法や、このフローサイトメトリー法を用いたフローサイトメーターが知られている(例えば、特許文献1)。また、観測対象物となる細胞・細菌等の微粒子を画像によって評価する蛍光顕微鏡やイメージングサイトメーターが知られている。
加えて、フローサイトメーターの一種で、従来のフローサイトメーターと同等のスループットで微粒子の形態情報を高速に撮像するイメージングフローサイトメーターが知られている(例えば、特許文献2)。イメージングフローサイトメーターでは、流路中に照明光の当たる計測野が設けられ、細胞が計測野を通り抜ける。つまりイメージングフローサイトメーターでは、スキャンされる際に、二次元または三次元画像の撮像、または画像に相当する細胞空間情報の計測を行う。
また、観測対象物となる細胞に帯状の励起光を照射して、この励起光が照射される照射面に対して異なる角度の面の画像や、観察対象物の3次元画像を得る多面光学顕微鏡が知られている(例えば、特許文献3及び特許文献4)。特許文献4に記載の多面光学顕微鏡では、Axial plane optical microscopy(APOM)の技術が用いられている(例えば、非特許文献1)。APOMとは、走査を行うことなく観測対象物の対物レンズの光軸に対して平行な断面を直接撮像する多面光学顕微鏡の技術である。
特許第5534214号公報 米国特許第6249341号明細書 米国特許出願公開第2015/0192767号明細書 米国特許第8582203号明細書
Tongcang Li、Sadao Ota、Jeongmin Kim、Zi Jing Wong、Yuan Wang 、Xiaobo Yin、Xiang Zhang、「Axial plane optical microscopy」、「Scientific Reports」、Springer Nature、2014年12月1日、4巻、7253号 Danuta M. Bukowska、Ladislav Derzsi、Szymon Tamborski、Maciej Szkulmowski、Piotr Garstecki、Maciej Wojtkowski、「Assessment of the flow velocity of blood cells in a microfluidic device using joint spectral and time domain optical coherence tomography」、「Optics Express」、OSA Publishing、2013年10月1日、21巻、20号、p.24025-24038
上述したようなイメージングサイトメーターでは、流路を流れる流体の流速は、流路の幅方向、あるいは高さ方向についてばらつきが生じ得る。また、何もしなければ、観測対象物の位置は流路の幅方向、あるいは高さ方向についてばらついてしまう。その結果、流路に生じた流速のばらつきによって、流路を流れる観測対象物の速度(進行方向と速さ)のばらつき、あるいは回転が起こってしまう。その結果、撮像位置においても測対象物の流線方向に垂直な方向についての位置あるいは速度が安定しない、あるいは対象物が回転してしまうことがあった。そのため、観測対象物を流線方向に走査する場合に撮像条件が安定しない場合があった。撮像条件には、撮像過程における観測対象物の流線方向に垂直な方向における位置、回転、及び速度(進行方向と速さ)が含まれる。
本発明は上記の点に鑑みてなされたものであり、流路を流れる観測対象物を流線方向に走査する場合に撮像条件を安定させることができるイメージングフローサイトメーターを提供する。
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、観測対象物が流される流路であって、幅方向の長さが高さ方向の長さよりも長い流路と、前記流路に対して音波を定在波にして照射する音響素子と、前記流路に対して照明光を照射する光源と、前記照明光が照射される位置を通過した前記観測対象物を計測または撮像することにより、前記観測対象物が前記流路を流れる方向である流線方向についての前記観測対象物の断面に含まれる線を少なくとも撮像する撮像部と、前記撮像部が前記線を時系列に撮像して得られる複数の撮像画像に基づいて、前記観測対象物が前記流線方向に走査された画像を生成する走査画像生成部と、を備え、前記流路を流れる前記観測対象物の流速は前記撮像部に応じて決まっており、前記音響素子と前記撮像部との前記流路の長さ方向についての距離は、前記音響素子による前記音波の音響効果による複数の前記観測対象物の整列が持続する程度に短く、前記高さ方向について前記定在波の節の数は所定の個数であり、前記撮像部は、前記撮像部に備えられる撮像素子の画素列のうち前記高さ方向の前記定在波の節の位置に対応する画素列のみを用いて撮像を行うイメージングフローサイトメーターである。
また、本発明の一態様は、上記のイメージングフローサイトメーターにおいて、前記高さ方向について前記定在波の節の数は1個であり、前記幅方向について前記定在波の節の数は0個である。
また、本発明の一態様は、上記のイメージングフローサイトメーターにおいて、前記高さ方向について前記定在波の節の数は1個であり、前記幅方向について前記定在波の節の数は1個以上である。
また、本発明の一態様は、上記のイメージングフローサイトメーターにおいて、前記流路には、前記幅方向に整列された複数の前記観測対象物が流される。
本発明によれば、流路を流れる観測対象物を流線方向に走査する場合に撮像条件を安定させることができる。
本発明の第1の実施形態に係る細胞測定システムの構成の一例を示す図である。 本発明の第1の実施形態に係る細胞測定システムの機能構成の一例を示す図である。 本発明の第1の実施形態に係る流路の構成の一例を示す図である。 本発明の第1の実施形態に係る流路における幅方向の流速分布の一例を示す図である。 本発明の第1の実施形態に係る流路における高さ方向の流速分布の一例を示す図である。 本発明の第1の実施形態に係る音波によって流路を流れる複数の細胞が高さ方向について整列される様子の一例を示す図である。 本発明の第1の実施形態に係る音響素子が音波を流路に照射していない場合に複数の細胞が流路を流れる様子の一例を示す図である。 本発明の第1の実施形態に係る音波の定在波の節の数が幅方向について1以上である場合に複数の細胞が流路を流れる様子の一例を示す図である。 本発明の第1の実施形態に係る撮像素子が撮像する細胞の断面の一例を示す図である。 本発明の第1の実施形態に係る撮像素子において像が結像される領域の画素列の一例を示す図である。 本発明の第1の実施形態に係る3次元画像生成部が断面画像を結合する順番の一例を示す図である。 本発明の第1の実施形態に係るイメージングフローサイトメーターの動作の一例を示す流れ図である。 本発明の第1の実施形態に係る流路の高さ方向から複数の細胞が撮像された明視野画像の一例を示す図である。 本発明の第1の実施形態に係る高さ方向から所定の角度だけ傾いた面において複数の細胞が撮像された蛍光画像の一例を示す図である。 本発明の第1の実施形態に係る高さ方向から所定の角度だけ傾いた面が異なる時刻において撮像された断面画像の一例を示す図である。 本発明の第1の実施形態に係る3次元画像の一例を示す図である。 本発明の第1の実施形態に係るx方向とy方向についての断面の画像の一例を示す図である。 本発明の第1の実施形態に係る断面画像の各領域の拡大図の一例を示す図である。 本発明の第2の実施形態に係る細胞測定システムの機能構成の一例を示す図である。 本発明の第2の実施形態に係る2次元画像生成部が線画像を結合する順番の一例を示す図である。 本発明の実施例に係る細胞の3次元画像を2次元平面(xy平面)に射影した画像の一例を示す図である。 本発明の実施例に係る図21に示した画像の領域を拡大した画像の一例を示す図である。 本発明の実施例に係るDAPIによって染色された細胞の細胞分裂の中期の3次元画像を2次元平面に射影した画像の一例を示す図である。 本発明の実施例に係るDAPIによって染色された細胞の細胞分裂の後期の3次元画像を2次元平面に射影した画像の一例を示す図である。 本発明の実施例に係る3次元画像のうちDAPIによって染色された領域の一例を示す図である。 本発明の実施例に係るxy平面、yz平面、及びxz平面それぞれに射影した場合の2次元画像の一例を示す図である。 本発明の実施例に係る座標軸を主成分分析によって得られた座標軸へと回転させた場合の2次元画像の一例を示す図である。 本発明の実施例に係る広い範囲の3次元画像の一例を示す図である。 本発明の実施例に係るMPM-2及びDAPIの強度を解析した結果を示す散布図の一例を示す図である。 本発明の実施例に係る2つのDAPI染色された領域の3次元画像がxy平面に射影された2次元画像の一例を示す図である。 本発明の実施例に係る1つのDAPI染色された領域の3次元画像が平面に射影された2次元画像の一例を示す図である。 本発明の実施例に係る3次元イメージングによる画像と2次元イメージングに相当する画像とでDAPI領域のアスペクト比を比較した結果の一例を示す図である。
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図1は、本実施形態に係る細胞測定システム1の構成の一例を示す図である。
細胞測定システム1は、イメージングフローサイトメーター20と、解析装置30と、表示部10とを備える。イメージングフローサイトメーター20は、観測対象物が流される流路を備える。なお、本実施形態では、観測対象物が細胞である場合について説明するが、観測対象物は細胞に限られない。観測対象物は、細菌等の微粒子であってもよい。
イメージングフローサイトメーター20が観測対象物を観察するために用いる顕微鏡には、蛍光顕微鏡、あるいは蛍光染色を必要としない各種の顕微鏡が用いられる。イメージングフローサイトメーター20に蛍光顕微鏡が用いられる場合、観測対象物は蛍光染色される。イメージングフローサイトメーター20に蛍光染色を必要としない各種の顕微鏡が用いられる場合、観測対象物は蛍光染色されない。蛍光染色を必要としない各種の顕微鏡とは、例えば、明視野顕微鏡、暗視野顕微鏡、位相差顕微鏡、位相顕微鏡、光散乱顕微鏡、ラマン散乱光顕微鏡、吸収位相顕微鏡などである。蛍光染色を必要としない顕微鏡を用いるイメージングフローサイトメーターでは、蛍光染色されていない観測対象物の画像を撮像するラベルフリーイメージングの技術が用いられ、細胞、細菌等を非侵襲的に観察することができる。イメージングフローサイトメーター20が観測対象物を観察するイメージングは、上述したものに限られず、可視光、可視光以外の電磁波、熱、あるいは振動波などによる各種のイメージングが用いられてよい。
イメージングフローサイトメーター20は、この流路を流される細胞の3次元画像を生成する。解析装置30は、イメージングフローサイトメーター20が生成した3次元画像を解析する。解析装置30は、3次元画像を解析することによって、例えば、当該3次元画像として再構築された細胞の分類、あるいは当該細胞についての各種の情報の読み取りを実行する。解析装置30は、例えば、パーソナルコンピュータ(PC:Personal Computer)である。解析装置30は、非破壊の細胞解析に好適に用いられる。
表示部10は、イメージングフローサイトメーター20が生成した3次元画像、あるいは解析装置30による解析結果を表示する。表示部10は、例えば、液晶ディスプレイを備えており、さまざまな画像を表示する。この表示部10に表示される画像には、イメージングフローサイトメーター20が生成する細胞の3次元画像が含まれている。
[イメージングフローサイトメーター20の機能構成]
次に、図2を参照して、イメージングフローサイトメーター20の機能構成について説明する。
図2は、本実施形態の細胞測定システム1の機能構成の一例を示す図である。図2には、3次元直交座標系として、xyz座標系を示す。本実施形態において、x軸方向は、流路21の幅方向である。また、y軸方向が流路21における細胞CLが流される方向である。細胞CLは、y軸方向の+y方向に流される。z軸方向は、流路21と直交する方向であって、流路21の高さ方向である。
イメージングフローサイトメーター20は、流路21と、音響素子22と、撮像部23と、記憶部25と、3次元画像生成部26とを備える。
ここで図3から図8を参照し、流路21、及び音響素子22について説明する。図3は、本実施形態に係る流路21の構成の一例を示す図である。流路21は、観測対象物が流される。観測対象物は、流路21を流れる流体と共に流れされる。本実施形態では、流路21には、流路21の幅方向に整列された複数の観測対象物が流される。
複数の観測対象物が幅方向に整列されるとは、高さ方向の位置が複数の観測対象物相互間において略等しくされて、複数の観測対象物が幅方向に1列に配置されることである。隣り合う観測対象物同士の間隔は任意であってよい。複数の観測対象物が幅方向に整列されている場合、流路21の長さ方向についての位置は、複数の観測対象物相互間において揃っていることが好ましい。複数の観測対象物が幅方向に整列されている場合、流路21の長さ方向についての位置は、複数の観測対象物について、少なくとも、ある観測対象物が他の観測対象物と長さ方向について重なり合う部分を有していることが好ましい。図3に示す例では、流路21には、観測対象物として複数の細胞CLsが、流路21の幅方向に整列されて流されている。
なお、流路21には、1つの観測対象物が流されてもよい。
流路21では、幅方向長さFWは高さ方向長さFHよりも長い。ここで、流路の幅方向の長さの高さ方向の長さに対する比率が非常に大きい場合、流路内における幅方向の流速分布は、幅方向の位置によらず一定となる(例えば、非特許文献2を参照)。一方、この場合、高さ方向の流速分布は、高さ方向の位置によって大きく変化する。
[流速分布について]
図4に、流路21における幅方向の流速分布の一例を示す。流路21では、幅方向長さFWは高さ方向長さFHよりも長いために、幅方向の流速分布は、流路21の壁の付近を除いて、幅方向(x軸方向)の位置によらずほぼ一定となる。
図5に、流路21における高さ方向の流速分布の一例を示す。流路21では、高さ方向の流速分布は、高さ方向(z軸方向)の位置によって大きく変化する。ここで高さ方向の流速は、流路21の壁から遠いほど大きくなる。一方、高さ方向の流速は、流路21の壁に近いほど小さくなる。したがって、高さ方向の流速は、高さ方向(z軸方向)の位置について中央の位置で最大となる。
このように流路21では、高さ方向について流速のばらつきが生じ得る。ここで高さ方向の流速分布の結果としてもあり得るが、他の色々な原因(例えば、重力)によっても、流路21を流れる複数の細胞CLsの高さ方向についての位置は元から(最初から)ばらついている。その結果、高さ方向の流速分布によって、流路21を流れる複数の細胞CLsはそれぞれ、速度(進行方向と速さ)が変化し得る、あるいは回転し得る。それらのため、複数の細胞CLsそれぞれについて流線方向に垂直な方向における位置、あるいは向きが、複数の細胞CLsを撮像する過程において撮像部23に対して変化してしまう。
また、複数の細胞CLsそれぞれについて流線方向に垂直な方向における位置がばらついた場合、複数の細胞CLsのうち撮像部23に備えられる撮像素子28によって撮像される位置以外の位置を通過してしまうものがある場合がある。その場合、1フレームあたりの細胞の数が少なくなってしまう。
イメージングフローサイトメーター20では、音響素子22による音波AWを用いて観測対象物の流路21の高さ方向の位置を揃える。音響素子22は、一例として、トランスデューサを含んで構成される。
図6に、本実施形態に係る音波AWによって流路21を流れる複数の細胞CLsが高さ方向について整列される様子の一例を示す。音響素子22は、流路21に対して音波AWを定在波にして照射する。音波AWの波長は、流路21の高さに応じて決まる。
複数の細胞CLsは、音響効果によって音波の定在波の節に集まるように整列される。音響効果によって音波の定在波の節に観測対象物を集中させる方法を音響フォーカシングという。音響素子22から照射される音波AWは、例えば、超音波である。なお、音響素子22から照射される音波AWは、超音波より低い周波数の音波であってもよい。
本実施形態では、音波AWの定在波の節の数は、一例として、高さ方向について1個である。音波AWの定在波の節の位置は、流路21の高さ方向について高さの中央の位置である。音波AWの波長は、流路21の高さに等しい。
複数の細胞CLsは、音波AWの定在波の節の数が高さ方向について1個であることに応じて、高さ方向について高さの中央の位置に1列に整列されている。図6では、一例として、複数の細胞CLsのうち細胞CL1の付近の位置に生じている音波AWの振幅のパターンを示している。音波AWの定在波は、流路21の幅方向の他の位置についても、同様にして流路21の高さの中央の位置に節をもつ。
一方、音波AWの定在波の節の数は、一例として、幅方向について0個である。換言すれば、音波AWは幅方向については定在波を形成しない。
比較のために、図7に、音響素子22が音波AWを流路21に照射していない場合に複数の細胞CLsが流路21を流れる様子の一例を示す。図7では、流路21の長さ方向(y軸方向)についてのある時刻t1におけるある断面が示されている。複数の細胞CLs-1は、複数の細胞CLsのうち流路21の幅方向(x軸方向)について中央付近を流れる速度の速い細胞である。細胞CLs-2、CLs-3は、複数の細胞CLsのうち流路21の幅方向(x軸方向)について中央から離れた位置を流れる速度の遅い細胞である。速度の遅い細胞CLs-2、CLs-3は、時刻t1において、速度の速い細胞CLs-1よりも上流を流れており、図7に示す断面の位置には到達していない。
また、複数の細胞CLsでは、流路21の高さ方向(z軸方向)についての位置が、高さ方向の流速分布のために揃っていない。
また、上述したように、本実施形態では、音波AWの定在波の節の数は、幅方向について0個である場合の一例について説明するが、これに限られない。音波AWの定在波の節の数が幅方向について1個以上であってもよい。図8に、音波AWの定在波の節の数が幅方向について1以上である場合に複数の細胞CLsが流路21を流れる様子の一例を示す。図8では、一例として、音波AWの定在波の節の数は幅方向について5個である。複数の細胞CLsは、音響効果によって、幅方向について、定在波の幅方向の節の位置に整列する。
幅方向について定在波の節がある場合、流路21を流れる複数の細胞CLsは、幅方向について当該節の位置を流れる。そのため、幅方向に並べられる複数の細胞CLsの数は、幅方向についての定在波の節の数と等しくなる。つまり、幅方向について定在波の節は、幅方向に並べられる複数の細胞CLsの数を制限してしまう。
なお、幅方向について定在波の節は、幅方向に並べられる複数の細胞CLsの数を制限する一方で、幅方向に並べられた複数の細胞CLsの隣り合う細胞同士の距離を所定の距離以上とすることができる。そのため、幅方向について定在波の節は、複数の細胞CLs同士が相互作用してしまうことを抑制できる。
一方、本実施形態では、音波AWの定在波の節の数は幅方向について0個であるため、幅方向に並べられる複数の細胞CLsの数は、当該節の数によっては制限されない。本実施形態では、幅方向に並べられる複数の細胞CLsの数は、それら複数の細胞CLsの大きさと流路21の幅とによって制限される。
図2に戻り、音響素子22が備えられる位置について説明する。
音響素子22は、流路21の長さ方向について撮像部23が備えられる位置よりも上流側(-y軸方向)であって、当該位置から所定の距離だけ離れた位置に備えられる。したがって、音響素子22が照射する音波AWによる定在波は、撮像部23が備えられる位置よりも上流側(-y軸方向)の位置において生じる。
音波AWによって高さ方向について整列された複数の細胞CLsは、音波AWが照射される位置を通過すると、下流側においてやがては流速分布の影響を受ける。つまり、一度整列された複数の細胞CLsには、音波AWが照射される位置の下流側において、位置のばらつき、あるいは回転が生じ得る。イメージングフローサイトメーター20では、撮像部23は、一度整列された複数の細胞CLsに位置のばらつき、あるいは回転が生じる位置よりも上流側の位置に配置される。したがって、撮像部23は、複数の細胞CLsが高さ方向について整列された状態を撮像する。
このように、音響素子22と撮像部23との流路21の長さ方向についての距離は、音響素子22による音波AWの音響効果による複数の観測対象物の整列が持続する程度に短い。
なお、音響素子22は、流路21の長さ方向について撮像部23が備えられる位置よりも上流側(-y軸方向)であって、当該位置から所定の距離だけ離れた位置に備えられるため、音響素子22の外観が撮像部23が撮像する画像に映り込んでしまうことはない。
撮像部23は、光源27と、対物レンズOGと、撮像素子28と、第1光学素子L1と、第2光学素子L2と、第3光学素子L3と、制御部200とを備える。
光源27は、流路21に対して帯状の照明光LSを照射する。具体的には、光源27は、流路21に対して帯状のコヒーレント光を照射する。帯状の照明光LSとは、コヒーレント光を絞ることにより、帯状にした照明光である。帯状にした照明光とは、x軸方向に試料の径よりも長い幅をもち、y軸方向に試料の径よりも短い厚みに調整されたコヒーレント光である。本実施形態では、光源27は、ダイクロイックミラーM1と、対物レンズOGとを介して、流路21に対して帯状の照明光LSを照射する。なお、照明光LSは、コヒーレント光であっても、インコヒーレント光であってもよい。本実施形態では、光源27が照射する照明光LSは、一例として、コヒーレント光である。
光源27は、ダイクロイックミラーM1と、対物レンズOGとを介して、流路21に対して照明光LSを照射する。
以下の説明では、流路21の照明光LSが照射される位置のことを、照射位置とも記載する。この照射位置を通過した細胞CLは、照明光LSが照射されると光Lを発する。例えば、細胞CLが蛍光染色されている場合、照明光LSとして励起光が用いられ、細胞CLは、励起光である照明光LSによって蛍光分子が励起されることにより発光する。この発光による光は蛍光であり、光Lとはこの蛍光である。
撮像部23は、照明光LSが照射される位置を通過した細胞CLを撮像する。撮像部23は、一例として、照明光LSが照射される位置を通過した細胞CLからの光Lを撮像する。これにより、撮像部23は、細胞CLのある断面を撮像する。ここで、ある断面とは、照明光LSによって細胞CLが光Lを発した面である。言い換えると、ある断面とは、細胞CLが流路21を流れる方向と交差する面である。なお、この細胞のある断面を撮像する光学系の構成は、例えば、米国特許出願公開第2015/0192767号明細書及び米国特許第8582203号明細書などに開示される構成である。またなお、撮像部23は、細胞CLの空間情報を計測してもよい。またなお、イメージングフローサイトメーター20が観測対象物を観察するイメージングの種類に応じて、撮像部23は、可視光、可視光以外の電磁波、熱、あるいは振動波などを計測または撮像に用いてよい。
対物レンズOGは、細胞CLからの光Lを集光する。対物レンズOGとは、照射位置に焦点があう位置に配置される対物レンズである。以下の説明では、照射位置に焦点が合う位置のことを焦点位置FPとも記載する。なお、対物レンズOGは、ドライ対物レンズあっても、液浸対物レンズであってもよい。液浸対物レンズとは、油浸レンズ、あるいは水浸レンズなどである。
対物レンズOGによって集光された光は、第1光学素子L1と第2光学素子L2と第3光学素子L3とを介して、撮像素子28において結像される。この一例では、対物レンズOGによって集光された光は、第1光学素子L1を介して像VRIとして結像される。この像VRIは、x軸方向とz0軸方向とを含む面についての細胞CLの断面の像である。ここでz0軸とは、対物レンズOGによって集光された帯状の照明光LSが細胞CLに入射する方向である。帯状の照明光LSが細胞CLに入射する方向は、z軸方向に対して所定の角度だけ傾いている。つまり、z0軸はz軸に対して所定の角度だけ傾いている。撮像素子28は、像VRIを、第2光学素子L2及び第3光学素子L3を介して撮像する。
[断面について]
ここで、図9を参照して、撮像素子28が撮像する細胞CLの断面の一例について説明する。
図9は、撮像素子28が撮像する細胞CLの断面を示す図である。図9(a)は、照明光LSと、細胞CLとの位置の関係を示す図である。光源27から照射される照明光LSは、z0軸方向に照射される。
図9(b)は、図9(a)から見た細胞CLを、y軸方向から見た図である。照明光LSは、z0軸方向とx軸方向とに帯状に広がる。細胞CLは流路21を流されることにより、この帯状に広がった照明光LSを通過する。ここで、図9(a)に示す照明光LSの幅W1は、図9(b)に示す照明光LSの幅W2よりも狭い。具体的には、幅W1は、2~3μmである。
図9(c)は、撮像素子28と細胞CLの断面の像である像VRIとの位置関係示す図である。撮像素子28と像VRIとは平行である。撮像素子28は、像VRIに垂直な方向(つまり、図2に示した第2光学素子L2、及び第3光学素子L3の光軸の方向)から像VRIを撮像する。
図2に戻り、イメージングフローサイトメーター20の構成の説明を続ける。
撮像素子28は、細胞CLの断面を撮像する。ここで、撮像素子28は、一例として、縦方向及び横方向に画素が配列されたカメラである。撮像素子28は、縦方向及び横方向に配列された画素のうち、像が結像される領域の画素列の光の強さのみを取得することができる。例えば、撮像素子28は、縦方向にN行、横方向にN列の画素が配列されている場合に、縦方向について中央のM行(MはNより小さい数)分の画素列の光の強さのみを取得する。つまり、撮像素子28は、M×N個の画素の光の強さのみを取得する。これにより、撮像素子28は、像が結像されない領域との両方の画素の光の強さを取得する撮像素子と比較して、像が結像されない領域の画素列の光の強さを取得する時間を短縮することができる。また、撮像素子28から取得した光の強さに基づいて、撮像画像を生成する画像処理の時間を短縮することができる。これにより、撮像素子28は、高速に像を取得することができる。
なお、撮像素子28は、像が結像される領域と、像が結像されない領域との両方の画素の光の強さを取得するカメラであってもよい。
図10に、撮像素子28において像が結像される領域の画素列の一例を示す。複数の像VRIそれぞれは、複数の細胞CLsそれぞれの像である。上述したように、複数の細胞CLsは、定在波である音波AWが流路21に照射されることによって、流路21の高さ方向について整列されている。そのため、撮像素子28は、複数の細胞CLsが幅方向について1列に整列された状態で複数の細胞CLsを撮像する。イメージングフローサイトメーター20では、フレーム当たりの観測対象物の数を、観測対象物が高さ方向について1列に整列されていない場合に比べて多くできる。
本実施形態では、撮像素子28は、sCMOS(Scientific CMOS;科学計測用CMOS)などから構成される撮像素子である。sCMOSは、従来のCCDや、CMOSによって構成される撮像素子よりも、高速かつ画質よく撮像することができる。
撮像素子28は、撮像した撮像画像を、画像取得部24に対して供給する。
制御部200は、例えばCPUや、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)などを備えており、種々の演算や情報の授受を行う。制御部200は、画像取得部24を、その機能部として備える。
画像取得部24は、撮像素子28から撮像画像を取得する。画像取得部24は、撮像素子28から取得した撮像画像を、断面画像PICとして、記憶部25に記憶させる。記憶部25には、断面画像PICが撮像された順に記憶される。
3次元画像生成部26は、前記撮像部が細胞CLの断面CSを時系列に撮像して得られる複数の断面画像PICに基づいて、細胞CLの3次元画像を生成する。細胞CLの3次元画像は、細胞CLが流路21を流れる方向である流線方向に細胞CLが走査された画像である。3次元画像生成部26は、記憶部25から複数の断面画像PICを取得する。3次元画像生成部26は、記憶部25から取得した複数の断面画像PICに基づいて、細胞CLの3次元画像を生成する。具体的には、3次元画像生成部26は、断面画像PICが撮像された順に-y軸方向に向かって結合する。この断面画像PICは、上述した面LPを撮像した画像である。
ここで、図11を参照して、3次元画像生成部26が断面画像PICを結合する順番について詳細に説明する。
図11は、3次元画像生成部26が断面画像PICを結合する順番を示す図である。
図11(a)は、細胞CLの断面と断面画像と対応関係の一例を示す図である。
細胞CLは、+y軸方向に向かって移動する。撮像部23は、細胞CLの断面CS1から断面CSnまでのn枚の断面画像PICを、この順に時系列に撮像する。断面CSnのnとは、1以上の整数である。
記憶部25には、断面CS1の断面画像PIC1から、断面CSnの断面画像PICnまでが記憶される。
図11(b)は、3次元画像生成部26が断面画像PIC1から断面画像PICnまでを結合する順番を示す図である。3次元画像生成部26は、断面画像PICが撮像された順に-y軸方向に向かって結合する。これは、細胞CLが+y軸方向に移動するためである。なお、結合の順番は、細胞CLの移動方向に応じて変更する。
図11(b)には、3次元直交座標系として、XYZ座標系を示す。このXYZ座標系は、3次元画像生成部26が生成する3次元画像の座標系である。3次元画像生成部26は、このXYZ座標系と、xyz座標系とを対応付けた状態で、断面画像PIC1から断面画像PICnを結合する。具体的には、3次元画像生成部26は、X方向と、x方向とを同じ方向にして結合する。3次元画像生成部26は、Y軸方向とy軸方向とを同じ方向にして結合する。3次元画像生成部26は、Z軸方向とz軸方向とを同じ方向にして結合する。また、3次元画像生成部26は、断面画像PIC1から断面画像PICnを順に、-Y軸方向に結合することにより、細胞CLの3次元画像を生成する。
[イメージングフローサイトメーター20の動作の概要]
次に、図12を参照して、イメージングフローサイトメーター20の動作手順の概要について説明する。
図12は、イメージングフローサイトメーター20の動作の一例を示す流れ図である。なお、ここに示す動作手順は、一例であって、動作手順の省略や動作手順の追加が行われてもよい。
(ステップS10)音響素子22は、流路21に対して音波AWを照射する。
(ステップS20)撮像素子28は、常に焦点位置FPの像を撮像する。画像取得部24は、撮像素子28から信号を取得する。信号とは、上述した断面画像PICを示す信号である。
(ステップS30)画像取得部24は、撮像素子28から取得した信号に変化があるか否か判定する。具体的には、画像取得部24には、流路を細胞CLが流されていない状態の信号である検出前信号が記憶される。画像取得部24は、検出前信号と、撮像素子28から取得した信号とを比較する。具体的には、画像取得部24は、検出前信号と撮像素子28から取得した信号とが、所定の差が無い場合には、信号に変化が無いと判定する。画像取得部24は、検出前信号と撮像素子28から取得した信号とが、所定の差がある場合には、信号に変化があると判定する。
(ステップS30;NO)画像取得部24は、信号に変化が無いと判定する場合には、ステップS10から処理を繰り返す。
(ステップS30;YES)画像取得部24は、信号に変化があると判定する場合には、撮像素子28から取得した信号を、断面画像PICとして、記憶部25に記憶させる(ステップS40)。
(ステップS50)画像取得部24は、撮像素子28から信号を取得する。
(ステップS60)画像取得部24は、撮像素子28から取得した信号に基づいて、細胞CLの断面を撮像し終えたか判定する。具体的には、画像取得部24は、検出前信号と撮像素子28から取得した信号とが、所定の差がある場合には、細胞の断面を撮像し終えていないと判定する。画像取得部24は、検出前信号と撮像素子28から取得した信号とが、所定の差が無い場合には、細胞の断面を撮像し終えたと判定する。
(ステップS60;NO)画像取得部24は、細胞の断面を撮像し終えていないと判定する場合には、ステップS40から処理を繰り返す。
(ステップS60;YES)画像取得部24は、細胞の断面を撮像し終えたと判定する場合には、ステップS70の処理を実行する。
(ステップS70)3次元画像生成部26は、記憶部25から複数の断面画像PICを取得する。3次元画像生成部26は、記憶部25から取得した複数の断面画像PICを、結合することにより、3次元画像を生成する。
(ステップS80)3次元画像生成部26は、生成した3次元画像を表示部10に表示させる。イメージングフローサイトメーター20は、処理を終了する。
ここで図13及び図14を参照し、実施形態に係るイメージングフローサイトメーター20による音響効果について説明する。
図13は、本実施形態に係る流路21の高さ方向(z軸方向)から複数の細胞が撮像された明視野画像の一例を示す図である。図13(a)は、音波AWが照射されていない場合の明視野画像であり、図13(b)は、音波AWが照射された場合の明視野画像である。明視野画像において、複数の細胞は、高さ方向(z軸方向)の位置に応じたコントラスト(明るさ)によって撮像されている。図13に示す撮像結果では、流路21として高さが200マイクロメートル、幅が2ミリメートルのガラス毛細管が用いられている。流路21には、蛍光染色された複数の細胞を1ミリリットル当たり1×107個含む懸濁液が毎分10マイクロリットルの流速で流される。
図13(a)に示すように、音波AWが照射されていない場合、複数の細胞はコントラストがばらついており、流路21の高さ方向(z軸方向)の位置、及び速度がばらついている。また、音波AWが照射されていない場合、複数の細胞には撮像過程において回転してしまったことが確かめられている。一方、図13(b)に示すように、音波AWが照射された場合、複数の細胞はコントラストがばらついておらず、流路21の高さ方向(z軸方向)の位置及び速度がばらついておらず、かつ回転もみられなかった。
図14は、本実施形態に係る高さ方向から所定の角度だけ傾いた面において複数の細胞が撮像された蛍光画像の一例を示す図である。高さ方向から所定の角度だけ傾いた面とは、図9において説明した面LPである。図14(a)は、音波AWが照射されていない場合の蛍光画像であり、図14(b)は、音波AWが照射された場合の蛍光画像である。図14に示す撮像結果は、撮像素子28の画素のうち像が結像される領域に対応する800×2560個の画素を用いて毎秒20フレームの撮像が行われたものである。
図14(a)に示すように、音波AWが照射されていない場合、複数の細胞は重力のために流路21の高さ方向について中央よりも底に近い領域を流れている。一方、図14(b)に示すように、音波AWが照射された場合、複数の細胞は流路21の高さ方向について中央を流れている。
ここで図15から図18を参照し、イメージングフローサイトメーター20による細胞の3次元画像の撮像結果(イメージング)について説明する。
図15は、本実施形態に係る高さ方向から所定の角度だけ傾いた面(面LP)が異なる時刻において撮像された断面画像である。図15に示す断面画像は、毎秒720フレームで撮像が行われている。この撮像では、流路21の高さが200マイクロメートルに対して、撮像素子28の画素のうち縦方向について36マイクロメートルの高さに対応する領域の撮像に用いられる画素のみが用いられている。
図16は、図15に示す断面画像から再構成された3次元画像の一例を示す図である。図16は、毎秒720フレームで撮像された断面の画像について、600フレームの画像から再構成された3次元画像である。図16に示す3次元画像では、1921個の細胞が833ミリ秒をかけて撮像されている。スループットとして、毎秒2305個の細胞が撮像されたことに対応する。
図17は、x方向とy方向についての断面の画像である。図18は、本実施形態に係る図17に示した断面画像の各領域(領域R1、領域R2、領域R3、領域R4)の拡大図である。
(第2の実施形態)
次に、図19を参照して、イメージングフローサイトメーターの第2の実施形態について説明する。なお、上述した第1の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図19は、第2の実施形態の細胞測定システム1aの機能構成の一例を示す図である。細胞測定システム1aは、2次元画像を生成する点において、上述した第1の実施形態と異なる。
イメージングフローサイトメーター20aは、流路21と、音響素子22と、撮像部23aと、記憶部25と、2次元画像生成部26aとを備える。
撮像部23aは、光源27bと、対物レンズOGと、撮像素子28と、第1光学素子L1と、第2光学素子L2と、第3光学素子L3と、制御部200とを備える。
撮像部23aは、ラインスキャンカメラである。ラインスキャンカメラは、撮像素子28の縦方向又は横方向に並んだ1列の画素列について、検出された光の強さを取得する。撮像部23aは、観測対象物の断面に含まれる線を時系列に撮像する。この線は、断面をある方向について線の集まりとみなした場合に、当該集まりに含まれるいずれかの線である。撮像素子28としては、例えば、リニアアレイ型の光電子増倍管(PMT:Photomultiplier Tube)などの光検出素子、あるいはsCMOSカメラの一部の画素が用いられる。
2次元画像生成部26aは、撮像部23aが時系列に撮像した複数の線の画像に基づいて、観測対象物が流線方向に走査された2次元画像が生成する。
ここで、図20を参照して、2次元画像生成部26aが線画像PLCを結合する順番について詳細に説明する。
図20は、2次元画像生成部26aが線画像PLCを結合する順番を示す図である。
図20(a)は、細胞CLの断面に含まれる線と線画像と対応関係の一例を示す図である。
細胞CLは、+y軸方向に向かって移動する。撮像部23は、細胞CLの断面CS1から断面CSnまでにそれぞれ含まれる線についてn枚の線画像PLCを、この順に時系列に撮像する。断面CSnのnとは、1以上の整数である。
記憶部25には、断面CS1に含まれる線の線画像PLC1から、断面CSnに含まれる線の線画像PLCnまでが記憶される。
図20(b)は、2次元画像生成部26aが線画像PLC1から線画像PLCnまでを結合する順番を示す図である。2次元画像生成部26aは、線画像PLCが撮像された順に-y軸方向に向かって結合する。
図20(b)には、3次元直交座標系として、XYZ座標系を示す。このXYZ座標系に含まれるX軸とY軸とからなる2次元座標系であるXY座標系は、2次元画像生成部26aが生成する2次元画像の座標系である。2次元画像生成部26aは、このXY座標系と、xyz座標系のうちx軸とy軸とを対応付けた状態で、線画像PLC1から線画像PLCnを結合する。具体的には、2次元画像生成部26aは、X方向と、x方向とを同じ方向にして結合する。2次元画像生成部26aは、Y軸方向とy軸方向とを同じ方向にして結合する。また、2次元画像生成部26aは、線画像PLC1から線画像PLCnを順に、-Y軸方向に結合することにより、細胞CLの2次元画像を生成する。
[実施形態のまとめ]
以上に説明したように、上述した実施形態に係るイメージングフローサイトメーター20、20aは、流路21と、音響素子22と、光源27と、撮像部23、23a、23bと、走査画像生成部(3次元画像生成部26、2次元画像生成部26a)とを備える。
流路21は、観測対象物(上述した実施形態において、細胞CL)が流される流路であって、幅方向の長さ(上述した実施形態において、幅方向長さFW)が高さ方向の長さ(上述した実施形態において、高さ方向長さFH)よりも長い。
音響素子22は、流路21に対して音波AWを定在波にして照射する。
光源27、27bは、流路21に対して照明光LS、照明光LSbを照射する。
撮像部23、23a、23bは、照明光LS、照明光LSbが照射される位置を通過した観測対象物(上述した実施形態において、細胞CL)を計測または撮像することにより、観測対象物(上述した実施形態において、細胞CL)が流路21を流れる方向である流線方向についての観測対象物(上述した実施形態において、細胞CL)の断面CSに含まれる線を少なくとも撮像する。
走査画像生成部(3次元画像生成部26、2次元画像生成部26a)は、撮像部23、23a、23bが断面CSに含まれる線を時系列に撮像して得られる複数の撮像画像(上述した実施形態において、断面画像PIC、線画像PLC)に基づいて、観測対象物(上述した実施形態において、細胞CL)が流線方向に走査された画像(上述した実施形態において、細胞CLの3次元画像、細胞CLの2次元画像)を生成する。流線方向は、観測対象物(上述した実施形態において、細胞CL)が流路21を流れる方向である。
この構成により、上述した実施形態に係るイメージングフローサイトメーター20、20aは、観測対象物が撮像される過程において、観測対象物の速度(進行方向と速さ)がばらついてしまうこと、観測対象物が回転してしまうことを音響効果によって抑制できるため、撮像条件を安定させることができる。撮像条件には、撮像過程における観測対象物の流線方向に垂直な方向における位置、回転、及び速度が含まれる。実施形態に係るイメージングフローサイトメーター20、20aでは、観測対象物を流線方向に走査して走査画像を生成するため、観測対象物が撮像される過程において、観測対象物の流線方向に垂直な方向における位置、回転(観測対象物の向き)、あるいは速度が変化してしまうと、観測対象物を流線方向に走査できなくなってしまう。
また、実施形態に係るイメージングフローサイトメーター20、20aでは、音響効果によって観測対象物が流路21の高さ方向ついて撮像される位置以外の位置を通過ししてしまうことを抑制できるため、撮像部23に備えられる撮像素子28の画素列のうち流路21の高さ方向の特定の位置に対応する画素列のみを用いて撮像を行うことができる。撮像部23に備えられる撮像素子28の画素列のうち流路21の高さ方向の特定の位置に対応する画素列のみを用いて撮像を行う場合、観測対象物が流路21の高さ方向ついて撮像される位置以外の位置を通過ししてしまうと、観測対象物の像自体が得られなくなってしまう。
また、上述したように撮像部23は、カメラであり、撮像速度限界、つまり単位時間当たりに撮像可能なフレーム数に限界が存在する。そのため、イメージングフローサイトメーター20、20aでは、流路21を流れる流体の流速を低く抑えなければ、撮像対象に対して流れ方向の撮像回数が減り、解像度が落ちることになる。つまり、イメージングフローサイトメーター20、20aでは、撮像部23に応じて所望の流速は決まっている。
従来、観測対象物が流路21の高さ方向についての位置を安定させるために、流体力学的フォーカシングが知られている。複数の流路を備えて、流体力学的フォーカシングを行う場合、流路21を流れる流体の流速が、流体力学的フォーカシングを行う前に比べて速くなってしまい、流速が安定しない。また、撮像部に応じた流速が所望の流速よりも高くなりすぎるために撮像される像の流れ方向の解像度が低下してしまう。イメージングフローサイトメーター20、20aでは、流速が速くなってしまう流体力学的フォーカシングとは異なり、音響効果によって流速を所望の流速から変化させることなく撮像が可能である。
イメージングフローサイトメーター20、20aでは、流路を流れる観測対象物を流線方向に走査する場合に上述した撮像条件を安定させることができ、安定してかつ高速に走査画像を生成するイメージングが可能となる。
また、上述した実施形態に係るイメージングフローサイトメーター20、20aでは、流路21の高さ方向について音波AWの定在波の節の数は1個であり、流路21の幅方向について音波AWの定在波の節の数は0個である。
この構成により、上述した実施形態に係るイメージングフローサイトメーター20、20aでは、流路21の幅方向について音波AWの定在波の節の数は0個であるため、流路21の幅方向に並べられる複数の細胞CLsの数は、当該節の数によっては制限されない。
なお、高さ方向について音波AWの定在波の節の数が1個であり、流路21の幅方向について音波AWの定在波の節の数が1個以上とされてもよい。
なお、流路21の高さ方向について音波AWの定在波の節の数は、2個以上とされてもよい。
また、上述した実施形態に係るイメージングフローサイトメーター20、20aでは、流路21には、流路21の幅方向に整列された複数の観測対象物(上述した実施形態において、複数の細胞CLs)が流される。
この構成により、上述した実施形態に係るイメージングフローサイトメーター20、20aは、流路21に1個の観測対象物が流される場合に比べてフレーム当たりの観測対象物の数を多くできるため、単位時間当たりに、流路21に1個の観測対象物が流される場合に比べて多い数の観測対象物の走査画像を生成できる。実施形態に係るイメージングフローサイトメーター20、20aでは、スループット(単位時間当たりに計測可能な細胞の個数)と信号対ノイズ比を両立させることができる。スループットと信号対ノイズ比を両立させるとは、同じスループットで計測した際に、各瞬間で同時にたくさんの細胞を計測することによって、細胞当たりに掛けられる計測時間を増加させ、信号対ノイズ比を増加させることである。
また、上述した実施形態に係るイメージングフローサイトメーター20、20aでは、複数の観測対象物は流路21の幅方向に1列に整列されているため、撮像部23に備えられる撮像素子28として像が結像される領域の画素列の光の強さのみを取得する撮像素子を採用することが好適である。そのような撮像素子では、流路21の高さ方向について、複数の観測対象物が整列されている位置以外の像が結像されない領域の画素列の光の強さは取得されないため、撮像画像を生成する画像処理の時間を短縮することができる。
なお、上述した実施形態に係るイメージングフローサイトメーター20、20aにおいては、帯状の照明光LSが用いられる場合の一例について説明したが、これに限られない。流路を流れる観測対象物の断面を撮像して3次元情報、または2次元情報を撮像する他のイメージング技術が用いられてもよい。照明光は帯状でなくてもよいし、照明光は、流路の高さ方向に対して傾いていなくてもよい。
なお、上述した実施形態に係るイメージングフローサイトメーター20、20aにおいて撮像される観測対象物が流線方向に走査された3次元画像、または2次元画像に基づいて、イメージングフローサイトメーター20、20aは観測対象物のソーティングをしてもよい。ソーティングとは、流路21を流される観測対象物のうちから、所定の観測対象物を分取することである。この所定の観測対象物は、ユーザーによって予め選択されていればよい。
ここでソーティングについて説明する。例えば、観測対象物として所定の細胞と、ゴミや他の細胞などの所定の細胞とは異なる物とが、流路21に流されることがある。観測対象物のうちから所定の細胞を選択して取り出すことが、ソーティングである。
つまり、イメージングフローサイトメーター20、20aは、ユーザーによって予め選択された細胞の形態を示す情報と、流線方向に走査された3次元画像、または2次元画像に含まれる細胞の形態を示す情報とを比較することにより、ソーティング対象の細胞か否かを判定し、分取する。
イメージングフローサイトメーター20、20aでは、流路21を流れる流体の流速は、ソーティング対象の判定、及び分取に要する時間に対して、十分に低速である。
(実施例)
以下では、上述した第1の実施形態に係るイメージングフローサイトメーター20を用いて細胞の3次元画像の生成(イメージング)を実施した例について説明する。
本実施例では、観測対象物として、有糸分裂期のヒトの白血病細胞(K562細胞)である細胞C1を解析した。細胞C1は、抗有糸分裂性のタンパク質であるMPM-2と、DAPIとによって染色されている。当該染色された細胞C1を1ミリリットル当たり約1×10個の濃度で含む懸濁液を用いた。当該懸濁液を、毎分10マイクロリットルの流量でイメージングフローサイトメーター20に備えられる流路21に流した。
図21は、上記の実験条件でイメージングフローサイトメーター20によって857ミリ秒間の観察の結果、生成された細胞C1の3次元画像を2次元平面(xy平面)に射影した画像である。図21に示す画像は、3次元画像に含まれるz方向の位置が異なる複数の断面の画像が、重ねて表示された画像である。
図21に示す3次元画像には、1248個の細胞C1が3次元画像として再構築されている。図21に示す3次元画像から、この母集団において60個の細胞C1がMPM-2陽性であると判定された。DAPIによって染色された細胞C1の3次元画像の解析によって、34個の細胞C1が細胞分裂の前期、10個の細胞C1が中期、2個の細胞C1が後期であり、2組の細胞C1が終期であること判定された。
図21において、領域R11、領域R12、領域R13、及び領域R14にそれぞれ含まれる画像は前期、中期、後期、及び終期それぞれの細胞C1の画像である。領域R11、領域R12、及び領域R14にそれぞれ含まれる細胞の画像は、DAPIによって染色された細胞C1の画像である。領域R13に含まれる細胞の画像は、MPM-2によって染色された細胞C1の画像である。図22に、領域R11、領域R12、領域R13、及び領域R14それぞれを拡大した画像を示す。
図23及び図24に、DAPIによって染色された細胞C1の3次元画像を2次元平面に射影した画像を、細胞分裂の中期及び後期のそれぞれについて示す。図23(A)、(B)、及び(C)はそれぞれ、xy平面、yz平面、及びxz平面それぞれに射影された中期の細胞C1の画像である。図24(A)、(B)、及び(C)はそれぞれ、xy平面、yz平面、及びxz平面それぞれに射影された後期の細胞C1の画像である。ここで図24(B)、及び(C)から、後期の細胞C1のyz平面、及びxz平面それぞれに射影された画像について、染色体の分裂を確認することができる。一方、図24(A)に示した後期の細胞C1のxy平面に射影された画像では、分裂した染色体同士が重なって撮像されており、当該画像から染色体の分裂を確認することは難しい。
図24(A)に示したxy平面に射影された画像は、従来の2次元イメージングによって得られる2次元画像に相当する画像である。従来の2次元イメージングでは中期板や染色体の分裂などの細胞周期まで判別可能な画像として生成することは、細胞の向きによっては難しかった。一方、イメージングフローサイトメーター20による3次元イメージングによれば、図24(B)及び(C)に示すように、染色体のz方向の位置が識別することができた。このように、イメージングフローサイトメーター20では、z方向も含めた3次元イメージングが可能であるため、中期板や染色体の分裂などの細胞周期まで判別可能な3次元画像を生成することができる。
ここで細胞C1のうちいくつかの細胞では、xy平面、yz平面、及びxz平面それぞれの平面の画像では、細胞分裂の終期を判定するために染色体の配置を識別するために十分ではない。図25から図27を参照し、3次元画像を射影する方向を変更することによって染色体の配置を識別できるようになる場合があることについて説明する。
図25は、イメージングフローサイトメーター20によって生成された3次元画像のうちDAPIによって染色された領域の一例を示す。当該細胞C1は、細胞分裂の中期の細胞である。図25には、x軸、y軸、及びz軸が示されている。これらのx軸、y軸、及びz軸それぞれが示す方向は、例えば、図1に示したxyz座標系の座標軸それぞれが示す方向に対応する。図25には、x軸、y軸、及びz軸とともに、λ軸、λ軸、λ軸が示されている。λ軸、λ軸、λ軸は、主成分分析によって得られる固有ベクトルに基づいてx軸、y軸、及びz軸が回転されて得られた座標軸である。なお、λ軸、λ軸、λ軸それぞれの方向を示す単位ベクトルはそれぞれ、元のxyz座標系において[-0.54,0.82,0.20]、[0.710.310.63]、及び[0.45,0.48,-0.75]である。
図25に示す領域を、xy平面、yz平面、及びxz平面それぞれに射影した場合、図26に示す2次元画像が得られる。図26(A)、(B)、及び(C)に示すように、xy平面、yz平面、及びxz平面の2次元画像では、染色体の配置を識別することは難しい。
図27は、図25に示す領域を、軸をx軸、y軸、z軸からλ軸、λ軸、λ軸へと回転させて、平面に射影した場合の2次元画像である。図27(A)、(B)、及び(C)はそれぞれ、λλ平面、λλ平面、λλ平面それぞれに射影された2次元画像を示す。図27(A)では、染色体の配置が識別可能となっている。
イメージングフローサイトメーター20では、3次元画像を生成しているため、観測対象物の構造を識別するために3次元画像を2次元画像に射影する方向を選択することができる。射影する方向を選択することは、イメージングフローサイトメーター20が3次元画像を生成しているために可能である。2次元画像や、予め決められた複数の方向それぞれについての2次元画像を生成する場合には、画像を生成した後に解析する段階において、射影する方向を選択することはできない。
図28に、上述した図21に示した画像で撮像された範囲よりも広い範囲について3次元画像を解析した結果を示す。図28では、流路21を流れる10個のオーダーの個数の細胞C1の3次元画像がイメージングフローサイトメーター20によって生成されている。当該細胞C1は、MPM-2またはDAPIによって染色されている。得られた3次元画像では、286秒の合計撮像時間で408937個の細胞C1の画像が検出された。図28に示す画像では、MPM-2及びDAPIによって染色された細胞C1の全体の1パーセントの3次元画像を2次元平面(xy平面)に射影した画像である。xy平面に射影された画像である。図28に示す画像は、3次元画像に含まれるz方向の位置が異なる複数の断面の画像が、重ねて表示された画像である。スケールバーは、100マイクロメートルの長さを示す。
まず、細胞C1それぞれについてのMPM-2及びDAPIの強度を解析した。図29は、当該解析の結果を示す散布図である。当該解析によって、MPM-2陽性の細胞C1が選別された。領域R20は、選別されたMPM-2陽性の細胞C1を示す。
次に、領域R20において、細胞C1内においてDAPI染色された領域の数が計測された。当該計測の結果、2つのDAPI染色された領域が計測された。図30は、2つのDAPI染色された領域の3次元画像がxy平面に射影された2次元画像である。図30に示す画像から細胞分裂の後期または終期であることが判別された。
1つのDAPI染色された領域しかもたない細胞C1については、当該領域のアスペクト比を3次元画像から算出した。図31(A)に、1つのDAPI染色された領域の3次元画像が平面に射影された2次元画像を示す。図31(A)では、DAPI染色された領域の長軸と短軸とのそれぞれの向きが垂直方向と水平方向とそれぞれ一致するように、3次元画像が射影される平面が選択されている。
比較のために図31(B)に、1つのDAPI染色された領域の3次元画像がxy平面に射影された2次元画像を示す。図31(B)に示す2次元画像は、2次元のイメージングを行うイメージングフローサイトメトリーによって生成される2次元画像を模したものである。つまり図31(B)に示す2次元画像は、2次元イメージングに相当する画像である。
図31(B)に示すDAPI染色された領域では、図31(A)に示すDAPI染色された領域に比べてアスペクト比が大きくなっている。
図31(A)に示すような3次元イメージングによる画像から算出されたアスペクト比と、図31(B)に示すような2次元イメージングに相当する画像から算出されたアスペクト比とを比較した。図32に比較結果を示す。図32では、複数の細胞についてDAPI領域のアスペクト比の分布を示すヒストグラムが示されている。ヒストグラムH1は、3次元イメージングによる画像から得られたアスペクト比を示す。ヒストグラムH2は、2次元イメージングに相当する画像から得られたアスペクト比を示す。図32から、2次元イメージングに相当する画像では、3次元イメージングによる画像に比べてアスペクト比が過大に算出される傾向があることがわかる。当該傾向は、2次元イメージングでは、3次元イメージングに比べて次元が少ないことが原因であると考えられる。したがって、細胞の構造のプロファイルを正確に得るためには、高いスループットでの3次元イメージングが有用であると考えられる。イメージングフローサイトメーター20は、そのような3次元イメージングを可能とする。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上述の各装置は内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
20、20a…イメージングフローサイトメーター、21…流路、22…音響素子、27、27b…光源、23…撮像部、26…3次元画像生成部、26a…2次元画像生成部、CL…細胞、LS、LSb…照明光、AW…音波、PIC…断面画像、PLC…線画像

Claims (4)

  1. 観測対象物が流される流路であって、幅方向の長さが高さ方向の長さよりも長い流路と、
    前記流路に対して音波を定在波にして照射する音響素子と、
    前記流路に対して照明光を照射する光源と、
    前記照明光が照射される位置を通過した前記観測対象物を計測または撮像することにより、前記観測対象物が前記流路を流れる方向である流線方向についての前記観測対象物の断面に含まれる線を少なくとも撮像する撮像部と、
    前記撮像部が前記線を時系列に撮像して得られる複数の撮像画像に基づいて、前記観測対象物が前記流線方向に走査された画像を生成する走査画像生成部と、
    を備え
    前記流路を流れる前記観測対象物の流速は前記撮像部に応じて決まっており、
    前記音響素子と前記撮像部との前記流路の長さ方向についての距離は、前記音響素子による前記音波の音響効果による複数の前記観測対象物の整列が持続する程度に短く、
    前記高さ方向について前記定在波の節の数は所定の個数であり、
    前記撮像部は、前記撮像部に備えられる撮像素子の画素列のうち前記高さ方向の前記定在波の節の位置に対応する画素列のみを用いて撮像を行う
    イメージングフローサイトメーター。
  2. 前記高さ方向について前記定在波の節の数は1個であり、前記幅方向について前記定在波の節の数は0個である
    請求項1に記載のイメージングフローサイトメーター。
  3. 前記高さ方向について前記定在波の節の数は1個であり、前記幅方向について前記定在波の節の数は1個以上である
    請求項1に記載のイメージングフローサイトメーター。
  4. 前記流路には、前記幅方向に整列された複数の前記観測対象物が流される
    請求項1から請求項3のいずれか一項に記載のイメージングフローサイトメーター。
JP2022548354A 2020-09-10 2021-09-10 イメージングフローサイトメーター Active JP7427291B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020152331 2020-09-10
JP2020152331 2020-09-10
PCT/JP2021/033328 WO2022054908A1 (ja) 2020-09-10 2021-09-10 イメージングフローサイトメーター

Publications (2)

Publication Number Publication Date
JPWO2022054908A1 JPWO2022054908A1 (ja) 2022-03-17
JP7427291B2 true JP7427291B2 (ja) 2024-02-05

Family

ID=80631650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022548354A Active JP7427291B2 (ja) 2020-09-10 2021-09-10 イメージングフローサイトメーター

Country Status (4)

Country Link
US (1) US20230175949A1 (ja)
EP (1) EP4212849A4 (ja)
JP (1) JP7427291B2 (ja)
WO (1) WO2022054908A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000199744A (ja) 1999-01-06 2000-07-18 Hitachi Ltd 分析装置および分析方法
JP2010276338A (ja) 2009-05-26 2010-12-09 Shimadzu Corp 粒子測定方法および装置
JP2014151260A (ja) 2013-02-07 2014-08-25 Ihi Corp 固液分離方法及び装置
JP2016217888A (ja) 2015-05-20 2016-12-22 シスメックス株式会社 細胞検出装置および細胞検出方法
JP2017116558A (ja) 2014-08-28 2017-06-29 シスメックス株式会社 粒子撮像装置および粒子撮像方法
WO2018199080A1 (ja) 2017-04-28 2018-11-01 シンクサイト株式会社 イメージングフローサイトメーター
US20190056302A1 (en) 2017-08-16 2019-02-21 Washington University Synthesis, post-modification and separation of biologics using acoustically confined substrates
JP2020137429A (ja) 2019-02-27 2020-09-03 国立大学法人浜松医科大学 細胞観察システムおよび細胞観察方法
WO2020213338A1 (ja) 2019-04-15 2020-10-22 株式会社日立製作所 光分析方法および光分析システム
CN112179818A (zh) 2020-11-16 2021-01-05 南京工程学院 一种煤粉燃料颗粒特性测试装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3260550B2 (ja) * 1994-05-27 2002-02-25 株式会社日立製作所 微粒子分析装置
US6249341B1 (en) 1999-01-25 2001-06-19 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
GB0814039D0 (en) 2008-07-31 2008-09-10 Imp Innovations Ltd Optical arrangement for oblique plane microscopy
US20120086938A1 (en) * 2009-07-13 2012-04-12 Foss Analytical A/S Analysis of an Acoustically Separated Liquid
JP5534214B2 (ja) 2009-10-05 2014-06-25 ベイバイオサイエンス株式会社 フローサイトメータおよびフローサイトメトリ方法
US9074977B2 (en) * 2010-05-07 2015-07-07 Stc.Unm Multinode acoustic focusing for parallel flow cytometry analysis applications
US9823457B2 (en) 2014-01-08 2017-11-21 The Regents Of The University Of California Multiplane optical microscope
WO2017054839A1 (en) * 2015-09-28 2017-04-06 Siemens Healthcare Gmbh A technique for aligning a non-spherical biological entity in a flow cell
JP7376243B2 (ja) 2019-03-22 2023-11-08 株式会社ジェイテクト 操舵制御装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000199744A (ja) 1999-01-06 2000-07-18 Hitachi Ltd 分析装置および分析方法
JP2010276338A (ja) 2009-05-26 2010-12-09 Shimadzu Corp 粒子測定方法および装置
JP2014151260A (ja) 2013-02-07 2014-08-25 Ihi Corp 固液分離方法及び装置
JP2017116558A (ja) 2014-08-28 2017-06-29 シスメックス株式会社 粒子撮像装置および粒子撮像方法
JP2016217888A (ja) 2015-05-20 2016-12-22 シスメックス株式会社 細胞検出装置および細胞検出方法
WO2018199080A1 (ja) 2017-04-28 2018-11-01 シンクサイト株式会社 イメージングフローサイトメーター
US20190056302A1 (en) 2017-08-16 2019-02-21 Washington University Synthesis, post-modification and separation of biologics using acoustically confined substrates
JP2020137429A (ja) 2019-02-27 2020-09-03 国立大学法人浜松医科大学 細胞観察システムおよび細胞観察方法
WO2020213338A1 (ja) 2019-04-15 2020-10-22 株式会社日立製作所 光分析方法および光分析システム
CN112179818A (zh) 2020-11-16 2021-01-05 南京工程学院 一种煤粉燃料颗粒特性测试装置

Also Published As

Publication number Publication date
EP4212849A1 (en) 2023-07-19
US20230175949A1 (en) 2023-06-08
JPWO2022054908A1 (ja) 2022-03-17
EP4212849A4 (en) 2024-08-28
WO2022054908A1 (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
JP3145487B2 (ja) 粒子分析装置
JP5656920B2 (ja) 蛍光ナノスコピー方法
CA2663744C (en) Focal plane tracking for optical microtomography
JP4067826B2 (ja) 撮像システム及びその撮像方法
JP4945048B2 (ja) 時間遅延積分粒子分析装置の代替検出器構成および動作モード
EP2024893B1 (en) A laser illumination system in fluorescent microscopy
US6980294B2 (en) Biomolecule analyzer
JP4758418B2 (ja) 血液流の速度を測定する方法および装置
WO2018199080A1 (ja) イメージングフローサイトメーター
EP3571541B1 (en) Microscopy method and apparatus for optical tracking of emitter objects
WO2018070098A1 (ja) 試料観察装置及び試料観察方法
CN112041660A (zh) 用于移动粒子三维成像的系统、装置与方法
JP2022132488A (ja) 装置、方法、及びプログラム
JP2007140322A (ja) 光学装置
JP2006275964A (ja) 走査型蛍光顕微鏡のシェーディング補正方法
JP2007017561A (ja) 3次元位置観測方法及び装置
EP1656545B1 (en) Devices and methods to image objects by time delay integration
JP7427291B2 (ja) イメージングフローサイトメーター
CN110945403A (zh) 试样观察装置和试样观察方法
JP2004361087A (ja) 生体分子解析装置
JP6754408B2 (ja) 試料観察装置及び試料観察方法
JP6978562B2 (ja) 試料観察装置及び試料観察方法
Cardarelli Spatiotemporal fluctuation analysis of molecular diffusion laws in live-cell membranes
JPH0274845A (ja) 粒子測定装置
WO2024158609A1 (en) Hyper-throughput, multiplex, single molecule imaging platform

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7427291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150