JP7250795B2 - マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法 - Google Patents

マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法 Download PDF

Info

Publication number
JP7250795B2
JP7250795B2 JP2020531848A JP2020531848A JP7250795B2 JP 7250795 B2 JP7250795 B2 JP 7250795B2 JP 2020531848 A JP2020531848 A JP 2020531848A JP 2020531848 A JP2020531848 A JP 2020531848A JP 7250795 B2 JP7250795 B2 JP 7250795B2
Authority
JP
Japan
Prior art keywords
channel
image
microfluidic device
pixel group
flow path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020531848A
Other languages
English (en)
Other versions
JPWO2020021604A1 (ja
Inventor
義典 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2020021604A1 publication Critical patent/JPWO2020021604A1/ja
Application granted granted Critical
Publication of JP7250795B2 publication Critical patent/JP7250795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502715—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by interfacing components, e.g. fluidic, electrical, optical or mechanical interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502761—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip specially adapted for handling suspended solids or molecules independently from the bulk fluid flow, e.g. for trapping or sorting beads, for physically stretching molecules
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00—Constructional details, e.g. recesses, hinges
    • C12M23/02—Form or structure of the vessel
    • C12M23/16—Microfluidic devices; Capillary tubes
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1484—Optical investigation techniques, e.g. flow cytometry microstructural devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N37/00—Details not covered by any other group of this subclass
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N2015/0294—Particle shape
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Immunology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Pathology (AREA)
  • Wood Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Zoology (AREA)
  • Multimedia (AREA)
  • Biotechnology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Clinical Laboratory Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Sustainable Development (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Hematology (AREA)
  • Artificial Intelligence (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Fluid Mechanics (AREA)
  • Toxicology (AREA)

Description

本発明は、1乃至複数の流路が配設されたマイクロ流体デバイスについて、それら流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法に関する。
マイクロ流体デバイスは、微小機械システム（MEMS: Micro Electro Mechanical System）等を用いた微細加工技術によって基板に1乃至複数の流路を形成したものである（例えば特許文献１）。マイクロ流体デバイスは、例えば、下面側に流路となる凹部を形成し、また該流路の端部にあたる位置に被検流体の導入等に用いられる貫通孔を形成した上基板と、下基板とを接合することにより作製される。マイクロ流体デバイスは、例えば特許文献２に記載のように、細菌や真菌（対象菌）の抗菌薬に対する感受性を検査するために用いられる。
特開２０１３－３０１１号公報 特開２０１５－１７７８０６号公報 特開平１１－９７５１２号公報
本発明により解決しようとする課題を具体的に説明するために、前記検査で用いられるマイクロ流体デバイスの一例を説明する（図１を参照）。このマイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a～１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a～１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a～１０２eの直下まで延びている。5つの分岐流路１０３a～１０３eは、空気口１０２a～１０２eの近傍では相互に平行に配設されている。
上記マイクロ流体デバイス１００を用いた対象菌の検査では、まず、空気口１０２a～１０２dから分岐流路１０３a～１０３dに、同じ種類の抗菌薬を異なる濃度で含む抗菌液ａ～ｄを導入する。ここで導入される抗菌液ａ～ｄの量は、分岐流路１０３a～１０３dの内部に留まる（菌液導入流路１０３まで達しない）程度の量である。分岐流路１０３eには抗菌液を導入しない。そして、各分岐流路１０３a～１０３dに導入した抗菌液ａ～ｄを乾燥させて抗菌薬を各分岐流路１０３a～１０３dの壁面に定着させる。続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。分岐流路１０３a～１０３eの端部に通気のための空気口１０２a～１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a～１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a～１０３eに流入する。分岐流路１０３a～１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。
菌液を導入してから所定時間経過したあと、マイクロ流体デバイス１００を顕微鏡の所定位置にセットし、該顕微鏡の視野に捉えた領域（観察領域）１０４の画像を取得する。そして、観察領域１０４の画像から各分岐流路１０３a～１０３eにあたる部分を特定し、該分岐流路１０３a～１０３e内に存在する対象菌の状態を確認する。
上記の通り、分岐流路のうちの1つ（上記例では分岐流路１０３e）には抗菌液を導入していないため、該分岐流路１０３eの画像から確認した菌の数や形状と、それ以外の分岐流路１０３ａ～１０３ｄの画像から確認した菌の数や形状を比較することにより、どのくらいの濃度で抗菌薬を含む抗菌液を用いれば対象菌に対する効果が現れるかを知ることができる。
上記の検査では、対象菌を抗菌薬に所定時間作用させて対象菌の状態を観察するという作業を繰り返し行い、時間の経過に伴う対象菌の状態変化を確認することが一般的である。そのため、検査者は、マイクロ流体デバイスを顕微鏡で観察する度に、流路内に存在する対象菌の数を数えたり対象菌の形状を確認したりする作業を繰り返さなければならず手間がかかっていた。また、多くの場合、多数のマイクロ流体デバイスを用いて検査が行われるため、そうした多数のマイクロ流体デバイスのそれぞれについて、マイクロ流体デバイスを撮像して流路内に存在する対象菌の数を数えたり対象菌の形状を確認したりする作業を行わなければならず、検査者にとって大きな負担となっていた。
本発明が解決しようとする課題は、マイクロ流体デバイスに配設された流路の内部に存在する被検物の状態を簡便に把握することができるマイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法を提供することである。
上記課題を解決するために成された本発明の第１の態様は、マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
を備えることを特徴とする。
前記撮像部は、マイクロ流体デバイスに形成された流路の境界や被検物が存在する位置にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。前記撮像部には、例えば、光学顕微鏡、光学カメラ、位相差顕微鏡、微分干渉顕微鏡を用いることができる。
本発明の第１の態様に係るマイクロ流体デバイス観察装置では、まず、複数の流路が配設されている領域が視野に捉えられるようにマイクロ流体デバイスを撮像部の所定の位置にセットし、該領域の画像を取得する。続いて、抽出画素選択部が、取得した画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する。これは、例えば、流路の境界及び被検物のいずれもが存在しない位置の画素について想定される輝度値（バックグラウンド輝度値）を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定することにより行うことができる。あるいは、全画素の輝度の平均値や、画像の四隅のように流路の境界と被検物のいずれもが存在しないと考えられる位置の画素の輝度値を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定するようにしてもよい。また、輝度値そのものを用いるのではなく、微分フィルタを用いて画像データからエッジ強度（輝度の変化量）を求め、その値を予め決められた値と比較した結果に基づいて抽出画素を選択するようにしてもよい。このような微分フィルタを用いることにより、バックグラウンドを除去して流路の境界や該流路内の被検物に対応する抽出画素を選択しやすくすることができる。なお、輝度が高い画素を選択するか、輝度が低い画素を選択するかは、使用する撮像部の特性（流路の境界や被検物が明暗のいずれとなって現れるか）に応じて決めればよい。
次に、流路特定部が、撮像部で取得されたマイクロ流体デバイスの画像に含まれる複数の流路の位置を特定する。これは、例えば、使用するマイクロ流体デバイスのテンプレート画像を用意しておき、撮像部により取得した画像とテンプレート画像を照合する、テンプレートマッチングにより行うことができる。この処理では、マイクロ流体デバイスの画像そのものをテンプレート画像と照合することにより流路の位置を特定してもよく、あるいは前記抽出画素選択部により選択された抽出画素の位置とテンプレート画像を照合することにより流路の位置を特定してもよい。また、前記マイクロ流体デバイスが、少なくとも一部の領域において同一の幅を有する複数の流路が平行に配設されたものである場合には、後述する実施例のような画像解析処理によって該複数の流路の位置を特定することができる。
前記流路特定部により特定された流路の内部には、被検物（例えば菌）のような構造物だけでなく、ノイズに由来するコントラストが現れている場合がある。そのため、抽出画素選択部により選択される抽出画素には、これらが存在する位置に対応する画素が混在している可能性がある。そこで、次に、特定した複数の流路の内部に存在する、連続する所定個数以上の抽出画素を被検物特徴画素群として検出する。この所定個数は、被検物として想定される最小の大きさに相当する画素数とすればよい。ノイズデータが多数の画素に連続して存在することは少ないため、この処理により、ノイズが除去される。
次に、統計特徴量算出部が、被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を算出する。統計特徴量とは、被検物特徴画素群の数や形状に関連する量（値）である。この統計特徴量には、被検物特徴画素群の面積や長さなど該被検物特徴画素群の形状に直接的には依存しないものも含まれうる。被検物特徴画素群の数は、流路内に存在する被検物の数に対応する。また、被検物特徴画素群の形状、つまり各被検物特徴画素群を構成する画素の配列は、1つの被検物の形状に対応する。本発明に係るマイクロ流体デバイス観察装置を用いると、撮像部により取得される画像が、流路特定部、抽出画素選択部、被検物特徴画素群検出部、及び統計特徴量算出部によって順に処理され、流路内に存在する被検物の統計特徴量が得られる。従って、検査者が自ら、流路内に存在する被検物の数を数えたり形状を確認したりする必要がなく、被検物の状態を簡便に把握することができる。
本発明の第１の態様に係るマイクロ流体デバイス観察装置では、
前記統計特徴量算出部が、1つの流路の内部に複数の前記被検物特徴画素群が存在する場合に、該複数の前記被検物特徴画素群の前記統計特徴量の代表値を求めるように構成することができる。前記統計特徴量の代表値は、平均値、中央値、最頻値、及びこれらの組み合わせからなる群から適宜に選択することができる。この態様のマイクロ流体デバイス観察装置を用いることにより、例えば各流路内に存在する被検物の平均的な大きさや形状を簡便に知ることができる。
前記被検物が細胞や菌などの生体試料である場合、本発明の第１の態様に係るマイクロ流体デバイス観察装置は、さらに、
前記複数の流路のうちの1つについて求められた前記統計特徴量を他の流路について求められた前記統計特徴量と比較した結果に基づいて前記被検物の状態を判定する判定部
を備えた構成を採ることができる。
細胞や菌などの被検物の抗菌薬等の薬剤に対する感受性を検査する場合、一般に、複数の流路のうちの1つには薬剤を導入せず、その流路の内部に存在する被検物の数や形状が被検物の状態を判定する基準として用いられる。被検物が生体試料である場合にこの態様のマイクロ流体デバイス観察装置を用いることにより、その状態を簡便に知ることができる。なお、1つの流路内に前記被検物特徴画素群が複数存在する場合には、それらの統計特徴量の代表値に基づいて前記被検物の状態を判定するとよい。
上記課題を解決するために成された本発明の第２の態様は、マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
取得された前記画像が入力されると、前記特定された複数の流路の内部に存在する前記被検物の数及び／又は形状を特定する識別部と、
を備えることを特徴とする。
第２の態様のマイクロ流体デバイス観察装置では、第１の態様における抽出画素選択部、被検物特徴画素群検出部、及び統計特徴量算出部に代えて、撮像部により取得されたマイクロ流体デバイスの画像が入力されると、流路特定部により特定された複数の流路のそれぞれに含まれる被検物の数及び／又は形状を特定する識別部を用いる。この態様のマイクロ流体デバイス観察装置を用いることによっても、第１の態様と同様に、被検物の状態を簡便に把握することができる。
前記被検物が細胞や菌などの生体試料である場合、第２の態様のマイクロ流体デバイス観察装置は、前記識別部が、さらに、前記特定した前記被検物の数及び／又は形状に基づいて各流路の内部に存在する前記被検物の状態を判定する
ように構成することができる。
被検物が生体試料である場合にこの態様のマイクロ流体デバイス観察装置を用いることにより、その状態を簡便に知ることができる。
本発明に係るマイクロ流体デバイス観察技術は、対象菌の薬剤に対する感受性の検査に好適に用いることができる。
即ち、上記課題を解決するために成された本発明の第３の態様は、マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択し、
前記画像に含まれる前記複数の流路の位置を特定し、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出し、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める
ことを特徴とする。
また、上記課題を解決するために成された本発明の第４の態様は、マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
前記画像に含まれる前記複数の流路の位置を特定し、
取得された前記画像の入力に応じて前記特定した複数の流路の内部に存在する前記菌の数及び／又は形状を特定する
を備えることを特徴とする。
本発明の第１の態様あるいは第２の態様に係るマイクロ流体デバイス観察装置、又は第３の態様あるいは第４の態様に係るマイクロ流体デバイス観察方法を用いることにより、マイクロ流体デバイスに配設された流路の内部に存在する被検物の状態を簡便に把握することができる。
マイクロ流体デバイスの一構成例。 実施例１のマイクロ流体デバイス観察装置の要部構成図。 実施例１においてマイクロ流体デバイスの流路の内部に存在する被検物を観察する手順を説明するフローチャート。 実施例１において観察画像データの輝度値を二値化した画像の例。 実施例１において使用するテンプレート画像について説明する図。 実施例１において観察画像内の流路位置を特定する手順の一つを説明するフローチャート。 実施例１における観察画像内の流路位置を特定する手順の一つにおいて直線の離間距離を求める方法を説明する図。 実施例１における観察画像内の流路位置を特定する手順の一つにおいて作成されるヒストグラムの例。 実施例１における観察画像内の流路位置を特定する手順の一つにおいて観察画像から流路を特定する方法を説明する図。 実施例２のマイクロ流体デバイス観察装置の要部構成図。
本発明に係るマイクロ流体デバイス観察装置の実施例１、２について、以下、図面を参照して説明する。これらの実施例では、図１を参照して説明したマイクロ流体デバイス１００を用いて、同じ抗菌薬を互いに異なる4種類の濃度で含む抗菌液ａ～ｄに対する対象菌の感受性を検査する。本実施例では4種類の濃度の抗菌液ａ～ｄを用いるが、抗菌液の数（濃度の種類）は適宜に変更可能である。5種類以上の濃度の抗菌液を用いる場合は、6本以上の流路が形成されたマイクロ流体デバイスを用いればよい。
図２は実施例１のマイクロ流体デバイス観察装置１の要部構成図である。本実施例のマイクロ流体デバイス観察装置１は、大別して分注部２、インキュベータ３、位相差顕微鏡４（撮像部）、及び制御・処理部１０から構成される。分注部２とインキュベータ３の間、インキュベータと位相差顕微鏡４の間には、制御・処理部１０からの指示を受けて両者の間でマイクロ流体デバイス１００を搬送するためのデバイス搬送経路及び搬送機構（図示略）が設けられている。
制御・処理部１０は、分注部２、インキュベータ３、及び位相差顕微鏡４の動作を制御する機能と、位相差顕微鏡４により得られた画像を処理する機能とを有している。制御・処理部１０は、記憶部１１を備え、さらに機能ブロックとして抽出画素選択部２１、流路特定部２２、被検物特定部２３、特徴画素群検出部２４、流路境界画素群選択部２５、統計特徴量算出部２６、及び判定部２７を備えている。制御・処理部１０の実体は一般的なコンピュータであり、そのプロセッサによりマイクロ流体デバイス観察用プログラム２０を実行することにより、これらの機能ブロックが具現化される。また、制御・処理部１０には検査者が適宜情報を入力するための入力部４１と、マイクロ流体デバイス１００の流路の画像等を表示するための表示部４２が接続されている。
記憶部１１には、マイクロ流体デバイス１００のテンプレート画像が保存されている。マイクロ流体デバイス１００のテンプレート画像は、位相差顕微鏡４によりマイクロ流体デバイス１００を撮像することにより得られる画像から流路の位置を特定するために用いられる。本実施例では1種類のマイクロ流体デバイス１００のみを使用するが、複数種類のマイクロ流体デバイスが用いられる場合は、その種類ごとにテンプレート画像が用意され記憶部１１に保存される。
マイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a～１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a～１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a～１０２eの直下まで直線状に延びている。5つの分岐流路１０３a～１０３eは、空気口１０２a～１０２eの近傍では相互に平行に配設されている。なお、図１は各分岐流路１０３a～１０３eを分かりやすく示したものであり、実際のマイクロ流体デバイスでは分岐流路１０３a～１０３eの流路幅の方が流路間隔よりも広い。
次に、本実施例のマイクロ流体デバイス観察装置１を用いた、対象菌の抗菌薬に対する感受性の検査の流れを説明する。
検査者は、対象菌を所定の割合（例えば対象菌の数とその培養液の量により規定）で含む菌液と、検査に使用する抗菌薬を異なる濃度で含む抗菌液ａ～ｄを準備し、分注部２にセットしておく。
検査者が、入力部４１を通じて検査の開始を指示すると、制御・処理部１０から分注部２に分注動作の開始を指示する制御信号が送信される。また、使用可能なマイクロ流体デバイスが複数種類存在する場合には、検査者は、検査に使用するマイクロ流体デバイス１００の種類を指定することができる。
分注部２では、マイクロ流体デバイス１００の分岐流路１０３a～１０３dのそれぞれに抗菌液ａ～ｄを導入し、続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。なお、分岐流路１０３eには抗菌液を導入せず、該分岐流路１０３ｅ内の対象菌の数や大きさなどを、他の流路に導入した抗菌液ａ～ｄに対する対象菌の感受性を判定する際の基準として用いる。菌液の導入量は、分岐流路１０３a～１０３dに定着させた抗菌薬の位置に達する程度の量に、予め決められている。分岐流路１０３a～１０３eの端部に通気のための空気口１０２a～１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a～１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a～１０３eに流入する。分岐流路１０３a～１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。
抗菌液ａ～ｄと菌液を導入した後、マイクロ流体デバイス１００をインキュベータ３に搬送し、所定時間、所定の温度に加温して対象菌を培養する。所定時間の培養後、マイクロ流体デバイス１００をインキュベータ３から位相差顕微鏡４に搬送する。以下、図３のフローチャートを参照して、本実施例のマイクロ流体デバイス観察装置１においてマイクロ流体デバイスの流路の内部に存在する対象菌を観察する手順を説明する。
位相差顕微鏡４に搬送されたマイクロ流体デバイス１００は所定の撮像位置に所定の向きで保持される。位相差顕微鏡４ではその視野に捉えたマイクロ流体デバイス１００の領域を撮像する。マイクロ流体デバイス１００全体のうち、位相差顕微鏡４の視野に捉えられた領域（マイクロ流体デバイス１００の少なくとも一部の領域に相当。）が観察領域１０４となり、位相差顕微鏡４では観察領域１０４の画像（以下、これを「観察画像」と呼ぶ。）が取得される（ステップＳ１）。位相差顕微鏡４は、取得した観察領域１０４の画像データを制御・処理部１０に送信する。制御・処理部１０では受信した撮像データが記憶部１１に保存される。
画像データが記憶部１１に保存されると、抽出画像選択部２１は、微分フィルタを用いて画像内のエッジ強度（輝度の変化量）を算出する（ステップＳ２）。位相差顕微鏡４により得られた画像をそのまま用いて後述する処理を行っても良いが、微分フィルタを用いて前処理を施すことにより、画像内のエッジ強度を用いてより高い精度で後述の処理を進めることができる。微分フィルタとしては、sobelフィルタ、prewittフィルタ、cannyフィルタといった一次微分フィルタのほか、laplacianフィルタなどの二次微分フィルタを用いることができる。また、微分フィルタを用いる代わりに、モーフォロジー（morphology）演算など、画像データに含まれる輝度変化を検出する種々の方法を用いることができる。
抽出画像選択部２１は、微分フィルタを用いてエッジ強度を抽出した画像データについて、そのエッジ強度の値が所定値以上である画素を抽出画素として選択し（ステップＳ３）、選択した画素に１、非選択の画素に０の値を付して画像データを二値化する（ステップＳ４。図４参照）。ここでは、０と１という値により二値化したが、他の値や符号などにより二値化してもよい。また、ここでは、画素内での位置を問わず、同一の所定値を用いて抽出画素を選択するが、各画素の輝度値の大きさに応じた所定値を用いる（例えば、対象画素の輝度値に対して所定割合以上のエッジ強度の値である画素を抽出画素とする）こともできる。これにより、撮像時の環境によって画像内に明るい（輝度値が大きい）部分と暗い（輝度値が小さい）部分が存在している場合でも適切に抽出画素を選択することができる。また、画像全体のうち、注目画素を中心とする所定の範囲（例えば9画素×9画素の範囲）における輝度値の分散に応じて異なる閾値を用いるようにしてもよい。なお、菌の大きさは流路の幅や長さに比べると微小であるが、図４では対象菌の存在を分かりやすく示すために実際よりも大きく示している。
画像データを二値化した後の処理方法には大きく分けて2つある。検査者が、検査開始時に検査に使用するマイクロ流体デバイス１００の種類を指定した場合（若しくは使用可能なマイクロ流体デバイス１００が1種類のみである場合）には、流路特定部２２はテンプレートマッチングにより観察画像に含まれる流路の位置を特定する。まずはこの処理を説明する。
流路特定部２２は、記憶部１１からマイクロ流体デバイス１００のテンプレート画像１１０を読み出す。テンプレート画像１１０は、図５(a)に示すように、流路以外の場所にハッチングが付された画像である。
次に、流路特定部２２は、位相差顕微鏡４により取得した観察画像にテンプレート画像１１０を重ね合わせ、両画像の相対位置を少しずつずらしながら、観察画像に含まれる流路の境界とテンプレート画像１１０の流路の境界の一致度が最も高い位置を特定する。観察画像に含まれる流路の境界とテンプレート画像１１０の流路の境界の一致度が最も高い位置が特定されると、流路特定部２２は、図５(b)に示すように、テンプレート画像を観察画像に重畳した画像１０４a（分岐流路１０３a～１０３e以外の箇所にハッチングが付された画像）を作成し、各分岐流路１０３a～１０３eの画像を特定する（ステップＳ５）。そして、各分岐流路１０３a～１０３eの画像データを記憶部１１に保存し、それらの画像を表示部４２に表示する。
なお、上述したテンプレート画像１１０を使用する代わりに、マイクロ流体デバイス１１０の流路に関する既知の構造情報（例えば直線状の流路が5つ形成されている）を利用し、直線状のテンプレートフィルタと画像の一致度に基づいて各分岐流路１０３a～１０３eの画像を抽出することもできる。あるいは、使用されるマイクロ流体デバイス１００が予め決まっており、かつ位相差顕微鏡４にセットされる位置が高精度で位置決めされている場合は、テンプレート画像やテンプレートフィルタを用いることなく、観察画像の予め決められた位置に存在する領域を自動的に各分岐流路１０３a～１０３eの画像として抽出することもできる。流路を特定するもう一つの方法は後述する。
上記ステップＳ５により観察画像における分岐流路１０３a～１０３eの位置が特定されると、被検物特定部２３は、特徴画素群検出部２４を動作させて各分岐流路１０３a～１０３eの内部に存在する対象菌を特定する。本実施例では、被検物特定部２３と特徴画素群検出部２４が協働することにより被検物特徴画素群を検出する（即ち、本発明における被検物特徴画素群検出部として機能する）。
被検物を特定する際には、特徴画素群検出部２４は、二値化された各分岐流路１０３a～１０３eの画像から、連続する所定個数以上の抽出画素を被検物特徴画素群として検出する（ステップＳ６）。この所定個数は、流路の内部に存在する対象菌とノイズを分離可能な数であればよく、例えば対象菌として想定される最小の大きさに相当する画素数（例えば5画素）とすることができる。ノイズデータが多数の画素に連続して存在することは少ないため、この処理により、二値化された流路の画像に含まれるノイズを除去することができる。
特徴画素群検出部２４により被検物特徴画素群が検出されると、統計特徴量算出部２６は各分岐流路１０３a～１０３eの内部に存在する被検物特徴画素群の数（対象菌の数）と、被検物特徴画素群のそれぞれを構成する画素の配置（対象菌の形状）を特定する。これにより各分岐流路１０３a～１０３eの内部に存在する被検物の数及び形状に関連する統計特徴量が求められる（ステップＳ７）。なお、1つの流路内に被検物特徴画素群が複数存在する場合には、それら複数の対象菌に対応する被検物特徴画素群の統計特徴量の総和をその数で除すことにより被検物の平均的な形状を表す統計特徴量を求める。対象菌の形状に関する統計特徴量としては、対象菌の面積（あるいは面積比）、対象菌の周囲長、対象菌の長軸長・短軸長、対象菌の直線性や円形度などとすることができる。対象菌の面積比は、流路内の画素数に占める、被検物特徴画素群を構成する画素数の割合から求めることができる。対象菌の周囲長は、被検物特徴画素群を取り囲む外周の長さから求めることができる。対象菌の長軸長と短軸長は、被検物特徴画素群を取り囲む矩形の直線長さの最大値と最小値として求めることができる。対象菌の直線性や円形度は被検物特徴画素群の形状のアスペクト比や、所定の数式（例えば、4π×面積÷（周囲長）2）から求めることができる。統計特徴量として、その他公知の統計量を適宜に用いることができる。ここでは統計特徴量の平均を求めているが、平均値のほか、中央値、最頻値などを求めるようにしてもよい。
統計特徴量算出部２６により各分岐流路１０３a～１０３e内の対象菌の統計特徴量が求められると、判定部２７は抗菌液を導入していない分岐流路１０３e内の対象菌の統計特徴量を基準として、異なる濃度の抗菌液ａ～ｄをそれぞれ導入した分岐流路１０３a～１０３d内の対象菌の統計特徴量から該流路内に存在する対象菌の状態（異なる濃度で抗菌薬を含む抗菌液ａ～ｄに対する感受性）を判定する（ステップＳ８）。流路の画像、該画像から求められた統計特徴量、及び該統計特徴量に基づく判定結果は表示部４２に表示される。
また、対象菌の形態変化に関する情報を出力するようにしてもよい。例えば、分岐流路１０３ａ～１０３ｄの内部の対象菌の形状（直線性、円形度等）が分岐流路１０３e内の対象菌の形状と異なる場合に、その形状に対応した統計特徴量の変化を表示部４２に表示するように構成することができる。これにより、抗菌薬の作用による対象菌の変性の有無等の情報等を得ることができる。
ここで、観察画像に含まれる流路の位置を特定するもう一つの方法について、図６のフローチャートを参照して説明する。
検査に使用可能なマイクロ流体デバイスが複数種類存在し、かつ検査者からマイクロ流体デバイスの種類が特定されていない場合には、流路特定部２２は、特徴画素群検出部２４と流路境界画素群選択部２５を順に動作させて流路の画像を抽出する。以降の処理では、流路特定部２２と特徴画素群検出部２４の協働により流路特徴画素群を検出する。
抽出画像選択部２１により選択された抽出画素の中には、流路の境界に位置する画素、対象菌が存在する位置の画素、及びノイズが発生した位置の画素などが混在している。そこで、特徴画素群検出部２４は、二値化された画像データの中から、線状に連続に並ぶ所定個数以上の抽出画素を流路特徴画素群として検出する（ステップＳ５－１）。ここで、所定個数は、該個数の画素の位置から流路特徴画素群の形状を推定することが可能な数としておく。所定個数をどの程度の数にすればよいかは流路の形状によって異なる。本実施例では、流路特徴画素群を構成する画素の位置（座標）に基づいて該流路特徴画素群を表す直線式を求めるため、最低2個抽出画素を含んでいればよいが、所定個数が少なすぎると直線式の精度が悪い。一方、所定個数を多くするほど流路特徴画素群を表す直線式を高い精度で求めることができるが、所定個数が多すぎると、流路の境界に位置する画素の一部にコントラストが現れず抽出画素として選択されなかった場合（つまり、抽出画素の連続する数が少ない場合）に、流路の境界に位置する抽出画素が流路特徴画素群として検出されなくなってしまう。これらを勘案すると、上記所定個数は、画像サイズ（矩形画像の場合は短径、円形画像の場合は直径）の1割にあたる長さに相当する画素数程度とすることが好ましい。
次に、流路境界画素群選択部２５は、特徴画素群検出部２４により検出されたn個の流路特徴画素群に番号m（mは1以上n以下の整数）を付し、各流路特徴画素群を表す直線式Lmを求める（ステップＳ５－２）。流路特徴画素群を表す直線式Lmとは、当該流路特徴画素群を構成する複数の抽出画素の座標に基づく近似直線を意味する。本実施例では、各流路特徴画素群を表す直線式Lmを求めるためにハフ変換を用いる。
ハフ変換は、画像処理の分野で画像の特徴を抽出する際に用いられる手法の1つである。ハフ変換では、二次元平面（x-y平面）上で、原点から直線への法線の距離rと、法線とx軸とがなす角度θで直線式を表現する。ハフ変換では、次式（1）で表される直線式を用いる。
r=x cosθ+y sinθ …(1)
まず、流路特徴画素群を構成する抽出画素の1つについて式（1）を用いた直線式を求める。この段階では座標値が1つしか指定されていないことから直線式は一意に決まらず、rとθの関数となる。流路特徴画素群を構成する抽出画素のそれぞれについて、該抽出画素の座標を用いてrとθの関数を求める。そして、抽出画素の数だけ得られたrとθの関数を、これらを二軸とするハフ空間に投影し、投影数の多い（最も一致度が高い）rとθの値を求める。これにより流路特徴画素群を表す直線式を決定する。流路特徴画素群を構成する抽出画素が一直線上に位置している場合には、それら抽出画素のそれぞれについて求められたrとθの関数が1点で交わり、その交点にあたるrとθの値により直線を厳密に決めることができる。しかし、実際の画像では、流路特徴画素群が、その幅方向において複数の画素にまたがっていたり、部分的に階段状になっていたりするため、抽出画素が完全に一直線上に位置することは少ない。そこで、ハフ空間において投影数の多いrとθの値により、当該流路特徴画素群に対応する直線式を決定する。こうして、m番目の流路特徴画素群に対する直線式Lmとして次式(2)が得られる。
amx+bmy=1 （am, bmは係数）…(2)
本実施例ではハフ変換により流路特徴画素群のそれぞれに対応する直線式Lmを求めているが、別の方法により直線式Lmを求めることもできる。例えば、最小二乗法を用いて流路特徴画素群を構成する各抽出画素の座標に対する近似直線を求めることができる。
流路境界画素群選択部２５は、次に、流路特徴画素群のそれぞれについて得られた直線式Lmの傾き判定を行う。上式（2）で表される直線式Lmの傾きを表す単位ベクトルvmは次式（3）のように表される。
vm=（-bm/lm, am/lm） （ただし、lm=(am 2+bm 2)1/2） …(3)
全ての直線式Lmについて傾きvmが得られた後、その傾きの中央値vctrを求める。そして、次式（4）を満たさない傾きを有する直線に対応する流路特徴画素群（外れ値）を処理対象から除外する（ステップＳ５－３）。
｜＜vm・vctr＞｜≧α （αは0以上1未満の値） …(4)
式（4）は、各流路特徴画素群に対応する直線式Lmの傾きvmと、それら全ての中央値vctrの内積である。また、αは0以上1未満の実数である。つまり、式(4)は、平均値vctrの傾きを有する直線に対する平行度が一定以上である（直線式Lmの傾きvmが他の直線式の傾きと近い）ことを意味する。本実施例のマイクロ流体デバイス１００では、観察領域１０４内に複数の分岐流路１０３a～１０３eが平行に形成されていることから、各流路の境界に位置する流路特徴画素群に対応する直線は相互に平行になるはずである。従って、上式（4）を満たさない傾きを有する直線に対応する流路特徴画素群を処理対象から除外することにより、流路の境界ではないと考えられる流路特徴画素群（対象菌等の位置に対応するもの）を除外することができる。
ここでは各流路特徴画素群に対応する直線式Lmの中央値vctrを用いたが、必ずしも中央値である必要はなく、各流路特徴画素群に対応する直線式Lmの傾きvmの平均や、各流路特徴画素群に対応する直線式Lmの傾きvmの分布を求め、その分布の端部に当たる所定個の傾きを除いた平均など、適宜のものを用いることができる。また、流路の境界に相当する直線のおおよその傾き（観察画像内での流路の傾き）を推定することが可能な場合はその推定値を用いることもできる。
上記の処理後に残ったk個（k≦n）の直線式Lp（pは1以上k以下の整数）について、それぞれの直線から見て特定の方向（例えばx軸の正方向）に隣接する別の直線との離間距離を求める（ステップＳ５－４）。これらの直線式Lpは相互に厳密に平行なものではないため、以下のように直線の離間距離dpを規定する。
本実施例では、図７(a)に示すように、注目する直線式Lp及び隣接する直線式Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、y軸と平行な直線（直線式Ly）との交点を求める。そして、これらの交点間の距離を両直線の離間距離dpとする。なお、図７(b)に示すように、注目する直線式Lp及び隣接する直線式Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、x軸と平行な直線（直線式Lx）との交点を求め、これらの交点間の距離を両直線の離間距離dpとすることもできる。さらに、図７(c)に示すように、注目する直線Lp及び隣接する直線Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、直線式Lpの法線L’との交点を求め、これらの交点間の距離を両直線の離間距離dpとすることもできる。
次に、k-1本の直線のそれぞれについて求めた直線の離間距離dpについて、所定の階級幅でヒストグラムを作成する（ステップＳ５－５）。本実施例のマイクロ流体デバイス１００に形成されている分岐流路１０３a～１０３eの流路幅と流路間隔はいずれも一定である。従って、作成されたヒストグラムでは、その流路幅に相当する離間距離dpが最も多くなり、次いで流路間隔に相当する離間距離dpが多くなるはずである。そこで、k-1本の直線のそれぞれについて、当該直線に関する離間距離dpが最大階級に含まれているか否かを判定する。
本実施例のマイクロ流体デバイス１００には5本の分岐流路１０３a～１０３eが平行に形成されている。従って、理想的には図８(a)に示すように、流路間の距離に対応する位置に4つのデータが、流路幅に対応する位置に5つのデータが存在し、それ以外の位置にはデータが存在しない。もし、このようなヒストグラムが得られた場合には、5本の直線について求めた離間距離dpが最大階級に含まれていると判断されることになる。最大階級に含まれていると判断されたものについて、それに対応する直線Lpと、その直線に隣接する直線Lp+1の組を抽出することにより、流路の境界を構成する画素群（流路境界画素群）を選択することができる。
しかし、実際には、上述の各処理を経てもなお、流路の境界を構成する直線以外の直線（対象菌由来のものやノイズ由来の直線）が含まれている場合があり得る。その場合、例えば図８(b)や図８(c)に示すようなヒストグラムとなる。そうした場合でも、流路の境界を構成する直線が流路幅や流路間距離に応じた一定の間隔で位置するのに対し、それ以外の直線はランダムに位置する。そのため、ヒストグラムにおける最大階級を選択すると、流路幅（図８(b)）あるいは流路間距離（図８(c)）のいずれかが選択されることになる。従って、それに対応する直線Lpと、その直線に隣接する直線Lp+1の組を抽出することにより（ステップＳ５－６）、流路の境界を構成する画素群（流路境界画素群）を選択することができる（ステップＳ５－７）。
上記の処理によって流路境界画素群を選択すると、図９(a)または図９(b)に示すように観察画像における流路の境界の位置が分かる。図９(a)に示す状態（図８(a)あるいは図８(b)のヒストグラムから得られる状態）では、画像の端部から2本の直線を1組としてその間に挟まれた領域（ハッチングを付した部分）を流路とすればよい。一方、図９(b)に示す状態（図８(c)のヒストグラムから得られる状態）では、画像の端部から2本直線を1組とした場合にそれらの間に挟まれた領域（ハッチングを付した部分）は流路ではない。
そこで、観察画像における流路の境界の位置を決めた後、その端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較する。上述のとおり、図１では流路を分かりやすく示すために流路幅を狭く示しているが、実際に用いられるマイクロ流体デバイスでは、流路幅の方が流路間隔よりも広い。そこで、上記比較の結果、より広いと判定された方を流路とする。後者（端部から2本目の直線から順に2本を1組として選択した場合）の流路幅の方が広いと判定された場合、直線状に位置する流路境界画素群が画像の両端に1本ずつ残った状態となる。両端に残された直線のそれぞれの外側に、他の流路と同じ幅の流路を追加可能であるか（つまり、当該直線の外側に流路幅に相当する空間が残っているか）を判定し、可能である場合には流路の境界に相当する直線（図９(c)に一点鎖線で表示）を追加する。これにより流路が追加される。
上記の処理によって観察画像における流路の位置が確定すると、流路特定部２２は、観察画像に含まれる各流路１０３a～１０３eの位置を特定する（ステップＳ５、ステップＳ５－８）。そして、各流路１０３a～１０３eの画像データを記憶部１１に保存し、それらの画像を表示部４２に表示する。このとき、特定された流路の位置の画像をそのまま抽出してもよいが、流路の境界のコントラストが流路の画像に影響し、そのコントラストが対象菌と誤認されるのを防止するために、確定した流路の位置よりも所定数の画素分だけ内側の領域を流路の画像として抽出するようにしてもよい。
次に、実施例２のマイクロ流体デバイス観察装置１aについて説明する。図１０は実施例のマイクロ流体デバイス観察装置１aの要部構成図である。実施例１のマイクロ流体デバイス観察装置１と同じ構成要素には同一の符号を付して説明を省略する。
実施例２のマイクロ流体デバイス観察装置１aは、制御・処理部の構成の一部が実施例１のマイクロ流体デバイス観察装置１と異なる。制御・処理部１０aは、実施例１の制御・処理部１０と同様に、分注部２、インキュベータ３、及び位相差顕微鏡４の動作を制御する機能と、位相差顕微鏡４により得られた画像を処理する機能とを有している。制御・処理部１０aは、記憶部１１aを備え、機能ブロックとして抽出画素選択部２１と流路特定部２２を備えている。さらに、後述する機械学習によって構築された識別部２８がインストールされている。制御・処理部１０aの実体は一般的なコンピュータであり、そのプロセッサによりマイクロ流体デバイス観察用プログラム２０aを実行することにより、上記機能ブロックが具現化される。また、制御・処理部１０には検査者が適宜情報を入力するための入力部４１と、マイクロ流体デバイス１００の流路の画像等を表示するための表示部４２が接続されている。
記憶部１１aには、実施例１で説明したテンプレート画像１１０、及び多数の被検物参照画像が保存されている。被検物参照画像は、本実施例と同じ被検物である対象菌について、様々な種類の抗菌薬を様々な濃度で作用させた状態を撮影した画像である。これらの画像はいずれも解析済みのものであり、各画像に含まれる対象菌の数及び形状に関連する統計特徴量が予め特定されている。また、被検物参照画像の中には、標準的な形状の対象菌の画像のほか、抗菌薬により変性して形状が変化したものの画像も含まれており、その画像についても統計特徴量が求められている。
実施例２のマイクロ流体デバイス観察装置１aは、流路の内部に存在する対象菌の統計特徴量を算出し、対象菌の状態を判定する処理に特徴を有している。実施例２では、識別部２８が、記憶部１１に保存されている、多数の被検物参照画像を学習データとする機械学習によって作成されている。こうした機械学習の手法としては、例えばディープラーニングや、サポートベクターマシン（SVM: Support Vector Machine）やランダムフォレストといった手法が提案されている。
実施例２のマイクロ流体デバイス観察装置１aでは、対象菌の検査を開始する前に、マイクロ流体デバイス１００の流路の画像及び該画像に対応する対象菌の統計特徴量を学習データとする機械学習によって、入力された画像から対象菌の数及び形状を特定する識別部２８を構築しておく。
実施例２においても、マイクロ流体デバイス１００を位相差顕微鏡４で撮像し、その画像データを微分フィルタで処理することによりエッジ強度を取得し、その画像データを二値化する処理は実施例１のマイクロ流体デバイス観察装置１と同様である。また、観察画像における流路の位置を特定する処理には、実施例１において説明した方法のいずれかを用いる。
流路特定部２２によって観察画像に含まれる各分岐流路１０３a～１０３eの位置が特定されると、各分岐流路１０３a～１０３dの画像データが識別部２８に入力される。識別部２８は、入力された各分岐流路１０３a～１０３eの画像のそれぞれについて、当該画像に含まれる被検物の数及び形状（例えば直線性、円形度）を特定し、それらを対象菌の統計特徴量として出力する。分岐流路１０３a～１０３e内に対象菌が複数存在する場合には、それら複数の対象菌について各統計特徴量の平均を出力する。統計特徴量としては、直線性や円形度の他、対象菌の面積（あるいは面積比）、対象菌の周囲長、対象菌の長軸長・短軸長や、その他公知の統計量を用いることができる。これらの統計特徴量を用いる場合には、対象菌が含まれた流路の画像の入力に応じて該当する統計特徴量を出力する機械学習により識別部２８を構築しておけばよい。ここでは統計特徴量の平均を求めているが、平均値のほか、中央値、最頻値などを求めるようにしてもよい。
識別部２８は、対象菌の数や形状を表す統計特徴量の平均を求めると、実施例１と同様に、抗菌液を導入していない分岐流路１０３e内の対象菌の統計特徴量を基準として、異なる濃度の抗菌液ａ～ｄをそれぞれ導入した分岐流路１０３a～１０３d内の対象菌の統計特徴量からそれらの状態（異なる濃度で抗菌薬を含む抗菌液ａ～ｄに対する感受性）を判定する。流路の画像、該画像から求められた統計特徴量、及び該統計特徴量に基づく判定結果は表示部４２に表示される。
上記の実施例はいずれも一例であって、本発明の趣旨に沿って適宜に変更することができる。上記実施例では対象菌の抗菌薬に対する感受性の検査を行う場合を説明したが、他の目的の検査等においても上記同様のマイクロ流体デバイス観察装置を用いることができる。
上記実施例では、流路の境界の検出と菌の特徴画素の抽出とを同じ手法で行う方法を説明したが、互いに違う方法で行ってもよい。例えば、流路の境界の検出をテンプレートマッチングで行う場合には、菌の特徴画素の抽出を例えば機械学習で行うことにより、（面積などの情報を含む）形状を検出することができる。
上記実施例ではマイクロ流体デバイス１００に5本の直線状の分岐流路１０３a～１０３eが形成されている場合を例に説明したが、流路の数は検査に使用する抗菌液の数（濃度の種類）に応じて適宜に変更可能である。また、流路の形状は直線状に限定されず、曲線状であってもよい。曲線状は、例えば円弧状（楕円弧を含む）やＳ字状（蛇行形状）とすることができる。流路形状が曲線状であっても、本明細書で説明しているハフ変換を適用可能である。特に、流路形状が円弧や楕円弧である場合には、上記実施例のハフ変換に代えて円や楕円を表す数式により特徴画素群の形状を求め、上記実施例における直線の平行度に代えて曲線の平行度を用いればよい。例えば、ある曲線に対して、その曲線上の各点から法線方向へ一定の距離にある曲線として定義される平行曲線の考え方を用いることができる。
上記実施例１、２ではいずれも、撮像部として位相差顕微鏡を用いたが、撮像部はマイクロ流体デバイスに形成された流路の境界にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。例えば、光学顕微鏡、光学カメラ、微分干渉顕微鏡を用いることができる。
上記実施例１で説明した流路の位置を特定に関する処理では、観察画像における流路の位置を決めた後に、画像の端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較することにより流路を決定したが、観察画像における流路の位置を特定した画像を表示部４２に表示し、入力部４１を通じた操作によっていずれが流路であるかを検査者に選択させるようにしてもよい。あるいは、上記の比較を行うことなく流路を決定して流路特定部２２に該流路の画像を抽出させたものを表示部４２に表示し、検査者がこれを確認して流路でないと判断した場合に、反転操作（先に流路を構成する境界として使用した直線の組と異なる2本の直線に挟まれた領域を流路とし、流路特定部２２にその画像を抽出させる操作）を指示するように構成することもできる。
また、上記実施例２では、流路の位置が特定された観察画像を識別部２８に入力する構成としたが、マイクロ流体デバイス１００の画像データ（流路の位置が特定されていない画像データ）をそのまま識別部２８に入力し、該識別部２８により流路の位置を特定するように構成することもできる。その場合には、様々な数及び形状の流路が形成されたマイクロ流体デバイスの画像データであって、各流路の位置が既に特定されているものを学習データとする機械学習により識別部２８を構成すればよい。
１、１a…マイクロ流体デバイス観察装置
２…分注部
３…インキュベータ
４…位相差顕微鏡
１０a…制御・処理部
１０、１０a…制御・処理部
１１、１１a…記憶部
１１０…テンプレート画像
２０、２０a…マイクロ流体デバイス観察用プログラム
２１…抽出画素選択部
２２…流路特定部
２３…被検物特定部
２４…特徴画素群検出部
２５…流路境界画素群選択部
２６…統計特徴量算出部
２７…判定部
２８…識別部
４１…入力部
４２…表示部
１００…マイクロ流体デバイス
１０１…導入口
１０２a～１０２e…空気口
１０３…菌液導入流路
１０３a～１０３e…分岐流路
１０４…観察領域
１１０…テンプレート画像

Claims (15)

  1. マイクロ流体デバイスに配設された直線状の第１流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
    前記マイクロ流体デバイスの画像を取得する撮像部と、
    取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
    前記画像に含まれる前記第１流路の境界に位置する流路境界画素群を抽出し、さらに、前記画像における前記流路境界画素群の位置に基づいて前記第１流路の境界の位置を特定し、特定した該境界の位置を用いて前記第１流路の位置を確定し、確定した該第１流路の位置よりも内側の領域を該第１流路の画像として抽出する流路特定部と、
    前記第１流路の画像に含まれる、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
    前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
    を備えることを特徴とするマイクロ流体デバイス観察装置。
  2. 前記統計特徴量算出部が、前記第１流路の画像に複数の前記被検物特徴画素群が含まれている場合に、該複数の前記被検物特徴画素群の前記統計特徴量の代表値を求める
    ことを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
  3. 前記マイクロ流体デバイスは、直線状の第２流路を有し、
    さらに、
    前記第１流路について求められた前記統計特徴量を前記第２流路について求められた前記統計特徴量と比較した結果に基づいて前記被検物の状態を判定する判定部
    を備えることを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
  4. マイクロ流体デバイスに配設された直線状の第１流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
    前記マイクロ流体デバイスの画像を取得する撮像部と、
    前記画像に含まれる前記第１流路の境界に位置する流路境界画素群を抽出し、さらに、前記画像における前記流路境界画素群の位置に基づいて前記第１流路の境界の位置を特定し、特定した該境界の位置を用いて前記第１流路の位置を確定し、確定した該第１流路の位置よりも内側の領域を該第１流路の画像として抽出する流路特定部と、
    流路の内部に被検物が存在するマイクロ流体デバイスの画像と該画像における被検物の数及び／又は形状を学習データとする機械学習によって構築され、前記第１流路の画像に含まれる前記被検物の数及び／又は形状を特定する識別部と、
    を備えることを特徴とするマイクロ流体デバイス観察装置。
  5. 前記識別部が、前記第１流路の画像に複数の前記被検物が含まれている場合に、該複数の前記被検物の数及び／又は形状に関連する統計特徴量の代表値を求める
    ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
  6. 前記識別部が、さらに、
    前記特定した前記被検物の数及び／又は形状に基づいて前記第１流路の画像に含まれている前記被検物の状態を判定する
    ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
  7. 前記抽出画素選択部が、微分フィルタを用いて前記画像のエッジ強度を求めることを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
  8. マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
    前記マイクロ流体デバイスの画像を取得する撮像部と、
    取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
    前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
    前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
    前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
    を備え、
    前記マイクロ流体デバイスの少なくとも一部の領域において前記複数の流路は同一の幅を有して平行に配設されており、
    前記流路特定部が、
    それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ流路特徴画素群として検出する流路特徴画素群検出部と、
    前記複数の流路特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
    前記画像における前記流路境界画素群の位置に基づき1乃至複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
    を有することを特徴とするマイクロ流体デバイス観察装置。
  9. マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
    前記マイクロ流体デバイスの画像を取得する撮像部と、
    前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
    流路の内部に被検物が存在するマイクロ流体デバイスの画像と該画像における被検物の数及び／又は形状を学習データとする機械学習によって構築され、取得された前記画像が入力されると、前記特定された複数の流路の内部に存在する前記被検物の数及び／又は形状を特定する識別部と、
    を備え、
    前記マイクロ流体デバイスの少なくとも一部の領域において前記複数の流路は同一の幅を有して平行に配設されており、
    前記流路特定部が、
    それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ流路特徴画素群として検出する流路特徴画素群検出部と、
    前記複数の流路特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
    前記画像における前記流路境界画素群の位置に基づき1乃至複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
    を有することを特徴とするマイクロ流体デバイス観察装置。
  10. 前記流路特徴画素群検出部が、前記抽出画素群のそれぞれについて、当該抽出画素群を構成する画素の位置に対応する近似直線を求め、該近似直線の傾きと他の近似曲線の傾きの差が予め決められた大きさ以下であるものを特徴画素群として検出することを特徴とする請求項８又は９に記載のマイクロ流体デバイス観察装置。
  11. 前記流路特徴画素群検出部が、ハフ変換により前記近似直線を求めることを特徴とする請求項１０に記載のマイクロ流体デバイス観察装置。
  12. 前記流路が複数、互いに平行に設けられており、
    前記流路境界画素群選択部が、隣接する2つの前記流路特徴画素群の離間距離が等しいものを前記流路境界画素群として選択することを特徴とする請求項８又は９に記載のマイクロ流体デバイス観察装置。
  13. 前記流路境界画素群選択部が、前記離間距離に関するヒストグラムを作成し、その最大階級に属するものを前記流路境界画素群として選択することを特徴とする請求項１２に記載のマイクロ流体デバイス観察装置。
  14. マイクロ流体デバイスに配設された直線状の第１流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
    前記マイクロ流体デバイスの画像を取得し、
    取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択し、
    前記画像に含まれる前記第１流路の境界に位置する流路境界画素群を抽出し、さらに、前記画像における前記流路境界画素群の位置に基づいて前記第１流路の境界の位置を特定し、特定した該境界の位置を用いて前記第１流路の位置を確定し、確定した該第１流路の位置よりも内側の領域を該第１流路の画像として抽出し、
    前記第１流路の画像に含まれる、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出し、
    前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める
    ことを特徴とするマイクロ流体デバイス観察方法。
  15. マイクロ流体デバイスに配設された直線状の第１流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
    前記マイクロ流体デバイスの画像を取得し、
    前記画像に含まれる前記第１流路の境界に位置する流路境界画素群を抽出し、さらに、前記画像における前記流路境界画素群の位置に基づいて前記第１流路の境界の位置を特定し、特定した該境界の位置を用いて前記第１流路の位置を確定し、確定した該第１流路の位置よりも内側の領域を該第１流路の画像として抽出し、
    流路の内部に被検物が存在するマイクロ流体デバイスの画像と該画像における被検物の数及び／又は形状を学習データとする機械学習によって構築された識別部により、前記第１流路の画像に含まれる、前記菌の数及び／又は形状を特定する
    ことを特徴とするマイクロ流体デバイス観察方法。
JP2020531848A 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法 Active JP7250795B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/027554 WO2020021604A1 (ja) 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法

Publications (2)

Publication Number Publication Date
JPWO2020021604A1 JPWO2020021604A1 (ja) 2021-08-02
JP7250795B2 true JP7250795B2 (ja) 2023-04-03

Family

ID=69181424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020531848A Active JP7250795B2 (ja) 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法

Country Status (4)

Country Link
US (1) US20210260582A1 (ja)
JP (1) JP7250795B2 (ja)
CN (1) CN112424612A (ja)
WO (1) WO2020021604A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116438440A (zh) * 2020-11-18 2023-07-14 索尼集团公司 生物样本分析系统、信息处理装置、信息处理方法及生物样本分析方法
JP7190534B1 (ja) * 2021-06-14 2022-12-15 アサヒ飲料株式会社 微生物の検出方法
WO2024135236A1 (ja) * 2022-12-20 2024-06-27 株式会社ニコン マイクロ流体デバイス用観察装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011117952A1 (ja) 2010-03-24 2011-09-29 株式会社島津製作所 測定システム
JP2013526717A (ja) 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2014515128A (ja) 2011-03-04 2014-06-26 エルビーティー イノベーションズ リミテッド 明細書微生物増殖を分析する方法およびソフトウェア
JP2016123366A (ja) 2015-01-05 2016-07-11 株式会社ニコン 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
JP2016508034A5 (ja) 2013-12-13 2017-01-26
JP2017184737A (ja) 2016-03-31 2017-10-12 株式会社フコク Ｍｆｄ検査支援システムおよびｍｆｄを用いた検査方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3925166A (en) * 1974-09-06 1975-12-09 Us Health Automated system for the determination of bacterial antibiotic susceptibilities
JP3287107B2 (ja) * 1993-07-13 2002-05-27 ソニー株式会社 表示素子用基板の製造方法
JPH0787997A (ja) * 1993-09-27 1995-04-04 Nittetsu Mining Co Ltd 菌等の育成阻止領域の認識方法及びその装置
JP2791303B2 (ja) * 1995-11-18 1998-08-27 株式会社電脳技研 １つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置
EP2731051A1 (en) * 2012-11-07 2014-05-14 bioMérieux Bio-imaging method
EP3336195B1 (en) 2012-12-20 2020-02-26 3M Innovative Properties Company Method of differentiating microbial colonies in an image
JP6619544B2 (ja) * 2014-03-19 2019-12-11 株式会社日立ハイテクノロジーズ 検査装置
CN112782140A (zh) * 2014-12-03 2021-05-11 伊索普莱西斯公司 细胞分泌特征的分析和筛选
JP6713730B2 (ja) * 2015-05-20 2020-06-24 シスメックス株式会社 細胞検出装置および細胞検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011117952A1 (ja) 2010-03-24 2011-09-29 株式会社島津製作所 測定システム
JP2013526717A (ja) 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2014515128A (ja) 2011-03-04 2014-06-26 エルビーティー イノベーションズ リミテッド 明細書微生物増殖を分析する方法およびソフトウェア
JP2016508034A5 (ja) 2013-12-13 2017-01-26
JP2016123366A (ja) 2015-01-05 2016-07-11 株式会社ニコン 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
JP2017184737A (ja) 2016-03-31 2017-10-12 株式会社フコク Ｍｆｄ検査支援システムおよびｍｆｄを用いた検査方法

Also Published As

Publication number Publication date
JPWO2020021604A1 (ja) 2021-08-02
US20210260582A1 (en) 2021-08-26
CN112424612A (zh) 2021-02-26
WO2020021604A1 (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
JP7250795B2 (ja) マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法
Hore et al. Finding contours of hippocampus brain cell using microscopic image analysis
CN103885168B (zh) 用于显微镜装置的自校准的方法
US11620751B2 (en) Image analysis algorithms using control slides
JP2012514751A (ja) 画像化を使用して容器内の液体レベルを測定するための方法および装置
US9092650B2 (en) Methods and apparatus for automated detection of the presence and type of caps on vials and containers
EP1986155A2 (en) Specimen analysis and acicular region analyzer
Piccinini et al. Improving reliability of live/dead cell counting through automated image mosaicing
KR101836830B1 (ko) 광학적 세포 식별방법
CN104101294A (zh) 分析装置、分析程序以及分析系统
JPWO2019065105A1 (ja) 画像解析装置、方法およびプログラム
WO2017061112A1 (ja) 画像処理方法および画像処理装置
JP6954473B2 (ja) マイクロ流体デバイス観察装置
Kopec et al. Semi-automated atlas-based analysis of brain histological sections
JP2008139143A (ja) 標本画像作成方法及び装置
Schmalenberg et al. Temperature-controlled minichannel flow-cell for non-invasive particle measurements in solid-liquid flow
Hodneland et al. Automated detection of tunneling nanotubes in 3D images
CN112924450A (zh) 检查方法、检查系统以及计算机可读取的非临时性记录介质
Smith et al. Sample to answer visualization pipeline for low-cost point-of-care blood cell counting
CN109215068A (zh) 图像放大率测量方法及装置
KR102297147B1 (ko) 어류의 시기능 평가를 위한 3차원 영상 분석 방법
Harding et al. Blade counting tool with a 3D borescope for turbine applications
de Castro Particle Tracking in Microscopy Sequences for Microrheology Studies
CN116805280A (zh) 一种基于微流控的数字pcr图像拼接方法及系统
Khabiry et al. Automated cell counting method for microgroove based microfluidic device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220405

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220419

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220523

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220524

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220610

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220614

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220913

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221004

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230214

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230314

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230322

R151 Written notification of patent or utility model registration

Ref document number: 7250795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151