JP6947905B2 - 撮像システム及び生体対象物移動装置 - Google Patents

撮像システム及び生体対象物移動装置 Download PDF

Info

Publication number
JP6947905B2
JP6947905B2 JP2020500303A JP2020500303A JP6947905B2 JP 6947905 B2 JP6947905 B2 JP 6947905B2 JP 2020500303 A JP2020500303 A JP 2020500303A JP 2020500303 A JP2020500303 A JP 2020500303A JP 6947905 B2 JP6947905 B2 JP 6947905B2
Authority
JP
Japan
Prior art keywords
determination
imaging
biological object
cell
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020500303A
Other languages
English (en)
Other versions
JPWO2019159524A1 (ja
Inventor
大 坂本
大 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of JPWO2019159524A1 publication Critical patent/JPWO2019159524A1/ja
Application granted granted Critical
Publication of JP6947905B2 publication Critical patent/JP6947905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M33/00Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus
    • C12M33/04Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles
    • C12M33/06Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles for multiple inoculation or multiple collection of samples
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M47/00Means for after-treatment of the produced biomass or of the fermentation or metabolic products, e.g. storage of biomass
    • C12M47/04Cell isolation or sorting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/0092Scheduling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Biotechnology (AREA)
  • Molecular Biology (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Databases & Information Systems (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Cell Biology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、例えば細胞又は細胞塊等の生体対象物を撮像する撮像装置を備える撮像システム、及びこれを用いた生体対象物移動装置に関する。
例えば医療や生物学的な研究の用途では、細胞又は細胞塊(生体対象物の例;単に「細胞」ということがある)の選別のための撮像が行われる場合がある。例えば、移動元の第1容器に収容された細胞を撮像装置で撮像し、得られた画像に基づき所望の細胞を選別し、選別された細胞をチップで吸引して移動先の第2容器に移載する、という作業が行われることがある(例えば特許文献1)。
前記第1容器側で実行される細胞選別の具体例としては、操作者のマニュアル選択に依る方法、細胞のサイズや形状等に関する選択基準値を予め設定する方法、等が挙げられる。前者は、操作者が細胞の撮像画像を観察し、操作者の経験に基づいて良否判定を行うという、個人のスキルに依存する方法である。後者は、細胞の撮像画像を画像処理する等して当該細胞のサイズや形状に関するパラメータを求め、このパラメータが前記選択基準値を満たすか否かに基づいて良否判定を自動判定する方法である。
上記の通り、移動元の第1容器側で所望の細胞であるとして選択し、移動先の第2容器へ移動した細胞を当該第2容器側で改めて観察すると、意図する細胞ではないケースが生じ得る。つまり、細胞の移動という「作業」の介在後に細胞を再観察すると、実は企図する細胞ではなかった、という場合がある。同様なことが、各種の作業の介在によっても生じることがある。このため、第2容器側で行う検査や試験等の作業効率が低下するという問題があった。
国際公開第2015/087371号
本発明の目的は、操作者が求める生体対象物の的確な選択が行える撮像システム、及びこれを用いた生体対象物移動装置を提供することにある。
本発明の一局面に係る撮像システムは、所定の作業が行われる前の生体対象物を撮像する第1撮像と、前記作業が行われた後の前記生体対象物を撮像する第2撮像とを実行可能な撮像装置と、前記第1撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第1判定と、前記第2撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第2判定とを実行する判定部と、前記選択基準に関するデータを記憶する記憶部と、前記第1判定と前記第2判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第1判定と前記第2判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、を備えることを特徴とする。
本発明の他の局面に係る生体対象物移動装置は、上記の撮像システムと、複数の生体対象物を収容する第1容器から、移動対象として選択された生体対象物をピッキングし、第2容器へ移動する移動作業を、前記所定の作業として実行するヘッド装置と、を備える。
図1は、本発明の実施形態に係る撮像システムが適用される細胞移動装置の構成例を概略的に示す図である。 図2(A)は、前記細胞移動装置に使用される選別容器が備えるディッシュの上面図、図2(B)は、図2(A)のIIB−IIB線断面図である。 図3(A)は、前記細胞移動装置に使用されるマイクロプレートの斜視図、図3(B)は、図3(A)の縦断面図である。 図4は、本実施形態における細胞選択のフィードバックの概念を説明するための図である。 図5は、第1実施形態であって、作業が細胞の移動である場合の細胞選択のフィードバック例を示す図である。 図6は、第2実施形態であって、作業が操作者による細胞の選択である場合の細胞選択のフィードバック例を示す図である。 図7は、第3実施形態であって、作業が撮像条件の変更である場合の細胞選択のフィードバック例を示す図である。 図8は、第3実施形態の変形例であって、作業が撮像条件の変更である場合の細胞選択のフィードバック例を示す図である。 図9は、第4実施形態であって、作業が試薬の分注である場合の細胞選択のフィードバック例を示す図である。 図10は、第5実施形態であって、作業が試験時間の経過を待つ作業である場合の細胞選択のフィードバック例を説明するための図である。 図11は、本発明の実施形態に係る細胞移動装置のブロック図である。 図12は、撮像システムを用いた細胞移動動作のフローチャートである。
以下、本発明の実施形態を、図面に基づいて詳細に説明する。本発明に係る撮像システムでは、多岐に亘る生体対象物を撮像対象とすることができる。本発明において撮像対象となる生体対象物としては、代表的には生体由来の細胞を例示することができる。ここでの生体由来の細胞は、例えば血球系細胞やシングル化細胞などのシングルセル(細胞)、HistocultureやCTOSなどの組織小片、スフェロイドやオルガノイドなどの細胞凝集塊、ゼブラフィッシュ、線虫、受精卵などの個体、2D又は3Dのコロニー等である。この他、生体対象物として、組織、微生物、小サイズの種等を例示することができる。以下に説明する実施形態では、生体対象物が細胞又は細胞が数個〜数十万個凝集してなる細胞凝集塊(以下、これらを総称して単に「細胞C」という)である例を示す。
[細胞移動装置の全体構成]
図1は、本発明の実施形態に係る撮像システムが適用される細胞移動装置Sの全体構成を概略的に示す図である。ここでは、細胞Cを2つの容器(ディッシュ2とマイクロプレート4)間で移動させる細胞移動装置Sを例示している。
細胞移動装置Sは、水平な載置面である上面を有する透光性の基台1と、基台1の下方側に配置されたカメラユニット5(撮像装置)と、基台1の上方側に配置されたヘッドユニット6(ヘッド装置)とを含む。基台1の第1載置位置P1には、ディッシュ2(第1容器)を備えた選別容器11が載置され、第2載置位置P2にはマイクロプレート4(第2容器)が載置されている。ヘッドユニット6は、細胞Cの吸引及び吐出を行うチップ12が装着され、Z方向(上下方向)に沿って移動可能なヘッド61を複数備える。カメラユニット5及びヘッドユニット6は、X方向(水平方向)と、図1の紙面に垂直な方向(Y方向)とに移動可能である。ディッシュ2及びマイクロプレート4は、ヘッドユニット6の移動可能範囲内において、基台1の上面に載置されている。
大略的に細胞移動装置Sは、細胞Cを多数保持している選別容器11のディッシュ2から複数のチップ12の各々で細胞Cを個別に吸引し、これをマイクロプレート4まで移動すると共に、当該マイクロプレート4のウェル41に複数のチップ12から細胞Cを同時に吐出する装置である。細胞Cの吸引の前に、カメラユニット5によりディッシュ2に保持されている細胞Cが撮像(第1撮像)され、マイクロプレート4への移動対象とされる良質な細胞Cを選択する選択作業が行われる。細胞Cの移動後、カメラユニット5によりマイクロプレート4に収容された細胞Cが撮像(第2撮像)され、前記選択作業の妥当性の検証目的を含む細胞Cの観察が行われる。
以下、細胞移動装置Sの各部を説明する。基台1は、所定の剛性を有し、その一部又は全部が透光性の材料で形成される長方形の平板である。好ましい基台1は、ガラスプレートである。基台1をガラスプレートのような透光性材料によって形成することで、基台1の下方に配置されたカメラユニット5にて、基台1の上面に配置された選別容器11及びディッシュ2とマイクロプレート4とを、当該基台1を通して撮像させることが可能となる。
選別容器11は、細胞Cの移動元となる容器であり、培地Lを貯留し、細胞選別用のディッシュ2を培地Lに浸漬される状態で保持している。ディッシュ2は、細胞Cを保持するプレートであり、細胞Cを個別に収容して保持することが可能な保持凹部3を上面に複数有している。培地Lは、細胞Cの性状を劣化させないものであれば特に限定されず、細胞Cの種類により適宜選定することができる。
選別容器11は、その上面側に矩形の上部開口11Hを備えている。上部開口11Hは、細胞Cの投入、並びに、選別された細胞Cをピックアップするための開口である。ディッシュ2は、上部開口11Hの下方に配置されている。選別容器11及びディッシュ2は、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、選別容器11の下方に配置されたカメラユニット5により、ディッシュ2に担持された細胞Cを観察可能とするためである。
選別容器11には、図略の分注チップから、細胞培養液に分散された状態の複数の細胞Cが注入される。前記分注チップは、多量の細胞Cを含む細胞培養液を貯留する容器から、細胞Cと共に細胞培養液を吸引し、当該分注チップ内に保持する。その後、前記分注チップは、選別容器11の上空位置へ移動され、上部開口11Hを通してディッシュ2の上面にアクセスする。そして、前記分注チップの先端開口が選別容器11の培地Lに浸漬された状態で、前記分注チップ内に保持された細胞Cが細胞培養液と共にディッシュ2の上へ吐出される。
マイクロプレート4は、細胞Cの移動先となる容器であり、細胞Cが吐出される複数のウェル41を有する。ウェル41は、マイクロプレート4の上面に開口した有底の孔である。1つのウェル41には、培地Lと共に必要個数(通常は1個)の細胞Cが収容される。マイクロプレート4もまた、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、マイクロプレート4の下方に配置されたカメラユニット5により、ウェル41に担持された細胞Cを観察可能とするためである。
カメラユニット5は、選別容器11又はマイクロプレート4に保持されている細胞Cの画像を、これらの下面側から撮像するもので、レンズ部51及びカメラ本体52を備える。レンズ部51は、光学顕微鏡に用いられている対物レンズであり、所定倍率の光像を結像させるレンズ群と、このレンズ群を収容するレンズ鏡筒とを含む。カメラ本体52は、CCDイメージセンサのような撮像素子を備える。レンズ部51は、前記撮像素子の受光面に撮像対象物の光像を結像させる。カメラユニット5は、基台1と平行に左右方向に延びるガイドレール5Gに沿って、基台1の下方においてX方向及びY方向に移動可能である。また、レンズ部51は、合焦動作のためにZ方向に移動可能である。
ヘッドユニット6は、複数の細胞Cを収容する第1容器としてのディッシュ2から、移動対象として選択された細胞Cをピッキングし、第2容器としてのマイクロプレート4へ移動させる移動作業(所定の作業)を実行するために設けられ、複数本のヘッド61と、これらヘッド61が組み付けられるヘッド本体62とを含む。各ヘッド61の先端には、細胞Cの吸引(ピックアップ)及び吐出を行うチップ12が装着されている。ヘッド本体62は、ヘッド61を+Z及び−Z方向に昇降可能に保持し、ガイドレール6Gに沿って+X及び−X方向に移動可能である。なお、ヘッド本体62は、Y方向にも移動可能である。
[ディッシュ及びマイクロプレートの詳細]
まず、移動元の容器であるディッシュ2の詳細構造を説明する。図2(A)は、ディッシュ2の上面図、図2(B)は、図2(A)のIIB−IIB線断面図である。ディッシュ2は、ディッシュ本体20と、該ディッシュ本体20に形成される複数の保持凹部3とを備えている。ディッシュ本体20は、所定の厚みを有する平板状の部材からなり、上面21と下面22とを有する。保持凹部3は、上面21の側に細胞Cの受け入れ開口となる開口部31を有する。ディッシュ2は、選別容器11内の培地L中に浸漬される。詳しくは、ディッシュ本体20の上面21が選別容器11内の培地L中に浸漬される一方、下面22が選別容器11の底板に対して間隔を置いた状態で、選別容器11内で保持される(図1参照)。
保持凹部3の各々は、開口部31、底部32、筒状の壁面33、孔部34及び境界部35を含む。本実施形態では、上面視で正方形の保持凹部3がマトリクス状に配列されている例を示している。図2(B)に示すように、複数の保持凹部3は、所定の凹部配列ピッチでマトリクス配列されている。
開口部31は、上面21に設けられた正方形の開口であり、選別用のチップ12の先端開口部tの進入を許容するサイズを有する。底部32は、ディッシュ本体20の内部であって、下面22の近くに位置している。底部32は、中心(前記正方形の中心)に向けて緩く下り傾斜する傾斜面である。筒状の壁面33は、開口部31から底部32に向けて鉛直下方に延びる壁面である。孔部34は、底部32の前記中心と下面22との間を鉛直に貫通する貫通孔である。境界部35は、上面21に位置し、各保持凹部3の開口縁となる部分であって、保持凹部3同士を区画する稜線である。
各保持凹部3の底部32及び筒状の壁面33は、細胞Cを収容する収容空間3Hを区画している。収容空間3Hには、一般的には1個の細胞Cが収容されることが企図されている。孔部34は、所望のサイズ以外の小さな細胞や夾雑物を収容空間3Hから逃がすために設けられている。従って、孔部34のサイズは、所望のサイズの細胞Cは通過できず、所望のサイズ以外の小さな細胞や夾雑物を通過させるサイズに選ばれている。これにより、選別対象となる細胞Cは保持凹部3にトラップされる一方で、夾雑物等は孔部34から選別容器11の底板に落下する。
次に、移動先の容器であるマイクロプレート4について説明する。図3(A)は、マイクロプレート4の斜視図、図3(B)は、マイクロプレート4の縦断面図である。マイクロプレート4は、プレート本体40と、このプレート本体40にマトリクス状に配列された複数のウェル41とを含む。細胞Cの吐出時、ウェル41にはチップ12の先端開口部tが進入するので、各ウェル41は余裕を持ってチップ12の進入を許容する開口径を有している。
市販されているマイクロプレートには基準サイズが存在する。基準マイクロプレートは、所定の縦×横サイズ(縦85.48mm×横126mm)を備え、所定数のウェルを有する。一般的なウェル数は、24×16個(384ウェル)であり、これらウェルが所定のピッチでマトリクス配列されている。図3(B)は、384ウェルのマイクロプレート4の断面図を示している。図示する通り、マイクロプレート4の長手方向には、24個のウェル41が均等なウェルピッチで配列されている(短手方向には16個)。
[細胞選択作業の概要]
図4は、本実施形態における細胞選択作業の概要(ステップ(A)〜(C))を説明するための図である。まず、ステップ(A)において、カメラユニット5がディッシュ2を撮像(第1撮像)し、当該ディッシュ2の保持凹部3に担持された細胞Cの第1画像を取得する。この第1画像では、所定の作業、本実施形態では細胞Cの移動作業が行われる前の状態の細胞Cがキャプチャーされている。そして、第1画像より、所定の選択基準に基づいて、当該画像にキャプチャーされている細胞Cのうちいずれの細胞Cを移動対象として選択するか否かを判定する第1判定が実行される。
前記選択基準は、例えば、細胞選択作業を実行する各操作者が経験等に基づき内在的に定めるマニュアル選択基準、或いは、予め定められた細胞のサイズや形状等に関する選択基準のデータである。後者に依拠する場合は、前記第1画像にキャプチャーされている細胞Cの特徴量が画像処理によって求められる。この場合、前記第1判定は、求められた特徴量が前記選択基準のデータを満たすか否かの判定となる。
ステップ(B)では、細胞Cに対する作業が実行される。本実施形態では、前記第1判定において移動対象として選択された細胞Cを、チップ12を用いてディッシュ2の保持凹部3から個別にピッキングし、これをマイクロプレート4の一つのウェル41へ移動させる作業である。なお、細胞Cに対する作業は、上記移動作業には限定されない。例えば、操作者による細胞の選択自体を前記作業とするケース(後記の第2実施形態)のほか、カメラユニット5による細胞Cの撮像条件を変更する作業(第3実施形態)、細胞Cに対する試薬等の分注作業(第4実施形態)、細胞Cに対する試験時間の経過を待つ作業(第5実施形態)などを例示することができる。
ステップ(C)では、カメラユニット5が、ステップ(B)の移動作業によって細胞Cが移動されたマイクロプレート4を撮像(第2撮像)し、ウェル41に保持された細胞Cの第2画像を取得する。第2画像では、所定の作業が行われた後の状態の細胞Cがキャプチャーされていることになる。この第2画像において、ウェル41へ移動された各細胞Cの妥当性を確認する第2判定が実行される。この第2判定は、例えば、次段の細胞Cに対する作業、例えば試薬の添加や検査、観察等の作業の対象として、当該画像にキャプチャーされている細胞Cのうちいずれの細胞Cを選択するか否かの判定である。
このように、前記第1判定及び前記第2判定の二段階で細胞Cの選択判定を行うのは次の理由による。まず、第1、第2判定の間に実行される作業、つまり移動作業において、細胞Cの変形、変質、崩壊等が生じ得ることが挙げられる。例えば、易変形性の細胞Cが、チップ12に吸引された際に変形したり、1つの細胞Cに見えていたものが複数個の細胞に分解したりする場合がある。
次に、前記第1判定において誤った判定を行うことが挙げられる。前記第1判定は、保持凹部3に担持された細胞Cの画像に基づいて為される。つまり、選別容器11の底面及び保持凹部3の底部32を通して取得された前記第1画像に表れる細胞Cの形状、色調等の特徴量に基づき、前記第1判定が行われる。このため、細胞Cの透過光像に誤差要因が介入することがあり、また、観察できるのは細胞Cの下側半面である。従って、作業後に取得される第2画像に基づき改めて当該細胞Cを観察すると、実は不良品の細胞Cと判明することがある。また、前記第2撮像を、前記第1撮像とは異なる撮像条件で実行してみて初めて、不良品の細胞Cと認識できる場合もある。このほか、細胞Cに何らかの処理を施したり、エージング期間を置いたりする作業の後に前記第2画像を取得することで、不良品の細胞Cと判明することもある。このような理由から、前記第2判定の実行が要請されるものである。
ステップ(C)の前記第2判定において、前記第1判定と異なる判定結果が出た場合、その齟齬が次回の手順(A)における第1判定にフィードバックされる。具体的には、第1、第2判定において異なる判定が下された齟齬細胞C(error)が生じたとすると、その細胞C(error)の特徴量が例えば前記第2画像から求められる。そして、以降の後の判定処理において、細胞C(error)についての前記第1判定と前記第2判定とが同一となるように、前記第1判定が依拠する選択基準データを細胞C(error)の特徴量を参照して更新する。このような更新(学習)を繰り返すことにより、前記第2判定において「選択する」と判定された細胞Cだけが前記第1判定でも選択されるようになり、前記第1判定と前記第2判定は徐々に均質化されてゆく。やがて、前記第1判定のみで真に必要な細胞Cが選択でき、前記第2判定を省くことができるようになり、作業の効率化を図れるようになる。以下、作業種別毎に細胞選択のフィードバック例を具体的に示す。
[第1実施形態]
図5は、第1実施形態であって、上記で概要を説明したところの、作業が細胞の移動である場合における、細胞選択のフィードバックの手順(A)〜(G)を模式的に示す図である。最初の手順(A)では、カメラユニット5がディッシュ2を撮像する第1撮像が実行される。この第1撮像によって、ディッシュ2の保持凹部3に担持された細胞Cの第1画像が取得される。カメラユニット5のレンズ部51は、複数の細胞Cを同時に撮像可能な画角を備えている。手順(A)では、3×3(m1〜m3×n1〜n3)のマトリクスの保持凹部3が、1回の撮像動作によって撮像される例を示している。ここでは、m1n3及びm2n3の保持凹部3には1個の細胞Cが担持され、m2n2、m3n1及びm3n3の保持凹部3には2個の細胞Cが各々保持され、その他の保持凹部3には細胞Cが保持されていない状態を示している。
続く手順(B)では、手順(A)で取得された第1画像に基づき、いずれの細胞Cを移動対象とする否かの第1判定が実行される。既述の通り、この第1判定には、選択基準データが用いられる。第1画像を解析することにより、各保持凹部3に保持されている細胞Cの特徴量が抽出される。前記特徴量は、例えば細胞Cの個数、面積、推定体積などから求められる細胞Cの量、細胞Cの色や模様、細胞Cを蛍光させたときの光強度などである。各保持凹部3の細胞Cの解析結果は、各々数値化される。前記選択基準データは、例えば選択されるべき細胞Cの範囲を定めるパラメータである。前記第1判定では、各細胞Cの特徴量が、上記のパラメータの範囲に属するか否かを判定し、属する細胞Cが移動対象として選択される。ここでは、m1n3の細胞C1と、m2n3の細胞C2とが移動対象として選択された例を示している(図5において、黒枠で強調している。以下、同じ)。
次の手順(C)では、所定の作業として、移動対象として選択された細胞C1、C2が、チップ12によりマイクロプレート4の各ウェル41へ移動される。移動が完了すると、手順(D)に示すように、カメラユニット5が、移動された細胞C1、C2を保持するマイクロプレート4を撮像する第2撮像が行われる。そして、この第2撮像で得られた第2画像に基づき、細胞C1、C2をその後の作業用に選択するか否かの第2判定が実行される。この第2判定は、操作者のマニュアル選択、或いは、特徴量を使用した自動選択のいずれで実行されても良い。ここでは、第2判定において細胞C1が選択(OK)され、細胞C2は非選択(NG)とされた例を示している。なお、前記特徴量としても、ウェル41に収容された細胞Cの個数、量、色、模様、光強度などの情報を用いることができる。とりわけ、細胞Cの個数は、0個の場合も含めて、最も識別が容易な情報であるので、前記特徴量に最低限に含ませることが望ましい。
続く手順(E)では、前記第2画像に基づき、第2判定において選択された細胞C1、若しくは、選択されなかった細胞C2の特徴量が抽出される。そして、手順(F)に示すように、抽出された特徴量は、前記第1判定に用いられる前記選択基準データにフィードバック(更新)される。これにより、従前の選択基準データに基づく第1判定では、細胞C2を「選択する」と判定していたものが、その後の第1判定では、細胞C2を「選択しない」と判定することになる。
手順(G)は、フィードバック後の細胞選択の例を示している。すなわち、フィードバック後の第1判定では、細胞C1又はこれに類似する範疇の細胞Cは選択されるが、細胞C2又はこれに類似する範疇の細胞Cは選択されない。その後、手順(C)に移行し、選択された細胞C1が各ウェル41へ移動され、同様に手順(D)の第2判定が実行される。この場合、細胞C1だけがウェル41へ移動されることになるので、これらは第2判定において選択されることになる。つまり、細胞Cの選択において、第1判定と第2判定とに齟齬が発生しなくなる。
[第2実施形態]
図6は、第2実施形態であって、作業が操作者による細胞の選択である場合の細胞選択のフィードバック例を示す図である。ここでは、上述の選択基準データに基づく第1判定で選択した細胞Cの妥当性を、操作者がディッシュ2においてマニュアルで再選択する例を示す。つまり、第1実施形態で説明した細胞Cの移動作業前に、選択基準データに基づき自動選択された細胞Cに対し、操作者が第2判定を兼ねるマニュアル選択操作の作業を実行する。そして、そのマニュアル選択操作による細胞Cの結果を前記第1判定にフィードバックするものである。
図6(A)は、第1撮像により取得された第1画像に対し、ある時点における選択基準データに基づいて為された前記第1判定の結果を示している。ここでは、m1n3の細胞C1と、m2n3の細胞C2とが、前記第1判定において選択された例を示している。これら細胞C1、C2が、選択すべき対象として妥当であるか否かの第2判定(再選択操作)を、操作者がマニュアル選択操作によって実行する。なお、前記第2判定において参照されるのはディッシュ2の画像であるので、先に取得されている第1画像が用いられる。すなわち、本実施形態では、第2画像を新たに取得せず、前記第1画像が第2画像として援用される。本発明は、かかる実施形態も包含するものである。
図6(B)は、操作者の前記第2判定の結果を示す図である。ここでは、前記第2判定において細胞C1が選択されたが、細胞C2は選択されなかった例を示している。その後、第1実施形態の手順(E)、(F)と同様にして、細胞C1又は細胞C2の特徴量が抽出され、抽出された特徴量が、前記第1判定に用いられる前記選択基準データにフィードバックされる。これにより、以降に実施される第1判定では、細胞C2は「選択しない」と判定されることになる。
[第3実施形態]
図7は、第3実施形態であって、作業が撮像条件の変更である場合の細胞選択のフィードバック例を示す図である。上述の通り、本発明の実施形態では、細胞Cの二次元画像に基づいて前記第1判定及び前記第2判定が実行される。この場合、撮像条件を変更することで、同一の撮像条件での撮像画像では良否判定が難しかった細胞Cについて、明確に良否判定が行える場合がある。この点に鑑み、第3実施形態では、第1撮像を所定の撮像条件で実行して第1画像を取得すると共に第1判定を行い、続く第2撮像では撮像条件を変更して第2画像を取得すると共に第2判定を行う。つまり、第3実施形態における作業は、前記第1撮像における撮像条件を変更する作業である。そして、その第2判定による細胞Cの選択結果を前記第1判定にフィードバックするものである。
図7(A)は、第1撮像により取得された細胞Cの第1画像であり、明視野撮像によって得られた画像を示している。すなわち、カメラユニット5が「明視野撮像」という条件の下で取得した画像である。この第1画像において、その時点における選択基準データに基づいて前記第1判定が実行される。その後、撮像条件を変更する作業が行われる。変更可能な撮像条件としては、例えば画角、撮像アングル、倍率、露光量、照明光の性質、光量、レンズ種などである。勿論、使用するカメラユニット5の変更も含む。
図7(B)は、撮像条件の変更後の第2撮像により取得された細胞Cの第2画像であり、ここでは蛍光撮像によって得られた画像を示している。すなわち、カメラユニット5が「蛍光撮像」という条件の下で取得した画像である。前記蛍光撮像は、例えば蛍光剤の添加、蛍光性照明の使用により実行される。この第2画像において、例えば操作者が、マニュアル選択操作によって、いずれの細胞Cを選択するかの第2判定を行う。この第2判定による細胞Cの選択結果が、前記第1判定にフィードバックされる。
明視野撮像の第1画像で観察したm1n3の細胞C1a及びm2n3の細胞C2aを、蛍光撮像の第2画像で観察すると、異なる光像の細胞C1b、C2bとして観察される。ここで、明視野撮像では看過された細胞Cの欠陥が、蛍光撮像では観察できる場合がある。つまり、細胞Cの見方を変えて取得した画像に基づくと、より精度の高い選択判定が行える場合がある。そして、その欠陥が、実は明視野撮像の第1画像にも特徴量として表出している場合がある。従って、蛍光撮像の第2画像に基づく第2判定の結果を前記選択基準データにフィードバックすることで、より的確な第1判定を行えるようになる。
図8は、第3実施形態の変形例を示す図である。この変形例における撮像条件を変更する作業は、カメラユニット5のレンズ部51の撮像倍率を変更する作業である。図8(A)は、第1撮像により取得された細胞Cの第1画像であり、例えば倍率が4倍のレンズで撮像された画像を示している。一方、図8(B)は、撮像倍率の変更後の第2撮像により取得された細胞Cの第2画像であり、例えば倍率が10倍のレンズで撮像されたm2n3の細胞C2の画像を示している。
図8(A)の第1画像に基づき細胞C2について行った選択要否の判定(第1判定)のりも、図8(B)の拡大された第2画像に基づき細胞C2について行った選択要否の判定(第2判定)の方が、精度の高い判定を行える場合がある。例えば、4倍画像では判別できなかった欠陥が、10倍画像では観察できる場合がある。従って、高倍率化した第2画像に基づく第2判定の結果を前記選択基準データにフィードバックすることで、より的確な第1判定を行えるようになる。
[第4実施形態]
図9は、第4実施形態であって、作業が試薬の分注である場合の細胞選択のフィードバック例を示す図である。選択された細胞Cに対して、試薬や成長剤等の反応性試験物質に対する感応試験が行われる場合が多々ある。試験対象に適切な良質の細胞Cであるとして選択したものが、前記感応試験には不向きな細胞Cであった、ということが生じ得る。この点に鑑み、第4実施形態では、第1判定の後、選択された細胞Cに対して反応性試験物質を添加する作業を行い、その後の細胞Cに対して第2撮像を行って第2画像を取得すると共に当該細胞Cについての良否判定(第2判定)を行う。そして、その第2判定による細胞Cの選択結果を前記第1判定にフィードバックするものである。
図9(A)は、第1撮像により取得された第1画像に対し、ある時点における選択基準データに基づいて為された前記第1判定の結果を示している。ここでは、m1n3の細胞C1と、m2n3の細胞C2とが、前記第1判定において選択された例を示している。選択された細胞C1、C2に対し、第1の作業として、チップ12によりマイクロプレート4の各ウェル41へ移動させる作業が実行される。ここまでは、先述の第1実施形態と同じである。
続いて、図9(B)に示すように、第2の作業として、移動された細胞C1、C2及び培地Lを収容するウェル41に対し、それぞれチップ12を用いて試薬Qを分注する作業が実行される。試薬Qの分注を終えて所定時間経過後に、図9(C)に示すように、カメラユニット5が、移動された細胞C1、C2を保持するマイクロプレート4を撮像する第2撮像が行われる。これにより、試薬Qに反応後の細胞C1、C2の画像が前記第2画像として取得される。この第2画像において、例えば操作者が、マニュアル選択操作によって、細胞C1、C2が感応試験の対象として適切であったか否かを選択する第2判定を行う。ここでは、前記第2判定において細胞C1が選択(OK)され、細胞C2は非選択(NG)とされた例を示している。
そして、図9(D)に示すように、上記第2判定による細胞C1、C2の選択結果が、前記第1判定にフィードバックされる。すなわち、細胞C1又は細胞C2の特徴量が抽出され、抽出された特徴量が、前記第1判定に用いられる前記選択基準データにフィードバック(更新)される。これにより、以降に実施される第1判定では、細胞C2は「選択しない」と判定されることになる。従って、試薬Qの添加作業後の細胞Cの選択結果に沿うように、試薬Qの添加作業前において細胞Cの選択が行われるようになる。
[第5実施形態]
図10は、第5実施形態であって、作業が試験時間の経過を待つ作業である場合の細胞選択のフィードバック例を説明するための図である。細胞Cは、試薬Q等を特段添加せずとも、培地L中に放置するだけでも、その形状、性質が変位する場合がある。例えば、細胞Cの成長、死亡、分裂、変色などが例示できる。図10では、時間の経過により細胞Cの色が変色して行く例を示しており、5時間、24時間、36時間経過後の細胞C(t1)、C(t2)、C(t3)の状態を簡略的に例示している。従って、細胞Cについて、予め定められた試験時間の経過を待つことも、細胞Cについての「作業」となり得る。
第5実施形態は、例えば上記第4実施形態の図9(B)における試薬の分注作業を、試験時間の経過を待つ作業に代替することによって実施することができる。この場合、図9(C)の第2撮像及び細胞選別(第2判定)は、ウェル41への細胞C1、C2を移動してから所定の試験時間の経過後に実行される。そして、前記第2判定の結果が、第1判定にフィードバックされる。
[細胞移動装置の電気的構成]
図11は、細胞移動装置Sの電気的構成を示すブロック図である。細胞移動装置Sは、ヘッドユニット6の移動、ヘッド61及びチップ12の昇降、細胞Cの吸引及び吐出動作、並びにカメラユニット5の移動及び撮像動作等を制御する制御部7を備える。また、細胞移動装置Sは、カメラユニット5を水平移動させる機構としてカメラ軸駆動部53、レンズ部51を上下動させる駆動源としてサーボモータ54、ヘッドユニット6を水平移動させる機構としてヘッドユニット軸駆動部63、ヘッド61を昇降させる機構並びに吸引及び吐出動作を行わせる機構としてヘッド駆動部64を備えている。
カメラ軸駆動部53は、ガイドレール5G(図1)に沿ってカメラユニット5を水平移動させる駆動モータを含む。カメラ軸駆動部53は、カメラユニット5を、ディッシュ2の直下の第1載置位置P1と、マイクロプレート4の直下の第2載置位置P2との間で移動させる。
サーボモータ54は、正回転又は逆回転することで、図略の動力伝達機構を介して、レンズ部51を所定の分解能で上下方向に移動させる。この移動によって、ディッシュ2の保持凹部3又はマイクロプレート4のウェル41に収容された細胞Cにレンズ部51の焦点位置が合わせられる。なお、図11おいて点線で示しているように、レンズ部51ではなく、サーボモータ54によって選別容器11又はマイクロプレート4自体、若しくは、これらが載置されるステージである基台1を上下動させるようにしても良い。
ヘッドユニット軸駆動部63は、ガイドレール6Gに沿ってヘッドユニット6(ヘッド本体62)を移動させる駆動モータを含む。ヘッド駆動部64は、ヘッド61をヘッド本体62に対して昇降させる動力源となるモータと、チップ12の先端開口部tに吸引力及び吐出力を発生させる動力源となる機構とを含む。
制御部7は、マイクロコンピュータ等からなり、所定のプログラムが実行されることで、軸制御部71、ヘッド制御部72、撮像制御部73、画像処理部74、記憶部75及び主制御部78を備えるように機能する。さらに、制御部7に各種の情報を入力する入力部76と、各種の情報を表示する表示部77が備えられている。入力部76は、操作者から細胞Cの選択操作に関する入力を受け付ける端末として機能する。表示部77は、カメラユニット5が撮像する上記第1画像及び第2画像等を表示するモニターとして機能する。
軸制御部71は、ヘッドユニット軸駆動部63の動作を制御する。すなわち、軸制御部71は、ヘッドユニット軸駆動部63を制御することで、ヘッドユニット6を水平方向の所定の目標位置へ移動させる。ヘッド61(チップ12)の、選別容器11とマイクロプレート4との間の移動、ディッシュ2の保持凹部3に対する鉛直上空での位置決め、並びに吐出対象となるマイクロプレート4のウェル41に対する鉛直上空での位置決め等は、軸制御部71によるヘッドユニット軸駆動部63の制御によって実現される。
ヘッド制御部72は、ヘッド駆動部64を制御することにより、制御対象とするヘッド61を所定の目標位置に向けて昇降させる。また、ヘッド制御部72は、制御対象とするヘッド61に対応する吸引機構を制御することにより、所定のタイミングでチップ12の先端開口部tに吸引力又は吐出力を発生させる。
撮像制御部73は、カメラ軸駆動部53を制御して、カメラユニット5をガイドレール5Gに沿って移動させる動作を制御する。また、撮像制御部73は、カメラユニット5によるディッシュ2又はマイクロプレート4の撮像動作、例えば露光量やシャッタータイミング等を制御する。さらに撮像制御部73は、合焦動作のために、サーボモータ54にレンズ部51を上下方向に所定のピッチ(例えば数十μmピッチ)で移動させるための制御パルスを与える。
画像処理部74は、カメラ本体52により取得された画像データに対して、エッジ検出処理や特徴量抽出を伴うパターン認識処理などの画像処理を施す。画像処理部74は、細胞Cが分注された後のディッシュ2の画像に基づき、ディッシュ2の保持凹部3上における細胞Cの存在及びその個数を画像上で認識する処理、各細胞CのXY座標を取得する処理、個々の細胞Cの外形輪郭、面積や体積等のサイズ、形状、色調等の条件情報を取得する処理等を実行する。同様に、画像処理部74は、細胞Cが移動されたウェル41の画像に基づき、ウェル41に収容された細胞Cの個数、合計面積や合計体積等の量、蛍光強度等を認識する処理を実行する。
記憶部75は、細胞移動装置Sにおける各種設定値やデータ、プログラム等を記憶する。この他、記憶部75は、上述の第1判定に用いられる細胞Cの選択基準に関するデータを記憶する。この選択基準データは、上述の通り、細胞Cに対する所定の作業が実行された後に行われる第2判定の細胞選択結果に応じて更新される。
主制御部78は、カメラユニット5及びヘッドユニット6の動作を統括的に制御する。主制御部78は、選別容器11が載置された第1載置位置P1(図1)において、細胞Cが撒かれたディッシュ2の撮像を行わせると共に、移動対象に選択された細胞Cをヘッド61に装着されたチップ12に吸引させるピッキングを行い、これら細胞Cをマイクロプレート4へ移動するよう、軸制御部71、ヘッド制御部72及び撮像制御部73を通して、カメラユニット5及びヘッドユニット6を制御する。主制御部78は、このような統括的制御に際して、移動対象とする細胞Cをディッシュ2上から自動選択するための第1判定と、マイクロプレート4への移動後の細胞Cを選択するか否かを判定する第2判定とを実行する。
主制御部78は、上記の第1、第2判定のため機能的に、判定部781、補正部782及び解析部783を備える。判定部781は、カメラユニット5が撮像(第1撮像)した細胞Cを担持するディッシュ2の第1画像から、マイクロプレート4への移動対象とする細胞Cを選択する第1判定の処理を実行する。判定部781は、記憶部75に格納されている選択基準データを参照し、画像処理部74による前記第1画像の画像処理によって取得される各細胞Cの特徴量が前記選択基準データに合致するか否かに基づいて、前記第1判定を実行する。
また、判定部781は、カメラユニット5が撮像(第2撮像)した、細胞Cの移動作業後のマイクロプレート4の第2画像から、その後の作業に用いる細胞Cを選択する第2判定の処理を実行する。この第2判定は、入力部76に受け付けられる、操作者から細胞Cの選択操作に依拠することができる。これに代えて、前記第2判定用の選択基準データを記憶部75に格納し、判定部781が自動判定するようにしても良い。
補正部782は、ある細胞Cについて、前記第1判定と前記第2判定とが異なる判定結果となった場合に、その後の判定において当該細胞Cについての前記第1判定と前記第2判定とが同一となるように、記憶部75に記憶されている前記選択基準データを更新する処理を行う。具体的には、補正部782は、齟齬の生じた細胞Cの特徴量を前記選択基準データに反映させる。すなわち、当該細胞Cが前記第2判定で「非選択」とされた場合には、当該細胞Cの特徴量が前記選択基準データに包含されないように、前記選択基準データが更新される。一方、第1判定では「非選択」であった細胞Cが、前記第2判定で「選択」とされた場合には、逆に当該細胞Cの特徴量が前記選択基準データに包含されるように、前記選択基準データが更新される。
解析部783は、上述の第1画像又は第2画像において画像処理部74によって特定された細胞Cの画像を解析することによって、当該細胞Cについての特徴量を抽出する処理を行う。抽出する特徴量は、例えば細胞Cの形状、個数、面積、推定体積、色、模様、光強度等である。解析部783は、これら特徴量を数値化し、判定部781及び補正部782は、この数値を用いて所定の処理を行う。例えば、解析部783は、前記第2判定において選択された細胞C若しくは選択されなかった細胞Cについて、前記第2撮像で取得された画像に基づいて当該細胞Cの特徴量を抽出する。補正部782は、前記選択基準データを、抽出された特徴量の数値を用いて更新する。
判定部781は、前記選択基準データが、補正部782の前記更新処理により学習が進行したと判定される段階において、前記第1判定の結果を前記第2判定に援用する自動判定モードを実行することが可能とされている。前記選択基準データの更新(学習)を繰り返すことにより、やがて前記第1判定と前記第2判定は徐々に均質化され、前記第1判定のみで真に必要な細胞Cが選択できるようになり得るからである。
[細胞移動動作のフロー]
続いて、図11に示す本実施形態の撮像システムを用いた細胞移動動作を、図12に示すフローチャートに基づいて説明する。処理が開始されると、主制御部78はカメラユニット5にディッシュ2を撮像(第1撮像)させる。ディッシュ2には予め細胞懸濁液が分注されており、カメラユニット5はディッシュ2の保持凹部3に細胞Cが収容された状態を撮像する(ステップS1)。
次に、画像処理部72が、カメラ本体52から前記撮像により取得されたディッシュ2の画像データを取得し、画像中に含まれる細胞Cを特定する画像処理を実行する。この画像処理データは、主制御部78の解析部783に送られ、解析部783は、特定された細胞Cについて、当該細胞Cの形状、個数、面積、推定体積、色、模様、光強度等の特徴量を求める処理を実行する(ステップS2)。
続いて、判定部781が記憶部75から細胞Cの選択基準データを読み出し(ステップS3)、当該選択基準データを参照して、ディッシュ2に担持された細胞Cのうち、いずれの細胞Cを移動対象として選択するか否かを判定する第1判定を実行する(ステップS4)。
移動する細胞Cが決定したら、主制御部78は当該細胞Cを第1容器としてのディッシュ2第1容器から、第2容器としてのマイクロプレート4へ移動させる細胞移動作業を実行させる(ステップS5)。具体的には、ヘッド制御部72がヘッド駆動部64を制御して、ヘッド61に装着されたチップ12に、ディッシュ2の保持凹部3に担持された細胞Cをピッキングさせる。また、軸制御部71がヘッドユニット軸駆動部63を制御して、ヘッドユニット6をマイクロプレート4の上空へ移動させる。さらに、ヘッド制御部72がヘッド駆動部64を制御して、チップ12に吸引された細胞Cを所定のウェル41へ吐出させる。
細胞Cのウェル41への吐出を終えたら、主制御部78は、カメラユニット5にマイクロプレート4を撮像(第2撮像)させる(ステップS6)。この撮像により取得された画像は、表示部77に表示される。操作者は、表示部77を視認し、マイクロプレート4の各ウェル41に移動された細胞Cのうち、いずれの細胞Cをその後の作業用に選択するかの判定を行う。その判定結果は、入力部76に受け付けられる。判定部781は、入力部76に入力された指示情報を、所定の作業後において細胞Cを選択する第2判定と扱う(ステップS7)。
ステップS4の第1判定とステップS7の第2判定とで、異なる判定が下された細胞Cが存在する場合、その細胞Cの特徴量が解析部783によって算出される(ステップS8)。そして、補正部782が、記憶部75に格納されている前記第1判定のための選択基準データを、解析部783により抽出された特徴量に基づいて更新する(ステップS10)。なお、前記第1判定と前記第2判定とに齟齬が無い場合は、ステップS8及びS9はスキップされる。
続いて、主制御部78は、細胞移動装置Sにおいて設定されている動作モードがマニュアル操作モードであるか否かを判定する(ステップS10)。マニュアル操作モードとは、細胞Cの移動作業後にステップS6の撮像及びステップS7の入力受け付けを実行するモードであり、記憶部75の前記選択基準データが十分に学習されていない段階で実行されるモードである。
マニュアル操作モードに設定されている場合(ステップS10でYES)、主制御部78は、次回のディッシュ2の撮像(第1撮像)が予定されているか否かを確認する(ステップS11)。前記第1撮像が予定されている場合(ステップS11でYES)、主制御部78は、ステップS1に戻り、次回の第1撮像を実行させる。次回のルーチンにおいて、ステップS4では、先にステップS9で更新された選択基準データが用いられる。
一方、ステップS10において、マニュアル操作モードではなく自動判定モードに設定されている場合(ステップS10でNO)、主制御部78は、上述のステップS6〜S9が省かれた動作を実行させる。前記自動判定モードは、補正部782の前記更新処理により選択基準データの学習が進行したと判定される段階に至ったときに実行されるモードであり、前記第1判定の結果を前記第2判定の結果と扱うモードである。
この場合、主制御部78は、カメラユニット5に細胞Cを担持するディッシュ2を撮像(第1撮像)させ(ステップS12)、取得された画像内の細胞Cの特徴量が解析部783により算出される(ステップS13)。続いて、判定部781が、記憶部75の選択基準データを参照して、移動対象の細胞Cを選択する第1判定を行う(ステップS14)。そして、主制御部78は、選択された細胞Cをディッシュ2からマイクロプレート4へ移動させる(ステップS15)。上述の通り、自動判定モードでは第2判定が省かれるので、移動された細胞Cの全てに対して次段の作業、例えば試薬の添加等が実行される。
その後、細胞Cの撮像を継続するか否かが確認される(ステップS16)。撮像を継続する場合(ステップS16でYES)、ステップS13に戻って、カメラユニット5によりディッシュ2に対する次の撮像動作が実行される。一方、撮像すべき細胞Cが無い場合(ステップS16でNO)、処理を終える。
以上説明した本実施形態に係る撮像システムによれば、細胞Cの選択について、細胞Cに対する所定の作業前に実行される第1撮像で取得された画像において、判定部781が選択基準データに基づき選択した第1判定と、所定の作業が行われた後に取得された第2撮像で取得された画像に基づく第2判定とが比較される。そして、両者に齟齬がある場合、補正部782が、前記第1判定と前記第2判定とが同一となるように、前記選択基準データが更新される。このため、前記選択基準データが、所定の作業後に行われる第2判定に合致するように、徐々に修正されるようになる。従って、前記第2判定において「選択する」と判定する確率を高めることができ、その後の当該細胞Cに対する検査や試験等の作業効率を高めることができる。
[上記実施形態に包含される発明]
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
本発明の一局面に係る撮像システムは、所定の作業が行われる前の生体対象物を撮像する第1撮像と、前記作業が行われた後の前記生体対象物を撮像する第2撮像とを実行可能な撮像装置と、前記第1撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第1判定と、前記第2撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第2判定とを実行する判定部と、前記選択基準に関するデータを記憶する記憶部と、前記第1判定と前記第2判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第1判定と前記第2判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、を備えることを特徴とする。
この撮像システムによれば、生体対象物の選択について、前記第1撮像で取得された画像において所定の選択基準に基づき為された前記第1判定と、所定の作業が行われた後に取得された前記第2撮像で取得された画像に基づく第2判定とが比較される。そして、両者に齟齬がある場合、前記第1判定と前記第2判定とが同一となるように、前記選択基準に関するデータが更新される。このため、前記選択基準のデータが、所定の作業後に行われる第2判定に合致するように、徐々に修正されるようになる。従って、前記第2判定において「選択する」と判定する確率を高めることができ、その後の当該生体対象物に対する検査や試験等の作業効率を高めることができる。
上記の撮像システムにおいて、操作者より、前記生体対象物に対する選択操作に関する入力を受け付ける入力部をさらに備え、前記所定の作業が、前記第2判定を兼ねる、前記入力部に受け付けられた前記選択操作であることが望ましい。
この撮像システムによれば、前記第2判定を兼ねる操作者の選択操作結果に沿うように、前記第1判定が依拠する前記選択基準のデータが更新されるようになる。つまり、操作者の選択操作結果が、前記第1判定にフィードバックされるようになる。このため、徐々に前記第1判定の結果が、操作者の選択操作の傾向に沿うようになり、前記第2判定(選択操作)が簡略化できるようになる。
上記の撮像システムにおいて、前記所定の作業が、複数の生体対象物を収容する第1容器から、移動対象として選択された生体対象物を第2容器へ移動させる作業であり、前記第1撮像は、前記第1容器に収容された生体対象物の撮像であり、前記第2撮像は、前記第2容器に移動された生体対象物の撮像であることが望ましい。
この撮像システムによれば、生体対象物の第1容器から第2容器への移動という作業の後に実行される、前記第2撮像の画像に基づく第2判定の結果が、前記第1判定にフィードバックされる。従って、移動作業後の生体対象物の選択結果に沿うように、移動作業前において生体対象物の選択が行われるようになる。
この場合、前記第2判定において選択された生体対象物若しくは選択されなかった生体対象物について、前記第2撮像で取得された画像に基づいて当該生体対象物の特徴量を抽出する解析部をさらに備え、前記補正部は、前記選択基準に関するデータを、前記解析部が抽出した前記特徴量に基づいて更新することが望ましい。
この撮像システムによれば、前記特徴量に基づき、前記第2判定の結果を客観的に評価して、これを前記選択基準のデータにフィードバックすることができる。
さらに、この撮像システムにおいて、前記第2容器が、前記生体対象物を収容するウェルを複数備え、前記特徴量が、前記ウェルの各々に収容された前記生体対象物の個数の情報を含むことが望ましい。これにより、生体対象物の個数情報を前記選択基準のデータに反映させることができる。
上記の撮像システムにおいて、前記所定の作業が、前記第1撮像における撮像条件を変更する作業であって、前記第2撮像は、前記変更後の撮像条件にて実行されることが望ましい。
この撮像システムによれば、撮像条件の変更後に取得された画像、つまり、生体対象物の見方を変えて取得した画像に基づいて第2判定が為される。そして、この第2判定の結果が、前記第1判定にフィードバックされる。従って、見方を変えた生体対象物の選択結果に沿うように、第1判定において生体対象物の選択が行われるようになる。
上記の撮像システムにおいて、前記所定の作業が、前記生体対象物に対する反応性試験物質の添加作業であることが望ましい。
この撮像システムによれば、前記生体対象物に対する反応性試験物質の添加作業の後に実行される、前記第2撮像の画像に基づく第2判定の結果が、前記第1判定にフィードバックされる。従って、反応性試験物質の添加作業後の生体対象物の選択結果に沿うように、前記添加作業前において生体対象物の選択が行われるようになる。
上記の撮像システムにおいて、前記所定の作業が、前記第1撮像の後、予め定められた試験時間の経過を待つ作業であることが望ましい。
この撮像システムによれば、予め定められた試験時間の経過を待つという作業の後に実行される、前記第2撮像の画像に基づく第2判定の結果が、前記第1判定にフィードバックされる。従って、試験時間の経過後の生体対象物の選択結果に沿うように、前記第1判定において生体対象物の選択が行われるようになる。
これらの撮像システムにおいて、前記所定の作業として、複数の生体対象物を収容する第1容器から、移動対象として選択された生体対象物を第2容器へ移動させる作業をさらに含み、前記第1撮像は、前記第1容器に収容された生体対象物の撮像であり、前記第2撮像は、前記第2容器に移動された生体対象物の撮像であって、前記反応性試験物質の添加作業又は前記試験時間の経過を待つ作業は、前記第2容器に移動された後の生体対象物に対して実行されることが望ましい。
上記の撮像システムにおいて、前記判定部は、前記選択基準に関するデータが前記補正部の前記更新により学習が進行したと判定される段階において、前記第1判定の結果を前記第2判定に援用する自動判定モードを有することが望ましい。
この撮像システムによれば、前記第1判定へのフィードバックが進むことによって学習が進行したと判定されると、前記第2判定が省略されるようになる。従って、作業効率を一層高めることができる。
本発明の他の局面に係る生体対象物移動装置は、上記の撮像システムと、複数の生体対象物を収容する第1容器から、移動対象として選択された生体対象物をピッキングし、第2容器へ移動する移動作業を、前記所定の作業として実行するヘッド装置と、を備える。
本発明によれば、操作者が求める生体対象物の的確な選択が行える撮像システム、及びこれを用いた生体対象物移動装置を提供することができる。

Claims (10)

  1. 所定の作業が行われる前の生体対象物を撮像する第1撮像と、前記作業が行われた後の前記生体対象物を撮像する第2撮像とを実行可能な撮像装置と、
    前記第1撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第1判定と、前記第2撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第2判定とを実行する判定部と、
    前記選択基準に関するデータを記憶する記憶部と、
    前記第1判定と前記第2判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第1判定と前記第2判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、
    を備え
    前記所定の作業が、複数の生体対象物を収容する第1容器から、移動対象として選択された生体対象物を第2容器へ移動させる作業であり、
    前記第1撮像は、前記第1容器に収容された生体対象物の撮像であり、
    前記第2撮像は、前記第2容器に移動された生体対象物の撮像であることを特徴とする撮像システム。
  2. 請求項1に記載の撮像システムにおいて、
    操作者より、前記生体対象物に対する選択操作に関する入力を受け付ける入力部をさらに備える、撮像システム。
  3. 請求項1に記載の撮像システムにおいて、
    前記第2判定において選択された生体対象物若しくは選択されなかった生体対象物について、前記第2撮像で取得された画像に基づいて当該生体対象物の特徴量を抽出する解析部をさらに備え、
    前記補正部は、前記選択基準に関するデータを、前記解析部が抽出した前記特徴量に基づいて更新する、撮像システム。
  4. 請求項3に記載の撮像システムにおいて、
    前記第2容器が、前記生体対象物を収容するウェルを複数備え、
    前記特徴量が、前記ウェルの各々に収容された前記生体対象物の個数の情報を含む、撮像システム。
  5. 所定の作業が行われる前の生体対象物を撮像する第1撮像と、前記作業が行われた後の前記生体対象物を撮像する第2撮像とを実行可能な撮像装置と、
    前記第1撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第1判定と、前記第2撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第2判定とを実行する判定部と、
    前記選択基準に関するデータを記憶する記憶部と、
    前記第1判定と前記第2判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第1判定と前記第2判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、を備え、
    前記所定の作業が、前記第1撮像における撮像条件を変更する作業であって、
    前記第2撮像は、前記変更後の撮像条件にて実行される、撮像システム。
  6. 所定の作業が行われる前の生体対象物を撮像する第1撮像と、前記作業が行われた後の前記生体対象物を撮像する第2撮像とを実行可能な撮像装置と、
    前記第1撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第1判定と、前記第2撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第2判定とを実行する判定部と、
    前記選択基準に関するデータを記憶する記憶部と、
    前記第1判定と前記第2判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第1判定と前記第2判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、を備え、
    前記所定の作業が、前記生体対象物に対する反応性試験物質の添加作業である、撮像システム。
  7. 所定の作業が行われる前の生体対象物を撮像する第1撮像と、前記作業が行われた後の前記生体対象物を撮像する第2撮像とを実行可能な撮像装置と、
    前記第1撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第1判定と、前記第2撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第2判定とを実行する判定部と、
    前記選択基準に関するデータを記憶する記憶部と、
    前記第1判定と前記第2判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第1判定と前記第2判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、を備え、
    前記所定の作業が、前記第1撮像の後、予め定められた試験時間の経過を待つ作業である、撮像システム。
  8. 請求項6又は7に記載の撮像システムにおいて
    前記反応性試験物質の添加作業又は前記試験時間の経過を待つ作業は、前記第2容器に移動された後の生体対象物に対して実行される、撮像システム。
  9. 請求項1〜8のいずれか1項に記載の撮像システムにおいて、
    前記判定部は、前記選択基準に関するデータが前記補正部の前記更新により学習が進行したと判定される段階において、前記第1判定の結果を前記第2判定に援用する自動判定モードを有する、撮像システム。
  10. 請求項1〜9のいずれか1項に記載の撮像システムと、
    複数の生体対象物を収容する第1容器から、移動対象として選択された生体対象物をピッキングし、第2容器へ移動する移動作業を、前記所定の作業として実行するヘッド装置と、
    を備える生体対象物移動装置。
JP2020500303A 2018-02-15 2018-12-17 撮像システム及び生体対象物移動装置 Active JP6947905B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018024716 2018-02-15
JP2018024716 2018-02-15
PCT/JP2018/046336 WO2019159524A1 (ja) 2018-02-15 2018-12-17 撮像システム及び生体対象物移動装置

Publications (2)

Publication Number Publication Date
JPWO2019159524A1 JPWO2019159524A1 (ja) 2020-12-17
JP6947905B2 true JP6947905B2 (ja) 2021-10-13

Family

ID=67619271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020500303A Active JP6947905B2 (ja) 2018-02-15 2018-12-17 撮像システム及び生体対象物移動装置

Country Status (5)

Country Link
US (1) US20200410681A1 (ja)
EP (1) EP3739036B1 (ja)
JP (1) JP6947905B2 (ja)
CN (1) CN111699243B (ja)
WO (1) WO2019159524A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237391B1 (ja) 2022-01-24 2023-03-13 大和酸素工業株式会社 線虫自動移行装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4801025B2 (ja) * 2007-09-07 2011-10-26 オリンパス株式会社 細胞画像解析装置及び細胞画像解析ソフトウェア
JP4953092B2 (ja) * 2008-03-04 2012-06-13 株式会社ニコン 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
CA2933017C (en) * 2013-12-12 2019-05-21 Yamaha Hatsudoki Kabushiki Kaisha A moving apparatus for moving a subject using tips
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法
CN111630149A (zh) * 2018-01-31 2020-09-04 雅马哈发动机株式会社 摄像系统

Also Published As

Publication number Publication date
CN111699243B (zh) 2024-05-31
US20200410681A1 (en) 2020-12-31
EP3739036B1 (en) 2023-02-08
JPWO2019159524A1 (ja) 2020-12-17
WO2019159524A1 (ja) 2019-08-22
CN111699243A (zh) 2020-09-22
EP3739036A1 (en) 2020-11-18
EP3739036A4 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
JP5324590B2 (ja) 粒子を同定及び操作するための方法及び装置
WO2018193718A1 (ja) 細胞ハンドリング装置
JP7018078B2 (ja) 撮像システム
JP2020527721A (ja) ピペット先端の撮像ベースの位置特定を伴う物体ピッキング装置
CN110383042B (zh) 摄像系统
JP6947905B2 (ja) 撮像システム及び生体対象物移動装置
JP2021184769A (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
WO2019150756A1 (ja) 生体対象物の移動方法及び移動装置
JP6853880B2 (ja) 細胞移動方法及び細胞移動装置
EP3524667A1 (en) Cell transfer apparatus
JP6710772B2 (ja) 細胞移動装置及び細胞移動方法
WO2018234257A1 (de) Verfahren zur verifizierung des erfolgs von einzelzellaussaaten in nanowellarrays sowie vorrichtung und nanowellarray
JP7525657B2 (ja) 細胞移動装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210916

R150 Certificate of patent or registration of utility model

Ref document number: 6947905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250