JPWO2019150755A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JPWO2019150755A1
JPWO2019150755A1 JP2019568898A JP2019568898A JPWO2019150755A1 JP WO2019150755 A1 JPWO2019150755 A1 JP WO2019150755A1 JP 2019568898 A JP2019568898 A JP 2019568898A JP 2019568898 A JP2019568898 A JP 2019568898A JP WO2019150755 A1 JPWO2019150755 A1 JP WO2019150755A1
Authority
JP
Japan
Prior art keywords
biological object
cell
feature amount
imaging system
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019568898A
Other languages
English (en)
Other versions
JP7018078B2 (ja
Inventor
大 坂本
大 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of JPWO2019150755A1 publication Critical patent/JPWO2019150755A1/ja
Application granted granted Critical
Publication of JP7018078B2 publication Critical patent/JP7018078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M33/00Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus
    • C12M33/04Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles
    • C12M33/06Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles for multiple inoculation or multiple collection of samples
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497Particle shape
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Genetics & Genomics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Sustainable Development (AREA)
  • Biotechnology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Dispersion Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Microbiology (AREA)
  • Software Systems (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)

Abstract

撮像システムは、細胞(C)を撮像するカメラユニット(5)と、撮像された細胞を含む画像を表示する表示部(74)と、操作者より細胞(C)に対する選択操作に関する入力を受け付ける入力部(75)と、前記選択操作が与えられた細胞(C)に対応する画像を解析して、当該細胞についての特徴量を抽出する解析部(731)と、操作者に提示する推薦細胞を特定する特定部(732)とを備える。特定部(732)は、第1時点までに選択操作が与えられた細胞の特徴量に基づいて、選択されるべき細胞の範囲を定めるパラメータを設定し、前記第1時点よりも後の第2時点の撮像で得られる細胞を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦細胞を特定する。

Description

本発明は、例えば細胞又は細胞塊等の生体対象物を撮像する撮像装置を備える撮像システムに関する。
例えば医療や生物学的な研究の用途では、細胞又は細胞塊(生体対象物の例;単に「細胞」ということがある)の選別のための撮像が行われる場合がある。例えば、多数の収容凹部を有するプレート上に撒かれた細胞を撮像装置で撮像し、得られた画像に基づき所望の細胞を選別し、選別された細胞をチップで吸引してマイクロプレートに移載する、という作業が行われることがある(例えば特許文献1)。
細胞の選別方法としては、操作者のマニュアル選択に依る方法、細胞のサイズや形状等に関する選択基準値を予め設定する方法、等が挙げられる。前者は、操作者が細胞の撮像画像を観察し、操作者の経験に基づいて良否判定を行うという、個人のスキルに依存する方法である。後者は、細胞の撮像画像を画像処理する等して当該細胞のサイズや形状に関するパラメータを求め、このパラメータが前記選択基準値を満たすか否かに基づいて良否判定を自動判定する方法である。
上記のマニュアル選択による方法は、操作者が個々の細胞を観察して良否判定を行うことになるので、作業に非常に手間を要する。また、個人の主観、経験度等によって細胞の良否判定にばらつきが生じ易く、統一的な良否判定結果が得られ難いという問題がある。これに対し、選択基準値を予め設定する方法では、細胞の良否を自動判定できるので労力は軽減される。しかし、最適な選択基準値を予め準備するには、多種雑多なパラメータを考慮する必要があり、そのような選択基準値の設定が非常に難しいという問題がある。
国際公開第2015/087371号
本発明の目的は、的確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる撮像システムを提供することにある。
本発明の一局面に係る撮像システムは、複数の生体対象物を同時に撮像可能な撮像装置と、前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、第1時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第1時点よりも後の第2時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、を備えることを特徴とする。
図1は、本発明の実施形態に係る撮像システムが適用される細胞移動装置の構成例を概略的に示す図である。 図2(A)は、前記細胞移動装置に使用される選別容器が備えるディッシュの上面図、図2(B)は、図2(A)のIIB−IIB線断面図である。 図3は、本実施形態に係る撮像システムを用いた細胞選別作業の流れを模式的に示す図である。 図4(A)は、細胞の形状の一例を示す図、図4(B)は、細胞の形状に基づく選別基準の一例を説明するためのグラフである。 図5は、細胞の色合いに基づく選別基準を説明するため図である。 図6は、細胞の模様に基づく選別基準を説明するための図である。 図7(A)及び(B)は、細胞の光強度に基づく選別基準を説明するための図である。 図8は、本発明の実施形態に係る撮像システムのブロック図である。 図9は、前記撮像システムを用いた細胞選別動作のフローチャートである。
以下、本発明の実施形態を、図面に基づいて詳細に説明する。本発明に係る撮像システムでは、多岐に亘る生体対象物を撮像対象とすることができる。本発明において撮像対象となる生体対象物としては、代表的には生体由来の細胞を例示することができる。ここでの生体由来の細胞は、例えば血球系細胞やシングル化細胞などのシングルセル(細胞)、HistocultureやCTOSなどの組織小片、スフェロイドやオルガノイドなどの細胞凝集塊、ゼブラフィッシュ、線虫、受精卵などの個体、2D又は3Dのコロニー等である。この他、生体対象物として、組織、微生物、小サイズの種等を例示することができる。以下に説明する実施形態では、生体対象物が細胞又は細胞が数個〜数十万個凝集してなる細胞凝集塊(以下、これらを総称して単に「細胞C」という)である例を示す。
[細胞移動装置の全体構成]
図1は、本発明の実施形態に係る撮像システムが適用される細胞移動装置Sの全体構成を概略的に示す図である。ここでは、細胞Cを2つの容器(ディッシュ2とマイクロプレート4)間で移動させる細胞移動装置Sを例示している。
細胞移動装置Sは、水平な載置面(上面)を有する透光性の基台1と、基台1の下方側に配置されたカメラユニット5(撮像装置)と、基台1の上方側に配置されたヘッドユニット6とを含む。基台1の第1載置位置P1には、ディッシュ2(プレート)を備えた選別容器11が載置され、第2載置位置P2にはマイクロプレート4が載置されている。ヘッドユニット6は、細胞Cの吸引及び吐出を行うチップ12が装着され、Z方向(上下方向)に沿って移動可能なヘッド61を複数備える。カメラユニット5及びヘッドユニット6は、X方向(水平方向)と、図1の紙面に垂直な方向(Y方向)とに移動可能である。ディッシュ2及びマイクロプレート4は、ヘッドユニット6の移動可能範囲内において、基台1の上面に載置されている。
大略的に細胞移動装置Sは、細胞Cを多数保持している選別容器11のディッシュ2から複数のチップ12の各々で細胞Cを個別に吸引し、これをマイクロプレート4まで移動すると共に、当該マイクロプレート4(ウェル41)に複数のチップ12から細胞Cを同時に吐出する装置である。細胞Cの吸引の前に、カメラユニット5によりディッシュ2に保持されている細胞Cが撮像され、マイクロプレート4への移動対象とされる良質な細胞Cを選別する選別作業が行われる。
以下、細胞移動装置Sの各部を説明する。基台1は、所定の剛性を有し、その一部又は全部が透光性の材料で形成される長方形の平板である。好ましい基台1は、ガラスプレートである。基台1をガラスプレートのような透光性材料によって形成することで、基台1の下方に配置されたカメラユニット5にて、基台1の上面に配置された選別容器11(ディッシュ2)及びマイクロプレート4を、当該基台1を通して撮像させることが可能となる。
選別容器11は、細胞Cの移動元となる容器であり、培地Lを貯留し、細胞選別用のディッシュ2を培地Lに浸漬される状態で保持している。ディッシュ2は、細胞Cを保持するプレートであり、細胞Cを個別に収容して保持することが可能な保持凹部3(対象物を収容する区画)を上面に複数有している。培地Lは、細胞Cの性状を劣化させないものであれば特に限定されず、細胞Cの種類により適宜選定することができる。
選別容器11は、その上面側に矩形の上部開口11Hを備えている。上部開口11Hは、細胞Cの投入、並びに、選別された細胞Cをピックアップするための開口である。ディッシュ2は、上部開口11Hの下方に配置されている。選別容器11及びディッシュ2は、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、選別容器11の下方に配置されたカメラユニット5により、ディッシュ2に担持された細胞Cを観察可能とするためである。
選別容器11には、図略の分注チップから、細胞培養液に分散された状態の複数の細胞Cが注入される。前記分注チップは、多量の細胞Cを含む細胞培養液を貯留する容器から、細胞Cと共に細胞培養液を吸引し、当該分注チップ内に保持する。その後、前記分注チップは、選別容器11の上空位置へ移動され、上部開口11Hを通してディッシュ2の上面にアクセスする。そして、前記分注チップの先端開口が選別容器11の培地Lに浸漬された状態で、前記分注チップ内に保持された細胞Cが細胞培養液と共にディッシュ2の上へ吐出される。
マイクロプレート4は、細胞Cの移動先となる容器であり、細胞Cが吐出される複数のウェル41を有する。ウェル41は、マイクロプレート4の上面に開口した有底の孔である。1つのウェル41には、培地Lと共に必要個数(通常は1個)の細胞Cが収容される。マイクロプレート4もまた、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、マイクロプレート4の下方に配置されたカメラユニット5により、ウェル41に担持された細胞Cを観察可能とするためである。
カメラユニット5は、選別容器11又はマイクロプレート4に保持されている細胞Cの画像を、これらの下面側から撮像するもので、レンズ部51及びカメラ本体52を備える。レンズ部51は、光学顕微鏡に用いられている対物レンズであり、所定倍率の光像を結像させるレンズ群と、このレンズ群を収容するレンズ鏡筒とを含む。カメラ本体52は、CCDイメージセンサのような撮像素子を備える。レンズ部51は、前記撮像素子の受光面に撮像対象物の光像を結像させる。カメラユニット5は、基台1と平行に左右方向に延びるガイドレール5Gに沿って、基台1の下方においてX方向及びY方向に移動可能である。また、レンズ部51は、合焦動作のためにZ方向に移動可能である。
ヘッドユニット6は、細胞Cをディッシュ2からピックアップしてマイクロプレート4へ移動させるために設けられ、複数本のヘッド61と、これらヘッド61が組み付けられるヘッド本体62とを含む。各ヘッド61の先端には、細胞Cの吸引(ピックアップ)及び吐出を行うチップ12が装着されている。ヘッド本体62は、ヘッド61を+Z及び−Z方向に昇降可能に保持し、ガイドレール6Gに沿って+X及び−X方向に移動可能である。なお、ヘッド本体62は、Y方向にも移動可能である。
[ディッシュの詳細]
ディッシュ2の詳細構造を説明する。図2(A)は、ディッシュ2の上面図、図2(B)は、図2(A)のIIB−IIB線断面図である。ディッシュ2は、ディッシュ本体20と、該ディッシュ本体20に形成される複数の保持凹部3とを備えている。ディッシュ本体20は、所定の厚みを有する平板状の部材からなり、上面21と下面22とを有する。保持凹部3は、上面21の側に細胞Cの受け入れ開口(開口部31)を有する。ディッシュ2は、選別容器11内の培地L中に浸漬される。詳しくは、ディッシュ本体20の上面21が選別容器11内の培地L中に浸漬される一方、下面22が選別容器11の底板に対して間隔を置いた状態で、選別容器11内で保持される(図1参照)。
保持凹部3の各々は、開口部31、底部32、筒状の壁面33、孔部34及び境界部35を含む。本実施形態では、上面視で正方形の保持凹部3がマトリクス状に配列されている例を示している。図2(B)に示すように、複数の保持凹部3は、所定の凹部配列ピッチでマトリクス配列されている。
開口部31は、上面21に設けられた正方形の開口であり、選別用のチップ12の先端開口部tの進入を許容するサイズを有する。底部32は、ディッシュ本体20の内部であって、下面22の近くに位置している。底部32は、中心(前記正方形の中心)に向けて緩く下り傾斜する傾斜面である。筒状の壁面33は、開口部31から底部32に向けて鉛直下方に延びる壁面である。孔部34は、底部32の前記中心と下面22との間を鉛直に貫通する貫通孔である。境界部35は、上面21に位置し、各保持凹部3の開口縁となる部分であって、保持凹部3同士を区画する稜線である。
各保持凹部3の底部32及び筒状の壁面33は、細胞Cを収容する収容空間3Hを区画している。収容空間3Hには、一般的には1個の細胞Cが収容されることが企図されている。孔部34は、所望のサイズ以外の小さな細胞や夾雑物を収容空間3Hから逃がすために設けられている。従って、孔部34のサイズは、所望のサイズの細胞Cは通過できず、所望のサイズ以外の小さな細胞や夾雑物を通過させるサイズに選ばれている。これにより、選別対象となる細胞Cは保持凹部3にトラップされる一方で、夾雑物等は孔部34から選別容器11の底板に落下する。
[細胞選別作業の流れ]
続いて、本実施形態の撮像システムを用いた、細胞Cの選別作業の全体的な流れを説明する。図3は、本実施形態に係る撮像システムを用いた細胞選別作業の手順(A)〜(G)を模式的に示す図である。最初の手順(A)では、カメラユニット5によりディッシュ2が撮像されることによって、当該ディッシュ2に担持された細胞Cの画像が取得される。カメラユニット5のレンズ部51は、複数の細胞C(生体対象物)を同時に撮像可能な画角を備えている。すなわち、レンズ部51は、1回の撮像動作によって、図2に示すディッシュ2の複数の保持凹部3を撮像できる画角を有している。
手順(A)では、3×3(m1〜m3×n1〜n3)のマトリクスの保持凹部3が、1回の撮像動作によって撮像される例を示している。ここでは、m1n2及びm1n3の保持凹部3には比較的小さい細胞Cが1個ずつ、m2n3の保持凹部3には比較的大きい細胞Cが1個保持され、m2n2、m3n1及びm3n3の保持凹部3には2個の細胞Cが各々保持され、その他の保持凹部3には細胞Cが保持されていない状態を示している。
続く手順(B)では、手順(A)で取得された画像を解析することにより、各保持凹部3に保持されている細胞Cの特徴量が抽出される。後記で説明するが、前記特徴量は、例えば細胞Cの個数、面積、推定体積などから求められる細胞Cの量、細胞Cの色や模様、細胞Cを蛍光させたときの光強度などである。各保持凹部3の細胞Cの解析結果は、各々数値化される。
次の手順(C)では、手順(B)で得られた解析結果と、選択されるべき細胞Cの範囲を定めるパラメータとの比較が行われる。このパラメータは、今回までの撮像で得られた画像に基づく過去の細胞Cの解析結果及びその選択結果(第1時点までの選択操作)から得られた、選択対象として好ましい細胞Cの特徴量の範囲を示すパラメータであり、言わば現状における選択基準の学習値である。なお、イニシャルの選択処理時の場合等において、まだ選択基準の学習値が存在しない場合には、選択対象として好ましい細胞Cとして予め定められた基準特徴量に基づいて設定されたパラメータと、手順(B)で得られた解析結果との比較が行われる。
その後の手順(D)では、手順(C)の比較結果に基づいて、操作者に移動対象として選択を促す推薦細胞C(推薦生体対象物)が特定される。推薦細胞Cは、今回の撮像(第1時点よりも後の第2時点の撮像)より得られた画像に含まれる各細胞Cの特徴量が、上記のパラメータの範囲に属するか否かによって特定される。そして、操作者に対してモニター等の表示部上で、この推薦細胞Cが表示される。例示する手順(D)では、m1n2及びm1n3の保持凹部3に担持されている細胞C(推薦細胞C)が、操作者に対して推薦されている例を示している。推薦細胞Cに対しては、操作者に選択を促していることを認知させる表示(当該細胞Cに高輝度マーカーで囲う、目印となる記号等を付加する等)が付記される。
続いて手順(E)では、操作者のマニュアル操作による、推薦細胞Cの承認作業が行われる。この承認作業は、操作者自身の経験に照らして、手順(D)で撮像システム側から提示された推薦細胞Cを、実際に移動対象として選択されるべき細胞Cを扱って差し支えないか否かを操作者が判定する作業である。ここでは、m1n2及びm1n3の細胞Cが推薦細胞Cである。操作者は、これらを移動対象として選択すべき細胞であると判定した場合には承認操作を行い、選択すべきでないと判定した場合には非承認の操作を行う。
また、手順(E)では、撮像システム側が手順(D)において推薦細胞Cと扱わなかった細胞Cの中に、選択される細胞Cと扱うべきものが存在しているか否かが判定される。具体的には操作者は、推薦細胞Cではないm2n2、m2n3、m3n1及びm3n3の細胞のうち、移動対象とすべき細胞Cが有るか否かを判定し、そのような細胞Cが存在するときは、追加でこれを選択する操作を行う。例示している手順(E)では、m1n2及びm1n3の推薦細胞Cが承認されていると共に、m2n3の細胞Cが追加選択(追加承認)されている例が示されている。
その後の手順(F)では、操作者の承認及び追加選択の結果を踏まえて、選択されるべき細胞Cの範囲を定めるパラメータ(学習値)が更新される。手順(E)において、提示された推薦細胞Cは承認されたものの、m2n3の細胞Cが追加選択されている。つまり、撮像システムが提示した推薦細胞Cと、操作者が実際に選択した細胞Cとが一致していない。この場合、実際に選択された細胞Cについて手順(B)で導出されている解析結果(特徴量)を参照して、これら細胞Cが「選択すべき細胞」の範疇に入るようにパラメータ(学習値)が修正される。そして、次回の撮像(第2時点よりも後の第3時点の撮像)より得られた画像に含まれる各細胞Cについて、再び上記手順(A)〜(E)の操作が行われる場合に、この修正されたパラメータに基づいて推薦細胞Cが特定される。
手順(F)後に実行される手順(G)の後工程では、操作者によって承認及び追加承認された細胞Cに対して所定の作業が行われる(手順(G−a))。或いは、承認対象外の細胞Cに対して所定の作業が行われる(手順(G−b))。前記所定の作業の典型例が、細胞Cのピックアップ及び移動である。手順(G−a)では、m1n2、m1n3及びm2n3の細胞C(選択操作が与えられた細胞C)がピックアップされる。一方、手順(G−b)が実行される場合には、m1n2、m1n3及びm2n3以外の保持凹部3に存在する細胞Cのピックアップ作業、或いは細胞Cの追加作業が行われる。
[細胞の特徴量抽出の例]
続いて、細胞Cの特徴量を画像から抽出する具体例について説明する。本実施形態では、ディッシュ2の保持凹部3(プレートの区画)に収容された状態で細胞が撮像され、その撮像で得られた画像を解析して、個々の保持凹部3の単位で細胞Cの特徴量が抽出される。このような画像に表出し易い特徴量は、細胞Cの形状や、一つの保持凹部3に収容されている細胞Cの量である。
細胞Cの形状は、例えば図4(A)に示すように、細胞Cの真円度により評価することができる。すなわち、二次元画像から特定される細胞Cの外側輪郭の形状が、真円Rに対してどの程度近似しているかを数値化することによって、細胞Cの形状を評価することができる。細胞Cの量は、例えば、一つの保持凹部3に収容されている細胞Cの個数、当該細胞Cの二次元画像上の面積、二次元画像上における細胞Cの輪郭から推定される当該細胞Cの推定体積などから評価することができる。
図4(B)は、特徴量として細胞Cの形状(真円度)と、細胞Cの面積とを抽出し、両者の組合せから推薦細胞Cを特定する例を示している。細胞Cの真円度は、当該細胞Cの健全性に影響を与える場合が多い。また、細胞Cの面積は、当該細胞Cの大きさを端的に示す指標となる。従って、細胞Cの真円度及び面積が一定の範囲内(図中の符号aで示す三角の領域;これは学習値によって定まる)にある細胞C1を推薦(OK)、領域a以外にある細胞C2を非推薦(NG)とする、という処理を行うことで、推薦細胞Cを特定することができる。
細胞Cの個数は、専ら、一つの保持凹部3に一つの細胞Cが収容されている場合はOK、複数の細胞Cが収容されている場合はNGとなる指標である。一つの保持凹部3に複数の細胞Cが収容されてしまった場合には、二次元画像ではこれら細胞Cが重畳した画像で観察されてしまうので、個々の細胞Cの評価自体を遂行し難い状態となる。つまり、細胞Cの個数は、細胞C自体の性質というよりも、正確な解析結果が得られないため特徴量の抽出を回避するか否かの指標ということができる。
細胞Cの推定体積も、当該細胞Cの大きさを示す指標となる。推定体積は、例えば、1枚の2次元画像に表出している細胞Cの輪郭からその立体形状を推定して求められたものでも、細胞Cに対する焦点位置をZ方向に異ならせて得られた複数枚の2次元画像に表出している細胞Cの各輪郭からその立体形状を推定して求められたものでも良い。
細胞Cの特徴量は、当該細胞Cの色に基づく特徴量とすることができる。細胞Cの色合いは、当該細胞Cの健常性や生死を反映することが多い。図5は、細胞Cの色合いに基づく選別基準を説明するため図である。例えば、色合いの異なる細胞Cのサンプルa、b、cがあるとして、サンプルaが健常な細胞C、サンプルbが、生存はしているが非健常な細胞C、サンプルcが死んでいる細胞Cというように、色合いによって細胞Cを評価できることがある。この場合、撮像された画像から、特徴量として例えば各細胞Cの平均輝度を抽出し、サンプルa及びbの間の適宜な平均輝度(これは学習値によって定まる)を選択閾値として、推薦細胞Cを特定することができる。
また、細胞Cの特徴量は、当該細胞Cの模様に基づく特徴量とすることができる。撮像された画像上に表出する細胞Cの模様は、細胞Cの種類を表すことがある。図6に、異なる種類のがん細胞−1、がん細胞−2及びがん細胞−3の写真を示す。がん細胞−1は大腸がん、がん細胞−2は子宮体がん、がん細胞−3は肺がんを各々示している。このように、がん細胞種によって、画像上で観察される細胞Cの模様が異なる。従って、これらの模様を線分化して定量化することで、当該模様を特徴量として数値化することができる。そして、選別する細胞Cの模様に基づく特徴量と、他の細胞Cの模様に基づく特徴量とを区別する適宜なパラメータ(これは学習値によって定まる)を設定することで、推薦細胞Cを特定することができる。
さらに、細胞Cの特徴量は、画像上における当該細胞Cの領域の光強度に基づく特徴量とすることができる。細胞Cが発する光、とりわけ適宜な試薬と反応させて蛍光性とした場合に細胞Cが発する光の強度は、当該細胞Cの健全性の評価基準となることがある。従って、図7(A)に例示するように、画像上における細胞Cの周辺領域AC(一般的には培地)の平均輝度α(光強度)と、当該細胞Cの平均輝度βとの差を、数値化された特徴量として用いることがきる。そして、平均輝度α及びβの間の適宜な平均輝度(これは学習値によって定まる)を選択閾値として、推薦細胞Cを特定することができる。なお、図7(B)に示すように、画像上において細胞C及びその周辺領域ACを複数のブロックBLに分割し、ブロックBL毎に平均輝度を求め、平均輝度が顕著に変動している箇所が存在することをもって、所定の平均輝度を満たす細胞Cが画像内に存在するか否かを判定させることができる。
[撮像システムの構成]
図8は、本発明の実施形態に係る撮像システムのブロック図である。撮像システムは、撮像光軸上の撮像対象物を撮像するカメラユニット5と、レンズ部51の動作を制御すると共にカメラ本体52により取得された画像情報に基づき所定の処理を行う制御部7と、レンズ部51を上下動させるレンズ駆動モータ53と、表示部74と、入力部75とを備えている。図8では、撮像対象物として、選別容器11に収容されたディッシュ2を示している。なお、制御部7は、ヘッドユニット6内のヘッドモータ63と、軸モータ64とを制御することによって、細胞Cのピックアップ動作及び移動動作も制御する。
レンズ駆動モータ53は、正回転又は逆回転することで、図略の動力伝達機構を介して、レンズ部51を所定の分解能で上下方向に移動させる。この移動によって、ディッシュ2に担持されている細胞Cにレンズ部51の焦点位置が合わせられる。なお、図8において点線で示しているように、レンズ部51ではなく、レンズ駆動モータ53に代替する他のモータによって、選別容器11自体、若しくは選別容器11が載置されるステージ(基台1)を上下動させるようにしても良い。
ヘッドモータ63は、ヘッド本体62に対するヘッド61の昇降動作、ヘッド6に装着されたチップ12の先端開口部tに、吸引力及び吐出力を発生させる動作の駆動源となるモータである。軸モータ64は、ガイドレール6G(図1)に沿ってヘッドユニット6(ヘッド本体62)を移動させる駆動源となるモータである。
制御部7は、例えばパーソナルコンピューター等からなり、所定のプログラムが実行されることで、機能的に駆動制御部71、画像処理部72及び演算部73を備えるように動作する。
駆動制御部71は、レンズ駆動モータ53、ヘッドモータ63及び軸モータ64の動作を制御する。具体的には駆動制御部71は、合焦動作のために、レンズ駆動モータ53にレンズ部51を上下方向に所定のピッチ(例えば数十μmピッチ)で移動させるための制御パルスを与える。また、図8では記載を省いているが、駆動制御部71は、カメラユニット5をガイドレール5Gに沿って移動させるカメラ軸駆動モータの動作も制御する。さらに、駆動制御部71は、ヘッドユニット6のメカ動作も制御する。駆動制御部71は、ヘッドモータ63を制御して、ヘッド61の昇降動作及びチップ12の先端開口部tに吸引力又は吐出力を発生させる動作を制御する。
画像処理部72は、カメラ本体52により取得された画像データに対して、エッジ検出処理や特徴量抽出を伴うパターン認識処理などの画像処理を施す。画像処理部72は、細胞Cを担持するディッシュ2の画像データを取得し、ディッシュ2(保持凹部3)上に存在する細胞Cを前記画像処理によって認識する。
演算部73は、主に、画像処理部72により特定された画像上の細胞Cについて各種の解析を行うと共に、操作者に提示する推薦細胞Cを特定する処理を実行する。演算部73は、機能的に解析部731、特定部732及びモード変更部733を備えている。
解析部731は、細胞Cの画像を解析することによって、当該細胞Cについての特徴量を抽出する処理を行う。抽出する特徴量は、先に図4〜図7に基づき説明した通り、細胞Cの形状、個数、面積、推定体積、色、模様、光強度等である。解析部731は、これら特徴量を数値化する。
特定部732は、先に図3に基づいて説明したように、操作者の過去の細胞選択実績に基づいて導出されるパラメータと、今回の撮像で取得された画像に含まれる細胞Cについて解析部731が抽出した特徴量とを比較することで、操作者に提示する推薦細胞Cを特定する処理を行う。特定部732は、特定の第1時点までに操作者が選択した細胞Cについて解析部731が抽出した特徴量に基づいて、選択されるべき細胞Cの範囲を定めるパラメータを設定する。このパラメータが、前記第1時点における細胞Cの選択基準の学習値である。そして、特定部732は、前記第1時点よりも後の第2時点の撮像で得られる細胞Cを含む画像において、前記パラメータに基づいて操作者に選択を促す推薦細胞Cを特定する。つまり、前記第2時点で取得された画像に含まれる細胞Cのうち、前記パラメータの範囲に属する特徴量を有する細胞Cが、推薦細胞Cとして特定される。
さらに特定部732は、図3の手順(E)、(F)において説明したように、前記第2時点の撮像で得られた画像における細胞Cの選択操作において、先に特定した推薦細胞Cと一致しない細胞Cが選択された場合、その選択された細胞Cの特徴量に基づいて前記パラメータを修正する。つまり、前記第1時点における細胞Cの選択基準の学習値が更新される。そして、特定部732は、前記第2時点よりも後の第3時点の撮像で得られる細胞Cを画像において、修正された前記パラメータに基づいて推薦細胞Cを特定する処理を実行する。
モード変更部733は、推薦細胞Cについて操作者の承認操作を受け付けるマニュアル操作モードと、推薦細胞Cを自動的に承認する自動承認モードとの間で動作モードを変更する処理を行う。換言すると、上述のように前記パラメータ(学習値)を操作者の選択結果に応じて順次更新するのが前記マニュアル操作モードである。一方、そのような更新をもはや行わずに、また、操作者から選択操作を受け付けることなく、特定部732が特定した推薦細胞Cをあたかも選択操作を受け付けた細胞Cと取り扱うのが自動承認モードである。前記パラメータの学習が進行すると、もはや操作者の選択操作の介入を要しないほどに、推薦細胞Cの特定精度が上昇することが想定される。このようなタイミングにおいて、モード変更部733は、動作モードをマニュアル操作モードから自動承認モードに変更する。これにより、細胞Cの選択作業を完全に自動化することができる。
表示部74は、カメラユニット5が撮像した画像を表示するディスプレイである。本実施形態では、カメラユニット5が撮像したディッシュ2の画像、すなわち複数の保持凹部3に担持された複数の細胞Cを含む画像を表示する。また、推薦細胞Cに対して、操作者が容易に識別できる所定の表示を付記する。
入力部75は、キーボードやマウス等からなり、操作者より、表示部74に表示された細胞Cに対する選択(承認)操作に関する入力を受け付ける。図3の手順(E)で説明した、操作者による承認操作及び追加承認操作は、この入力部75から受け付けられる。
[細胞選別動作のフロー]
続いて、図8に示す本実施形態の撮像システムを用いた細胞選別動作を、図9に示すフローチャートに基づいて説明する。処理が開始されると、カメラユニット5によりディッシュ2が撮像される。ディッシュ2には予め細胞懸濁液が分注されており、カメラユニット5はディッシュ2の保持凹部3に細胞Cが収容された状態を撮像する(ステップS1/第1時点の撮像)。この際、駆動制御部71がレンズ部51を駆動して、ディッシュ2上の細胞Cに対する合焦動作が実行される。撮像された画像は、例えば図3の手順(A)に示すような状態で、表示部74に表示される。
次に、入力部75において、操作者から、表示部74に表示された細胞Cのうちのいずれを移動対象とするかについての最初の選択操作の入力を受け付ける(ステップS2)。この時点では、まだ選択されるべき細胞Cの範囲を定めるパラメータ(学習値)は存在していない状態である。なお、このステップS2では、予め定められた設定値に基づいて推薦細胞Cを特定し、表示部74に推薦細胞Cであることを視認可能に表示した上で、操作者の選択操作を受けるようにしても良い。
続いて、画像処理部72が、カメラ本体52から細胞Cを担持するディッシュ2の画像データを取得し、画像中に含まれる細胞Cを特定する画像処理を実行する。この画像処理データは、演算部73の解析部731に送られ、解析部731は、操作者が選択した細胞C及び他の細胞Cについて、当該細胞Cの形状、個数、面積、推定体積、色、模様、光強度等の特徴量を求める処理を実行する(ステップS3)。
そして、特定部732が、解析部731により求められた各細胞Cの特徴量のうち、操作者が選択した細胞Cについての特徴量を参照して、選択されるべき細胞Cの範囲を定めるパラメータを求める。つまり、細胞Cの選択基準を学習する(ステップS4)。このパラメータは、例えば特徴量として面積が選ばれている場合、移動対象として好ましい細胞Cの下限面積閾値及び上限面積閾値である。特徴量として色が選ばれている場合、下限平均輝度閾値及び上限平均輝度閾値である。このようなパラメータが、制御部7が備える図略のメモリ領域に記憶される(ステップS5)。
ここで、モード変更部733により、動作モードがマニュアル操作モードから自動承認モードに変更されているか否かが確認される(ステップS6)。前記パラメータの学習が不十分な場合は、デフォルトのマニュアル操作モードが維持される(ステップS6でYES)。一方、前記パラメータの学習が十分に進んでいる場合、例えばステップS5で記憶されたパラメータが、直近の複数回の更新において殆ど変動が無い状態に到達したような場合、動作モードがマニュアル操作モードから自動承認モードに変更される(ステップS6でNO)。
マニュアル操作モードが維持されている場合(ステップS6でYES)、カメラユニット5により、ディッシュ2に担持された細胞Cが再び撮像される(ステップS7/第2時点の撮像)。この撮像で得られた画像データに対して、画像処理部72による細胞Cの特定処理、及び解析部731による各細胞Cの特徴量抽出処理が行われる。その上で、特定部732が、現状の前記パラメータ(学習値)を参照して、今回の撮像画像中に含まれる細胞Cのうち、操作者に選択を促す推薦細胞Cを特定する。そして、図3の手順(D)に示したように、推薦細胞Cが操作者に視認可能な態様で、表示部74に表示される(ステップS8)。
続いて、ステップS2と同様に、入力部75において操作者から、表示部74に表示された細胞Cのうちのいずれを移動対象とするかについての選択操作の入力を受け付ける(ステップS9)。その後、処理はステップS3に戻り、解析部731により、操作者がステップS9で選択した細胞Cの特徴量が特定される。そして、特定部732が、これら細胞Cの特徴量を参照して、細胞Cの選択基準のパラメータを求める(ステップS4)。この際、前回のステップS8で特定部732が提示した推薦細胞Cと、ステップS9で操作者が実際に選択した細胞Cとの齟齬があると、前記パラメータは新たな値に更新されることになる。次回の細胞Cの撮像(ステップS7/第3時点の撮像)で得られた画像においては、更新されたパラメータに基づいて推薦細胞Cが特定される。
これに対し、モード変更部733が動作モードを自動承認モードに変更している場合(ステップS6でNO)、以降は操作者の選択操作が省かれる。カメラユニット5により、ディッシュ2に担持された細胞Cが撮像される(ステップS10)。続いて、特定部732が、得られた画像に含まれる細胞Cの中から推薦細胞Cを特定する処理を行う(ステップS11)。そして、入力部75から操作者の選択操作を受けることなく、ステップS11で特定され推薦細胞Cが移動対象の細胞Cとして自動選択される(ステップS12)。
その後、細胞Cの撮像を継続するか否かが確認される(ステップS13)。撮像を継続する場合(ステップS13でYES)、ステップS10に戻って、カメラユニット5によりディッシュ2に対する次の撮像動作が実行される。一方、撮像すべき細胞Cが無い場合(ステップS13でNO)、処理を終える。
[作用効果]
以上説明した本実施形態に係る撮像システムによれば、前記第2時点またはそれ以降に実行される細胞Cの選択操作において、操作者には表示部74で推薦細胞Cが提示されるようになる。これにより、操作者は推薦細胞Cを参照しながら、迅速に細胞Cの選択を行うことができる。しかも、この推薦細胞Cは、前記第1時点までの当該操作者の選択実績を踏まえたパラメータに基づいて特定されたものであるので、的確性の高いものとなる。従って、操作者は、的確な細胞Cの選択が行えると共に、操作者の細胞Cの選択作業の労力を軽減することができる。
また、前記第2時点において、推薦細胞Cと操作者が現に選択した細胞Cとに齟齬が生じた場合には、特定部732が改めて特徴量を抽出し(特徴量を学習し)、その特徴量に基づいて細胞Cの選択基準となるパラメータが修正される。そして、前記第3時点では、修正された前記パラメータに基づいて推薦細胞Cが特定される。従って、前記第3時点及びそれ以降の選択操作においては、より推薦細胞Cの特定精度を向上させることができる。つまり、操作者の選択操作と並行して、特徴量の学習効果に基づき推薦細胞Cの特定精度を徐々に向上させてゆくことができる。
さらに、本実施形態の撮像システムによれば、操作者の選択結果を踏まえて特定部732が特徴量を学習する構成であるので、操作者が複数人存在する場合に、各操作者の選択結果に応じて個別に、特定部732に特徴量を学習させることが可能である。この場合、例えば入力部75からの選択操作の際に、操作者の識別ID等に関連付けて操作を受け付けるものとし、操作者毎に学習データを生成し、演算部73のメモリ領域に記憶させておく。これにより、全操作者についての平均的な推薦細胞Cではなく、各操作者の選択傾向を踏まえた個別の推薦細胞Cを特定させることが可能となる。
また、本実施形態の撮像システムによれば、特定部732に生体対象物の種別毎或いは個体毎に特徴量を学習させ、前記種別毎或いは個体毎に特定部732が推薦細胞Cを特定することが可能である。例えば、生体対象物として種別の異なるがん細胞、例えば膵臓がん細胞と卵巣がん細胞とを撮像対象とするような場合、入力部75からの細胞Cの選択操作の実行前に、予め定められたがん細胞分類等を入力させるようにする。そして、操作者の選択結果に応じて、がん細胞種別毎に学習データを生成し、演算部73のメモリ領域に記憶させておく。これにより、特定部732に、がん細胞種別に応じた推薦細胞Cを特定させることが可能となる。
さらに、例えば同じがん細胞でも、異なる被験者Aと被験者Bとで、実験や検査等において必要となる細胞の傾向が異なる場合がある。つまり、同じ細胞種別であっても、個体によって推薦細胞Cが異なるものとなる場合がある。個体毎に推薦細胞Cを特定させる場合も上記と同様である。この場合、入力部75からの細胞Cの選択操作の実行前に、当該細胞Cを採取した個体の識別ID等を入力させるようする。そして、操作者の選択結果に応じて、個体毎に学習データを生成し、演算部73のメモリ領域に記憶させておく。これにより、特定部732に、各個体に応じた推薦細胞Cを特定させることが可能となる。
実際の運用において、個体及び種別の単位で推薦細胞Cを特定させたい場合、例えば「被験者A」の「膵臓がん細胞」という単位で推薦細胞Cを特定させたい場合には、そのような個体及び種別の区分が行えるようにID等を入力部75から入力させるようにする。一方、「膵臓がん細胞」という単位での区別で足りれば、種別に関するID等を入力部75から入力させるようにする。これにより、所要の単位で学習データを生成し、当該単位に適した推薦細胞Cを特定部732に特定させることが可能となる。
[上記実施形態に包含される発明]
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
本発明の一局面に係る撮像システムは、複数の生体対象物を同時に撮像可能な撮像装置と、前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、第1時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第1時点よりも後の第2時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、を備えることを特徴とする。
この撮像システムによれば、前記第2時点またはそれ以降に実行される前記入力部における前記選択操作において、操作者には推薦生体対象物が提示されるようになる。これにより、操作者は推薦生体対象物を参照しながら、迅速に生体対象物の選択を行うことができる。しかも、この推薦生体対象物は、前記第1時点までの当該操作者の選択実績或いは基準特徴量を踏まえたパラメータに基づいて特定されたものであるので、的確性の高いものとなる。従って、上記の撮像システムによれば、的確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる。
上記の撮像システムにおいて、前記入力部が、前記第2時点の撮像で得られた画像における前記複数の生体対象物に対する選択操作において、前記特定部が特定した前記推薦生体対象物と一致しない生体対象物の選択操作の入力を受け付けた場合、前記解析部は、前記入力部が受け付けた生体対象物に対応する画像を解析して、前記第2時点における当該生体対象物についての特徴量を抽出し、前記特定部は、前記第2時点における特徴量に基づいて前記パラメータを修正し、前記第2時点よりも後の第3時点の撮像で得られる前記複数の生体対象物を含む画像において、修正された前記パラメータに基づいて前記推薦生体対象物を特定することが望ましい。
この撮像システムによれば、前記第2時点において、前記推薦生体対象物と操作者の生体対象物の選択実績とに齟齬が生じた場合に、改めて特徴量を抽出し(特徴量を学習し)、その特徴量に基づいて前記パラメータが修正される。そして、前記第3時点では、修正された前記パラメータに基づいて前記推薦生体対象物が特定される。従って、前記第3時点及びそれ以降の選択操作においては、より推薦生体対象物の特定精度を向上させることができる。つまり、操作者の選択操作と並行して、特徴量の学習効果に基づき推薦生体対象物の特定精度を徐々に向上させてゆくことができる。
上記の撮像システムにおいて、前記特定部が特定した前記推薦生体対象物を、前記選択操作を受け付けることなく、前記入力部で前記選択操作を受け付けた生体対象物と取り扱うよう動作モードを変更するモード変更部をさらに備えることが望ましい。
この撮像システムによれば、前記モード変更部が動作モードを変更した段階で、操作者による前記選択操作を省くことができる。上記の特徴量の学習が進行すると、もはや操作者の前記選択操作の介入を要しないほどに、推薦生体対象物の特定精度が上昇することが想定される。このようなタイミングにおいて、前記モード変更部に動作モードを変更させることにより、生体対象物の選択作業を完全に自動化することができる。
上記の撮像システムにおいて、前記特徴量は、前記生体対象物の形状に基づく特徴量とすることができる。
また、上記の撮像システムにおいて、前記生体対象物を収容する区画を複数備えるプレートを備え、前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものである場合に、前記特徴量は、一つの前記区画に収容されている前記生体対象物の量に基づく特徴量とすることができる。この場合、前記生体対象物の量は、当該生体対象物の個数、面積、輪郭から推定される推定体積のうちの少なくとも一つから求められる量とすることができる。
或いは、前記特徴量は、前記生体対象物の色に基づく特徴量としても良く、前記特徴量は、前記生体対象物の模様に基づく特徴量であっても良い。
さらに、前記特徴量は、画像上における前記生体対象物の領域の光強度に基づく特徴量とすることができる。若しくは、前記特徴量は、画像上における前記生体対象物の領域及びその周辺領域の光強度に基づく特徴量としても良い。
上記の撮像システムにおいて、前記生体対象物を収容する区画を複数備えるプレートと、前記プレートの区画から前記生体対象物をピックアップするチップを有し、ピックアップされた前記生体対象物を移動させることが可能なヘッドと、前記チップによる前記ピックアップの動作を制御する制御部と、をさらに備え、前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、前記制御部は、前記入力部で選択操作が与えられた生体対象物、若しくは、前記選択操作が与えられなかった生体対象物を、前記チップにピックアップさせる制御を実行することが望ましい。
この撮像システムによれば、前記選択操作が与えられた、又は、与えられなかった生体対象物をピックアップさせ、所望の位置へ移動させる機能を当該撮像システムに具備させることがきる。
上記の撮像システムにおいて、前記特定部は、操作者が複数人存在する場合に、各操作者の選択結果に応じた前記特徴量の学習結果に基づいて、操作者毎に個別に前記推薦対象物を特定することが望ましい。これにより、全操作者についての平均的な推薦対象物ではなく、各操作者の選択傾向を踏まえた個別の推薦対象物を特定させることが可能となる。
上記の撮像システムにおいて、前記特定部は、生体対象物の種別が複数存在する場合に、各生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、生体対象物毎に個別に前記推薦対象物を特定することが望ましい。これにより、全生体対象物についての平均的な推薦対象物ではなく、生体対象物の種別に応じた推薦対象物を特定させることが可能となる。
上記の撮像システムにおいて、前記特定部は、複数の個体から採取された同種の生体対象物が存在する場合に、各個体の生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、個体毎に個別に前記推薦対象物を特定することが望ましい。これにより、同種の生体対象物であっても、各々の個体に応じた推薦対象物を特定させることが可能となる。
以上説明した本発明によれば、確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる撮像システムを提供することができる。

Claims (14)

  1. 複数の生体対象物を同時に撮像可能な撮像装置と、
    前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、
    操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、
    前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、
    第1時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第1時点よりも後の第2時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、
    を備えることを特徴とする撮像システム。
  2. 請求項1に記載の撮像システムにおいて、
    前記入力部が、前記第2時点の撮像で得られた画像における前記複数の生体対象物に対する選択操作において、前記特定部が特定した前記推薦生体対象物と一致しない生体対象物の選択操作の入力を受け付けた場合、
    前記解析部は、前記入力部が受け付けた生体対象物に対応する画像を解析して、前記第2時点における当該生体対象物についての特徴量を抽出し、
    前記特定部は、前記第2時点における特徴量に基づいて前記パラメータを修正し、前記第2時点よりも後の第3時点の撮像で得られる前記複数の生体対象物を含む画像において、修正された前記パラメータに基づいて前記推薦生体対象物を特定する、撮像システム。
  3. 請求項2に記載の撮像システムにおいて、
    前記特定部が特定した前記推薦生体対象物を、前記選択操作を受け付けることなく、前記入力部で前記選択操作を受け付けた生体対象物と取り扱うよう動作モードを変更するモード変更部をさらに備える、撮像システム。
  4. 請求項1〜3のいずれか1項に記載の撮像システムにおいて、
    前記特徴量は、前記生体対象物の形状に基づく特徴量である、撮像システム。
  5. 請求項1〜3のいずれか1項に記載の撮像システムにおいて、
    前記生体対象物を収容する区画を複数備えるプレートを備え、
    前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、
    前記特徴量は、一つの前記区画に収容されている前記生体対象物の量に基づく特徴量である、撮像システム。
  6. 請求項5に記載の撮像システムにおいて、
    前記生体対象物の量は、当該生体対象物の個数、面積、輪郭から推定される推定体積のうちの少なくとも一つから求められる量である、撮像システム。
  7. 請求項1〜3のいずれか1項に記載の撮像システムにおいて、
    前記特徴量は、前記生体対象物の色に基づく特徴量である、撮像システム。
  8. 請求項1〜3のいずれか1項に記載の撮像システムにおいて、
    前記特徴量は、前記生体対象物の模様に基づく特徴量である、撮像システム。
  9. 請求項1〜3のいずれか1項に記載の撮像システムにおいて、
    前記特徴量は、画像上における前記生体対象物の領域の光強度に基づく特徴量である、撮像システム。
  10. 請求項9に記載の撮像システムにおいて、
    前記特徴量は、画像上における前記生体対象物の領域及びその周辺領域の光強度に基づく特徴量である、撮像システム。
  11. 請求項1〜10のいずれか1項に記載の撮像システムにおいて、
    前記生体対象物を収容する区画を複数備えるプレートと、
    前記プレートの区画から前記生体対象物をピックアップするチップを有し、ピックアップされた前記生体対象物を移動させることが可能なヘッドと、
    前記チップによる前記ピックアップの動作を制御する制御部と、をさらに備え、
    前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、
    前記制御部は、前記入力部で選択操作が与えられた生体対象物、若しくは、前記選択操作が与えられなかった生体対象物を、前記チップにピックアップさせる制御を実行する、撮像システム。
  12. 請求項1〜11のいずれか1項に記載の撮像システムにおいて、
    前記特定部は、操作者が複数人存在する場合に、各操作者の選択結果に応じた前記特徴量の学習結果に基づいて、操作者毎に個別に前記推薦対象物を特定する、撮像システム。
  13. 請求項1〜11のいずれか1項に記載の撮像システムにおいて、
    前記特定部は、生体対象物の種別が複数存在する場合に、各生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、生体対象物毎に個別に前記推薦対象物を特定する、撮像システム。
  14. 請求項1〜11のいずれか1項に記載の撮像システムにおいて、
    前記特定部は、複数の個体から採取された同種の生体対象物が存在する場合に、各個体の生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、個体毎に個別に前記推薦対象物を特定する、撮像システム。
JP2019568898A 2018-01-31 2018-12-04 撮像システム Active JP7018078B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018015169 2018-01-31
JP2018015169 2018-01-31
PCT/JP2018/044628 WO2019150755A1 (ja) 2018-01-31 2018-12-04 撮像システム

Publications (2)

Publication Number Publication Date
JPWO2019150755A1 true JPWO2019150755A1 (ja) 2020-12-10
JP7018078B2 JP7018078B2 (ja) 2022-02-09

Family

ID=67478975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019568898A Active JP7018078B2 (ja) 2018-01-31 2018-12-04 撮像システム

Country Status (5)

Country Link
US (1) US11367294B2 (ja)
EP (1) EP3733832A4 (ja)
JP (1) JP7018078B2 (ja)
CN (1) CN111630149A (ja)
WO (1) WO2019150755A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739036B1 (en) * 2018-02-15 2023-02-08 Yamaha Hatsudoki Kabushiki Kaisha Biological subject transfer device
JP7237391B1 (ja) 2022-01-24 2023-03-13 大和酸素工業株式会社 線虫自動移行装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
WO2011021391A1 (ja) * 2009-08-19 2011-02-24 国立大学法人名古屋大学 培養細胞評価装置、インキュベータおよびプログラム
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016154450A (ja) * 2015-02-23 2016-09-01 大日本印刷株式会社 培養液の培養状態解析システム及び培養状態解析方法、並びに、プログラム
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215936A1 (en) * 2000-12-13 2003-11-20 Olli Kallioniemi High-throughput tissue microarray technology and applications
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
US7589330B2 (en) * 2007-06-25 2009-09-15 Olympus Corporation Ultraviolet microscope apparatus
EP2270198A4 (en) * 2008-03-24 2013-03-27 Nikon Corp PICTURE ANALYSIS METHOD FOR CELL OBSERVATION, PICTURE PROCESSING PROGRAM AND PICTURE PROCESSING DEVICE
CN107058097B (zh) 2013-12-12 2020-04-14 雅马哈发动机株式会社 对象物的移动装置
JP2017009314A (ja) 2015-06-17 2017-01-12 株式会社Screenホールディングス 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
WO2011021391A1 (ja) * 2009-08-19 2011-02-24 国立大学法人名古屋大学 培養細胞評価装置、インキュベータおよびプログラム
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016154450A (ja) * 2015-02-23 2016-09-01 大日本印刷株式会社 培養液の培養状態解析システム及び培養状態解析方法、並びに、プログラム
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Also Published As

Publication number Publication date
EP3733832A1 (en) 2020-11-04
JP7018078B2 (ja) 2022-02-09
EP3733832A4 (en) 2021-02-24
US11367294B2 (en) 2022-06-21
WO2019150755A1 (ja) 2019-08-08
US20200372240A1 (en) 2020-11-26
CN111630149A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN108603835B (zh) 被适配成根据多个侧视图来量化试样的方法和装置
EP2210081B1 (en) Method for the identification and handling of particles
JP6479676B2 (ja) 流体サンプル中の粒子の分類のためのシステム及び方法
EP3375859B1 (en) Method for constructing classifier, and method for determining life or death of cells using same
US20030179916A1 (en) High-throughput cell identification and isolation method and apparatus
JP7018078B2 (ja) 撮像システム
CN110520518A (zh) 细胞处理装置
JP6947905B2 (ja) 撮像システム及び生体対象物移動装置
JP6853880B2 (ja) 細胞移動方法及び細胞移動装置
EP3730601A1 (en) Movement method and movement device for biological subject
JP6946868B2 (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
JP6710772B2 (ja) 細胞移動装置及び細胞移動方法
WO2022145086A1 (ja) 細胞移動装置
KR20230042059A (ko) 이벤트 기반 이미징을 위한 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220128

R150 Certificate of patent or registration of utility model

Ref document number: 7018078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150