JPWO2019150755A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JPWO2019150755A1
JPWO2019150755A1 JP2019568898A JP2019568898A JPWO2019150755A1 JP WO2019150755 A1 JPWO2019150755 A1 JP WO2019150755A1 JP 2019568898 A JP2019568898 A JP 2019568898A JP 2019568898 A JP2019568898 A JP 2019568898A JP WO2019150755 A1 JPWO2019150755 A1 JP WO2019150755A1
Authority
JP
Japan
Prior art keywords
biological object
cell
feature amount
imaging system
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019568898A
Other languages
English (en)
Other versions
JP7018078B2 (ja
Inventor
大 坂本
大 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of JPWO2019150755A1 publication Critical patent/JPWO2019150755A1/ja
Application granted granted Critical
Publication of JP7018078B2 publication Critical patent/JP7018078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M33/00—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus
    • C12M33/04—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles
    • C12M33/06—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles for multiple inoculation or multiple collection of samples
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Genetics & Genomics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Sustainable Development (AREA)
  • Biotechnology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Dispersion Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Microbiology (AREA)
  • Software Systems (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)

Abstract

撮像システムは、細胞（Ｃ）を撮像するカメラユニット（５）と、撮像された細胞を含む画像を表示する表示部（７４）と、操作者より細胞（Ｃ）に対する選択操作に関する入力を受け付ける入力部（７５）と、前記選択操作が与えられた細胞（Ｃ）に対応する画像を解析して、当該細胞についての特徴量を抽出する解析部（７３１）と、操作者に提示する推薦細胞を特定する特定部（７３２）とを備える。特定部（７３２）は、第１時点までに選択操作が与えられた細胞の特徴量に基づいて、選択されるべき細胞の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる細胞を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦細胞を特定する。

Description

本発明は、例えば細胞又は細胞塊等の生体対象物を撮像する撮像装置を備える撮像システムに関する。
例えば医療や生物学的な研究の用途では、細胞又は細胞塊（生体対象物の例；単に「細胞」ということがある）の選別のための撮像が行われる場合がある。例えば、多数の収容凹部を有するプレート上に撒かれた細胞を撮像装置で撮像し、得られた画像に基づき所望の細胞を選別し、選別された細胞をチップで吸引してマイクロプレートに移載する、という作業が行われることがある（例えば特許文献１）。
細胞の選別方法としては、操作者のマニュアル選択に依る方法、細胞のサイズや形状等に関する選択基準値を予め設定する方法、等が挙げられる。前者は、操作者が細胞の撮像画像を観察し、操作者の経験に基づいて良否判定を行うという、個人のスキルに依存する方法である。後者は、細胞の撮像画像を画像処理する等して当該細胞のサイズや形状に関するパラメータを求め、このパラメータが前記選択基準値を満たすか否かに基づいて良否判定を自動判定する方法である。
上記のマニュアル選択による方法は、操作者が個々の細胞を観察して良否判定を行うことになるので、作業に非常に手間を要する。また、個人の主観、経験度等によって細胞の良否判定にばらつきが生じ易く、統一的な良否判定結果が得られ難いという問題がある。これに対し、選択基準値を予め設定する方法では、細胞の良否を自動判定できるので労力は軽減される。しかし、最適な選択基準値を予め準備するには、多種雑多なパラメータを考慮する必要があり、そのような選択基準値の設定が非常に難しいという問題がある。
国際公開第２０１５／０８７３７１号
本発明の目的は、的確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる撮像システムを提供することにある。
本発明の一局面に係る撮像システムは、複数の生体対象物を同時に撮像可能な撮像装置と、前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、第１時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、を備えることを特徴とする。
図１は、本発明の実施形態に係る撮像システムが適用される細胞移動装置の構成例を概略的に示す図である。 図２（Ａ）は、前記細胞移動装置に使用される選別容器が備えるディッシュの上面図、図２（Ｂ）は、図２（Ａ）のＩＩＢ−ＩＩＢ線断面図である。 図３は、本実施形態に係る撮像システムを用いた細胞選別作業の流れを模式的に示す図である。 図４（Ａ）は、細胞の形状の一例を示す図、図４（Ｂ）は、細胞の形状に基づく選別基準の一例を説明するためのグラフである。 図５は、細胞の色合いに基づく選別基準を説明するため図である。 図６は、細胞の模様に基づく選別基準を説明するための図である。 図７（Ａ）及び（Ｂ）は、細胞の光強度に基づく選別基準を説明するための図である。 図８は、本発明の実施形態に係る撮像システムのブロック図である。 図９は、前記撮像システムを用いた細胞選別動作のフローチャートである。
以下、本発明の実施形態を、図面に基づいて詳細に説明する。本発明に係る撮像システムでは、多岐に亘る生体対象物を撮像対象とすることができる。本発明において撮像対象となる生体対象物としては、代表的には生体由来の細胞を例示することができる。ここでの生体由来の細胞は、例えば血球系細胞やシングル化細胞などのシングルセル（細胞）、ＨｉｓｔｏｃｕｌｔｕｒｅやＣＴＯＳなどの組織小片、スフェロイドやオルガノイドなどの細胞凝集塊、ゼブラフィッシュ、線虫、受精卵などの個体、２Ｄ又は３Ｄのコロニー等である。この他、生体対象物として、組織、微生物、小サイズの種等を例示することができる。以下に説明する実施形態では、生体対象物が細胞又は細胞が数個〜数十万個凝集してなる細胞凝集塊（以下、これらを総称して単に「細胞Ｃ」という）である例を示す。
［細胞移動装置の全体構成］
図１は、本発明の実施形態に係る撮像システムが適用される細胞移動装置Ｓの全体構成を概略的に示す図である。ここでは、細胞Ｃを２つの容器（ディッシュ２とマイクロプレート４）間で移動させる細胞移動装置Ｓを例示している。
細胞移動装置Ｓは、水平な載置面（上面）を有する透光性の基台１と、基台１の下方側に配置されたカメラユニット５（撮像装置）と、基台１の上方側に配置されたヘッドユニット６とを含む。基台１の第１載置位置Ｐ１には、ディッシュ２（プレート）を備えた選別容器１１が載置され、第２載置位置Ｐ２にはマイクロプレート４が載置されている。ヘッドユニット６は、細胞Ｃの吸引及び吐出を行うチップ１２が装着され、Ｚ方向（上下方向）に沿って移動可能なヘッド６１を複数備える。カメラユニット５及びヘッドユニット６は、Ｘ方向（水平方向）と、図１の紙面に垂直な方向（Ｙ方向）とに移動可能である。ディッシュ２及びマイクロプレート４は、ヘッドユニット６の移動可能範囲内において、基台１の上面に載置されている。
大略的に細胞移動装置Ｓは、細胞Ｃを多数保持している選別容器１１のディッシュ２から複数のチップ１２の各々で細胞Ｃを個別に吸引し、これをマイクロプレート４まで移動すると共に、当該マイクロプレート４（ウェル４１）に複数のチップ１２から細胞Ｃを同時に吐出する装置である。細胞Ｃの吸引の前に、カメラユニット５によりディッシュ２に保持されている細胞Ｃが撮像され、マイクロプレート４への移動対象とされる良質な細胞Ｃを選別する選別作業が行われる。
以下、細胞移動装置Ｓの各部を説明する。基台１は、所定の剛性を有し、その一部又は全部が透光性の材料で形成される長方形の平板である。好ましい基台１は、ガラスプレートである。基台１をガラスプレートのような透光性材料によって形成することで、基台１の下方に配置されたカメラユニット５にて、基台１の上面に配置された選別容器１１（ディッシュ２）及びマイクロプレート４を、当該基台１を通して撮像させることが可能となる。
選別容器１１は、細胞Ｃの移動元となる容器であり、培地Ｌを貯留し、細胞選別用のディッシュ２を培地Ｌに浸漬される状態で保持している。ディッシュ２は、細胞Ｃを保持するプレートであり、細胞Ｃを個別に収容して保持することが可能な保持凹部３（対象物を収容する区画）を上面に複数有している。培地Ｌは、細胞Ｃの性状を劣化させないものであれば特に限定されず、細胞Ｃの種類により適宜選定することができる。
選別容器１１は、その上面側に矩形の上部開口１１Ｈを備えている。上部開口１１Ｈは、細胞Ｃの投入、並びに、選別された細胞Ｃをピックアップするための開口である。ディッシュ２は、上部開口１１Ｈの下方に配置されている。選別容器１１及びディッシュ２は、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、選別容器１１の下方に配置されたカメラユニット５により、ディッシュ２に担持された細胞Ｃを観察可能とするためである。
選別容器１１には、図略の分注チップから、細胞培養液に分散された状態の複数の細胞Ｃが注入される。前記分注チップは、多量の細胞Ｃを含む細胞培養液を貯留する容器から、細胞Ｃと共に細胞培養液を吸引し、当該分注チップ内に保持する。その後、前記分注チップは、選別容器１１の上空位置へ移動され、上部開口１１Ｈを通してディッシュ２の上面にアクセスする。そして、前記分注チップの先端開口が選別容器１１の培地Ｌに浸漬された状態で、前記分注チップ内に保持された細胞Ｃが細胞培養液と共にディッシュ２の上へ吐出される。
マイクロプレート４は、細胞Ｃの移動先となる容器であり、細胞Ｃが吐出される複数のウェル４１を有する。ウェル４１は、マイクロプレート４の上面に開口した有底の孔である。１つのウェル４１には、培地Ｌと共に必要個数（通常は１個）の細胞Ｃが収容される。マイクロプレート４もまた、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、マイクロプレート４の下方に配置されたカメラユニット５により、ウェル４１に担持された細胞Ｃを観察可能とするためである。
カメラユニット５は、選別容器１１又はマイクロプレート４に保持されている細胞Ｃの画像を、これらの下面側から撮像するもので、レンズ部５１及びカメラ本体５２を備える。レンズ部５１は、光学顕微鏡に用いられている対物レンズであり、所定倍率の光像を結像させるレンズ群と、このレンズ群を収容するレンズ鏡筒とを含む。カメラ本体５２は、ＣＣＤイメージセンサのような撮像素子を備える。レンズ部５１は、前記撮像素子の受光面に撮像対象物の光像を結像させる。カメラユニット５は、基台１と平行に左右方向に延びるガイドレール５Ｇに沿って、基台１の下方においてＸ方向及びＹ方向に移動可能である。また、レンズ部５１は、合焦動作のためにＺ方向に移動可能である。
ヘッドユニット６は、細胞Ｃをディッシュ２からピックアップしてマイクロプレート４へ移動させるために設けられ、複数本のヘッド６１と、これらヘッド６１が組み付けられるヘッド本体６２とを含む。各ヘッド６１の先端には、細胞Ｃの吸引（ピックアップ）及び吐出を行うチップ１２が装着されている。ヘッド本体６２は、ヘッド６１を＋Ｚ及び−Ｚ方向に昇降可能に保持し、ガイドレール６Ｇに沿って＋Ｘ及び−Ｘ方向に移動可能である。なお、ヘッド本体６２は、Ｙ方向にも移動可能である。
［ディッシュの詳細］
ディッシュ２の詳細構造を説明する。図２（Ａ）は、ディッシュ２の上面図、図２（Ｂ）は、図２（Ａ）のＩＩＢ−ＩＩＢ線断面図である。ディッシュ２は、ディッシュ本体２０と、該ディッシュ本体２０に形成される複数の保持凹部３とを備えている。ディッシュ本体２０は、所定の厚みを有する平板状の部材からなり、上面２１と下面２２とを有する。保持凹部３は、上面２１の側に細胞Ｃの受け入れ開口（開口部３１）を有する。ディッシュ２は、選別容器１１内の培地Ｌ中に浸漬される。詳しくは、ディッシュ本体２０の上面２１が選別容器１１内の培地Ｌ中に浸漬される一方、下面２２が選別容器１１の底板に対して間隔を置いた状態で、選別容器１１内で保持される（図１参照）。
保持凹部３の各々は、開口部３１、底部３２、筒状の壁面３３、孔部３４及び境界部３５を含む。本実施形態では、上面視で正方形の保持凹部３がマトリクス状に配列されている例を示している。図２（Ｂ）に示すように、複数の保持凹部３は、所定の凹部配列ピッチでマトリクス配列されている。
開口部３１は、上面２１に設けられた正方形の開口であり、選別用のチップ１２の先端開口部ｔの進入を許容するサイズを有する。底部３２は、ディッシュ本体２０の内部であって、下面２２の近くに位置している。底部３２は、中心（前記正方形の中心）に向けて緩く下り傾斜する傾斜面である。筒状の壁面３３は、開口部３１から底部３２に向けて鉛直下方に延びる壁面である。孔部３４は、底部３２の前記中心と下面２２との間を鉛直に貫通する貫通孔である。境界部３５は、上面２１に位置し、各保持凹部３の開口縁となる部分であって、保持凹部３同士を区画する稜線である。
各保持凹部３の底部３２及び筒状の壁面３３は、細胞Ｃを収容する収容空間３Ｈを区画している。収容空間３Ｈには、一般的には１個の細胞Ｃが収容されることが企図されている。孔部３４は、所望のサイズ以外の小さな細胞や夾雑物を収容空間３Ｈから逃がすために設けられている。従って、孔部３４のサイズは、所望のサイズの細胞Ｃは通過できず、所望のサイズ以外の小さな細胞や夾雑物を通過させるサイズに選ばれている。これにより、選別対象となる細胞Ｃは保持凹部３にトラップされる一方で、夾雑物等は孔部３４から選別容器１１の底板に落下する。
［細胞選別作業の流れ］
続いて、本実施形態の撮像システムを用いた、細胞Ｃの選別作業の全体的な流れを説明する。図３は、本実施形態に係る撮像システムを用いた細胞選別作業の手順（Ａ）〜（Ｇ）を模式的に示す図である。最初の手順（Ａ）では、カメラユニット５によりディッシュ２が撮像されることによって、当該ディッシュ２に担持された細胞Ｃの画像が取得される。カメラユニット５のレンズ部５１は、複数の細胞Ｃ（生体対象物）を同時に撮像可能な画角を備えている。すなわち、レンズ部５１は、１回の撮像動作によって、図２に示すディッシュ２の複数の保持凹部３を撮像できる画角を有している。
手順（Ａ）では、３×３（ｍ１〜ｍ３×ｎ１〜ｎ３）のマトリクスの保持凹部３が、１回の撮像動作によって撮像される例を示している。ここでは、ｍ１ｎ２及びｍ１ｎ３の保持凹部３には比較的小さい細胞Ｃが１個ずつ、ｍ２ｎ３の保持凹部３には比較的大きい細胞Ｃが１個保持され、ｍ２ｎ２、ｍ３ｎ１及びｍ３ｎ３の保持凹部３には２個の細胞Ｃが各々保持され、その他の保持凹部３には細胞Ｃが保持されていない状態を示している。
続く手順（Ｂ）では、手順（Ａ）で取得された画像を解析することにより、各保持凹部３に保持されている細胞Ｃの特徴量が抽出される。後記で説明するが、前記特徴量は、例えば細胞Ｃの個数、面積、推定体積などから求められる細胞Ｃの量、細胞Ｃの色や模様、細胞Ｃを蛍光させたときの光強度などである。各保持凹部３の細胞Ｃの解析結果は、各々数値化される。
次の手順（Ｃ）では、手順（Ｂ）で得られた解析結果と、選択されるべき細胞Ｃの範囲を定めるパラメータとの比較が行われる。このパラメータは、今回までの撮像で得られた画像に基づく過去の細胞Ｃの解析結果及びその選択結果（第１時点までの選択操作）から得られた、選択対象として好ましい細胞Ｃの特徴量の範囲を示すパラメータであり、言わば現状における選択基準の学習値である。なお、イニシャルの選択処理時の場合等において、まだ選択基準の学習値が存在しない場合には、選択対象として好ましい細胞Ｃとして予め定められた基準特徴量に基づいて設定されたパラメータと、手順（Ｂ）で得られた解析結果との比較が行われる。
その後の手順（Ｄ）では、手順（Ｃ）の比較結果に基づいて、操作者に移動対象として選択を促す推薦細胞Ｃ（推薦生体対象物）が特定される。推薦細胞Ｃは、今回の撮像（第１時点よりも後の第２時点の撮像）より得られた画像に含まれる各細胞Ｃの特徴量が、上記のパラメータの範囲に属するか否かによって特定される。そして、操作者に対してモニター等の表示部上で、この推薦細胞Ｃが表示される。例示する手順（Ｄ）では、ｍ１ｎ２及びｍ１ｎ３の保持凹部３に担持されている細胞Ｃ（推薦細胞Ｃ）が、操作者に対して推薦されている例を示している。推薦細胞Ｃに対しては、操作者に選択を促していることを認知させる表示（当該細胞Ｃに高輝度マーカーで囲う、目印となる記号等を付加する等）が付記される。
続いて手順（Ｅ）では、操作者のマニュアル操作による、推薦細胞Ｃの承認作業が行われる。この承認作業は、操作者自身の経験に照らして、手順（Ｄ）で撮像システム側から提示された推薦細胞Ｃを、実際に移動対象として選択されるべき細胞Ｃを扱って差し支えないか否かを操作者が判定する作業である。ここでは、ｍ１ｎ２及びｍ１ｎ３の細胞Ｃが推薦細胞Ｃである。操作者は、これらを移動対象として選択すべき細胞であると判定した場合には承認操作を行い、選択すべきでないと判定した場合には非承認の操作を行う。
また、手順（Ｅ）では、撮像システム側が手順（Ｄ）において推薦細胞Ｃと扱わなかった細胞Ｃの中に、選択される細胞Ｃと扱うべきものが存在しているか否かが判定される。具体的には操作者は、推薦細胞Ｃではないｍ２ｎ２、ｍ２ｎ３、ｍ３ｎ１及びｍ３ｎ３の細胞のうち、移動対象とすべき細胞Ｃが有るか否かを判定し、そのような細胞Ｃが存在するときは、追加でこれを選択する操作を行う。例示している手順（Ｅ）では、ｍ１ｎ２及びｍ１ｎ３の推薦細胞Ｃが承認されていると共に、ｍ２ｎ３の細胞Ｃが追加選択（追加承認）されている例が示されている。
その後の手順（Ｆ）では、操作者の承認及び追加選択の結果を踏まえて、選択されるべき細胞Ｃの範囲を定めるパラメータ（学習値）が更新される。手順（Ｅ）において、提示された推薦細胞Ｃは承認されたものの、ｍ２ｎ３の細胞Ｃが追加選択されている。つまり、撮像システムが提示した推薦細胞Ｃと、操作者が実際に選択した細胞Ｃとが一致していない。この場合、実際に選択された細胞Ｃについて手順（Ｂ）で導出されている解析結果（特徴量）を参照して、これら細胞Ｃが「選択すべき細胞」の範疇に入るようにパラメータ（学習値）が修正される。そして、次回の撮像（第２時点よりも後の第３時点の撮像）より得られた画像に含まれる各細胞Ｃについて、再び上記手順（Ａ）〜（Ｅ）の操作が行われる場合に、この修正されたパラメータに基づいて推薦細胞Ｃが特定される。
手順（Ｆ）後に実行される手順（Ｇ）の後工程では、操作者によって承認及び追加承認された細胞Ｃに対して所定の作業が行われる（手順（Ｇ−ａ））。或いは、承認対象外の細胞Ｃに対して所定の作業が行われる（手順（Ｇ−ｂ））。前記所定の作業の典型例が、細胞Ｃのピックアップ及び移動である。手順（Ｇ−ａ）では、ｍ１ｎ２、ｍ１ｎ３及びｍ２ｎ３の細胞Ｃ（選択操作が与えられた細胞Ｃ）がピックアップされる。一方、手順（Ｇ−ｂ）が実行される場合には、ｍ１ｎ２、ｍ１ｎ３及びｍ２ｎ３以外の保持凹部３に存在する細胞Ｃのピックアップ作業、或いは細胞Ｃの追加作業が行われる。
［細胞の特徴量抽出の例］
続いて、細胞Ｃの特徴量を画像から抽出する具体例について説明する。本実施形態では、ディッシュ２の保持凹部３（プレートの区画）に収容された状態で細胞が撮像され、その撮像で得られた画像を解析して、個々の保持凹部３の単位で細胞Ｃの特徴量が抽出される。このような画像に表出し易い特徴量は、細胞Ｃの形状や、一つの保持凹部３に収容されている細胞Ｃの量である。
細胞Ｃの形状は、例えば図４（Ａ）に示すように、細胞Ｃの真円度により評価することができる。すなわち、二次元画像から特定される細胞Ｃの外側輪郭の形状が、真円Ｒに対してどの程度近似しているかを数値化することによって、細胞Ｃの形状を評価することができる。細胞Ｃの量は、例えば、一つの保持凹部３に収容されている細胞Ｃの個数、当該細胞Ｃの二次元画像上の面積、二次元画像上における細胞Ｃの輪郭から推定される当該細胞Ｃの推定体積などから評価することができる。
図４（Ｂ）は、特徴量として細胞Ｃの形状（真円度）と、細胞Ｃの面積とを抽出し、両者の組合せから推薦細胞Ｃを特定する例を示している。細胞Ｃの真円度は、当該細胞Ｃの健全性に影響を与える場合が多い。また、細胞Ｃの面積は、当該細胞Ｃの大きさを端的に示す指標となる。従って、細胞Ｃの真円度及び面積が一定の範囲内（図中の符号ａで示す三角の領域；これは学習値によって定まる）にある細胞Ｃ１を推薦（ＯＫ）、領域ａ以外にある細胞Ｃ２を非推薦（ＮＧ）とする、という処理を行うことで、推薦細胞Ｃを特定することができる。
細胞Ｃの個数は、専ら、一つの保持凹部３に一つの細胞Ｃが収容されている場合はＯＫ、複数の細胞Ｃが収容されている場合はＮＧとなる指標である。一つの保持凹部３に複数の細胞Ｃが収容されてしまった場合には、二次元画像ではこれら細胞Ｃが重畳した画像で観察されてしまうので、個々の細胞Ｃの評価自体を遂行し難い状態となる。つまり、細胞Ｃの個数は、細胞Ｃ自体の性質というよりも、正確な解析結果が得られないため特徴量の抽出を回避するか否かの指標ということができる。
細胞Ｃの推定体積も、当該細胞Ｃの大きさを示す指標となる。推定体積は、例えば、１枚の２次元画像に表出している細胞Ｃの輪郭からその立体形状を推定して求められたものでも、細胞Ｃに対する焦点位置をＺ方向に異ならせて得られた複数枚の２次元画像に表出している細胞Ｃの各輪郭からその立体形状を推定して求められたものでも良い。
細胞Ｃの特徴量は、当該細胞Ｃの色に基づく特徴量とすることができる。細胞Ｃの色合いは、当該細胞Ｃの健常性や生死を反映することが多い。図５は、細胞Ｃの色合いに基づく選別基準を説明するため図である。例えば、色合いの異なる細胞Ｃのサンプルａ、ｂ、ｃがあるとして、サンプルａが健常な細胞Ｃ、サンプルｂが、生存はしているが非健常な細胞Ｃ、サンプルｃが死んでいる細胞Ｃというように、色合いによって細胞Ｃを評価できることがある。この場合、撮像された画像から、特徴量として例えば各細胞Ｃの平均輝度を抽出し、サンプルａ及びｂの間の適宜な平均輝度（これは学習値によって定まる）を選択閾値として、推薦細胞Ｃを特定することができる。
また、細胞Ｃの特徴量は、当該細胞Ｃの模様に基づく特徴量とすることができる。撮像された画像上に表出する細胞Ｃの模様は、細胞Ｃの種類を表すことがある。図６に、異なる種類のがん細胞−１、がん細胞−２及びがん細胞−３の写真を示す。がん細胞−１は大腸がん、がん細胞−２は子宮体がん、がん細胞−３は肺がんを各々示している。このように、がん細胞種によって、画像上で観察される細胞Ｃの模様が異なる。従って、これらの模様を線分化して定量化することで、当該模様を特徴量として数値化することができる。そして、選別する細胞Ｃの模様に基づく特徴量と、他の細胞Ｃの模様に基づく特徴量とを区別する適宜なパラメータ（これは学習値によって定まる）を設定することで、推薦細胞Ｃを特定することができる。
さらに、細胞Ｃの特徴量は、画像上における当該細胞Ｃの領域の光強度に基づく特徴量とすることができる。細胞Ｃが発する光、とりわけ適宜な試薬と反応させて蛍光性とした場合に細胞Ｃが発する光の強度は、当該細胞Ｃの健全性の評価基準となることがある。従って、図７（Ａ）に例示するように、画像上における細胞Ｃの周辺領域ＡＣ（一般的には培地）の平均輝度α（光強度）と、当該細胞Ｃの平均輝度βとの差を、数値化された特徴量として用いることがきる。そして、平均輝度α及びβの間の適宜な平均輝度（これは学習値によって定まる）を選択閾値として、推薦細胞Ｃを特定することができる。なお、図７（Ｂ）に示すように、画像上において細胞Ｃ及びその周辺領域ＡＣを複数のブロックＢＬに分割し、ブロックＢＬ毎に平均輝度を求め、平均輝度が顕著に変動している箇所が存在することをもって、所定の平均輝度を満たす細胞Ｃが画像内に存在するか否かを判定させることができる。
［撮像システムの構成］
図８は、本発明の実施形態に係る撮像システムのブロック図である。撮像システムは、撮像光軸上の撮像対象物を撮像するカメラユニット５と、レンズ部５１の動作を制御すると共にカメラ本体５２により取得された画像情報に基づき所定の処理を行う制御部７と、レンズ部５１を上下動させるレンズ駆動モータ５３と、表示部７４と、入力部７５とを備えている。図８では、撮像対象物として、選別容器１１に収容されたディッシュ２を示している。なお、制御部７は、ヘッドユニット６内のヘッドモータ６３と、軸モータ６４とを制御することによって、細胞Ｃのピックアップ動作及び移動動作も制御する。
レンズ駆動モータ５３は、正回転又は逆回転することで、図略の動力伝達機構を介して、レンズ部５１を所定の分解能で上下方向に移動させる。この移動によって、ディッシュ２に担持されている細胞Ｃにレンズ部５１の焦点位置が合わせられる。なお、図８において点線で示しているように、レンズ部５１ではなく、レンズ駆動モータ５３に代替する他のモータによって、選別容器１１自体、若しくは選別容器１１が載置されるステージ（基台１）を上下動させるようにしても良い。
ヘッドモータ６３は、ヘッド本体６２に対するヘッド６１の昇降動作、ヘッド６に装着されたチップ１２の先端開口部ｔに、吸引力及び吐出力を発生させる動作の駆動源となるモータである。軸モータ６４は、ガイドレール６Ｇ（図１）に沿ってヘッドユニット６（ヘッド本体６２）を移動させる駆動源となるモータである。
制御部７は、例えばパーソナルコンピューター等からなり、所定のプログラムが実行されることで、機能的に駆動制御部７１、画像処理部７２及び演算部７３を備えるように動作する。
駆動制御部７１は、レンズ駆動モータ５３、ヘッドモータ６３及び軸モータ６４の動作を制御する。具体的には駆動制御部７１は、合焦動作のために、レンズ駆動モータ５３にレンズ部５１を上下方向に所定のピッチ（例えば数十μｍピッチ）で移動させるための制御パルスを与える。また、図８では記載を省いているが、駆動制御部７１は、カメラユニット５をガイドレール５Ｇに沿って移動させるカメラ軸駆動モータの動作も制御する。さらに、駆動制御部７１は、ヘッドユニット６のメカ動作も制御する。駆動制御部７１は、ヘッドモータ６３を制御して、ヘッド６１の昇降動作及びチップ１２の先端開口部ｔに吸引力又は吐出力を発生させる動作を制御する。
画像処理部７２は、カメラ本体５２により取得された画像データに対して、エッジ検出処理や特徴量抽出を伴うパターン認識処理などの画像処理を施す。画像処理部７２は、細胞Ｃを担持するディッシュ２の画像データを取得し、ディッシュ２（保持凹部３）上に存在する細胞Ｃを前記画像処理によって認識する。
演算部７３は、主に、画像処理部７２により特定された画像上の細胞Ｃについて各種の解析を行うと共に、操作者に提示する推薦細胞Ｃを特定する処理を実行する。演算部７３は、機能的に解析部７３１、特定部７３２及びモード変更部７３３を備えている。
解析部７３１は、細胞Ｃの画像を解析することによって、当該細胞Ｃについての特徴量を抽出する処理を行う。抽出する特徴量は、先に図４〜図７に基づき説明した通り、細胞Ｃの形状、個数、面積、推定体積、色、模様、光強度等である。解析部７３１は、これら特徴量を数値化する。
特定部７３２は、先に図３に基づいて説明したように、操作者の過去の細胞選択実績に基づいて導出されるパラメータと、今回の撮像で取得された画像に含まれる細胞Ｃについて解析部７３１が抽出した特徴量とを比較することで、操作者に提示する推薦細胞Ｃを特定する処理を行う。特定部７３２は、特定の第１時点までに操作者が選択した細胞Ｃについて解析部７３１が抽出した特徴量に基づいて、選択されるべき細胞Ｃの範囲を定めるパラメータを設定する。このパラメータが、前記第１時点における細胞Ｃの選択基準の学習値である。そして、特定部７３２は、前記第１時点よりも後の第２時点の撮像で得られる細胞Ｃを含む画像において、前記パラメータに基づいて操作者に選択を促す推薦細胞Ｃを特定する。つまり、前記第２時点で取得された画像に含まれる細胞Ｃのうち、前記パラメータの範囲に属する特徴量を有する細胞Ｃが、推薦細胞Ｃとして特定される。
さらに特定部７３２は、図３の手順（Ｅ）、（Ｆ）において説明したように、前記第２時点の撮像で得られた画像における細胞Ｃの選択操作において、先に特定した推薦細胞Ｃと一致しない細胞Ｃが選択された場合、その選択された細胞Ｃの特徴量に基づいて前記パラメータを修正する。つまり、前記第１時点における細胞Ｃの選択基準の学習値が更新される。そして、特定部７３２は、前記第２時点よりも後の第３時点の撮像で得られる細胞Ｃを画像において、修正された前記パラメータに基づいて推薦細胞Ｃを特定する処理を実行する。
モード変更部７３３は、推薦細胞Ｃについて操作者の承認操作を受け付けるマニュアル操作モードと、推薦細胞Ｃを自動的に承認する自動承認モードとの間で動作モードを変更する処理を行う。換言すると、上述のように前記パラメータ（学習値）を操作者の選択結果に応じて順次更新するのが前記マニュアル操作モードである。一方、そのような更新をもはや行わずに、また、操作者から選択操作を受け付けることなく、特定部７３２が特定した推薦細胞Ｃをあたかも選択操作を受け付けた細胞Ｃと取り扱うのが自動承認モードである。前記パラメータの学習が進行すると、もはや操作者の選択操作の介入を要しないほどに、推薦細胞Ｃの特定精度が上昇することが想定される。このようなタイミングにおいて、モード変更部７３３は、動作モードをマニュアル操作モードから自動承認モードに変更する。これにより、細胞Ｃの選択作業を完全に自動化することができる。
表示部７４は、カメラユニット５が撮像した画像を表示するディスプレイである。本実施形態では、カメラユニット５が撮像したディッシュ２の画像、すなわち複数の保持凹部３に担持された複数の細胞Ｃを含む画像を表示する。また、推薦細胞Ｃに対して、操作者が容易に識別できる所定の表示を付記する。
入力部７５は、キーボードやマウス等からなり、操作者より、表示部７４に表示された細胞Ｃに対する選択（承認）操作に関する入力を受け付ける。図３の手順（Ｅ）で説明した、操作者による承認操作及び追加承認操作は、この入力部７５から受け付けられる。
［細胞選別動作のフロー］
続いて、図８に示す本実施形態の撮像システムを用いた細胞選別動作を、図９に示すフローチャートに基づいて説明する。処理が開始されると、カメラユニット５によりディッシュ２が撮像される。ディッシュ２には予め細胞懸濁液が分注されており、カメラユニット５はディッシュ２の保持凹部３に細胞Ｃが収容された状態を撮像する（ステップＳ１／第１時点の撮像）。この際、駆動制御部７１がレンズ部５１を駆動して、ディッシュ２上の細胞Ｃに対する合焦動作が実行される。撮像された画像は、例えば図３の手順（Ａ）に示すような状態で、表示部７４に表示される。
次に、入力部７５において、操作者から、表示部７４に表示された細胞Ｃのうちのいずれを移動対象とするかについての最初の選択操作の入力を受け付ける（ステップＳ２）。この時点では、まだ選択されるべき細胞Ｃの範囲を定めるパラメータ（学習値）は存在していない状態である。なお、このステップＳ２では、予め定められた設定値に基づいて推薦細胞Ｃを特定し、表示部７４に推薦細胞Ｃであることを視認可能に表示した上で、操作者の選択操作を受けるようにしても良い。
続いて、画像処理部７２が、カメラ本体５２から細胞Ｃを担持するディッシュ２の画像データを取得し、画像中に含まれる細胞Ｃを特定する画像処理を実行する。この画像処理データは、演算部７３の解析部７３１に送られ、解析部７３１は、操作者が選択した細胞Ｃ及び他の細胞Ｃについて、当該細胞Ｃの形状、個数、面積、推定体積、色、模様、光強度等の特徴量を求める処理を実行する（ステップＳ３）。
そして、特定部７３２が、解析部７３１により求められた各細胞Ｃの特徴量のうち、操作者が選択した細胞Ｃについての特徴量を参照して、選択されるべき細胞Ｃの範囲を定めるパラメータを求める。つまり、細胞Ｃの選択基準を学習する（ステップＳ４）。このパラメータは、例えば特徴量として面積が選ばれている場合、移動対象として好ましい細胞Ｃの下限面積閾値及び上限面積閾値である。特徴量として色が選ばれている場合、下限平均輝度閾値及び上限平均輝度閾値である。このようなパラメータが、制御部７が備える図略のメモリ領域に記憶される（ステップＳ５）。
ここで、モード変更部７３３により、動作モードがマニュアル操作モードから自動承認モードに変更されているか否かが確認される（ステップＳ６）。前記パラメータの学習が不十分な場合は、デフォルトのマニュアル操作モードが維持される（ステップＳ６でＹＥＳ）。一方、前記パラメータの学習が十分に進んでいる場合、例えばステップＳ５で記憶されたパラメータが、直近の複数回の更新において殆ど変動が無い状態に到達したような場合、動作モードがマニュアル操作モードから自動承認モードに変更される（ステップＳ６でＮＯ）。
マニュアル操作モードが維持されている場合（ステップＳ６でＹＥＳ）、カメラユニット５により、ディッシュ２に担持された細胞Ｃが再び撮像される（ステップＳ７／第２時点の撮像）。この撮像で得られた画像データに対して、画像処理部７２による細胞Ｃの特定処理、及び解析部７３１による各細胞Ｃの特徴量抽出処理が行われる。その上で、特定部７３２が、現状の前記パラメータ（学習値）を参照して、今回の撮像画像中に含まれる細胞Ｃのうち、操作者に選択を促す推薦細胞Ｃを特定する。そして、図３の手順（Ｄ）に示したように、推薦細胞Ｃが操作者に視認可能な態様で、表示部７４に表示される（ステップＳ８）。
続いて、ステップＳ２と同様に、入力部７５において操作者から、表示部７４に表示された細胞Ｃのうちのいずれを移動対象とするかについての選択操作の入力を受け付ける（ステップＳ９）。その後、処理はステップＳ３に戻り、解析部７３１により、操作者がステップＳ９で選択した細胞Ｃの特徴量が特定される。そして、特定部７３２が、これら細胞Ｃの特徴量を参照して、細胞Ｃの選択基準のパラメータを求める（ステップＳ４）。この際、前回のステップＳ８で特定部７３２が提示した推薦細胞Ｃと、ステップＳ９で操作者が実際に選択した細胞Ｃとの齟齬があると、前記パラメータは新たな値に更新されることになる。次回の細胞Ｃの撮像（ステップＳ７／第３時点の撮像）で得られた画像においては、更新されたパラメータに基づいて推薦細胞Ｃが特定される。
これに対し、モード変更部７３３が動作モードを自動承認モードに変更している場合（ステップＳ６でＮＯ）、以降は操作者の選択操作が省かれる。カメラユニット５により、ディッシュ２に担持された細胞Ｃが撮像される（ステップＳ１０）。続いて、特定部７３２が、得られた画像に含まれる細胞Ｃの中から推薦細胞Ｃを特定する処理を行う（ステップＳ１１）。そして、入力部７５から操作者の選択操作を受けることなく、ステップＳ１１で特定され推薦細胞Ｃが移動対象の細胞Ｃとして自動選択される（ステップＳ１２）。
その後、細胞Ｃの撮像を継続するか否かが確認される（ステップＳ１３）。撮像を継続する場合（ステップＳ１３でＹＥＳ）、ステップＳ１０に戻って、カメラユニット５によりディッシュ２に対する次の撮像動作が実行される。一方、撮像すべき細胞Ｃが無い場合（ステップＳ１３でＮＯ）、処理を終える。
［作用効果］
以上説明した本実施形態に係る撮像システムによれば、前記第２時点またはそれ以降に実行される細胞Ｃの選択操作において、操作者には表示部７４で推薦細胞Ｃが提示されるようになる。これにより、操作者は推薦細胞Ｃを参照しながら、迅速に細胞Ｃの選択を行うことができる。しかも、この推薦細胞Ｃは、前記第１時点までの当該操作者の選択実績を踏まえたパラメータに基づいて特定されたものであるので、的確性の高いものとなる。従って、操作者は、的確な細胞Ｃの選択が行えると共に、操作者の細胞Ｃの選択作業の労力を軽減することができる。
また、前記第２時点において、推薦細胞Ｃと操作者が現に選択した細胞Ｃとに齟齬が生じた場合には、特定部７３２が改めて特徴量を抽出し（特徴量を学習し）、その特徴量に基づいて細胞Ｃの選択基準となるパラメータが修正される。そして、前記第３時点では、修正された前記パラメータに基づいて推薦細胞Ｃが特定される。従って、前記第３時点及びそれ以降の選択操作においては、より推薦細胞Ｃの特定精度を向上させることができる。つまり、操作者の選択操作と並行して、特徴量の学習効果に基づき推薦細胞Ｃの特定精度を徐々に向上させてゆくことができる。
さらに、本実施形態の撮像システムによれば、操作者の選択結果を踏まえて特定部７３２が特徴量を学習する構成であるので、操作者が複数人存在する場合に、各操作者の選択結果に応じて個別に、特定部７３２に特徴量を学習させることが可能である。この場合、例えば入力部７５からの選択操作の際に、操作者の識別ＩＤ等に関連付けて操作を受け付けるものとし、操作者毎に学習データを生成し、演算部７３のメモリ領域に記憶させておく。これにより、全操作者についての平均的な推薦細胞Ｃではなく、各操作者の選択傾向を踏まえた個別の推薦細胞Ｃを特定させることが可能となる。
また、本実施形態の撮像システムによれば、特定部７３２に生体対象物の種別毎或いは個体毎に特徴量を学習させ、前記種別毎或いは個体毎に特定部７３２が推薦細胞Ｃを特定することが可能である。例えば、生体対象物として種別の異なるがん細胞、例えば膵臓がん細胞と卵巣がん細胞とを撮像対象とするような場合、入力部７５からの細胞Ｃの選択操作の実行前に、予め定められたがん細胞分類等を入力させるようにする。そして、操作者の選択結果に応じて、がん細胞種別毎に学習データを生成し、演算部７３のメモリ領域に記憶させておく。これにより、特定部７３２に、がん細胞種別に応じた推薦細胞Ｃを特定させることが可能となる。
さらに、例えば同じがん細胞でも、異なる被験者Ａと被験者Ｂとで、実験や検査等において必要となる細胞の傾向が異なる場合がある。つまり、同じ細胞種別であっても、個体によって推薦細胞Ｃが異なるものとなる場合がある。個体毎に推薦細胞Ｃを特定させる場合も上記と同様である。この場合、入力部７５からの細胞Ｃの選択操作の実行前に、当該細胞Ｃを採取した個体の識別ＩＤ等を入力させるようする。そして、操作者の選択結果に応じて、個体毎に学習データを生成し、演算部７３のメモリ領域に記憶させておく。これにより、特定部７３２に、各個体に応じた推薦細胞Ｃを特定させることが可能となる。
実際の運用において、個体及び種別の単位で推薦細胞Ｃを特定させたい場合、例えば「被験者Ａ」の「膵臓がん細胞」という単位で推薦細胞Ｃを特定させたい場合には、そのような個体及び種別の区分が行えるようにＩＤ等を入力部７５から入力させるようにする。一方、「膵臓がん細胞」という単位での区別で足りれば、種別に関するＩＤ等を入力部７５から入力させるようにする。これにより、所要の単位で学習データを生成し、当該単位に適した推薦細胞Ｃを特定部７３２に特定させることが可能となる。
［上記実施形態に包含される発明］
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
本発明の一局面に係る撮像システムは、複数の生体対象物を同時に撮像可能な撮像装置と、前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、第１時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、を備えることを特徴とする。
この撮像システムによれば、前記第２時点またはそれ以降に実行される前記入力部における前記選択操作において、操作者には推薦生体対象物が提示されるようになる。これにより、操作者は推薦生体対象物を参照しながら、迅速に生体対象物の選択を行うことができる。しかも、この推薦生体対象物は、前記第１時点までの当該操作者の選択実績或いは基準特徴量を踏まえたパラメータに基づいて特定されたものであるので、的確性の高いものとなる。従って、上記の撮像システムによれば、的確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる。
上記の撮像システムにおいて、前記入力部が、前記第２時点の撮像で得られた画像における前記複数の生体対象物に対する選択操作において、前記特定部が特定した前記推薦生体対象物と一致しない生体対象物の選択操作の入力を受け付けた場合、前記解析部は、前記入力部が受け付けた生体対象物に対応する画像を解析して、前記第２時点における当該生体対象物についての特徴量を抽出し、前記特定部は、前記第２時点における特徴量に基づいて前記パラメータを修正し、前記第２時点よりも後の第３時点の撮像で得られる前記複数の生体対象物を含む画像において、修正された前記パラメータに基づいて前記推薦生体対象物を特定することが望ましい。
この撮像システムによれば、前記第２時点において、前記推薦生体対象物と操作者の生体対象物の選択実績とに齟齬が生じた場合に、改めて特徴量を抽出し（特徴量を学習し）、その特徴量に基づいて前記パラメータが修正される。そして、前記第３時点では、修正された前記パラメータに基づいて前記推薦生体対象物が特定される。従って、前記第３時点及びそれ以降の選択操作においては、より推薦生体対象物の特定精度を向上させることができる。つまり、操作者の選択操作と並行して、特徴量の学習効果に基づき推薦生体対象物の特定精度を徐々に向上させてゆくことができる。
上記の撮像システムにおいて、前記特定部が特定した前記推薦生体対象物を、前記選択操作を受け付けることなく、前記入力部で前記選択操作を受け付けた生体対象物と取り扱うよう動作モードを変更するモード変更部をさらに備えることが望ましい。
この撮像システムによれば、前記モード変更部が動作モードを変更した段階で、操作者による前記選択操作を省くことができる。上記の特徴量の学習が進行すると、もはや操作者の前記選択操作の介入を要しないほどに、推薦生体対象物の特定精度が上昇することが想定される。このようなタイミングにおいて、前記モード変更部に動作モードを変更させることにより、生体対象物の選択作業を完全に自動化することができる。
上記の撮像システムにおいて、前記特徴量は、前記生体対象物の形状に基づく特徴量とすることができる。
また、上記の撮像システムにおいて、前記生体対象物を収容する区画を複数備えるプレートを備え、前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものである場合に、前記特徴量は、一つの前記区画に収容されている前記生体対象物の量に基づく特徴量とすることができる。この場合、前記生体対象物の量は、当該生体対象物の個数、面積、輪郭から推定される推定体積のうちの少なくとも一つから求められる量とすることができる。
或いは、前記特徴量は、前記生体対象物の色に基づく特徴量としても良く、前記特徴量は、前記生体対象物の模様に基づく特徴量であっても良い。
さらに、前記特徴量は、画像上における前記生体対象物の領域の光強度に基づく特徴量とすることができる。若しくは、前記特徴量は、画像上における前記生体対象物の領域及びその周辺領域の光強度に基づく特徴量としても良い。
上記の撮像システムにおいて、前記生体対象物を収容する区画を複数備えるプレートと、前記プレートの区画から前記生体対象物をピックアップするチップを有し、ピックアップされた前記生体対象物を移動させることが可能なヘッドと、前記チップによる前記ピックアップの動作を制御する制御部と、をさらに備え、前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、前記制御部は、前記入力部で選択操作が与えられた生体対象物、若しくは、前記選択操作が与えられなかった生体対象物を、前記チップにピックアップさせる制御を実行することが望ましい。
この撮像システムによれば、前記選択操作が与えられた、又は、与えられなかった生体対象物をピックアップさせ、所望の位置へ移動させる機能を当該撮像システムに具備させることがきる。
上記の撮像システムにおいて、前記特定部は、操作者が複数人存在する場合に、各操作者の選択結果に応じた前記特徴量の学習結果に基づいて、操作者毎に個別に前記推薦対象物を特定することが望ましい。これにより、全操作者についての平均的な推薦対象物ではなく、各操作者の選択傾向を踏まえた個別の推薦対象物を特定させることが可能となる。
上記の撮像システムにおいて、前記特定部は、生体対象物の種別が複数存在する場合に、各生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、生体対象物毎に個別に前記推薦対象物を特定することが望ましい。これにより、全生体対象物についての平均的な推薦対象物ではなく、生体対象物の種別に応じた推薦対象物を特定させることが可能となる。
上記の撮像システムにおいて、前記特定部は、複数の個体から採取された同種の生体対象物が存在する場合に、各個体の生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、個体毎に個別に前記推薦対象物を特定することが望ましい。これにより、同種の生体対象物であっても、各々の個体に応じた推薦対象物を特定させることが可能となる。
以上説明した本発明によれば、確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる撮像システムを提供することができる。

Claims (14)

  1. 複数の生体対象物を同時に撮像可能な撮像装置と、
    前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、
    操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、
    前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、
    第１時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、
    を備えることを特徴とする撮像システム。
  2. 請求項１に記載の撮像システムにおいて、
    前記入力部が、前記第２時点の撮像で得られた画像における前記複数の生体対象物に対する選択操作において、前記特定部が特定した前記推薦生体対象物と一致しない生体対象物の選択操作の入力を受け付けた場合、
    前記解析部は、前記入力部が受け付けた生体対象物に対応する画像を解析して、前記第２時点における当該生体対象物についての特徴量を抽出し、
    前記特定部は、前記第２時点における特徴量に基づいて前記パラメータを修正し、前記第２時点よりも後の第３時点の撮像で得られる前記複数の生体対象物を含む画像において、修正された前記パラメータに基づいて前記推薦生体対象物を特定する、撮像システム。
  3. 請求項２に記載の撮像システムにおいて、
    前記特定部が特定した前記推薦生体対象物を、前記選択操作を受け付けることなく、前記入力部で前記選択操作を受け付けた生体対象物と取り扱うよう動作モードを変更するモード変更部をさらに備える、撮像システム。
  4. 請求項１〜３のいずれか１項に記載の撮像システムにおいて、
    前記特徴量は、前記生体対象物の形状に基づく特徴量である、撮像システム。
  5. 請求項１〜３のいずれか１項に記載の撮像システムにおいて、
    前記生体対象物を収容する区画を複数備えるプレートを備え、
    前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、
    前記特徴量は、一つの前記区画に収容されている前記生体対象物の量に基づく特徴量である、撮像システム。
  6. 請求項５に記載の撮像システムにおいて、
    前記生体対象物の量は、当該生体対象物の個数、面積、輪郭から推定される推定体積のうちの少なくとも一つから求められる量である、撮像システム。
  7. 請求項１〜３のいずれか１項に記載の撮像システムにおいて、
    前記特徴量は、前記生体対象物の色に基づく特徴量である、撮像システム。
  8. 請求項１〜３のいずれか１項に記載の撮像システムにおいて、
    前記特徴量は、前記生体対象物の模様に基づく特徴量である、撮像システム。
  9. 請求項１〜３のいずれか１項に記載の撮像システムにおいて、
    前記特徴量は、画像上における前記生体対象物の領域の光強度に基づく特徴量である、撮像システム。
  10. 請求項９に記載の撮像システムにおいて、
    前記特徴量は、画像上における前記生体対象物の領域及びその周辺領域の光強度に基づく特徴量である、撮像システム。
  11. 請求項１〜１０のいずれか１項に記載の撮像システムにおいて、
    前記生体対象物を収容する区画を複数備えるプレートと、
    前記プレートの区画から前記生体対象物をピックアップするチップを有し、ピックアップされた前記生体対象物を移動させることが可能なヘッドと、
    前記チップによる前記ピックアップの動作を制御する制御部と、をさらに備え、
    前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、
    前記制御部は、前記入力部で選択操作が与えられた生体対象物、若しくは、前記選択操作が与えられなかった生体対象物を、前記チップにピックアップさせる制御を実行する、撮像システム。
  12. 請求項１〜１１のいずれか１項に記載の撮像システムにおいて、
    前記特定部は、操作者が複数人存在する場合に、各操作者の選択結果に応じた前記特徴量の学習結果に基づいて、操作者毎に個別に前記推薦対象物を特定する、撮像システム。
  13. 請求項１〜１１のいずれか１項に記載の撮像システムにおいて、
    前記特定部は、生体対象物の種別が複数存在する場合に、各生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、生体対象物毎に個別に前記推薦対象物を特定する、撮像システム。
  14. 請求項１〜１１のいずれか１項に記載の撮像システムにおいて、
    前記特定部は、複数の個体から採取された同種の生体対象物が存在する場合に、各個体の生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、個体毎に個別に前記推薦対象物を特定する、撮像システム。
JP2019568898A 2018-01-31 2018-12-04 撮像システム Active JP7018078B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018015169 2018-01-31
JP2018015169 2018-01-31
PCT/JP2018/044628 WO2019150755A1 (ja) 2018-01-31 2018-12-04 撮像システム

Publications (2)

Publication Number Publication Date
JPWO2019150755A1 true JPWO2019150755A1 (ja) 2020-12-10
JP7018078B2 JP7018078B2 (ja) 2022-02-09

Family

ID=67478975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019568898A Active JP7018078B2 (ja) 2018-01-31 2018-12-04 撮像システム

Country Status (5)

Country Link
US (1) US11367294B2 (ja)
EP (1) EP3733832A4 (ja)
JP (1) JP7018078B2 (ja)
CN (1) CN111630149A (ja)
WO (1) WO2019150755A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159524A1 (ja) * 2018-02-15 2019-08-22 ヤマハ発動機株式会社 撮像システム及び生体対象物移動装置
JP7237391B1 (ja) 2022-01-24 2023-03-13 大和酸素工業株式会社 線虫自動移行装置
WO2024127890A1 (ja) * 2022-12-15 2024-06-20 ヤマハ発動機株式会社 組換えタンパク質産生細胞の培養方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
WO2011021391A1 (ja) * 2009-08-19 2011-02-24 国立大学法人名古屋大学 培養細胞評価装置、インキュベータおよびプログラム
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016154450A (ja) * 2015-02-23 2016-09-01 大日本印刷株式会社 培養液の培養状態解析システム及び培養状態解析方法、並びに、プログラム
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
US20030215936A1 (en) * 2000-12-13 2003-11-20 Olli Kallioniemi High-throughput tissue microarray technology and applications
US7589330B2 (en) * 2007-06-25 2009-09-15 Olympus Corporation Ultraviolet microscope apparatus
EP2270198A4 (en) * 2008-03-24 2013-03-27 Nikon Corp PICTURE ANALYSIS METHOD FOR CELL OBSERVATION, PICTURE PROCESSING PROGRAM AND PICTURE PROCESSING DEVICE
CN107058097B (zh) 2013-12-12 2020-04-14 雅马哈发动机株式会社 对象物的移动装置
JP2017009314A (ja) 2015-06-17 2017-01-12 株式会社Ｓｃｒｅｅｎホールディングス 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
WO2011021391A1 (ja) * 2009-08-19 2011-02-24 国立大学法人名古屋大学 培養細胞評価装置、インキュベータおよびプログラム
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016154450A (ja) * 2015-02-23 2016-09-01 大日本印刷株式会社 培養液の培養状態解析システム及び培養状態解析方法、並びに、プログラム
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Also Published As

Publication number Publication date
JP7018078B2 (ja) 2022-02-09
US20200372240A1 (en) 2020-11-26
US11367294B2 (en) 2022-06-21
WO2019150755A1 (ja) 2019-08-08
EP3733832A4 (en) 2021-02-24
EP3733832A1 (en) 2020-11-04
CN111630149A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
JP7018078B2 (ja) 撮像システム
CN108603835B (zh) 被适配成根据多个侧视图来量化试样的方法和装置
EP2210081B1 (en) Method for the identification and handling of particles
JP6479676B2 (ja) 流体サンプル中の粒子の分類のためのシステム及び方法
EP3375859B1 (en) Method for constructing classifier, and method for determining life or death of cells using same
US20030179916A1 (en) High-throughput cell identification and isolation method and apparatus
CN110520518A (zh) 细胞处理装置
JP6947905B2 (ja) 撮像システム及び生体対象物移動装置
JP6853880B2 (ja) 細胞移動方法及び細胞移動装置
JP2021184769A (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
EP3730601A1 (en) Movement method and movement device for biological subject
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP6710772B2 (ja) 細胞移動装置及び細胞移動方法
WO2022145086A1 (ja) 細胞移動装置
KR20230042059A (ko) 이벤트 기반 이미징을 위한 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220128

R150 Certificate of patent or registration of utility model

Ref document number: 7018078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150