JP6718024B2 - 判別器の学習装置、方法およびプログラム、並びに判別器 - Google Patents
判別器の学習装置、方法およびプログラム、並びに判別器 Download PDFInfo
- Publication number
- JP6718024B2 JP6718024B2 JP2019537936A JP2019537936A JP6718024B2 JP 6718024 B2 JP6718024 B2 JP 6718024B2 JP 2019537936 A JP2019537936 A JP 2019537936A JP 2019537936 A JP2019537936 A JP 2019537936A JP 6718024 B2 JP6718024 B2 JP 6718024B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- discriminator
- meniscus
- learning
- observation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000005499 meniscus Effects 0.000 claims description 89
- 238000003384 imaging method Methods 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 29
- 239000007788 liquid Substances 0.000 claims description 24
- 210000004027 cell Anatomy 0.000 description 62
- 238000005286 illumination Methods 0.000 description 23
- 238000011156 evaluation Methods 0.000 description 16
- 230000004069 differentiation Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 210000001778 pluripotent stem cell Anatomy 0.000 description 4
- 210000003491 skin Anatomy 0.000 description 4
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000004748 cultured cell Anatomy 0.000 description 3
- 239000001963 growth medium Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000004165 myocardium Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000000130 stem cell Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000002246 antineoplastic agent Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000010261 cell growth Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
- B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/041—Phase-contrast imaging, e.g. using grating interferometers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L2300/00—Additional constructional details
- B01L2300/06—Auxiliary integrated devices, integrated components
- B01L2300/0627—Sensor or part of a sensor is integrated
- B01L2300/0663—Whole sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Hematology (AREA)
- Medicinal Chemistry (AREA)
- General Engineering & Computer Science (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Food Science & Technology (AREA)
- Urology & Nephrology (AREA)
- Biotechnology (AREA)
- Organic Chemistry (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Clinical Laboratory Science (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
Description
本発明は、凹形状の液面を有する液体および観察対象が収容された容器の画像を用いて、観察対象の状態を判別する判別器の学習装置、方法およびプログラム、並びに観察対象の状態を判別する判別器に関する。
ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備え、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。
従来、ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞、並びに分化誘導された細胞等を位相差顕微鏡等の顕微鏡により撮影し、撮影により取得された画像の特徴を捉えることで細胞の分化状態等を判定する方法が提案されている。
例えば、特許文献１においては、細胞の状態を予め学習した判別器を用いて、撮影により取得された画像に含まれる細胞の状態を判別する手法が提案されている。このような判別器は、撮影により取得された画像における判別対象となる画素位置の特徴量が入力されると、判別対象となる画素位置の状態の判別結果を出力する。特許文献１においては、予め取得された細胞の状態が分かっている画像を教師データとして学習させることにより、判別器が生成される。
一方、上述したように細胞を顕微鏡により撮影する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等が設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査し、観察領域毎の画像を撮影した後、その観察領域毎の画像を繋ぎ合わせる方法が提案されている。
ここで、上述したウェルプレート等を用いて細胞を培養する際、ウェル内には細胞および培養液等の液体が収容されるが、その液体の表面にはメニスカスが形成されることが知られている。
特に、位相差顕微鏡装置を用いて細胞の画像を撮影する場合には、撮影画像に対するメニスカスの影響が大きい。このようなメニスカスの影響により、メニスカスが形成されているメニスカス領域は、メニスカスが形成されていない非メニスカス領域の撮影画像と比較するとコントラストが低い画像となってしまう。したがって、メニスカス領域を含む撮影画像においては、個々の細胞の画像を高精度に抽出することができない。
ここで、上述した細胞の状態を判別する判別器は、メニスカス領域を含む撮影画像から教師データを作成している。しかしながら、メニスカス領域を含む撮影画像からは、上述したように個々の細胞を高精度に抽出できない。したがって、このようなメニスカス領域を含む撮影画像から作成された教師データを用いても、判別器を精度よく学習することができず、その結果、判別器の判別精度も低下する。
本発明は上記事情に鑑みなされ、細胞等の観察対象の状態を判別する判別器を精度よく学習できるようにすることを目的とする。
本発明による判別器の学習装置は、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する判別器の学習装置であって、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する画像取得部と、
第２の画像に基づいて、判別器を学習するための教師データを生成する教師データ生成部と、
第１の画像および教師データに基づいて、判別器を学習する学習部とを備える。
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する画像取得部と、
第２の画像に基づいて、判別器を学習するための教師データを生成する教師データ生成部と、
第１の画像および教師データに基づいて、判別器を学習する学習部とを備える。
表面にメニスカスが形成された液体および観察対象が収容された容器を撮像する場合、容器に入射する光は、容器におけるメニスカスが形成されているメニスカス領域においては屈折し、メニスカスが形成されていない非メニスカス領域においては直進する。これにより、撮像により取得される画像においては、メニスカス領域は非メニスカス領域よりも輝度が高くなり、コントラストが低下する。とくに、位相差顕微鏡により容器を撮像する場合、非メニスカス領域を通過した光は位相板を通るため、振幅が弱められて位相がずらされ、観察対象による回折光と合成されて、高コントラストの画像となる。一方、メニスカス領域を通過した光は位相板を通らない可能性があるため、振幅および位相が変化せず、低コントラストかつ高輝度の画像となる。
「メニスカスの影響が存在する画像」とは、画像中にメニスカス領域を通過した光により得られる低コントラストかつ高輝度の領域が含まれる画像を意味する。
なお、本発明の一態様による判別器の学習装置においては、第２の画像が、液体を除去した観察対象を撮像することにより取得されてもよい。
また、本発明の一態様による判別器の学習装置においては、第２の画像が、液体で満たされかつ透明板により密閉された容器における観察対象を撮像することにより取得されてもよい。
また、本発明の一態様による判別器の学習装置においては、第２の画像が、メニスカスの影響を除去する光学素子を備えた撮影装置により観察対象を撮像することにより取得されてもよい。
また、本発明の一態様による判別器の学習装置においては、教師データ生成部は、第２の画像に対して観察対象の状態に応じたラベルを付与した画像、または第２の画像を、教師データとして生成してもよい。
また、本発明の一態様による判別器の学習装置においては、判別器は、撮影画像における判別対象となる画素の特徴量を入力とし、判別対象となる画素についての観察対象の状態の判別結果を出力してもよい。
また、本発明の一態様による判別器の学習装置においては、撮影画像は、位相差顕微鏡により容器を撮像することにより取得されてもよい。
学習部は、第１の画像における判別対象画素について判別器が出力した判別結果を教師データにおける判別対象画素に対応する画素と照合して、判別器を学習してもよい。
本発明の一態様による判別器は、本発明による判別器の学習装置により学習がなされたものである。
本発明による判別器の学習方法は、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する判別器の学習方法であって、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、
第２の画像に基づいて、判別器を学習するための教師データを生成し、
第１の画像および教師データに基づいて、判別器を学習する。
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、
第２の画像に基づいて、判別器を学習するための教師データを生成し、
第１の画像および教師データに基づいて、判別器を学習する。
本発明による判別器の学習プログラムは、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する手順をコンピュータに実行させる判別器の学習プログラムであって、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する手順と、
第２の画像に基づいて、判別器を学習するための教師データを生成する手順と、
第１の画像および教師データに基づいて、判別器を学習する手順とをコンピュータに実行させる。
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する手順と、
第２の画像に基づいて、判別器を学習するための教師データを生成する手順と、
第１の画像および教師データに基づいて、判別器を学習する手順とをコンピュータに実行させる。
本発明による他の判別器の学習装置は、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する判別器の学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、
第２の画像に基づいて、判別器を学習するための教師データを生成し、
第１の画像および教師データに基づいて、判別器を学習する処理を実行する。
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、
第２の画像に基づいて、判別器を学習するための教師データを生成し、
第１の画像および教師データに基づいて、判別器を学習する処理を実行する。
本発明によれば、同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像が取得され、第２の画像に基づいて、観察対象の状態を判別する判別器を学習するための教師データが生成される。そして、メニスカスの影響が存在する第１の画像および教師データに基づいて判別器が学習される。これにより、細胞等の観察対象の状態を判別する判別器を精度よく学習できる。
以下、本発明の実施形態について説明する。図１は本発明の実施形態による判別器の学習装置を適用した画像評価システムの概略構成を示す図である。第１の実施形態の画像評価システムは、図１に示すように、顕微鏡装置１、顕微鏡制御装置２、入力装置３、および表示装置４を備える。
本実施形態において、顕微鏡装置１は位相差顕微鏡であり、観察対象として、例えば培養された細胞の位相差画像を撮影画像として撮像する。具体的には、顕微鏡装置１は、図１に示すように、照明光照射部１０、結像光学系３０、ステージ６１、および撮像部４０を備える。本実施形態の顕微鏡装置１は、本開示の撮影装置の一例である。
ステージ６１上には、細胞等の観察対象Ｓおよび培養液Ｃが収容された培養容器６０が設置される。ステージ６１の中央には、矩形の開口が形成されている。この開口を形成する部材の上に培養容器６０が設置され、培養容器６０内の観察対象Ｓを透過した光および観察対象Ｓにより回折した光が開口を通過するように構成されている。
培養容器６０としては、例えば複数のウェル（本発明の容器に相当する）を有するウェルプレートが用いられるが、これに限らず、シャーレまたはディッシュ等を用いるようにしてもよい。また、培養容器６０に収容される観察対象Ｓとしては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。
ステージ６１上に設置された培養容器６０は、その底面が観察対象Ｓの設置面Ｐであり、設置面Ｐに観察対象Ｓが配置される。培養容器６０内には培養液Ｃが満たされており、この培養液Ｃの液面には、凹形状のメニスカスが形成される。なお、本実施形態においては、培養液中において培養される細胞を観察対象Ｓとしたが、観察対象Ｓとしてはこのような培養液中のものに限らず、水、ホルマリン、エタノール、およびメタノール等の液体中において固定された細胞を観察対象Ｓとしてもよい。この場合も、容器内のこれらの液体の液面にメニスカスが形成される。
照明光照射部１０は、ステージ６１上の培養容器６０内に収容された観察対象Ｓに対して、いわゆる位相差計測のための照明光を照射する。本実施形態では、照明光照射部１０は、位相差計測用の照明光としてリング状照明光を照射する。
具体的には、本実施形態の照明光照射部１０は、位相差計測用の白色光を出射する白色光源１１、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２、およびスリット板１２から出射されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Ｓに対して照射するコンデンサレンズ１３を備える。
スリット板１２には、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられており、白色光がスリットを通過することによってリング状照明光が形成される。コンデンサレンズ１３は、スリット板１２から出射されたリング状照明光を観察対象Ｓに向かって収束させる。
ステージ６１上に設置された培養容器６０内には、観察対象Ｓとして、培養された細胞群（細胞コロニー）が配置される。培養された細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。培養容器６０としては、シャーレおよび複数のウェルが配列されたウェルプレート等を用いることができる。なお、ウェルプレートを用いる場合、各ウェルが本発明の容器に対応する。なお、本実施形態においては、複数のウェルが配列されたウェルプレートを培養容器６０として用いる。
結像光学系３０は、培養容器６０内の観察対象Ｓの像を撮像部４０に結像する。結像光学系３０は、対物レンズ３１、位相板３２および結像レンズ３３を備える。
位相板３２には、リング状照明光の波長に対して透明な透明板に対して位相リングが形成されている。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。
位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成される。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれ、かつその明るさが弱められる。一方、観察対象Ｓによって回折された回折光は大部分が位相板３２の透明板の部分を通過し、その位相および明るさは変化しない。
結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮像部４０に結像する。
撮像部４０は、結像レンズ３３によって結像された観察対象Ｓの像を受光し、観察対象Ｓを撮像して位相差画像を観察画像として出力する撮像素子を備える。撮像素子としては、ＣＣＤ（charge-coupled device）イメージセンサ、およびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等を用いることができる。
ここで、ステージ６１は、不図示のステージ駆動部により駆動されて、水平面内において直交するＸ方向およびＹ方向に移動する。このステージ６１の移動によって、ウェルプレートの各ウェル内における各観察領域が走査され、観察領域毎の撮影画像が撮像部４０により取得される。観察領域毎の撮影画像は顕微鏡制御装置２に出力される。
図２は、６つのウェル７１を有するウェルプレート７０を用いた場合における、各観察領域の走査軌跡を実線７７により示した図である。図２に示すように、ウェルプレート７０内の各観察領域は、ステージ６１のＸ方向およびＹ方向の移動によって走査開始点７５から走査終了点７６までの実線７７に沿って走査される。
なお、本実施形態においては、ステージ６１を移動させることによってウェル内の観察領域毎の撮影画像を取得するようにしたが、これに限らず、結像光学系３０をステージ６１に対して移動させることによって観察領域毎の撮影画像を取得するようにしてもよい。または、ステージ６１と結像光学系３０の両方を移動させるようにしてもよい。
顕微鏡制御装置２は、ＣＰＵ（Central Processing Unit）、半導体メモリおよびハードディスク等を備えたコンピュータから構成される。そして、ハードディスクに本発明の判別器の学習プログラムを含む、システムを制御するプログラムがインストールされている。プログラムがＣＰＵにより実行されることにより、当該ＣＰＵが顕微鏡制御装置２の各部として機能する。顕微鏡制御装置２は、画像評価システムの全体を制御する。顕微鏡制御装置２は、図１に示すように、制御部２１および画像評価装置２２を備える。
制御部２１は、照明光照射部１０、ステージ６１を駆動するステージ駆動部（不図示）、結像光学系３０および撮像部４０の駆動を制御して観察対象Ｓの撮影画像を取得する。
画像評価装置２２は、撮影画像に含まれる観察対象Ｓの状態を評価する。図３は画像評価装置２２の構成を示す概略ブロック図である。図３に示すように、画像評価装置２２は、判別器５１および判別器５１の学習装置５２を備える。学習装置５２は、画像取得部５０、教師データ生成部５３および学習部５４を備える。
本実施形態において、画像評価装置２２は、観察領域毎の撮影画像を取得し、撮影画像に含まれる観察対象Ｓの状態を評価する。本実施形態においては、観察対象Ｓは細胞である。このため、観察対象Ｓの状態を評価するとは、例えば撮影画像に含まれる細胞が未分化細胞であるのか分化細胞であるのかを評価したり、分化細胞が分化した状態にあるか分化の途中の状態にあるかを評価したり、撮影画像に含まれる未分化細胞と分化細胞の割合を評価したり、細胞または細胞コロニーの成長度を評価したり、または抗がん剤によるがん細胞の縮小率を評価したりすることをいう。但し、細胞の状態の評価としては、これらに限らず、その他の評価でもよい。なお、本実施形態においては、画像評価装置２２は、細胞が分化細胞である場合に、細胞が分化した状態にあるか分化の途中の状態にあるかを評価するものとする。
画像取得部５０は、撮像部４０により撮像された観察対象Ｓの撮影画像を取得する。本実施形態においては、培養容器６０は複数のウェルが配列されたウェルプレートであるため、各ウェル内における各観察領域の撮影画像が取得される。
判別器５１は、撮影画像についての判別結果を出力する。本実施形態においては、画像評価装置２２は、細胞が分化した状態にあるか分化の途中の状態にあるかを評価する。このため、判別器５１は、撮影画像に含まれる細胞が、分化した状態にあるか、分化の途中の状態にあるかの判別結果を出力する。このような判別を行うために、判別器５１は、撮影画像における判別対象となる判別対象画素の特徴量を入力とし、判別対象画素の状態の判別結果を出力するように機械学習がなされる。なお、本実施形態においては、判別器５１は、撮影画像における判別対象画素を中心とする予め定められた領域内の画素値を特徴量として入力とし、判別対象画素が、分化した状態の細胞、分化途中の状態の細胞、および分化した状態でも分化途中の状態でもないとの３つの判別結果を出力する。
このために、判別器５１は、入力された特徴量に対して、分化した状態の細胞および分化途中の状態の細胞であることを表すスコアを出力し、出力した２つのスコアのそれぞれをあらかじめ定められたそれぞれに対応するしきい値と比較する。そして、分化した状態の細胞であることを表すスコアが、分化した状態の細胞であることを表すしきい値を超え、かつ分化途中の状態の細胞であることを表すスコアが分化途中の状態の細胞であることを表すしきい値を超えなければ、判別対象画素は分化した状態の細胞であるとの判別結果を出力する。一方、分化途中の状態の細胞であることを表すスコアが、分化途中の状態の細胞であることを表すしきい値を超え、かつ分化した状態の細胞であることを表すスコアが、分化した状態の細胞であることを表すしきい値を超えなければ、判別対象画素は分化途中の状態の細胞であるとの判別結果を出力する。なお、２つのスコアのいずれもそれぞれに対応するしきい値を超えない場合および２つのスコアのいずれもそれぞれに対応するしきい値を超えた場合は、分化した状態でも分化途中の状態でもないとの判別結果を出力する。
ここで、機械学習の手法としては、公知の手法を用いることができる。例えば、サポートベクタマシン（ＳＶＭ（Support Vector Machine））、ディープニューラルネットワーク（ＤＮＮ（Deep Neural Network））、および畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））等を用いることができる。
ここで、培養容器６０内には、観察対象Ｓおよび培養液Ｃが収容されるが、その培養液Ｃの液面には、メニスカスが形成される。図４は培養容器６０の側断面図および上面図である。図５は培養容器６０内の各観察領域の撮影画像をつなぎ合わせた画像の一例を示す図である。図５において矩形領域により分割された各領域６２が、各観察領域に相当する。図４に示すように、培養容器６０においては、培養液Ｃの液面にメニスカスＭが形成される。そして、培養容器６０の上方から入射する光は、メニスカス領域Ｒ１においては矢印Ａ１に示すように屈折し、非メニスカス領域Ｒ２においては矢印Ａ０に示すように直進する。その結果、図４および図５に示すように、非メニスカス領域Ｒ２の撮影画像はコントラストが高く、メニスカス領域Ｒ１の撮影画像は非メニスカス領域Ｒ２よりもコントラストが低くなる。したがって、メニスカス領域Ｒ１の撮影画像については、個々の細胞の画像が明確に表されていない。その結果、メニスカス領域Ｒ１の撮影画像においては、判別対象画素の判別の精度が低くなる。
本実施形態においては、学習装置５２において判別器５１を学習する際に、同一の観察対象Ｓについての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を用いる。
このため、画像取得部５０は、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する。なお、第１の画像および第２の画像は、同一の観察対象Ｓについての画像である。ここで、第１の画像は、培養容器６０をそのまま撮影することにより取得すればよい。
一方、メニスカスＭは培養容器６０内の培養液Ｃの液面に形成される。図６は培養液Ｃを除去した培養容器６０の側面図である。図６に示すように、培養容器６０から培養液Ｃを除去すると、培養容器６０の上方から入射する光は、培養容器６０のいずれの位置においても矢印Ａ０およびＡ２に示すように直進する。したがって、第２の画像は、培養液Ｃを除去した培養容器６０における観察対象Ｓを撮影することにより取得される。このように取得された第２の画像においては、メニスカスＭの影響が除去されているため、培養容器６０上の位置に拘わらず高いコントラストを有する。
なお、図７に示すように、培養容器６０を培養液Ｃで満たし、かつ透明なガラスまたはプラスチック等の透明板６３により培養容器６０を密閉すると、培養容器６０の上方から入射する光は、培養容器６０のいずれの位置においても矢印Ａ０およびＡ３に示すように直進する。したがって、第２の画像は、培養液Ｃで満たされ、かつ透明板６３により密閉された培養容器６０における観察対象Ｓを撮影することにより取得してもよい。
また、照明光照射部１０に、メニスカスの影響を除去する光学素子を設けるようにしてもよい。図８はメニスカスの影響を除去する光学素子を用いた照射光照射部を有する顕微鏡装置１の構成を示す概略図である。図８に示すように、照明光照射部１０には、メニスカスの影響を除去する光学素子として、光路補正レンズ１４が設けられている。なお、光路補正レンズ１４は、照明光照射部１０において、照明光の光路上に退避可能に配置されている。
光路補正レンズ１４は、具体的には、観察対象Ｓ側に凸面１４ａを有し、その光軸から離れるほど屈折力が増大する正のメニスカスレンズである。なお、光路補正レンズ１４の観察対象Ｓ側の凸面１４ａおよび白色光源１１側の凹面１４ｂの少なくとも一方を、非球面に形成してもよい。このように、光路補正レンズ１４を設けることにより、図９に示すように、光路補正レンズ１４を通って、培養容器６０の上方から入射する光は、培養容器６０内のいずれの位置においても矢印Ａ０およびＡ４に示すように直進することとなる。したがって、照明光照射部１０に光路補正レンズ１４を設けて培養容器６０を撮影することにより、第２の画像を取得してもよい。
教師データ生成部５３は、第２の画像に基づいて、判別器５１を学習するための教師データを生成する。このために、教師データ生成部５３は、第２の画像を表示装置４に表示する。そして、操作者による入力装置３からの入力により、第２の画像の各画素位置における観察対象Ｓの状態に応じたラベルを付与して、教師データを生成する。図１０は教師データの例を示す図である。なお、図１０は培養容器６０の全体を示し、観察領域の区切りを破線で示している。図１０に示すように、教師データＴ０においては、観察対象Ｓが分化した状態にある領域が白、観察対象Ｓが分化の途中にある領域が斜線、観察対象Ｓが存在しない領域が黒にラベリングされている。このように、教師データＴ０においては、各画素において、観察対象Ｓが分化した状態にあるか、分化の途中の状態にあるかを認識できる。
学習部５４は、第１の画像および教師データＴ０に基づいて、判別器５１を学習する。ここで、第１の画像にはメニスカスＭの影響が存在し、メニスカス領域においては観察対象Ｓである細胞の状態は明確に表されていない。しかしながら、教師データＴ０と第１の画像を対応づければ、第１の画像の個々の画素位置における観察対象Ｓの状態を識別できる。
このため、学習部５４は、第１の画像における判別対象画素の特徴量を判別器５１に入力し、判別器５１が出力した判別結果を教師データＴ０における判別対象画素に対応する画素と照合する。判別結果が正解の場合は、学習部５４は、判別器５１に対して正解である旨の学習を行う。判別結果が不正解の場合、学習部５４は、判別結果を修正するように判別器５１の学習を行う。さらに、学習部５４は、複数の観察対象Ｓについての第１の画像および第２の画像を取得し、教師データＴ０を生成して判別器５１の学習を繰り返し行う。そして、学習部５４は、判別器５１の判別結果が予め定められた正解率を超えたか否かを判定し、この判定が肯定されると、判別器５１の学習を終了する。なお、複数の観察対象についての第１の画像および第２の画像を予め取得しておき、顕微鏡制御装置２のハードディスク(不図示)に保存しておくようにしてもよい。この場合、画像取得部５０は、ハードディスクから第１の画像および第２の画像を取得する。
このようにして学習がなされた判別器５１は、撮影画像における判別対象画素の特徴量が入力されると、判別対象画素の状態の判別結果を出力する。
図１に戻り、入力装置３は、キーボードまたはマウス等の入力デバイスを備えたものであり、ユーザによる設定入力を受け付ける。
表示装置４は、液晶ディスプレイ等の表示デバイスから構成され、撮像部４０において撮像された撮影画像および撮影画像の評価結果等を表示する。なお、表示装置４をタッチパネルによって構成することによって、入力装置３を兼用してもよい。
次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において行われる判別器５１の学習処理を示すフローチャートである。まず、画像取得部５０が、同一の観察対象Ｓについての、メニスカスＭの影響が存在する第１の画像およびメニスカスＭの影響が除去された第２の画像を取得する（ステップＳＴ１）。次いで、教師データ生成部５３が、第２の画像に基づいて、判別器５１を学習するための教師データＴ０を生成する（ステップＳＴ２）。そして、学習部５４が、第１の画像および教師データＴ０に基づいて判別器５１を学習し（ステップＳＴ３）、処理を終了する。
このように、本実施形態においては、同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、第２の画像に基づいて教師データＴ０を生成し、第１の画像および教師データＴ０に基づいて判別器５１を学習する。このため、メニスカスの影響が存在する第１の画像の個々の画素の特徴量を入力とした場合における判別器５１の出力が正解であるか否かを精度よく判定でき、判別器５１の学習を精度よく行うことができる。また、このように学習がなされた判別器５１を用いることにより、メニスカスの影響が存在する撮影画像であっても、撮影画像に含まれる観察対象Ｓの状態を精度よく判別することができる。
なお、上記実施形態においては、結像光学系３０によって結像された撮影画像を撮像部４０によって撮像するようにしたが、撮像部４０を設けることなく、結像光学系３０によって結像された観察対象Ｓの撮影画像をユーザが直接観察できるように観察光学系等を設けるようにしてもよい。
また、上記実施形態においては、本発明を位相差顕微鏡に適用したが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡等のその他の顕微鏡に適用することができる。
また、上記実施形態においては、教師データとして第２の画像に対して観察対象Ｓの状態に応じたラベルを付与した画像を用いているが、記第２の画像そのものを教師データとして用いてもよい。
上記実施形態によれば、第２の画像はメニスカスＭの影響が除去されているため、第２の画像においては、容器に含まれる観察対象Ｓの状態が明確に表されている。また、教師データＴ０は第２の画像に基づいて生成されているため、教師データＴ０においても、観察対象Ｓの状態が明確に表されている。一方、第１の画像はメニスカスＭの影響が存在するため、観察対象Ｓの状態が明確に表されていないが、第１の画像と教師データＴ０とを対応づければ、第１の画像の個々の画素位置における観察対象Ｓの状態を明確に識別できる。したがって、第１の画像および教師データＴ０に基づいて判別器５１を学習することにより、第１の画像の判別対象の画素位置の特徴量を入力とした場合における、判別器５１の判別結果が正解であるか否かを精度よく判定できる。よって、判別器５１の学習を精度よく行うことができる。また、このように学習がなされた判別器５１を用いることにより、撮影画像に含まれる観察対象Ｓの状態を精度よく判別することができる。
１ 顕微鏡装置
２ 顕微鏡制御装置
３ 入力装置
４ 表示装置
１０ 照明光照射部
１１ 白色光源
１２ スリット板
１３ コンデンサレンズ
１４ 光路補正レンズ
１４ａ 凸面
１４ｂ 凹面
２１ 制御部
２２ 画像評価装置
３０ 結像光学系
３１ 対物レンズ
３２ 位相板
３３ 結像レンズ
４０ 撮像部
５０ 画像取得部
５１ 判別器
５２ 学習装置
５３ 教師データ生成部
５４ 学習部
６０ 培養容器
６１ ステージ
６２ 領域
６３ 透明板
７０ ウェルプレート
７１ ウェル
７５ 走査開始点
７６ 走査終了点
７７ 走査軌跡を示す実線
Ａ０，Ａ１，Ａ２，Ａ３，Ａ４ 矢印
Ｃ 培養液
Ｍ メニスカス
Ｐ 設置面
Ｒ１ メニスカス領域
Ｒ２ 非メニスカス領域
Ｓ 観察対象
Ｔ０ 教師データ
２ 顕微鏡制御装置
３ 入力装置
４ 表示装置
１０ 照明光照射部
１１ 白色光源
１２ スリット板
１３ コンデンサレンズ
１４ 光路補正レンズ
１４ａ 凸面
１４ｂ 凹面
２１ 制御部
２２ 画像評価装置
３０ 結像光学系
３１ 対物レンズ
３２ 位相板
３３ 結像レンズ
４０ 撮像部
５０ 画像取得部
５１ 判別器
５２ 学習装置
５３ 教師データ生成部
５４ 学習部
６０ 培養容器
６１ ステージ
６２ 領域
６３ 透明板
７０ ウェルプレート
７１ ウェル
７５ 走査開始点
７６ 走査終了点
７７ 走査軌跡を示す実線
Ａ０，Ａ１，Ａ２，Ａ３，Ａ４ 矢印
Ｃ 培養液
Ｍ メニスカス
Ｐ 設置面
Ｒ１ メニスカス領域
Ｒ２ 非メニスカス領域
Ｓ 観察対象
Ｔ０ 教師データ
Claims (11)
- 表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、前記メニスカスの影響が存在する撮影画像に基づいて、前記観察対象の状態を判別する判別器の学習装置であって、
同一の前記観察対象についての、前記メニスカスの影響が存在する第１の画像および前記メニスカスの影響が除去された第２の画像を取得する画像取得部と、
前記第２の画像に基づいて、前記判別器を学習するための教師データを生成する教師データ生成部と、
前記第１の画像および前記教師データに基づいて、前記判別器を学習する学習部とを備えた判別器の学習装置。 - 前記第２の画像が、前記液体を除去した前記観察対象を撮像することにより取得される請求項１に記載の判別器の学習装置。
- 前記第２の画像が、前記液体で満たされかつ透明板により密閉された前記容器における前記観察対象を撮像することにより取得される請求項１に記載の判別器の学習装置。
- 前記第２の画像が、前記メニスカスの影響を除去する光学素子を備えた撮影装置により前記観察対象を撮像することにより取得される請求項１に記載の判別器の学習装置。
- 前記教師データ生成部は、前記第２の画像に対して前記観察対象の状態に応じたラベルを付与した画像、または前記第２の画像を、前記教師データとして生成する請求項１から４のいずれか１項に記載の判別器の学習装置。
- 前記判別器は、前記撮影画像における判別対象となる画素の特徴量を入力とし、該判別対象となる画素についての前記観察対象の状態の判別結果を出力する請求項１から５のいずれか１項に記載の判別器の学習装置。
- 前記撮影画像は、位相差顕微鏡により前記容器を撮像することにより取得されてなる請求項１から６のいずれか１項に記載の判別器の学習装置。
- 前記学習部は、前記第１の画像における判別対象画素について前記判別器が出力した判別結果を前記教師データにおける前記判別対象画素に対応する画素と照合して、前記判別器を学習する請求項１から７のいずれか１項に記載の判別器の学習装置。
- 請求項１から８のいずれか１項に記載の判別器の学習装置により学習がなされた判別器。
- 表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、前記メニスカスの影響が存在する撮影画像に基づいて、前記観察対象の状態を判別する判別器の学習方法であって、
同一の前記観察対象についての、前記メニスカスの影響が存在する第１の画像および前記メニスカスの影響が除去された第２の画像を取得し、
前記第２の画像に基づいて、前記判別器を学習するための教師データを生成し、
前記第１の画像および前記教師データに基づいて、前記判別器を学習する判別器の学習方法。 - 表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、前記メニスカスの影響が存在する撮影画像に基づいて、前記観察対象の状態を判別する手順をコンピュータに実行させる判別器の学習プログラムであって、
同一の前記観察対象についての、前記メニスカスの影響が存在する第１の画像および前記メニスカスの影響が除去された第２の画像を取得する手順と、
前記第２の画像に基づいて、前記判別器を学習するための教師データを生成する手順と、
前記第１の画像および前記教師データに基づいて、前記判別器を学習する手順とをコンピュータに実行させる判別器の学習プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017162052 | 2017-08-25 | ||
| JP2017162052 | 2017-08-25 | ||
| PCT/JP2018/021742 WO2019039035A1 (ja) | 2017-08-25 | 2018-06-06 | 判別器の学習装置、方法およびプログラム、並びに判別器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019039035A1 JPWO2019039035A1 (ja) | 2020-02-27 |
| JP6718024B2 true JP6718024B2 (ja) | 2020-07-08 |
Family
ID=65438622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019537936A Active JP6718024B2 (ja) | 2017-08-25 | 2018-06-06 | 判別器の学習装置、方法およびプログラム、並びに判別器 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11328522B2 (ja) |
| EP (1) | EP3674686B1 (ja) |
| JP (1) | JP6718024B2 (ja) |
| KR (1) | KR20200019250A (ja) |
| WO (1) | WO2019039035A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111919117B (zh) * | 2018-03-20 | 2023-01-24 | 株式会社岛津制作所 | 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法 |
| WO2020188814A1 (ja) * | 2019-03-20 | 2020-09-24 | 株式会社島津製作所 | 細胞解析装置 |
| JPWO2021177004A1 (ja) * | 2020-03-05 | 2021-09-10 | ||
| US20230169647A1 (en) * | 2020-05-15 | 2023-06-01 | Sony Group Corporation | Information processing apparatus, information processing method, and information processing system |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3849420B2 (ja) * | 2000-11-20 | 2006-11-22 | 住友化学株式会社 | 界面計測装置 |
| US7804832B2 (en) * | 2006-02-13 | 2010-09-28 | Cisco Technology, Inc. | Method and system for simplified network wide traffic and/or flow monitoring in a data network |
| JPWO2010098105A1 (ja) | 2009-02-26 | 2012-08-30 | 国立大学法人名古屋大学 | 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム |
| WO2011010449A1 (ja) * | 2009-07-21 | 2011-01-27 | 国立大学法人京都大学 | 画像処理装置、培養観察装置、及び画像処理方法 |
| JP5333570B2 (ja) | 2011-12-21 | 2013-11-06 | 富士ゼロックス株式会社 | 画像処理装置、プログラム及び画像処理システム |
| JP2013174823A (ja) * | 2012-02-27 | 2013-09-05 | Olympus Corp | 画像処理装置、顕微鏡システム、及び画像処理方法 |
| WO2014144103A1 (en) * | 2013-03-15 | 2014-09-18 | Sony Corporation | Characterizing pathology images with statistical analysis of local neural network responses |
| US9754371B2 (en) * | 2014-07-31 | 2017-09-05 | California Institute Of Technology | Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition |
| JP6490365B2 (ja) * | 2014-08-29 | 2019-03-27 | 株式会社エヌテック | 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム |
| JP6389721B2 (ja) * | 2014-09-30 | 2018-09-12 | 株式会社Ｓｃｒｅｅｎホールディングス | 撮像装置および撮像方法 |
| JP6380983B2 (ja) * | 2014-11-26 | 2018-08-29 | 富士フイルム株式会社 | 位相差顕微鏡 |
| WO2016120757A1 (en) * | 2015-01-27 | 2016-08-04 | Ecole Polytechnique Federale De Lausanne (Epfl) | Observation device with optical compensation |
| JP6411294B2 (ja) | 2015-06-30 | 2018-10-24 | 富士フイルム株式会社 | 位相差顕微鏡および撮像方法 |
| JP6513507B2 (ja) | 2015-06-30 | 2019-05-15 | 富士フイルム株式会社 | 位相差顕微鏡および撮像方法 |
| JP6660712B2 (ja) * | 2015-11-10 | 2020-03-11 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構成方法および細胞の生死判定方法 |
| JP6594223B2 (ja) | 2016-02-22 | 2019-10-23 | 富士フイルム株式会社 | 位相差顕微鏡および撮像方法 |
| WO2017163378A1 (ja) * | 2016-03-24 | 2017-09-28 | 株式会社ニコン | 培養容器 |
| EP3487163B1 (en) * | 2016-07-13 | 2023-07-05 | SCREEN Holdings Co., Ltd. | Image processing method, image processor, and imaging captureing device |
| JP6667419B2 (ja) | 2016-11-09 | 2020-03-18 | 富士フイルム株式会社 | 撮像装置および方法並びに撮像制御プログラム |
| US10255693B2 (en) * | 2017-05-02 | 2019-04-09 | Techcyte, Inc. | Machine learning classification and training for digital microscopy images |
| US10733744B2 (en) * | 2017-05-11 | 2020-08-04 | Kla-Tencor Corp. | Learning based approach for aligning images acquired with different modalities |
-
2018
- 2018-06-06 KR KR1020207003281A patent/KR20200019250A/ko not_active Application Discontinuation
- 2018-06-06 EP EP18848312.7A patent/EP3674686B1/en active Active
- 2018-06-06 WO PCT/JP2018/021742 patent/WO2019039035A1/ja unknown
- 2018-06-06 JP JP2019537936A patent/JP6718024B2/ja active Active
-
2020
- 2020-01-28 US US16/774,123 patent/US11328522B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019039035A1 (ja) | 2019-02-28 |
| EP3674686A4 (en) | 2020-08-12 |
| US11328522B2 (en) | 2022-05-10 |
| US20200160027A1 (en) | 2020-05-21 |
| KR20200019250A (ko) | 2020-02-21 |
| JPWO2019039035A1 (ja) | 2020-02-27 |
| EP3674686A1 (en) | 2020-07-01 |
| EP3674686B1 (en) | 2023-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6718024B2 (ja) | 判別器の学習装置、方法およびプログラム、並びに判別器 | |
| JPWO2019181053A1 (ja) | デフォーカス量測定装置、方法およびプログラム、並びに判別器 | |
| JP6594223B2 (ja) | 位相差顕微鏡および撮像方法 | |
| EP3588162B1 (en) | Microscopic device, observation method, and control program for microscopic device | |
| KR102149625B1 (ko) | 촬영 화상 평가 장치 및 방법과, 프로그램 | |
| JP6667419B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
| JP2022001983A (ja) | 画像処理方法、プログラムおよび記録媒体 | |
| JP6785947B2 (ja) | 細胞画像評価装置および方法並びにプログラム | |
| JP6867916B2 (ja) | 観察装置 | |
| JP6993423B2 (ja) | 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム | |
| WO2018061635A1 (ja) | 観察装置および方法並びに観察装置制御プログラム | |
| US11127180B2 (en) | Image processing apparatus, method, and program | |
| JP7133636B2 (ja) | フォーカス位置評価装置、方法、及びプログラム | |
| KR102066807B1 (ko) | 세포 관찰 장치 및 방법 | |
| JP6762282B2 (ja) | 位相差顕微鏡 | |
| JP6534294B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
| US20200217781A1 (en) | Imaging device, and operation method and imaging control program of imaging device | |
| JP2022001889A (ja) | フォーカス位置評価装置、方法及びプログラム、並びに判別器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200611 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6718024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |