KR20200019250A - 판별기의 학습 장치, 방법 및 프로그램과, 판별기 - Google Patents

판별기의 학습 장치, 방법 및 프로그램과, 판별기 Download PDF

Info

Publication number
KR20200019250A
KR20200019250A KR1020207003281A KR20207003281A KR20200019250A KR 20200019250 A KR20200019250 A KR 20200019250A KR 1020207003281 A KR1020207003281 A KR 1020207003281A KR 20207003281 A KR20207003281 A KR 20207003281A KR 20200019250 A KR20200019250 A KR 20200019250A
Authority
KR
South Korea
Prior art keywords
image
discriminator
learning
meniscus
teacher data
Prior art date
Application number
KR1020207003281A
Other languages
English (en)
Inventor
다카유키 츠지모토
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20200019250A publication Critical patent/KR20200019250A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/041—Phase-contrast imaging, e.g. using grating interferometers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00—Additional constructional details
    • B01L2300/06—Auxiliary integrated devices, integrated components
    • B01L2300/0627—Sensor or part of a sensor is integrated
    • B01L2300/0663—Whole sensors
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Biophysics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Biotechnology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Clinical Laboratory Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)

Abstract

판별기의 학습 장치, 방법 및 프로그램과 판별기에 있어서, 세포 등의 관찰 대상의 상태를 판별하는 판별기를 양호한 정밀도로 학습시킬 수 있도록 한다. 화상 취득부(50)가, 동일한 관찰 대상(S)에 대한, 메니스커스(M)의 영향이 존재하는 제1 화상 및 메니스커스(M)의 영향이 제거된 제2 화상을 취득한다. 이어서, 교사 데이터 생성부(53)가, 제2 화상에 근거하여, 판별기(51)를 학습하기 위한 교사 데이터(T0)를 생성한다. 그리고, 학습부(54)가, 제1 화상 및 교사 데이터(T0)에 근거하여 판별기(51)를 학습한다.

Description

판별기의 학습 장치, 방법 및 프로그램과, 판별기
본 발명은, 오목 형상의 액면을 갖는 액체 및 관찰 대상이 수용된 용기의 화상을 이용하여, 관찰 대상의 상태를 판별하는 판별기의 학습 장치, 방법 및 프로그램과, 관찰 대상의 상태를 판별하는 판별기에 관한 것이다.
ES(Embryonic Stem) 세포 및 iPS(Induced Pluripotent Stem) 세포 등의 다능성 줄기 세포는, 다양한 조직의 세포로 분화하는 능력을 구비하고, 재생 의료, 약의 개발, 및 병의 해명 등에 있어서 응용이 가능한 것으로서 주목받고 있다.
종래, ES 세포 및 iPS 세포 등의 다능성 줄기 세포와, 분화 유도된 세포 등을 위상차 현미경 등의 현미경에 의하여 촬영하고, 촬영에 의하여 취득된 화상의 특징을 파악함으로써 세포의 분화 상태 등을 판정하는 방법이 제안되어 있다.
예를 들면, 특허문헌 1에 있어서는, 세포의 상태를 미리 학습한 판별기를 이용하여, 촬영에 의하여 취득된 화상에 포함되는 세포의 상태를 판별하는 수법이 제안되어 있다. 이와 같은 판별기는, 촬영에 의하여 취득된 화상에 있어서의 판별 대상이 되는 화소 위치의 특징량이 입력되면, 판별 대상이 되는 화소 위치의 상태의 판별 결과를 출력한다. 특허문헌 1에 있어서는, 미리 취득된 세포의 상태를 알고 있는 화상을 교사 데이터로서 학습시킴으로써, 판별기가 생성된다.
한편, 상술한 바와 같이 세포를 현미경에 의하여 촬영할 때, 고배율인 광시야 화상을 취득하기 위하여, 이른바 타일링 촬영을 행하는 것이 제안되어 있다. 구체적으로는, 예를 들면 웰 플레이트 등이 설치된 스테이지를, 결상 광학계에 대하여 이동시킴으로써 웰 내의 각 관찰 영역을 주사하고, 관찰 영역마다의 화상을 촬영한 후, 그 관찰 영역마다의 화상을 연결하는 방법이 제안되어 있다.
일본 공개특허공보 2013-128438호
여기에서, 상술한 웰 플레이트 등을 이용하여 세포를 배양할 때, 웰 내에는 세포 및 배양액 등의 액체가 수용되지만, 그 액체의 표면에는 메니스커스가 형성되는 것이 알려져 있다.
특히, 위상차 현미경 장치를 이용하여 세포의 화상을 촬영하는 경우에는, 촬영 화상에 대한 메니스커스의 영향이 크다. 이와 같은 메니스커스의 영향에 의하여, 메니스커스가 형성되어 있는 메니스커스 영역은, 메니스커스가 형성되어 있지 않은 비메니스커스 영역의 촬영 화상과 비교하면 콘트라스트가 낮은 화상이 되게 된다. 따라서, 메니스커스 영역을 포함하는 촬영 화상에 있어서는, 개개의 세포의 화상을 고정밀도로 추출할 수 없다.
여기에서, 상술한 세포의 상태를 판별하는 판별기는, 메니스커스 영역을 포함하는 촬영 화상으로부터 교사 데이터를 작성하고 있다 그러나, 메니스커스 영역을 포함하는 촬영 화상으로부터는, 상술한 바와 같이 개개의 세포를 고정밀도로 추출할 수 없다. 따라서, 이와 같은 메니스커스 영역을 포함하는 촬영 화상으로부터 제작된 교사 데이터를 이용해도, 판별기를 양호한 정밀도로 학습시킬 수 없고, 그 결과, 판별기의 판별 정밀도도 저하된다.
본 발명은 상기 사정을 감안하여 이루어지고, 세포 등의 관찰 대상의 상태를 판별하는 판별기를 양호한 정밀도로 학습시킬 수 있도록 하는 것을 목적으로 한다.
본 발명에 의한 판별기의 학습 장치는, 표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상함으로써 취득된, 메니스커스의 영향이 존재하는 촬영 화상에 근거하여, 관찰 대상의 상태를 판별하는 판별기의 학습 장치로서,
동일한 관찰 대상에 대한, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상을 취득하는 화상 취득부와,
제2 화상에 근거하여, 판별기를 학습시키기 위한 교사 데이터를 생성하는 교사 데이터 생성부와,
제1 화상 및 교사 데이터에 근거하여, 판별기를 학습시키는 학습부를 구비한다.
표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상하는 경우, 용기에 입사하는 광은, 용기에 있어서의 메니스커스가 형성되어 있는 메니스커스 영역에 있어서는 굴절하고, 메니스커스가 형성되어 있지 않은 비메니스커스 영역에 있어서는 직진한다. 이로써, 촬상에 의하여 취득되는 화상에 있어서는, 메니스커스 영역은 비메니스커스 영역보다 휘도가 높아지고, 콘트라스트가 저하된다. 특히, 위상차 현미경에 의하여 용기를 촬상하는 경우, 비메니스커스 영역을 통과한 광은 위상판을 통과하기 때문에, 진폭이 약화되어 위상이 어긋나고, 관찰 대상에 의한 회절광과 합성되어, 고콘트라스트의 화상이 된다. 한편, 메니스커스 영역을 통과한 광은 위상판을 통과하지 않을 가능성이 있기 때문에, 진폭 및 위상이 변화하지 않고, 저콘트라스트이고 또한 고휘도인 화상이 된다.
"메니스커스의 영향이 존재하는 화상"이란, 화상 중에 메니스커스 영역을 통과한 광에 의하여 얻어지는 저콘트라스트이고 또한 고휘도인 영역이 포함되는 화상을 의미한다.
또한, 본 발명의 일 양태에 의한 판별기의 학습 장치에 있어서는, 제2 화상이, 액체를 제거한 관찰 대상을 촬상함으로써 취득되어도 된다.
또, 본 발명의 일 양태에 의한 판별기의 학습 장치에 있어서는, 제2 화상이, 액체로 채워지고 또한 투명판에 의하여 밀폐된 용기에 있어서의 관찰 대상을 촬상함으로써 취득되어도 된다.
또, 본 발명의 일 양태에 의한 판별기의 학습 장치에 있어서는, 제2 화상이, 메니스커스의 영향을 제거하는 광학 소자를 구비한 촬영 장치에 의하여 관찰 대상을 촬상함으로써 취득되어도 된다.
또, 본 발명의 일 양태에 의한 판별기의 학습 장치에 있어서는, 교사 데이터 생성부는, 제2 화상에 대하여 관찰 대상의 상태에 따른 라벨을 부여한 화상, 또는 제2 화상을, 교사 데이터로서 생성해도 된다.
또, 본 발명의 일 양태에 의한 판별기의 학습 장치에 있어서는, 판별기는, 촬영 화상에 있어서의 판별 대상이 되는 화소의 특징량을 입력으로 하여, 판별 대상이 되는 화소에 대한 관찰 대상의 상태의 판별 결과를 출력해도 된다.
또, 본 발명의 일 양태에 의한 판별기의 학습 장치에 있어서는, 촬영 화상은, 위상차 현미경에 의하여 용기를 촬상함으로써 취득되어도 된다.
학습부는, 제1 화상에 있어서의 판별 대상 화소에 대하여 판별기가 출력한 판별 결과를 교사 데이터에 있어서의 판별 대상 화소에 대응하는 화소와 대조하여, 판별기를 학습시켜도 된다.
본 발명의 일 양태에 의한 판별기는, 본 발명에 의한 판별기의 학습 장치에 의하여 학습이 이루어진 것이다.
본 발명에 의한 판별기의 학습 방법은, 표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상함으로써 취득된, 메니스커스의 영향이 존재하는 촬영 화상에 근거하여, 관찰 대상의 상태를 판별하는 판별기의 학습 방법으로서,
동일한 관찰 대상에 대한, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상을 취득하고,
제2 화상에 근거하여, 판별기를 학습시키기 위한 교사 데이터를 생성하며,
제1 화상 및 교사 데이터에 근거하여, 판별기를 학습시킨다.
본 발명에 의한 판별기의 학습 프로그램은, 표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상함으로써 취득된, 메니스커스의 영향이 존재하는 촬영 화상에 근거하여, 관찰 대상의 상태를 판별하는 수순을 컴퓨터에 실행시키는 판별기의 학습 프로그램으로서,
동일한 관찰 대상에 대한, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상을 취득하는 수순과,
제2 화상에 근거하여, 판별기를 학습시키기 위한 교사 데이터를 생성하는 수순과,
제1 화상 및 교사 데이터에 근거하여, 판별기를 학습시키는 수순을 컴퓨터에 실행시킨다.
본 발명에 의한 다른 판별기의 학습 장치는, 표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상함으로써 취득된, 메니스커스의 영향이 존재하는 촬영 화상에 근거하여, 관찰 대상의 상태를 판별하는 판별기의 학습 장치로서,
컴퓨터에 실행시키기 위한 명령을 기억하는 메모리와,
기억된 명령을 실행하도록 구성된 프로세서를 구비하며,
프로세서는, 동일한 관찰 대상에 대한, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상을 취득하고,
제2 화상에 근거하여, 판별기를 학습시키기 위한 교사 데이터를 생성하며,
제1 화상 및 교사 데이터에 근거하여, 판별기를 학습시키는 처리를 실행한다.
본 발명에 의하면, 동일한 관찰 대상에 대한, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상이 취득되고, 제2 화상에 근거하여, 관찰 대상의 상태를 판별하는 판별기를 학습시키기 위한 교사 데이터가 생성된다. 그리고, 메니스커스의 영향이 존재하는 제1 화상 및 교사 데이터에 근거하여 판별기가 학습된다. 이로써, 세포 등의 관찰 대상의 상태를 판별하는 판별기를 양호한 정밀도로 학습시킬 수 있다.
도 1은 본 발명의 판별기의 학습 장치를 적용한 화상 평가 시스템의 일 실시형태의 개략 구성을 나타내는 도이다.
도 2는 웰 플레이트에 있어서의 각 관찰 영역의 주사 궤적을 나타내는 도이다.
도 3은 화상 평가 장치의 구성을 나타내는 개략 블록도이다.
도 4는 배양 용기의 측단면도 및 상면도를 나타내는 도이다.
도 5는 배양 용기 내의 각 관찰 영역의 촬영 화상을 연결한 화상의 일례를 나타내는 도이다.
도 6은 배양 용기로부터 배양액을 제거한 상태를 나타내는 측단면도이다.
도 7은 배양 용기를 배양액으로 채우고, 또한 투명판에 의하여 밀폐한 상태를 나타내는 측단면도이다.
도 8은 메니스커스의 영향을 제거하는 광학 소자를 조명광 조사부에 마련한 현미경 장치의 개략 구성을 나타내는 도이다.
도 9는 광로 보정 렌즈에 의한 광로의 보정을 설명하기 위한 도이다.
도 10은 교사 데이터의 예를 나타내는 도이다.
도 11은 본 실시형태에 있어서 행해지는 처리를 나타내는 플로 차트이다.
이하, 본 발명의 실시형태에 대하여 설명한다. 도 1은 본 발명의 실시형태에 의한 판별기의 학습 장치를 적용한 화상 평가 시스템의 개략 구성을 나타내는 도이다. 제1 실시형태의 화상 평가 시스템은, 도 1에 나타내는 바와 같이, 현미경 장치(1), 현미경 제어 장치(2), 입력 장치(3), 및 표시 장치(4)를 구비한다.
본 실시형태에 있어서, 현미경 장치(1)는 위상차 현미경이며, 관찰 대상으로서, 예를 들면 배양된 세포의 위상차 화상을 촬영 화상으로서 촬상한다. 구체적으로는, 현미경 장치(1)는, 도 1에 나타내는 바와 같이, 조명광 조사부(10), 결상 광학계(30), 스테이지(61), 및 촬상부(40)를 구비한다. 본 실시형태의 현미경 장치(1)는, 본 개시의 촬영 장치의 일례이다.
스테이지(61) 상에는, 세포 등의 관찰 대상(S) 및 배양액(C)이 수용된 배양 용기(60)가 설치된다. 스테이지(61)의 중앙에는, 직사각형의 개구가 형성되어 있다. 이 개구를 형성하는 부재 상에 배양 용기(60)가 설치되고, 배양 용기(60) 내의 관찰 대상(S)을 투과한 광 및 관찰 대상(S)에 의하여 회절한 광이 개구를 통과하도록 구성되어 있다.
배양 용기(60)로서는, 예를 들면 복수의 웰(본 발명의 용기에 상당함)을 갖는 웰 플레이트가 이용되지만, 이에 한정하지 않고, 샬레 또는 디시 등을 이용하도록 해도 된다. 또, 배양 용기(60)에 수용되는 관찰 대상(S)으로서는, iPS 세포 및 ES 세포와 같은 다능성 줄기 세포, 줄기 세포로부터 분화 유도된 신경, 피부, 심근 및 간장의 세포와, 인체로부터 취출된 피부, 망막, 심근, 혈구, 신경 및 장기의 세포 등이 있다.
스테이지(61) 상에 설치된 배양 용기(60)는, 그 바닥면이 관찰 대상(S)의 설치면(P)이고, 설치면(P)에 관찰 대상(S)이 배치된다. 배양 용기(60) 내에는 배양액(C)이 채워져 있고, 이 배양액(C)의 액면에는, 오목 형상의 메니스커스가 형성된다. 또한, 본 실시형태에 있어서는, 배양액 중에 있어서 배양되는 세포를 관찰 대상(S)으로 했지만, 관찰 대상(S)으로서는 이와 같은 배양액 중의 것에 한정하지 않고, 물, 포말린, 에탄올, 및 메탄올 등의 액체 중에 있어서 고정된 세포를 관찰 대상(S)으로 해도 된다. 이 경우도, 용기 내의 이들 액체의 액면에 메니스커스가 형성된다.
조명광 조사부(10)는, 스테이지(61) 상의 배양 용기(60) 내에 수용된 관찰 대상(S)에 대하여, 이른바 위상차 계측을 위한 조명광을 조사한다. 본 실시형태에서는, 조명광 조사부(10)는, 위상차 계측용의 조명광으로서 링상 조명광을 조사한다.
구체적으로는, 본 실시형태의 조명광 조사부(10)는, 위상차 계측용의 백색광을 출사하는 백색 광원(11), 링 형상의 슬릿을 갖고, 백색 광원(11)으로부터 출사된 백색광이 입사되며 링상 조명광을 출사하는 슬릿판(12), 및 슬릿판(12)으로부터 출사된 링상 조명광이 입사되고, 그 입사된 링상 조명광을 관찰 대상(S)에 대하여 조사하는 콘덴서 렌즈(13)를 구비한다.
슬릿판(12)에는, 백색 광원(11)으로부터 출사된 백색광을 차광하는 차광판에 대하여 백색광을 투과시키는 링 형상의 슬릿이 마련되어 있고, 백색광이 슬릿을 통과함으로써 링상 조명광이 형성된다. 콘덴서 렌즈(13)는, 슬릿판(12)으로부터 출사된 링상 조명광을 관찰 대상(S)을 향하여 수렴시킨다.
스테이지(61) 상에 설치된 배양 용기(60) 내에는, 관찰 대상(S)으로서, 배양된 세포군(세포 콜로니)이 배치된다. 배양된 세포로서는, iPS 세포 및 ES 세포와 같은 다능성 줄기 세포, 줄기 세포로부터 분화 유도된 신경, 피부, 심근 및 간장의 세포와, 인체로부터 취출된 피부, 망막, 심근, 혈구, 신경 및 장기의 세포 등이 있다. 배양 용기(60)로서는, 샬레 및 복수의 웰이 배열된 웰 플레이트 등을 이용할 수 있다. 또한, 웰 플레이트를 이용하는 경우, 각 웰이 본 발명의 용기에 대응한다. 또한, 본 실시형태에 있어서는, 복수의 웰이 배열된 웰 플레이트를 배양 용기(60)로서 이용한다.
결상 광학계(30)는, 배양 용기(60) 내의 관찰 대상(S)의 상을 촬상부(40)에 결상한다. 결상 광학계(30)는, 대물 렌즈(31), 위상판(32) 및 결상 렌즈(33)를 구비한다.
위상판(32)에는, 링상 조명광의 파장에 대하여 투명한 투명판에 대하여 위상링이 형성되어 있다. 또한, 상술한 슬릿판(12)의 슬릿의 크기는, 이 위상링과 공액 관계에 있다.
위상링은, 입사된 광의 위상을 1/4 파장 어긋나게 하는 위상막과, 입사된 광을 감광하는 감광 필터가 링상으로 형성된다. 위상판(32)에 입사된 직접광은 위상링을 통과함으로써 위상이 1/4 파장 어긋나고, 또한 그 밝기가 약해진다. 한편, 관찰 대상(S)에 의하여 회절된 회절광은 대부분이 위상판(32)의 투명판의 부분을 통과하고, 그 위상 및 밝기는 변화하지 않는다.
결상 렌즈(33)는, 위상판(32)을 통과한 직접광 및 회절광이 입사되고, 이들 광을 촬상부(40)에 결상한다.
촬상부(40)는, 결상 렌즈(33)에 의하여 결상된 관찰 대상(S)의 상을 수광하고, 관찰 대상(S)을 촬상하여 위상차 화상을 관찰 화상으로서 출력하는 촬상 소자를 구비한다. 촬상 소자로서는, CCD(charge-coupled device) 이미지 센서, 및CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등을 이용할 수 있다.
여기에서, 스테이지(61)는, 도시하지 않는 스테이지 구동부에 의하여 구동되고, 수평면 내에 있어서 직교하는 X 방향 및 Y 방향으로 이동한다. 이 스테이지(61)의 이동에 의하여, 웰 플레이트의 각 웰 내에 있어서의 각 관찰 영역이 주사되고, 관찰 영역마다의 촬영 화상이 촬상부(40)에 의하여 취득된다. 관찰 영역마다의 촬영 화상은 현미경 제어 장치(2)에 출력된다.
도 2는, 6개의 웰(71)을 갖는 웰 플레이트(70)를 이용한 경우에 있어서의, 각 관찰 영역의 주사 궤적을 실선(77)에 의하여 나타낸 도이다. 도 2에 나타내는 바와 같이, 웰 플레이트(70) 내의 각 관찰 영역은, 스테이지(61)의 X 방향 및 Y 방향의 이동에 의하여 주사 개시점(75)으로부터 주사 종료점(76)까지의 실선(77)을 따라 주사된다.
또한, 본 실시형태에 있어서는, 스테이지(61)를 이동시킴으로써 웰 내의 관찰 영역마다의 촬영 화상을 취득하도록 했지만, 이에 한정하지 않고, 결상 광학계(30)를 스테이지(61)에 대하여 이동시킴으로써 관찰 영역마다의 촬영 화상을 취득하도록 해도 된다. 또는, 스테이지(61)와 결상 광학계(30)의 양쪽 모두를 이동시키도록 해도 된다.
현미경 제어 장치(2)는, CPU(Central Processing Unit), 반도체 메모리 및 하드 디스크 등을 구비한 컴퓨터로 구성된다. 그리고, 하드 디스크에 본 발명의 판별기의 학습 프로그램을 포함하는, 시스템을 제어하는 프로그램이 인스톨되어 있다. 프로그램이 CPU에 의하여 실행됨으로써, 당해 CPU가 현미경 제어 장치(2)의 각부로서 기능한다. 현미경 제어 장치(2)는, 화상 평가 시스템의 전체를 제어한다. 현미경 제어 장치(2)는, 도 1에 나타내는 바와 같이, 제어부(21) 및 화상 평가 장치(22)를 구비한다.
제어부(21)는, 조명광 조사부(10), 스테이지(61)를 구동하는 스테이지 구동부(도시하지 않음), 결상 광학계(30) 및 촬상부(40)의 구동을 제어하여 관찰 대상(S)의 촬영 화상을 취득한다.
화상 평가 장치(22)는, 촬영 화상에 포함되는 관찰 대상(S)의 상태를 평가한다. 도 3은 화상 평가 장치(22)의 구성을 나타내는 개략 블록도이다. 도 3에 나타내는 바와 같이, 화상 평가 장치(22)는, 판별기(51) 및 판별기(51)의 학습 장치(52)를 구비한다. 학습 장치(52)는, 화상 취득부(50), 교사 데이터 생성부(53) 및 학습부(54)를 구비한다.
본 실시형태에 있어서, 화상 평가 장치(22)는, 관찰 영역마다의 촬영 화상을 취득하고, 촬영 화상에 포함되는 관찰 대상(S)의 상태를 평가한다. 본 실시형태에 있어서는, 관찰 대상(S)은 세포이다. 이 때문에, 관찰 대상(S)의 상태를 평가한다는 것은, 예를 들면 촬영 화상에 포함되는 세포가 미분화 세포인지 분화 세포인지를 평가하거나, 분화 세포가 분화한 상태에 있는지 분화 도중의 상태에 있는지를 평가하거나, 촬영 화상에 포함되는 미분화 세포와 분화 세포의 비율을 평가하거나, 세포 또는 세포 콜로니의 성장도를 평가하거나, 또는 항암제에 의한 암세포의 축소율을 평가하거나 하는 것을 말한다. 단, 세포의 상태의 평가로서는, 이들에 한정하지 않고, 그 외의 평가여도 된다. 또한, 본 실시형태에 있어서는, 화상 평가 장치(22)는, 세포가 분화 세포인 경우에, 세포가 분화한 상태에 있는지 분화 도중의 상태에 있는지를 평가하는 것으로 한다.
화상 취득부(50)는, 촬상부(40)에 의하여 촬상된 관찰 대상(S)의 촬영 화상을 취득한다. 본 실시형태에 있어서는, 배양 용기(60)는 복수의 웰이 배열된 웰 플레이트이기 때문에, 각 웰 내에 있어서의 각 관찰 영역의 촬영 화상이 취득된다.
판별기(51)는, 촬영 화상에 대한 판별 결과를 출력한다. 본 실시형태에 있어서는, 화상 평가 장치(22)는, 세포가 분화한 상태에 있는지 분화 도중의 상태에 있는지를 평가한다. 이 때문에, 판별기(51)는, 촬영 화상에 포함되는 세포가, 분화한 상태에 있는지, 분화 도중의 상태에 있는지의 판별 결과를 출력한다. 이와 같은 판별을 행하기 위하여, 판별기(51)는, 촬영 화상에 있어서의 판별 대상이 되는 판별 대상 화소의 특징량을 입력으로 하여, 판별 대상 화소 상태의 판별 결과를 출력하도록 기계 학습이 이루어진다. 또한, 본 실시형태에 있어서는, 판별기(51)는, 촬영 화상에 있어서의 판별 대상 화소를 중심으로 하는 미리 정해진 영역 내의 화소값을 특징량으로서 입력으로 하고, 판별 대상 화소가, 분화한 상태의 세포, 분화 도중의 상태의 세포, 및 분화한 상태도 분화 도중의 상태도 아니라는 3개의 판별 결과를 출력한다.
이 때문에, 판별기(51)는, 입력된 특징량에 대하여, 분화한 상태의 세포 및 분화 도중의 상태의 세포인 것을 나타내는 스코어를 출력하고, 출력한 2개의 스코어의 각각을 미리 정해진 각각에 대응하는 임곗값과 비교한다. 그리고, 분화한 상태의 세포인 것을 나타내는 스코어가, 분화한 상태의 세포인 것을 나타내는 임곗값을 초과하고, 또한 분화 도중의 상태의 세포인 것을 나타내는 스코어가 분화 도중의 상태의 세포인 것을 나타내는 임곗값을 초과하지 않으면, 판별 대상 화소는 분화한 상태의 세포라는 판별 결과를 출력한다. 한편, 분화 도중의 상태의 세포인 것을 나타내는 스코어가, 분화 도중의 상태의 세포인 것을 나타내는 임곗값을 초과하고, 또한 분화한 상태의 세포인 것을 나타내는 스코어가, 분화한 상태의 세포인 것을 나타내는 임곗값을 초과하지 않으면, 판별 대상 화소는 분화 도중의 상태의 세포라는 판별 결과를 출력한다. 또한, 2개의 스코어 모두 각각에 대응하는 임곗값을 초과하지 않는 경우 및 2개의 스코어 모두 각각에 대응하는 임곗값을 초과하는 경우는, 분화한 상태도 분화 도중의 상태도 아닌 판별 결과를 출력한다.
여기에서, 기계 학습의 수법으로서는, 공지의 수법을 이용할 수 있다. 예를 들면, 서포트 벡터 머신(SVM(Support Vector Machine)), 딥 뉴럴 네트워크(DNN(Deep Neural Network)), 및 중첩 뉴럴 네트워크(CNN(Convolutional Neural Network)) 등을 이용할 수 있다.
여기에서, 배양 용기(60) 내에는, 관찰 대상(S) 및 배양액(C)이 수용되지만, 그 배양액(C)의 액면에는, 메니스커스가 형성된다. 도 4는 배양 용기(60)의 측단면도 및 상면도이다. 도 5는 배양 용기(60) 내의 각 관찰 영역의 촬영 화상을 연결한 화상의 일례를 나타내는 도이다. 도 5에 있어서 직사각형 영역에 의하여 분할된 각 영역(62)이, 각 관찰 영역에 상당한다. 도 4에 나타내는 바와 같이, 배양 용기(60)에 있어서는, 배양액(C)의 액면에 메니스커스(M)가 형성된다. 그리고, 배양 용기(60)의 상방으로부터 입사하는 광은, 메니스커스 영역(R1)에 있어서는 화살표(A1)에 나타내는 바와 같이 굴절하고, 비메니스커스 영역(R2)에 있어서는 화살표(A0)에 나타내는 바와 같이 직진한다. 그 결과, 도 4 및 도 5에 나타내는 바와 같이, 비메니스커스 영역(R2)의 촬영 화상은 콘트라스트가 높고, 메니스커스 영역(R1)의 촬영 화상은 비메니스커스 영역(R2)보다 콘트라스트가 낮아진다. 따라서, 메니스커스 영역(R1)의 촬영 화상에 대해서는, 개개의 세포의 화상이 명확하게 나타나있지 않다. 그 결과, 메니스커스 영역(R1)의 촬영 화상에 있어서는, 판별 대상 화소의 판별의 정밀도가 낮아진다.
본 실시형태에 있어서는, 학습 장치(52)에 있어서 판별기(51)를 학습시킬 때에, 동일한 관찰 대상(S)에 대한, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상을 이용한다.
이 때문에, 화상 취득부(50)는, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상을 취득한다. 또한, 제1 화상 및 제2 화상은, 동일한 관찰 대상(S)에 대한 화상이다. 여기에서, 제1 화상은, 배양 용기(60)를 그대로 촬영함으로써 취득하면 된다.
한편, 메니스커스(M)는 배양 용기(60) 내의 배양액(C)의 액면에 형성된다. 도 6은 배양액(C)을 제거한 배양 용기(60)의 측면도이다. 도 6에 나타내는 바와 같이, 배양 용기(60)로부터 배양액(C)을 제거하면, 배양 용기(60)의 상방으로부터 입사하는 광은, 배양 용기(60)의 어느 위치에 있어서도 화살표(A0 및 A2)에 나타내는 바와 같이 직진한다. 따라서, 제2 화상은, 배양액(C)을 제거한 배양 용기(60)에 있어서의 관찰 대상(S)을 촬영함으로써 취득된다. 이와 같이 취득된 제2 화상에 있어서는, 메니스커스(M)의 영향이 제거되어 있기 때문에, 배양 용기(60) 상의 위치에 관계없이 높은 콘트라스트를 갖는다.
또한, 도 7에 나타내는 바와 같이, 배양 용기(60)를 배양액(C)으로 채우고, 또한 투명한 유리 또는 플라스틱 등의 투명판(63)에 의하여 배양 용기(60)를 밀폐하면, 배양 용기(60)의 상방으로부터 입사하는 광은, 배양 용기(60)의 어느 위치에 있어서도 화살표(A0 및 A3)에 나타내는 바와 같이 직진한다. 따라서, 제2 화상은, 배양액(C)으로 채우고, 또한 투명판(63)에 의하여 밀폐된 배양 용기(60)에 있어서의 관찰 대상(S)을 촬영함으로써 취득해도 된다.
또, 조명광 조사부(10)에, 메니스커스의 영향을 제거하는 광학 소자를 마련하도록 해도 된다. 도 8은 메니스커스의 영향을 제거하는 광학 소자를 이용한 조사 광조사부를 갖는 현미경 장치(1)의 구성을 나타내는 개략도이다. 도 8에 나타내는 바와 같이, 조명광 조사부(10)에는, 메니스커스의 영향을 제거하는 광학 소자로서 광로 보정 렌즈(14)가 마련되어 있다. 또한, 광로 보정 렌즈(14)는, 조명광 조사부(10)에 있어서, 조명광의 광로 상에 퇴피 가능하게 배치되어 있다.
광로 보정 렌즈(14)는, 구체적으로는, 관찰 대상(S) 측에 볼록면(14a)을 갖고, 그 광축으로부터 멀어질수록 굴절력이 증대하는 정의 메니스커스 렌즈이다. 또한, 광로 보정 렌즈(14)의 관찰 대상(S) 측의 볼록면(14a) 및 백색 광원(11) 측의 오목면(14b) 중 적어도 한쪽을, 비구면으로 형성해도 된다. 이와 같이, 광로 보정 렌즈(14)를 마련함으로써, 도 9에 나타내는 바와 같이, 광로 보정 렌즈(14)를 통과하고, 배양 용기(60)의 상방으로부터 입사하는 광은, 배양 용기(60) 내의 어느 위치에 있어서도 화살표(A0 및 A4)에 나타내는 바와 같이 직진하게 된다. 따라서, 조명광 조사부(10)에 광로 보정 렌즈(14)를 마련하여 배양 용기(60)를 촬영함으로써, 제2 화상을 취득해도 된다.
교사 데이터 생성부(53)는, 제2 화상에 근거하여, 판별기(51)를 학습하기 위한 교사 데이터를 생성한다. 이 때문에, 교사 데이터 생성부(53)는, 제2 화상을 표시 장치(4)에 표시한다. 그리고, 조작자에 의한 입력 장치(3)로부터의 입력에 의하여, 제2 화상의 각 화소 위치에 있어서의 관찰 대상(S)의 상태에 따른 라벨을 부여하고, 교사 데이터를 생성한다. 도 10은 교사 데이터의 예를 나타내는 도이다. 또한, 도 10은 배양 용기(60)의 전체를 나타내고, 관찰 영역의 단락을 파선(破線)으로 나타내고 있다. 도 10에 나타내는 바와 같이, 교사 데이터(T0)에 있어서는, 관찰 대상(S)이 분화한 상태에 있는 영역이 백색, 관찰 대상(S)이 분화의 도중에 있는 영역이 사선, 관찰 대상(S)이 존재하지 않는 영역이 흑색으로 라벨링되어 있다. 이와 같이, 교사 데이터(T0)에 있어서는, 각 화소에 있어서, 관찰 대상(S)이 분화한 상태에 있는지, 분화 도중의 상태에 있는지를 인식할 수 있다.
학습부(54)는, 제1 화상 및 교사 데이터(T0)에 근거하여, 판별기(51)를 학습한다. 여기에서, 제1 화상에는 메니스커스(M)의 영향이 존재하고, 메니스커스 영역에 있어서는 관찰 대상(S)인 세포의 상태는 명확하게 나타나있지 않다. 그러나, 교사 데이터(T0)와 제1 화상을 대응지으면, 제1 화상의 개개의 화소 위치에 있어서의 관찰 대상(S)의 상태를 식별할 수 있다.
이 때문에, 학습부(54)는, 제1 화상에 있어서의 판별 대상 화소의 특징량을 판별기(51)에 입력하고, 판별기(51)가 출력한 판별 결과를 교사 데이터(T0)에 있어서의 판별 대상 화소에 대응하는 화소와 대조한다. 판별 결과가 정답인 경우는, 학습부(54)는, 판별기(51)에 대하여 정답인 것에 대한 학습을 행한다. 판별 결과가 정답이 아닌 경우, 학습부(54)는, 판별 결과를 수정하도록 판별기(51)의 학습을 행한다. 추가로, 학습부(54)는, 복수의 관찰 대상(S)에 대한 제1 화상 및 제2 화상을 취득하고, 교사 데이터(T0)를 생성하여 판별기(51)의 학습을 반복하여 행한다. 그리고, 학습부(54)는, 판별기(51)의 판별 결과가 미리 정해진 정답률을 초과하는지 여부를 판정하고, 이 판정이 긍정되면, 판별기(51)의 학습을 종료한다. 또한, 복수의 관찰 대상에 대한 제1 화상 및 제2 화상을 미리 취득해 두고, 현미경 제어 장치(2)의 하드 디스크(도시하지 않음)에 보존해 두도록 해도 된다. 이 경우, 화상 취득부(50)는, 하드 디스크로부터 제1 화상 및 제2 화상을 취득한다.
이와 같이 하여 학습이 이루어진 판별기(51)는, 촬영 화상에 있어서의 판별 대상 화소의 특징량이 입력되면, 판별 대상 화소 상태의 판별 결과를 출력한다.
도 1에 되돌아와, 입력 장치(3)는, 키보드 또는 마우스 등의 입력 디바이스를 구비한 것이며, 유저에 의한 설정 입력을 받아들인다.
표시 장치(4)는, 액정 디스플레이 등의 표시 디바이스로 구성되고, 촬상부(40)에 있어서 촬상된 촬영 화상 및 촬영 화상의 평가 결과 등을 표시한다. 또한, 표시 장치(4)를 터치 패널에 의하여 구성함으로써, 입력 장치(3)를 겸용해도 된다.
이어서, 본 실시형태에 있어서 행해지는 처리에 대하여 설명한다. 도 11은 본 실시형태에 있어서 행해지는 판별기(51)의 학습 처리를 나타내는 플로 차트이다. 먼저, 화상 취득부(50)가, 동일한 관찰 대상(S)에 대한, 메니스커스(M)의 영향이 존재하는 제1 화상 및 메니스커스(M)의 영향이 제거된 제2 화상을 취득한다(스텝 ST1). 이어서, 교사 데이터 생성부(53)가, 제2 화상에 근거하여, 판별기(51)를 학습하기 위한 교사 데이터(T0)를 생성한다(스텝 ST2). 그리고, 학습부(54)가, 제1 화상 및 교사 데이터(T0)에 근거하여 판별기(51)를 학습하고(스텝 ST3), 처리를 종료한다.
이와 같이, 본 실시형태에 있어서는, 동일한 관찰 대상에 대한, 메니스커스의 영향이 존재하는 제1 화상 및 메니스커스의 영향이 제거된 제2 화상을 취득하고, 제2 화상에 근거하여 교사 데이터(T0)를 생성하며, 제1 화상 및 교사 데이터(T0)에 근거하여 판별기(51)를 학습한다. 이 때문에, 메니스커스의 영향이 존재하는 제1 화상의 개개의 화소의 특징량을 입력으로 한 경우에 있어서의 판별기(51)의 출력이 정답인지 여부를 양호한 정밀도로 판정할 수 있고, 판별기(51)의 학습을 양호한 정밀도로 행할 수 있다. 또, 이와 같이 학습이 이루어진 판별기(51)를 이용함으로써, 메니스커스의 영향이 존재하는 촬영 화상이어도, 촬영 화상에 포함되는 관찰 대상(S)의 상태를 양호한 정밀도로 판별할 수 있다.
또한, 상기 실시형태에 있어서는, 결상 광학계(30)에 의하여 결상된 촬영 화상을 촬상부(40)에 의하여 촬상하도록 했지만, 촬상부(40)를 마련하지 않고, 결상 광학계(30)에 의하여 결상된 관찰 대상(S)의 촬영 화상을 유저가 직접 관찰할 수 있도록 관찰 광학계 등을 마련하도록 해도 된다.
또, 상기 실시형태에 있어서는, 본 발명을 위상차 현미경에 적용했지만, 본 발명은, 위상차 현미경에 한정하지 않고, 미분 간섭 현미경 및 명시야 현미경 등의 그 외의 현미경에 적용할 수 있다.
또, 상기 실시형태에 있어서는, 교사 데이터로서 제2 화상에 대하여 관찰 대상(S)의 상태에 따른 라벨을 부여한 화상을 이용하고 있지만, 제2 화상 그 자체를 교사 데이터로서 이용해도 된다.
상기 실시형태에 의하면, 제2 화상은 메니스커스(M)의 영향이 제거되어 있기 때문에, 제2 화상에 있어서는, 용기에 포함되는 관찰 대상(S)의 상태가 명확하게 나타나 있다. 또, 교사 데이터(T0)는 제2 화상에 근거하여 생성되어 있기 때문에, 교사 데이터(T0)에 있어서도, 관찰 대상(S)의 상태가 명확하게 나타나 있다. 한편, 제1 화상은 메니스커스(M)의 영향이 존재하기 때문에, 관찰 대상(S)의 상태가 명확하게 나타나 있지 않지만, 제1 화상과 교사 데이터(T0)를 대응지으면, 제1 화상의 개개의 화소 위치에 있어서의 관찰 대상(S)의 상태를 명확하게 식별할 수 있다. 따라서, 제1 화상 및 교사 데이터(T0)에 근거하여 판별기(51)를 학습함으로써, 제1 화상의 판별 대상의 화소 위치의 특징량을 입력으로 한 경우에 있어서의, 판별기(51)의 판별 결과가 정답인지 여부를 양호한 정밀도로 판정할 수 있다. 따라서, 판별기(51)의 학습을 양호한 정밀도로 행할 수 있다. 또, 이와 같이 학습이 이루어진 판별기(51)를 이용함으로써, 촬영 화상에 포함되는 관찰 대상(S)의 상태를 양호한 정밀도로 판별할 수 있다.
1 현미경 장치
2 현미경 제어 장치
3 입력 장치
4 표시 장치
10 조명광 조사부
11 백색 광원
12 슬릿판
13 콘덴서 렌즈
14 광로 보정 렌즈
14a 볼록면
14b 오목면
21 제어부
22 화상 평가 장치
30 결상 광학계
31 대물 렌즈
32 위상판
33 결상 렌즈
40 촬상부
50 화상 취득부
51 판별기
52 학습 장치
53 교사 데이터 생성부
54 학습부
60 배양 용기
61 스테이지
62 영역
63 투명판
70 웰 플레이트
71 웰
75 주사 개시점
76 주사 종료점
77 주사 궤적을 나타내는 실선
A0, A1, A2, A3, A4 화살표
C 배양액
M 메니스커스
P 설치면
R1 메니스커스 영역
R2 비메니스커스 영역
S 관찰 대상
T0 교사 데이터

Claims (11)

  1. 표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상함으로써 취득된, 상기 메니스커스의 영향이 존재하는 촬영 화상에 근거하여, 상기 관찰 대상의 상태를 판별하는 판별기의 학습 장치로서,
    동일한 상기 관찰 대상에 대한, 상기 메니스커스의 영향이 존재하는 제1 화상 및 상기 메니스커스의 영향이 제거된 제2 화상을 취득하는 화상 취득부와,
    상기 제2 화상에 근거하여, 상기 판별기를 학습시키기 위한 교사 데이터를 생성하는 교사 데이터 생성부와,
    상기 제1 화상 및 상기 교사 데이터에 근거하여, 상기 판별기를 학습시키는 학습부를 구비한 판별기의 학습 장치.
  2. 청구항 1에 있어서,
    상기 제2 화상이, 상기 액체를 제거한 상기 관찰 대상을 촬상함으로써 취득되는 판별기의 학습 장치.
  3. 청구항 1에 있어서,
    상기 제2 화상이, 상기 액체로 채워지고 또한 투명판에 의하여 밀폐된 상기 용기에 있어서의 상기 관찰 대상을 촬상함으로써 취득되는 판별기의 학습 장치.
  4. 청구항 1에 있어서,
    상기 제2 화상이, 상기 메니스커스의 영향을 제거하는 광학 소자를 구비한 촬영 장치에 의하여 상기 관찰 대상을 촬상함으로써 취득되는 판별기의 학습 장치.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 교사 데이터 생성부는, 상기 제2 화상에 대하여 상기 관찰 대상의 상태에 따른 라벨을 부여한 화상, 또는 상기 제2 화상을, 상기 교사 데이터로서 생성하는 판별기의 학습 장치.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 판별기는, 상기 촬영 화상에 있어서의 판별 대상이 되는 화소의 특징량을 입력으로 하여, 상기 판별 대상이 되는 화소에 대한 상기 관찰 대상의 상태의 판별 결과를 출력하는 판별기의 학습 장치.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    상기 촬영 화상은, 위상차 현미경에 의하여 상기 용기를 촬상함으로써 취득되어 이루어지는 판별기의 학습 장치.
  8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
    상기 학습부는, 상기 제1 화상에 있어서의 판별 대상 화소에 대하여 상기 판별기가 출력한 판별 결과를 상기 교사 데이터에 있어서의 상기 판별 대상 화소에 대응하는 화소와 대조하여, 상기 판별기를 학습시키는 판별기의 학습 장치.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 기재된 판별기의 학습 장치에 의하여 학습이 이루어진 판별기.
  10. 표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상함으로써 취득된, 상기 메니스커스의 영향이 존재하는 촬영 화상에 근거하여, 상기 관찰 대상의 상태를 판별하는 판별기의 학습 방법으로서,
    동일한 상기 관찰 대상에 대한, 상기 메니스커스의 영향이 존재하는 제1 화상 및 상기 메니스커스의 영향이 제거된 제2 화상을 취득하고,
    상기 제2 화상에 근거하여, 상기 판별기를 학습시키기 위한 교사 데이터를 생성하며,
    상기 제1 화상 및 상기 교사 데이터에 근거하여, 상기 판별기를 학습시키는 판별기의 학습 방법.
  11. 표면에 메니스커스가 형성된 액체 및 관찰 대상이 수용된 용기를 촬상함으로써 취득된, 상기 메니스커스의 영향이 존재하는 촬영 화상에 근거하여, 상기 관찰 대상의 상태를 판별하는 수순을 컴퓨터에 실행시키는 판별기의 학습 프로그램으로서,
    동일한 상기 관찰 대상에 대한, 상기 메니스커스의 영향이 존재하는 제1 화상 및 상기 메니스커스의 영향이 제거된 제2 화상을 취득하는 수순과,
    상기 제2 화상에 근거하여, 상기 판별기를 학습시키기 위한 교사 데이터를 생성하는 수순과,
    상기 제1 화상 및 상기 교사 데이터에 근거하여, 상기 판별기를 학습시키는 수순을 컴퓨터에 실행시키는 판별기의 학습 프로그램.
KR1020207003281A 2017-08-25 2018-06-06 판별기의 학습 장치, 방법 및 프로그램과, 판별기 KR20200019250A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017162052 2017-08-25
JPJP-P-2017-162052 2017-08-25
PCT/JP2018/021742 WO2019039035A1 (ja) 2017-08-25 2018-06-06 判別器の学習装置、方法およびプログラム、並びに判別器

Publications (1)

Publication Number Publication Date
KR20200019250A true KR20200019250A (ko) 2020-02-21

Family

ID=65438622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207003281A KR20200019250A (ko) 2017-08-25 2018-06-06 판별기의 학습 장치, 방법 및 프로그램과, 판별기

Country Status (5)

Country Link
US (1) US11328522B2 (ko)
EP (1) EP3674686B1 (ko)
JP (1) JP6718024B2 (ko)
KR (1) KR20200019250A (ko)
WO (1) WO2019039035A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230037388A (ko) 2021-09-09 2023-03-16 강릉친환경학교급식 협동조합 기능성 커피 김치 및 이의 제조방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11686721B2 (en) * 2018-03-20 2023-06-27 Shimadzu Corporation Cell image analysis apparatus, cell image analysis system, method of generating training data, method of generating trained model, training data generation program, and method of producing training data
JP7006833B2 (ja) * 2019-03-20 2022-01-24 株式会社島津製作所 細胞解析装置
US20230095577A1 (en) * 2020-03-05 2023-03-30 Sony Group Corporation Microscope device, image acquisition system, and image acquisition method
US20230169647A1 (en) * 2020-05-15 2023-06-01 Sony Group Corporation Information processing apparatus, information processing method, and information processing system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013128438A (ja) 2011-12-21 2013-07-04 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3849420B2 (ja) * 2000-11-20 2006-11-22 住友化学株式会社 界面計測装置
US7804832B2 (en) * 2006-02-13 2010-09-28 Cisco Technology, Inc. Method and system for simplified network wide traffic and/or flow monitoring in a data network
WO2010098105A1 (ja) * 2009-02-26 2010-09-02 国立大学法人名古屋大学 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム
EP2457989B1 (en) 2009-07-21 2020-11-18 Kyoto University Image processing device, culture observation apparatus, and image processing method
JP2013174823A (ja) * 2012-02-27 2013-09-05 Olympus Corp 画像処理装置、顕微鏡システム、及び画像処理方法
US9710695B2 (en) * 2013-03-15 2017-07-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
WO2016019347A1 (en) * 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
JP6490365B2 (ja) * 2014-08-29 2019-03-27 株式会社エヌテック 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
JP6389721B2 (ja) * 2014-09-30 2018-09-12 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置および撮像方法
JP6380983B2 (ja) * 2014-11-26 2018-08-29 富士フイルム株式会社 位相差顕微鏡
WO2016120757A1 (en) * 2015-01-27 2016-08-04 Ecole Polytechnique Federale De Lausanne (Epfl) Observation device with optical compensation
JP6411294B2 (ja) 2015-06-30 2018-10-24 富士フイルム株式会社 位相差顕微鏡および撮像方法
JP6513507B2 (ja) 2015-06-30 2019-05-15 富士フイルム株式会社 位相差顕微鏡および撮像方法
JP6660712B2 (ja) * 2015-11-10 2020-03-11 株式会社Ｓｃｒｅｅｎホールディングス 分類器構成方法および細胞の生死判定方法
JP6594223B2 (ja) * 2016-02-22 2019-10-23 富士フイルム株式会社 位相差顕微鏡および撮像方法
WO2017163378A1 (ja) * 2016-03-24 2017-09-28 株式会社ニコン 培養容器
CN109417602B (zh) * 2016-07-13 2020-12-22 株式会社斯库林集团 图像处理方法、图像处理装置、摄像装置及摄像方法
JP6667419B2 (ja) 2016-11-09 2020-03-18 富士フイルム株式会社 撮像装置および方法並びに撮像制御プログラム
US10255693B2 (en) * 2017-05-02 2019-04-09 Techcyte, Inc. Machine learning classification and training for digital microscopy images
US10733744B2 (en) * 2017-05-11 2020-08-04 Kla-Tencor Corp. Learning based approach for aligning images acquired with different modalities

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013128438A (ja) 2011-12-21 2013-07-04 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230037388A (ko) 2021-09-09 2023-03-16 강릉친환경학교급식 협동조합 기능성 커피 김치 및 이의 제조방법

Also Published As

Publication number Publication date
EP3674686A1 (en) 2020-07-01
JP6718024B2 (ja) 2020-07-08
US20200160027A1 (en) 2020-05-21
US11328522B2 (en) 2022-05-10
EP3674686B1 (en) 2023-11-01
EP3674686A4 (en) 2020-08-12
WO2019039035A1 (ja) 2019-02-28
JPWO2019039035A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
KR20200019250A (ko) 판별기의 학습 장치, 방법 및 프로그램과, 판별기
US20200404186A1 (en) Defocus amount measuring device, defocus amount measuring method, defocus amount measuring program, and discriminator
KR102135523B1 (ko) 촬영 장치 및 방법과 촬영 제어 프로그램
KR102236184B1 (ko) 현미경 장치 및 관찰 방법과, 현미경 장치 제어 프로그램
KR102103663B1 (ko) 촬영 장치 및 방법과 촬영 장치 제어 프로그램
WO2018061756A1 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6785947B2 (ja) 細胞画像評価装置および方法並びにプログラム
KR102157450B1 (ko) 관찰 장치 및 방법과, 관찰 장치 제어 프로그램
KR102116199B1 (ko) 관찰 장치 및 방법과 관찰 장치 제어 프로그램
KR102066807B1 (ko) 세포 관찰 장치 및 방법
US11127180B2 (en) Image processing apparatus, method, and program
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JPWO2020071499A1 (ja) フォーカス位置評価装置、方法、及びプログラム
EP3726273A1 (en) Observation device, observation method, and observation program
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
WO2019044416A1 (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP2016161610A (ja) 撮像装置および方法
JP2022001889A (ja) フォーカス位置評価装置、方法及びプログラム、並びに判別器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application