KR102439441B1 - 세포 선별 장치 및 방법 - Google Patents

세포 선별 장치 및 방법 Download PDF

Info

Publication number
KR102439441B1
KR102439441B1 KR1020200174709A KR20200174709A KR102439441B1 KR 102439441 B1 KR102439441 B1 KR 102439441B1 KR 1020200174709 A KR1020200174709 A KR 1020200174709A KR 20200174709 A KR20200174709 A KR 20200174709A KR 102439441 B1 KR102439441 B1 KR 102439441B1
Authority
KR
South Korea
Prior art keywords
model
cell
learning model
value
learning
Prior art date
Application number
KR1020200174709A
Other languages
English (en)
Other versions
KR20220084838A (ko
Inventor
김도현
김성원
곽승기
전정호
이재선
이승철
김규원
Original Assignee
가톨릭대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020200174709A priority Critical patent/KR102439441B1/ko
Priority to PCT/KR2021/017471 priority patent/WO2022131607A1/ko
Priority to US18/021,470 priority patent/US20230334882A1/en
Publication of KR20220084838A publication Critical patent/KR20220084838A/ko
Application granted granted Critical
Publication of KR102439441B1 publication Critical patent/KR102439441B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G06K9/6278—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Hybrid Cells (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 세포 선별 장치 및 방법에 관한 것으로서, 특히 세포를 촬영한 영상 데이터로부터 전처리된 이미지를 인공 지능을 이용하여 세포들의 균질성을 기반으로 세포를 분류하고, 분류 결과에 중요한 영향을 준 부분을 표시해줌으로써, 세포 선별의 정확도를 높일 수 있는 장치를 제공할 수 있다. 또한, 세포 분류 근거를 시각화함으로써 신뢰할 수 있는 선별 근거를 제공할 수 있다.

Description

세포 선별 장치 및 방법{APPARATUS AND METHOD FOR CELL SELECTION}
본 실시 예들은 세포 선별 장치 및 방법을 제공한다.
인공 신경망을 이용한 이미지 분석 기술이 향상됨에 따라 의료 분야에서 영상 및 병리 조직 이미지에 접목하려는 시도가 다양하게 이루어지고 있다. 특히, 인공지능을 이용한 분석 방법을 이용하여 이미지에서 패턴을 인식하여 학습을 진행하고, 선별을 해내는 인공지능 방식이 영상의학을 비롯한 여러 의학 분야에 적용되기 시작하고 있다.
최근에는 줄기 세포의 연구가 진행되면서 많은 줄기 세포원들이 개발됨에 따라 줄기 세포를 이용한 세포 치료 제제도 개발되어 임상에 사용되고 있다. 하지만, 같은 표준화된 프로토콜을 이용하여 생산된 줄기 세포라 할지라도, 세포 제공원에 따라 증식이나 분화 및 효능에서 차이을 보일 수 있다. 따라서 줄기 세포 치료제는 효능 제어 및 평가에 한계가 있다. 또한, 개별 세포에 대한 분석은 많은 돈과 시간이 소요되며, 분석된 결과와 실제 임상 결과가 일치하지 않은 경우가 많다는 문제점이 있다.
따라서, 줄기세포를 실용화하는 측면에 있어서 기능성 줄기세포를 선별하고, 선별한 줄기세포의 분화 결과 및 세포치료제로서의 효능이 잘 일치하는지 평가하는 과정은 매우 중요하다. 이에 줄기 세포를 이용한 세포 치료 제제 생산 분야에 있어서 획기적인 기반을 마련할 수 있는 인공지능을 활용한 세포 선별 기술을 필요로 하고 있다.
이러한 배경에서, 본 실시 예들은 인공 지능을 이용하여 세포들의 균질성을 기반으로 세포를 분류할 수 있는 세포 선별 장치 및 방법을 제공할 수 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시 예는, 세포 선별 장치에 있어서, 세포를 촬영한 영상 데이터로부터 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절하고, 사이즈가 조절된 세포 이미지를 HSV 색 공간(Hue, Saturation, value model)으로 변환하여 명도(value) 값을 보정하고 픽셀 값을 정규화하여 학습 데이터를 생성하는 전처리부, 사전 학습된(pre-trained) 제 1 학습 모델로부터 전이 학습에 이용될 제2 학습 모델을 생성하는 모델 생성부, 세포 이미지로부터 제2 학습 모델을 이용하여 세포의 균질성을 판단하고, 이를 기준으로 고기능성(positive)세포와 저기능성(Negative)세포로 분류하는 세포 분류부 및 분류 결과에 기초하여 세포 이미지에 분류 기준이 된 부분을 표시하여 출력하는 시각화부를 포함하는 세포 선별 장치를 제공한다.
다른 측면에서, 본 실시 예는 세포 선별 방법에 있어서, 세포를 촬영한 영상 데이터로부터 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절하고, 사이즈가 조절된 세포 이미지를 HSV 색 공간으로 변환하여 명도(value) 값을 보정하고 픽셀 값을 정규화하여 학습 데이터를 생성하는 전처리 단계, 사전 학습된(pre-trained) 제 1 학습 모델로부터 전이 학습에 이용될 제2 학습 모델을 생성하는 모델 생성 단계, 세포 이미지로부터 제2 학습 모델을 이용하여 세포의 균질성을 판단하고, 이를 기준으로 고기능성(positive)세포와 저기능성(Negative)세포로 분류하는 세포 분류 단계 및 분류 결과에 기초하여 세포 이미지에 분류 기준이 된 부분을 표시하여 출력하는 시각화 단계를 포함하는 것을 특징으로 하는 세포 선별 방법을 제공한다.
본 실시 예들에 의하면, 본 실시 예들은 인공 지능을 이용하여 세포들의 균질성을 기반으로 세포를 분류할 수 있는 세포 선별 장치 및 방법을 제공할 수 있다.
도 1은 본 개시가 적용될 수 있는 시스템 구성을 예시적으로 도시한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 세포 선별 장치의 구성을 도시한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 질병의 개선 기능의 차이를 보이는 2개의 세포원을 설명하는 예시를 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 세포 선별 장치에서 전처리부의 동작을 설명하는 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 세포 선별 장치에서 모델 생성부의 동작을 설명하는 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 세포 선별 장치에서 세포를 분류하고 모델을 검증하는 동작을 설명하는 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 2개의 세포원으로부터 모델의 성능 확인을 위한 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 세포 선별 장치에서 시각화 알고리즘을 이용한 모델 해석을 설명하는 예시를 도시한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 세포 선별 장치에서 교차 검증을 설명하는 예시를 도시한 도면이다.
도 10은 본 개시의 다른 실시 예에 따른 세포 선별 방법의 흐름도이다.
본 개시는 세포 선별 장치 및 방법에 관한 것이다.
이하, 본 개시의 일부 실시 예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시 예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.
구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.
본 명세서에서의 in vivo 실험은 생체 내에서의 시험으로 일반적으로 살아 있는 세포 안에서 직접 생화학, 생물학 실험 등을 하는 것을 의미할 수 있다. 예를 들어, in vivo 실험은 쥐, 토끼, 개 등 살아 있는 동물에 실험을 하는 경우일 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시가 적용될 수 있는 시스템 구성을 예시적으로 도시한 도면이다.
도 1을 참조하면, 본 개시는 세포 선별 방법을 제공하는 시스템에 관한 것으로, 세포 선별 장치(110) 및 서버(100)에 구현될 수 있다.
세포 선별 장치(110)는, 일반적인 데스크 탑이나 노트북 등의 일반 PC를 포함하고, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기 등을 포함할 수 있으며, 이에 제한되지 않고, 서버(100)와 통신 가능한 어떠한 전자 기기로 폭넓게 해석되어야 할 것이다.
서버(100)는 하드웨어적으로는 통상적인 웹 서버(Web Server) 또는 웹 어플리케이션 서버(Web Application Server) 또는 웹 서버(WAP Server)와 동일한 구성을 하고 있다. 그러나, 소프트웨어적으로는, 아래에서 상세하게 설명할 바와 같이, C, C++, Java, PHP, .Net, Python, Ruby 등 여하한 언어를 통하여 구현되어 여러 가지 기능을 하는 프로그램 모듈(Module)을 포함할 수 있다.
또한, 서버(100)는 네트워크를 통하여 불특정 다수 클라이언트(장치(110)를 포함) 및/또는 다른 서버와 연결될 수 있는데, 이에 따라, 서버(100)는 클라이언트 또는 다른 서버의 작업수행 요청을 접수하고 그에 대한 작업 결과를 도출하여 제공하는 컴퓨터 시스템 또는 이러한 컴퓨터 시스템을 위하여 설치되어 있는 컴퓨터 소프트웨어(서버 프로그램)를 뜻하는 것일 수도 있다.
또한, 서버(100)는 전술한 서버 프로그램 이외에도, 서버(100) 상에서 동작하는 일련의 응용 프로그램(Application Program)과, 경우에 따라서는 내부 또는 외부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다.
여기서, 데이터베이스는, 서버 또는 다른 장치 등에 의해 사용될 목적으로 정보나 자료 등의 데이터가 구조화되어 관리되는 데이터의 집합체를 의미할 수 있으며, 이러한 데이터의 집합체를 저장하는 저장매체를 의미할 수도 있다.
또한, 이러한 데이터베이스는 데이터의 구조화 방식, 관리 방식, 종류 등에 따라 분류된 복수의 데이터베이스를 포함하는 것일 수도 있다. 경우에 따라서, 데이터베이스는 정보나 자료 등을 추가, 수정, 삭제 등을 할 수 있도록 해주는 소프트웨어인 데이터베이스 관리시스템(Database Management System, DBMS)을 포함할 수도 있다.
또한, 서버(100)는 콘텐츠, 각종 정보 및 데이터를 데이터베이스에 저장시키고 관리할 수 있다. 여기서, 데이터베이스는 서버(100)의 내부 또는 외부에 구현될 수 있다.
또한, 서버(100)는 일반적인 서버용 하드웨어에 도스(DOS), 윈도우(windows), 리눅스(Linux), 유닉스(UNIX), 매킨토시(Macintosh) 등의 운영체제에 따라 다양하게 제공되고 있는 서버 프로그램을 이용하여 구현될 수 있으며, 대표적인 것으로는 윈도우 환경에서 사용되는 웹 사이트(Website), IIS(Internet Information Server)와 유닉스환경에서 사용되는 Apache, Nginx, Light HTTP 등이 이용될 수 있다.
한편, 네트워크(120)는 서버(100)와 세포 선별 장치(110)를 연결해주는 망(Network)으로서, LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크(120)일 수도 있으나, 인터넷(Internet)과 같은 개방형 네트워크(120)일 수도 있다. 여기서, 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미한다.
간략하게 전술한 본 개시의 일 실시 예에 따른 세포 선별 장치 및 방법에 대하여, 이하에서 더욱 상세하게 설명한다.
도 2는 본 개시의 일 실시 예에 따른 세포 선별 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 개시의 일 실시 예에 따른 세포 선별 장치(110)는, 세포를 촬영한 영상 데이터로부터 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절하고, 사이즈가 조절된 세포 이미지를 HSV 색 공간(Hue, Saturation, value model)으로 변환하여 명도(value) 값을 보정하고 픽셀 값을 정규화하여 학습 데이터를 생성하는 전처리부(210), 사전 학습된(pre-trained) 제 1 학습 모델로부터 전이 학습을 이용하여 제2 학습 모델을 생성하는 모델 생성부(220), 세포 이미지로부터 제2 학습 모델을 이용하여 세포의 균질성을 판단하고, 이를 기준으로 고기능성(positive)세포와 저기능성(Negative)세포로 분류하는 세포 분류부(230) 및 분류 결과에 기초하여 세포 이미지에 분류 기준이 된 부분을 표시하여 출력하는 시각화부(240)를 포함하는 세포 선별 장치(110)를 제공한다.
전처리부(210)는 세포를 촬영한 영상 데이터로부터 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절할 수 있다. 예를 들어, 전처리부(210)는 광학현미경 자동 촬영 시스템을 이용하여 세포 이미지를 획득할 수 있다. 또한, 전처리부(210)는 획득한 이미지의 사이즈를 미리 설정된 사이즈로 조절하여, 큰 사이즈로 인해 학습 시간이 기하적으로 늘어나는 것을 방지할 수 있다.
전처리부(210)는 세포 이미지를 HSV 색 공간(Hue, Saturation, value model)으로 변환하여 명도(value) 값을 보정할 수 있다. 예를 들어, 전처리부(210)는 HSV 색 공간으로 변환된 세포 이미지에서 명도 값을 기준으로 미리 설정된 수치 이상을 제거하고 평균을 특정 값에 맞추도록 보정할 수 있다. 이를 통해, 전처리부(210)는 자동 촬영 시스템에서 얻은 이미지의 밝기를 일정하게 조정함으로써 자세한 세포 관찰이 가능하게 해줄 수 있다.
전처리부(210)는 픽셀 값을 정규화하여 학습 데이터를 생성할 수 있다. 일 예로, 전처리부(210)는 세포 이미지의 픽셀 값을 0에서 1 사이로 정규화하여 학습 데이터의 범위를 제한할 수 있다. 예를 들면, 전처리부(210)는 각 픽셀 값을 평균만큼 차감하고 표준 편차 값으로 나누어 정규화할 수 있다. 또는 전처리부(210)는 각각의 픽셀 값으로부터 픽셀 값 중 최소값만큼 감소시킨 후, 픽셀 값 중 최대값과 최소값의 차로 나눈 값으로 산출하여 정규화할 수 있다. 이는 각 차원의 데이터가 동일한 범위 내의 값을 갖도록 함으로써 학습을 더 빨리하고 지역 최적의 상태에 빠지게 될 가능성을 줄이는 효과를 제공할 수 있다.
모델 생성부(220)는 사전 학습된(pre-trained) 제 1 학습 모델로부터 전이 학습을 이용하여 제2 학습 모델을 생성할 수 있다. 일 예로, 모델 생성부(220)는 방대한 양의 이미지로 사전 학습된 제 1 학습 모델을 전이 학습(transfer learning) 기법을 이용하여 세포 이미지를 학습시킬 수 있다. 예를 들면, 전이 학습에 이용되는 사전 학습된 제 1 학습 모델은 큰 사이즈의 합성곱 신경망(Convolutional Neural Networks, CNN)구조 일 수 있다. 구체적으로 모델 생성부(220)는 제 1 학습 모델로부터 마지막 층(Fully Connected layer)을 제외한 제 1 학습 모델의 가중치를 고정하고, 마지막 층의 가중치를 조정하여 제2 학습 모델을 생성할 수 있다. 또한, 모델 생성부(220)는 베이지안 최적화(Bayesian Optimization) 알고리즘을 이용하여 제2 학습 모델의 하이퍼 파라미터를 설정할 수 있다.
세포 분류부(230)는 세포 이미지로부터 제2 학습 모델을 이용하여 세포의 균질성을 판단하고, 이를 기준으로 고기능성(positive)세포와 저기능성(Negative)세포로 분류할 수 있다. 일 예로, 세포 분류부(230)는 세포 이미지에 포함된 기능적 세포로 유추되는 특정 단일 세포의 수로 세포의 균질성을 판단할 수 있다.
시각화부(240)는 분류 결과에 기초하여 세포 이미지에 분류 기준이 된 부분을 표시하여 출력할 수 있다. 일 예로, 시각화부(240)는 제2 학습 모델의 분류 결과에 기초하여 복수의 시각화 알고리즘 중 적어도 하나의 알고리즘을 이용하여 분류 기준이 된 부분을 표시하고, 제2 학습 모델의 적합성을 판단할 수 있다. 예를 들어, 시각화부(240)는 시각화 알고리즘을 이용하여 제 2 학습 모델이 어느 부분을 보고 고기능성(positive)세포 또는 저기능성(Negative)세포로 분류했는지 표시할 수 있다.
모델 검증부(250)는 제 2 학습 모델의 하이퍼 파라미터를 설정하기 위해 추가로 검증할 수 있다. 예를 들어, 모델 검증부(250)는 학습 데이터를 K개의 그룹으로 나누고 그룹 중에서 1개의 그룹을 추출하여 검증 세트로 이용하고, 나머지 그룹은 학습 세트로 이용하는 검증 과정을 수행할 수 있다. 또한 모델 검증부(250)는 검증 과정을 K번 반복하여 나온 결과 값을 기준으로 제2 학습 모델의 교차 검증을 수행할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 질병의 개선 기능의 차이를 보이는 2개의 세포원을 설명하는 예시를 도시한 도면이다.
도 3을 참조하면, 류마티스 질환의 질병 개선 기능의 차이를 보이는 2개의 세포원을 설명할 수 있다. 예를 들어, 전처리부(210)는 in vivo 실험을 통하여 대표적인 자가면역 질환인 류마티스 질환 질병의 개선 (immune modulation 효과) 기능의 차이를 보이는 2개의 hNTSCs(human neural crest derived stem cells) 세포원으로부터 광학현미경 자동 촬영 시스템을 이용하여 영상을 획득할 수 있다.
예를 들면, 각각의 세포는 실험을 통하여 류마티스 치료 효과를 확인할 수 있다. 실험은 마우스 다리에 CIA(collagen induced arthritis)를 유발시킨 뒤 개체 별 증상 정도(Arthritis score)를 측정하여 날짜별로 hNTSCs의 류마티스 치료효과를 확인할 수 있다. 실험 결과, donor #9(310)는 세번의 반복 투여 진행 시 대조군(PBS) 보다 증상이 완화됨을 확인할 수 있다. 반면에 donor #460(320)는 대조군(PBS) 보다 증상이 심해지는 것을 확인할 수 있다. 따라서 세포주마다 치료제로서 효능의 차이가 있음을 확인할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 세포 선별 장치에서 전처리부의 동작을 설명하는 예시를 도시한 도면이다.
도 4를 참조하면, 본 개시의 일 실시 예에 따른 세포 선별 장치의 전처리부(210)는 세포를 촬영한 영상 데이터로부터 세포 이미지를 추출할 수 있다(S410). 여기서, 세포는 hNTSCs(human neural crest derived stem cells) 세포원으로 자가면역 질환인 류마티스 질환 질병의 개선 (immune modulation 효과) 기능의 차이를 보이는 세포일 수 있다. 구체적으로 세포는 alpha-MEM (10% FBS, 1% AA) 배지, 30℃, 5% CO2 incubator에 배양을 통해 충분한 양의 세포 수를 확보한 후 6 well plate에 1 well 당 3ⅹ104 세포를 배양하여 획득할 수 있다. 또한, 전처리부(210)는 광학현미경 자동 촬영 시스템을 이용하여 세포를 촬영할 수 있고, 광학현미경 자동 촬영 시스템은 Live cell imaging 장비일 수 있다. 다만, 촬영 시스템은 일 예로, 이에 한정되지 않는다.
전처리부(210)는 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절할 수 있다(S420). 예를 들어, 전처리부(210)는 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈인 226X306으로 조절할 수 있다. 이는 이미지 사이즈가 큰 경우, 모델의 학습 시간이 기하적으로 늘어나기 때문에 이를 방지하기 위함이다. 다만, 본 명세서에서는 224×306의 사이즈를 기준으로 설명하나 이에 한정되는 것은 아니다.
전처리부(210)는 세포 이미지를 HSV 색 공간(Hue, Saturation, value model)으로 변환하여 명도(value) 값을 보정할 수 있다(S430). HSV 색 공간(Hue, saturation, value model)은 색을 표현하는 하나의 방법이자, 그 방법에 따라 색을 배치하는 방식일 수 있다. 예를 들어, 전처리부(210)는 세포 이미지를 색상(Hue), 채도(Saturation), 명도(value)의 좌표를 써서 특정한 색을 지정하는 HSV 색 공간으로 변환할 수 있다.
예를 들어, 전처리부(210)는 변환된 HSV 색 공간에서 일정 수치 이상의 명도 값을 제거하고, 명도 값의 평균을 190에 맞추도록 보정할 수 있다. 다만 명도 값의 평균은 190은 일 예로, 이에 한정되지 않는다. 전처리부(210)는 명도 값을 보정함으로써, 자동 촬영 시스템에서 얻은 이미지의 밝기가 일정하지 않아 발생하는 모델 성능 저하를 방지할 수 있다.
전처리부(210)는 픽셀 값을 정규화하여 학습 데이터를 생성할 수 있다(S440). 예를 들어, 전처리부(210)는 픽셀 값을 0에서 1 사이로 정규화하여 학습 데이터를 생성할 수 있다. 구체적인 예를 들어, 전처리부(210)는 0에서 255 사이의 값을 가지는 이미지의 픽셀 값을 0에서 1사이의 값으로 변환할 수 있다. 전처리부(210)는 각각의 픽셀 값으로부터 픽셀 값 중 최소값만큼 감소시킨 후, 픽셀 값 중 최대값과 최소값의 차로 나눈 값으로 정규화할 수 있다. 또는, 전처리부(210)는 각각의 픽셀 값으로부터 픽셀 값의 평균만큼 감소시킨 후, 픽셀 값의 표준 편차로 나눈 값으로 정규화할 수 있다. 즉, 정규화는 데이터 범위를 사용자가 원하는 범위로 제한함으로써, 학습을 더 빨리하고 Local optimum(minimum)에 빠지는 것을 방지할 수 있다.
또한, 전처리부(210)에서 생성한 학습 데이터는 Training Dataset, Validation Dataset, Test Dataset가 포함될 수 있다. 여기서 Training Dataset은 모델을 만드는데 사용하는 실제 데이터일 수 있고, Validation Dataset은 학습 데이터로 만든 모델이 잘 예측하는지 성능을 평가하기 위한 데이터일 수 있다. 또한, Test Dataset은 최종적으로 선택된 모델이 충분한 정확도로 일반화시킬 수 있는 모델인지 확인하기 위해 필요한 데이터일 수 있고, label이 없는 상태로 모델이 예측한 accuracy를 최종 accuracy로 측정하게 될 수 있다. 구체적인 예를 들어, 전처리부(210)에서 생성한 학습 데이터는 모델 학습 및 평가를 진행하기 위한 2개의 hNTSCs 세포원(고기능성 1 cell line / 저기능성 1 cell line)과 모델의 일반화 성능을 확인하기 위해 학습에 사용되지 않은 8개의 hNTSCs 세포원(고기능성 3 cell lines / 저기능성 5 cell lines)으로 구성될 수 있다.
도 5는 본 개시의 일 실시 예에 따른 세포 선별 장치에서 모델 생성부의 동작을 설명하는 예시를 도시한 도면이다.
도 5를 참조하면, 본 개시의 일 실시 예에 따른 세포 선별 장치의 모델 생성부(220)는 사전 학습된(pre-trained) 제 1 학습 모델을 선택할 수 있다(S510). 일 예로, 모델 생성부(220)는 사이즈가 큰 데이터로 사전 학습된 모델을 전이 학습(transfer learning)에 이용될 기반 모델인 제 1 학습 모델로 사용할 수 있다. 이 때, 사전 학습된 모델은 특징 추출 계층과 분류 계층을 포함하는 기계 학습 모델로 합성곱 신경망(CNN, Convolutional Neural Network)을 사용하여 구축된 모델일 수 있다. 여기서, 특징 추출 계층은 합성곱 연산을 통해 입력된 이미지에서 특징 맵(feature map) 또는 액티베이션 맵(activation map)을 추출하는 층(layer)일 수 있다. 또한, 분류 계층은 소프트맥스(softmax) 등의 연산을 통해 특징 맵을 종합하여 이미지의 카테고리를 분류하는 층(layer)일 수 있다. 다만, 합성곱 신경망은 일 예를 설명한 것으로, DHN(Deep Hierarchical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등일 수 있으며, 본 개시는 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 신경망 알고리즘을 제 1 학습 모델로 사용할 수 있다.
예를 들면, 모델 생성부(220)는 ImageNet Large Scale Visual Recognition Challenge (ILSVRC)라는 이미지 인식 대회에서 나온 대표적인 알고리즘 중 DenseNet121, InceptionV3, ResNet50V2, VGG19, Xception이라는 5개의 사전 학습된(pre-trained) 모델을 제 1 학습 모델로 사용할 수 있다.
모델 생성부(220)는 사전 학습된(pre-trained) 제 1 학습 모델을 전이학습(transfer learning)할 수 있다(S520). 전이 학습은 특정 분야에서 학습된 모델의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 모델의 학습에 이용하는 것을 의미할 수 있다. 일 예로, 모델 생성부(220)는 제 1 학습 모델의 마지막 층(Fully Connected layer)을 제외한 특징 추출 계층들은 고정하여 학습하지 않고, 마지막 층만 학습할 수 있다. 예를 들어, 모델 생성부(220)는 사전 학습된 제 1 학습 모델의 가중치가 고정되어 학습되지 않도록 하고, 마지막 층(Fully Connected layer)의 입력 데이터 수와 출력하고자 하는 분류 개수에 기초하여 새로 생성한 층(layer)로 마지막 층을 교체할 수 있다.
다른 일 예로, 모델 생성부(220)는 학습 데이터의 크기와 유사성을 기반으로 제 1 학습 모델을 미세 조정할 수 있다. 구체적인 예를 들어, 모델 생성부(220)는 학습 데이터의 크기와 유사성이 작은 경우에는 제 1 학습 모델의 특징 추출 계층 중 일부 계층을 더 포함하여 학습시킬 수도 있다. 또는, 모델 생성부(220)는 학습 데이터의 크기가 크고 유사성이 작은 경우에는 제 1 학습 모델의 구조와 파라미터들만을 가지고 새로 학습시킬 수도 있다. 또는, 모델 생성부(220)는 학습 데이터의 크기가 작지만 유사성이 큰 데이터의 경우에는 제 1 학습 모델의 마지막 층만 학습시킬 수 있다.
모델 생성부(220)는 제 1 학습 모델로부터 전이 학습을 이용하여 제 2 학습 모델을 생성할 수 있다(S530). 예를 들어, 모델 생성부(220)는 사전 학습된 제 1 학습 모델을 학습 데이터의 크기와 유사성을 기반으로 결정된 전이 학습의 정도에 따라 학습하여 제 2 학습 모델을 생성할 수 있다.
모델 생성부(220)는 제 2 학습 모델을 베이지안 최적화(Bayesian Optimization) 알고리즘 적용하여 하이퍼 파라미터(hyper parameter)를 최적화할 수 있다(S540). 여기서 하이퍼 파라미터는 학습을 통해 튜닝 또는 최적화해야 하는 주변수가 아니라 학습 진도율이나 일반화 변수처럼 사람들이 선험적 지식(priori)으로 직접 설정하거나 외부 모델 메커니즘을 통해 자동으로 설정되는 변수를 의미할 수 있다. 또한, 하이퍼 파라미터의 최적화는 손실 함수의 값을 가능한 한 낮추는 매개변수(또는 목적 함수의 함수값을 최대화 또는 최소화시키는 매개변수)를 탐색하는 것, 즉 오차를 최소화하는 최적의 가중치를 탐색하는 것을 의미할 수 있다. 따라서 하이퍼 파라미터의 설정은 모델의 학습 속도와 성능에 큰 영향을 미칠 수 있다. 구체적인 예를 들어, 하이퍼 파라미터는 학습 진도율(learning rate), 히든 유닛(hidden unit)의 개수, 일반화 변수 (regularization parameter), 학습(training)의 반복 횟수 등이 될 수 있다.
모델 생성부(220)는 제 2 학습 모델의 batch size, learning rate, dropout rate, number of dense neurons를 하이퍼 파라미터로 사용하고, 베이지안 최적화 알고리즘 적용하여 최적화할 수 있다. 여기서 베이지안 최적화 알고리즘은 목적 함수와 해당 하이퍼 파라미터 쌍을 대상으로 확률적인 추정을 수행하는 대체 모델을 만들고 평가를 통해 순차적으로 갱신해가면서 최적의 하이퍼 파라미터 조합을 탐색하는 알고리즘일 수 있다.
도 6은 본 개시의 일 실시 예에 따른 세포 선별 장치에서 세포를 분류하고 모델을 검증하는 동작을 설명하는 예시를 도시한 도면이다.
도 6을 참조하면, 본 개시의 일 실시 예에 따른 세포 선별 장치의 세포 분류부(230)는 제 2학습 모델을 이용하여 세포를 분류할 수 있다(S610). 예를 들어, 세포 분류부(230)는 세포 이미지로부터 제2 학습 모델을 이용하여 세포의 균질성을 판단하여 고기능성(positive)세포와 저기능성(Negative)세포로 분류할 수 있다. 이 때, 세포의 균질성은 세포 이미지에 포함된 기능적 세포로 유추되는 특정 단일 세포의 수로 판단될 수 있다.
시각화부(240)는 분류 결과에 기초하여 세포 이미지에 분류 기준이 된 부분을 표시하여 출력할 수 있다(S620). 일 예로, 시각화부(240)는 복수의 시각화 알고리즘 중 적어도 하나의 알고리즘을 이용하여 분류 기준이 된 부분을 표시할 수 있다. 예를 들어, 시각화부(240)에서 이용한 복수의 시각화 알고리즘은 Grad-CAM++, VisualBackProp, Layer-wise Relevance Propagation(LRP)일 수 있다.
또한, 시각화부(240)는 시각화 알고리즘을 이용하여 제 2 학습 모델이 어느 부분을 보고 고기능성(positive)세포와 저기능성(Negative)세포로 분류했는지 확인할 수 있다. 즉, 시각화부(240)는 제2 학습 모델의 적합성을 판단하는 기준이 될 수 있다.
모델 검증부(250)는 학습된 모델이 올바르게 세포를 보고 판단하는지 추가 검증을 할 수 있다(S630). 예를 들어, 모델 검증부(250)는 제 2 학습 모델의 교차 검증(Cross Validation)을 수행하여 모델의 성능을 평가하고 예측할 수 있는 지표를 제공할 수 있다. 교차 검증은 수집된 데이터를 모두 훈련 모델을 생성하는데 사용하는 것이 아닌 그 중 일부를 모델을 검증하기 위한 입력 데이터로서 사용함으로써, 일 시스템이 적은 양의 데이터로도 모델의 성능을 평가할 수 있다. 구체적인 예를 들어, 교차 검증은 홀드 아웃 교차 검증(Holdout Cross Validation), K-겹 교차 검증(K-fold Cross Validation), 리브-p-아웃 교차 검증(Leave-p-out Cross Validation)일 수 있다.
도 7은 본 개시의 일 실시 예에 따른 2개의 세포원으로부터 모델의 성능 확인을 위한 예시를 도시한 도면이다.
도 7을 참조하면, 제2 학습 모델을 이용하여 고기능성(positive)세포와 저기능성(Negative)세포로 분류된 결과를 설명할 수 있다. 예를 들어, 시각화부(240)는 시각화 알고리즘을 이용하여 각각의 세포들을 주목하고 있다는 점을 확인할 수 있고, 이를 이용하여 모델의 신뢰성을 확인할 수 있다. 예를 들어, 세포 분류부(230)의 분류 결과는 저기능성(Negative) 세포군(710)에서는 주목할만한 세포의 수가 적은 반면에, 고기능성(positive) 세포군(720)에서는 주목할만한 세포의 수가 많은 것을 확인할 수 있다. 따라서, 세포 분류부(230)가 기능적 세포로 유추되는 특정 세포들의 균질성에 기반하여 세포를 분류하는 것을 확인할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 세포 선별 장치에서 시각화 알고리즘을 이용한 모델 해석을 설명하는 예시를 도시한 도면이다.
도 8을 참조하면, 본 개시의 일 실시 예에 따른 세포 선별 장치의 시각화부(240)는 복수의 시각화 알고리즘 중 적어도 하나의 알고리즘을 이용하여 분류 결과에 중요한 영향을 미친 부분을 표시할 수 있다. 예를 들어, 시각화부(240)의 표시 결과는 상단의 true positive의 경우 특정 세포들을 많이 주목했고, 하단의 true negative의 경우 현저히 적게 주목하는 것을 확인할 수 있다. 또한, 시각화부(240)는 시각화 알고리즘을 적용하여 모델의 분류 결과를 표시함으로써, 제 2 학습 모델이 세포를 적합하게 분류하는지 추가 검증할 수 있다.
또한, 시각화부(240)의 표시 결과는 광학 현미경의 bright field와 시각화 알고리즘인 Grad-CAM++(Gradient-weighted Class Activation Mapping++), VisualBackProp, LRP(Layer-wise Relevance Propagation)을 적용한 각각의 결과일 수 있다. 예를 들어, 시각화부(240)는 Grad-CAM++ (Gradient-weighted Class Activation Mapping++) 알고리즘을 적용하여 모델의 분류 결과를 표시할 수 있다. 구체적으로 시각화부(240)는 Grad-CAM++ 알고리즘을 이용하여 역전파(Backpropagation)를 통한 그라디언트(Gradient)를 산출할 수 있고, 최종 레이어로 가는 그라디언트 정보를 이용하여 이미지에서 중요한 영역을 표시한 위치 맵(localization map)을 획득할 수 있다. 여기서 위치 맵은 최종 레이어에서 나온 특징 맵과 그라디언트의 가중 값을 선형 결합 시킨 후 비선형 함수 ReLU로 획득할 수 있다. 시각화부(240)는 최종 레이어의 특징 맵을 이용하여 이미지 상의 분류 결과에 중요한 영향을 미친 부분을 표시할 수 있다.
다른 예를 들어, 시각화부(240)는 LRP(Layer-wise Relevance Propagation) 알고리즘을 적용하여 모델의 분류 결과를 표시할 수 있다. 시각화부(240)는 LRP 알고리즘을 이용하여 모델에서 임의의 샘플 x에 대하여 d차원 입력 x의 각 차원의 기여도(relevance score)를 계산할 수 있다. 구체적으로, 시각화부(240)는 LRP 알고리즘을 이용하여 출력 f(x)를 얻기 위해 입력 샘플의 각 픽셀들의 기여도(Ri)를 계산할 수 있다. 시각화부(240)는 각 픽셀들의 계산된 기여도에 따라 색깔을 표시해둠으로써 분류 결과에 중요한 영향을 미친 부분을 판단할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 세포 선별 장치에서 교차 검증을 설명하는 예시를 도시한 도면이다.
도 9를 참조하면, 본 개시의 일 실시 예에 따른 세포 선별 장치의 모델 검증부(250)는 제2 학습 모델의 교차 검증을 수행할 수 있다. 일 예로, 모델 검증부(250)는 학습 데이터를 K개의 그룹으로 나누고 그룹 중에서 하나의 그룹을 추출하여 검증 세트로 이용하고, 나머지는 학습 세트로 이용하는 검증 과정을 수행할 수 있다. 모델 검증부(250)는 이러한 검증 과정을 K번 반복하여 나온 결과 값을 평균내어 검증 결과 값으로 사용할 수 있다. 예를 들어, 모델 검증부(250)는 모델 구축을 위한 학습 데이터에서 Class 별로 세포 Donor가 1명씩인 경우에 있어서 4 fold cross validation라는 기법을 이용할 수 있다. 구체적으로, 모델 검증부(250)는 한정된 학습 데이터를 3:1로 4등분하여 4개의 그룹으로 구분하고, 그 중 1개의 그룹은 검증 세트로 이용하고 나머지 3개의 그룹은 학습 세트로 이용하여 검증과정을 수행할 수 있다. 즉, 모델 검증부(250)는 학습 데이터를 이용하여 학습(Train)과 검증(validation)을 총 4번 진행할 수 있다. 다만, 4 fold cross validation은 일 예를 설명한 것으로, 교차 검증 방법이 이에 한정되지 않는다.
이하에서는 도 1 내지 도 9를 참조하여 설명한 세포 선별 장치가 수행할 수 있는 세포 선별 방법에 대해서 설명한다.
도 10은 본 개시의 다른 실시 예에 따른 세포 선별 방법의 흐름도이다.
도 10을 참조하면, 본 개시의 세포 선별 방법은 전처리 단계를 포함할 수 있다(S1010). 일 예로, 세포 선별 장치는 세포를 촬영한 영상 데이터로부터 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절할 수 있다. 또한, 세포 선별 장치는 세포 이미지를 HSV 색 공간(Hue, Saturation, value model)으로 변환할 수 있고, 변환된 세포 이미지에서 명도 값을 기준으로 미리 설정된 수치 이상을 제거하고 평균을 특정 값에 맞추도록 보정할 수 있다. 또한, 세포 선별 장치는 픽셀 값을 정규화하여 학습 데이터를 생성할 수 있다. 예를 들어, 세포 선별 장치는 세포 이미지의 픽셀 값을 0에서 1 사이로 정규화하여 학습 데이터의 범위를 제한할 수 있다. 이 때, 학습 데이터는 각각의 픽셀 값으로부터 픽셀 값 중 최소값만큼 감소시킨 후, 픽셀 값 중 최대값과 최소값의 차로 나눈 값으로 산출할 수 있다.
세포 선별 방법은 모델 생성 단계를 포함할 수 있다(S1020). 일 예로, 세포 선별 장치는 사전 학습된(pre-trained) 제 1 학습 모델로부터 전이 학습을 이용하여 제2 학습 모델을 생성할 수 있다. 예를 들어, 세포 선별 장치는 제 1 학습 모델로부터 마지막 층(Fully Connected layer)을 제외한 제 1 학습 모델의 가중치를 고정하고, 마지막 층의 가중치를 조정하여 제2 학습 모델을 생성할 수 있다. 다른 예를 들어, 세포 선별 장치는 베이지안 최적화(Bayesian Optimization) 알고리즘을 이용하여 제2 학습 모델의 하이퍼 파라미터를 설정할 수 있다.
세포 선별 방법은 세포 분류 단계를 포함할 수 있다(S1030). 일 예로, 세포 선별 장치는 세포 이미지로부터 제2 학습 모델을 이용하여 세포의 균질성을 판단하고, 이를 기준으로 고기능성(positive)세포와 저기능성(Negative)세포로 분류할 수 있다. 세포 균질성은 세포 이미지에 포함된 기능적 세포로 유추되는 특정 단일 세포의 수로 판단할 수 있다.
세포 선별 방법은 시각화 단계를 포함할 수 있다(S1040). 일 예로, 세포 선별 장치는 분류 결과에 기초하여 세포 이미지에 분류 기준이 된 부분을 표시하여 출력할 수 있다. 예를 들어, 세포 선별 장치는 제2 학습 모델의 분류 결과에 기초하여 복수의 시각화 알고리즘 중 적어도 하나의 알고리즘을 이용하여 분류 기준이 된 부분을 표시하고, 제2 학습 모델의 적합성을 판단할 수 있다.
세포 선별 방법은 모델 검증 단계를 더 포함할 수 있다(S1050). 일 예로, 세포 선별 장치는 학습 데이터를 K개의 그룹으로 나누고 그룹 중에서 1개의 그룹을 추출하여 검증 세트로 이용하고 나머지 그룹은 학습 세트로 이용하는 검증 과정을 수행할 수 있다. 또한, 세포 선별 장치는 검증 과정을 K번 반복하여 나온 결과 값을 평균내어 검증 결과 값으로 제 2 학습 모델이 충분한 정확도로 일반화시킬 수 있는 모델인지 검증을 수행할 수 있다.
이상에서는 본 개시의 실시 예에 따른 세포 선별 방법이 도10 에서와 같은 절차로 수행되는 것으로 설명되었으나, 이는 설명의 편의를 위한 것일 뿐, 본 개시의 본질적인 개념을 벗어나지 않는 범위 내에서, 구현 방식에 따라 각 단계의 수행 절차가 바뀌거나 둘 이상의 단계가 통합되거나 하나의 단계가 둘 이상의 단계로 분리되어 수행될 수도 있다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 기술 사상의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 실시 예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 이러한 실시 예에 의하여 본 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 광학 현미경을 이용하여 특정 질병의 개선 기능에 차이를 보이는 세포원을 촬영한 영상 데이터로부터 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절하고, 사이즈가 조절된 상기 세포 이미지를 HSV 색 공간(Hue, saturation, value model)으로 변환하여 명도(value) 값을 보정하고 픽셀 값을 정규화하여 학습 데이터를 생성하는 전처리부;
    사전 학습된(pre-trained) 제 1 학습 모델로부터 전이 학습을 이용하여 제 2 학습 모델을 생성하는 모델 생성부;
    상기 세포 이미지로부터 상기 제 2 학습 모델을 이용하여 상기 세포의 균질성을 판단하고, 이를 기준으로 고기능성(positive) 세포와 저기능성(Negative) 세포로 분류하는 세포 분류부; 및
    분류 결과에 기초하여 상기 세포 이미지에 분류 기준이 된 부분을 표시하여 출력하는 시각화부를 포함하되,
    상기 모델 생성부는,
    복수의 사전 학습된 모델을 상기 제 1 학습 모델로 사용하여 학습 데이터의 크기와 유사성을 기반으로 결정된 전이 학습 정도에 따라 상기 제 2 학습 모델을 생성하는 것을 특징으로 하는 세포 선별 장치.
  2. 제 1 항에 있어서,
    상기 전처리부는,
    상기 HSV 색 공간으로 변환된 상기 세포 이미지에서 상기 명도 값을 기준으로 미리 설정된 수치 이상을 제거하고 평균을 특정 값에 맞추도록 보정하는 것을 특징으로 하는 세포 선별 장치.
  3. 제 1 항에 있어서,
    상기 전처리부는,
    상기 세포 이미지의 상기 픽셀 값을 0에서 1사이로 정규화하여 상기 학습 데이터의 범위를 제한하되,
    상기 학습 데이터는 각각의 상기 픽셀 값으로부터 상기 픽셀 값 중 최소값만큼 감소시킨 후, 상기 픽셀 값 중 최대값과 상기 최소값의 차로 나눈 값으로 산출되는 것을 특징으로 하는 세포 선별 장치.
  4. 제 1 항에 있어서,
    상기 모델 생성부는,
    상기 제 1 학습 모델로부터 마지막 층(Fully Connected layer)을 제외한 상기 제 1 학습 모델의 가중치를 고정하고, 상기 마지막 층의 가중치를 조정하여 상기 제 2 학습 모델을 생성하는 것을 특징으로 하는 세포 선별 장치.
  5. 제 4 항에 있어서,
    상기 모델 생성부는,
    베이지안 최적화(Bayesian Optimization) 알고리즘을 이용하여 상기 제 2 학습 모델의 하이퍼 파라미터를 설정하는 것을 특징으로 하는 세포 선별 장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 시각화부는,
    상기 제 2 학습 모델의 분류 결과에 기초하여 복수의 시각화 알고리즘 중 적어도 하나의 알고리즘을 이용하여 상기 분류 기준이 된 부분을 표시하고, 상기 제 2 학습 모델의 적합성을 판단하는 것을 특징으로 하는 세포 선별 장치.
  8. 제 1 항에 있어서,
    상기 학습 데이터를 K 개의 그룹으로 나누고 상기 그룹 중에서 1 개의 그룹을 추출하여 검증 세트로 이용하는 검증 과정을 수행하되,
    상기 검증 과정을 K 번 반복하여 나온 결과 값을 기준으로 상기 제 2 학습 모델의 교차 검증을 수행하는 모델 검증부를 더 포함하는 것을 특징으로 하는 세포 선별 장치.
  9. 광학 현미경을 이용하여 특정 질병의 개선 기능에 차이를 보이는 세포원을 촬영한 영상 데이터로부터 추출된 세포 이미지의 사이즈를 미리 설정된 사이즈로 조절하고, 사이즈가 조절된 상기 세포 이미지를 HSV 색 공간(Hue, saturation, value model)으로 변환하여 명도(value) 값을 보정하고 픽셀 값을 정규화하여 학습 데이터를 생성하는 전처리 단계;
    사전 학습된(pre-trained) 제 1 학습 모델로부터 전이 학습을 이용하여 제 2 학습 모델을 생성하는 모델 생성 단계;
    상기 세포 이미지로부터 상기 제 2 학습 모델을 이용하여 상기 세포의 균질성을 판단하고, 이를 기준으로 고기능성(positive) 세포와 저기능성(Negative) 세포로 분류하는 세포 분류 단계; 및
    분류 결과에 기초하여 상기 세포 이미지에 분류 기준이 된 부분을 표시하여 출력하는 시각화 단계를 포함하되,
    상기 모델 생성 단계는,
    복수의 사전 학습된 모델을 상기 제 1 학습 모델로 사용하여 학습 데이터의 크기와 유사성을 기반으로 결정된 전이 학습 정도에 따라 상기 제 2 학습 모델을 생성하는 것을 특징으로 하는 세포 선별 방법.
  10. 제 9 항에 있어서,
    상기 전처리 단계는,
    상기 HSV 색 공간으로 변환된 상기 세포 이미지에서 상기 명도 값을 기준으로 미리 설정된 수치 이상을 제거하고 평균을 특정 값에 맞추도록 보정하는 것을 특징으로 하는 세포 선별 방법.
  11. 제 9 항에 있어서,
    상기 전처리 단계는,
    상기 세포 이미지의 상기 픽셀 값을 0에서 1 사이로 정규화하여 상기 학습 데이터의 범위를 제한하되,
    상기 학습 데이터는 각각의 상기 픽셀 값으로부터 상기 픽셀 값 중 최소값만큼 감소시킨 후, 상기 픽셀 값 중 최대값과 상기 최소값의 차로 나눈 값으로 산출되는 것을 특징으로 하는 세포 선별 방법.
  12. 제 9 항에 있어서,
    상기 모델 생성 단계는,
    상기 제 1 학습 모델로부터 마지막 층(Fully Connected layer)을 제외한 상기 제 1 학습 모델의 가중치를 고정하고, 상기 마지막 층의 가중치를 조정하여 상기 제 2 학습 모델을 생성하는 것을 특징으로 하는 세포 선별 방법.
  13. 제 12 항에 있어서,
    상기 모델 생성 단계는,
    베이지안 최적화(Bayesian Optimization) 알고리즘을 이용하여 상기 제 2 학습 모델의 하이퍼 파라미터를 설정하는 것을 특징으로 하는 세포 선별 방법.
  14. 삭제
  15. 제 9 항에 있어서,
    상기 시각화 단계는,
    상기 제 2 학습 모델의 분류 결과에 기초하여 복수의 시각화 알고리즘 중 적어도 하나의 알고리즘을 이용하여 상기 분류 기준이 된 부분을 표시하고, 상기 제 2 학습 모델의 적합성을 판단하는 것을 특징으로 하는 세포 선별 방법.
  16. 제 9 항에 있어서,
    상기 학습 데이터를 K 개의 그룹으로 나누고 상기 그룹 중에서 1 개의 그룹을 추출하여 검증 세트로 이용하는 검증 과정을 수행하되,
    상기 검증 과정을 K 번 반복하여 나온 결과 값을 기준으로 상기 제 2 학습 모델의 교차 검증을 수행하는 모델 검증 단계를 더 포함하는 것을 특징으로 하는 세포 선별 방법.
KR1020200174709A 2020-12-14 2020-12-14 세포 선별 장치 및 방법 KR102439441B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200174709A KR102439441B1 (ko) 2020-12-14 2020-12-14 세포 선별 장치 및 방법
PCT/KR2021/017471 WO2022131607A1 (ko) 2020-12-14 2021-11-25 세포 선별 장치 및 방법
US18/021,470 US20230334882A1 (en) 2020-12-14 2021-11-25 Cell selection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174709A KR102439441B1 (ko) 2020-12-14 2020-12-14 세포 선별 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220084838A KR20220084838A (ko) 2022-06-21
KR102439441B1 true KR102439441B1 (ko) 2022-09-02

Family

ID=82059670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174709A KR102439441B1 (ko) 2020-12-14 2020-12-14 세포 선별 장치 및 방법

Country Status (3)

Country Link
US (1) US20230334882A1 (ko)
KR (1) KR102439441B1 (ko)
WO (1) WO2022131607A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101433472B1 (ko) * 2012-11-27 2014-08-22 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR102058348B1 (ko) * 2017-11-21 2019-12-24 서울여자대학교 산학협력단 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치 및 방법
KR20190105180A (ko) * 2018-02-23 2019-09-16 광운대학교 산학협력단 합성곱 신경망 기반의 병변 진단 장치 및 방법
KR20190114241A (ko) * 2018-03-29 2019-10-10 울산과학기술원 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법
KR102209382B1 (ko) * 2018-12-27 2021-01-28 연세대학교 산학협력단 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스

Also Published As

Publication number Publication date
KR20220084838A (ko) 2022-06-21
WO2022131607A1 (ko) 2022-06-23
US20230334882A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US20220189147A1 (en) Object detection model training method and apparatus, object detection method and apparatus, computer device, and storage medium
CN105160249B (zh) 一种基于改进的神经网络集成的病毒检测方法
CN116635866A (zh) 用于挖掘少数类数据样本以训练神经网络的方法和系统
JP7191443B2 (ja) 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム
CN110458217A (zh) 图像识别方法及装置、眼底图像识别方法和电子设备
CN110139067A (zh) 一种野生动物监测数据管理信息系统
CN110443105A (zh) 自体免疫抗体的免疫荧光影像型态识别方法
WO2020170593A1 (ja) 情報処理装置及び情報処理方法
CN116805533A (zh) 一种基于数据收集与模拟的脑出血手术风险预测系统
CN115552481A (zh) 用于微调图像分类神经网络的系统和方法
WO2023108873A1 (zh) 一种脑网络和脑成瘾连接计算方法及装置
WO2020154373A1 (en) Neural network training using the soft nearest neighbor loss
KR102439441B1 (ko) 세포 선별 장치 및 방법
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
US20240020531A1 (en) System and Method for Transforming a Trained Artificial Intelligence Model Into a Trustworthy Artificial Intelligence Model
Liu et al. A provenance meta learning framework for missing data handling methods selection
Kowshik et al. Classification of dress codes using convolution neural networks
CN111598144A (zh) 图像识别模型的训练方法和装置
CN116821712B (zh) 非结构化文本与知识图谱的语义匹配方法及装置
CN115147225B (zh) 一种数据转移信息识别方法、装置、设备及存储介质
CN117690178B (zh) 一种基于计算机视觉的人脸图像识别方法与系统
CN117455421B (zh) 科研项目的学科分类方法、装置、计算机设备及存储介质
Likitha et al. Improving Prediction Accuracy in Drift Detection using LR in Comparing with Modified Light Gradient Boost Model
CN116226629B (zh) 一种基于特征贡献的多模型特征选择方法及系统
Sirisala et al. Reliable Densely Connected Network with Machine Learning based Diabetic Retinopathy Grading Approach

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant