KR102084683B1 - 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치 - Google Patents

인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치 Download PDF

Info

Publication number
KR102084683B1
KR102084683B1 KR1020190001741A KR20190001741A KR102084683B1 KR 102084683 B1 KR102084683 B1 KR 102084683B1 KR 1020190001741 A KR1020190001741 A KR 1020190001741A KR 20190001741 A KR20190001741 A KR 20190001741A KR 102084683 B1 KR102084683 B1 KR 102084683B1
Authority
KR
South Korea
Prior art keywords
image
cell
network
learning network
transmission microscope
Prior art date
Application number
KR1020190001741A
Other languages
English (en)
Inventor
조윤경
김동영
민유홍
Original Assignee
기초과학연구원
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기초과학연구원, 울산과학기술원 filed Critical 기초과학연구원
Priority to KR1020190001741A priority Critical patent/KR102084683B1/ko
Priority to PCT/KR2020/000226 priority patent/WO2020145606A1/ko
Application granted granted Critical
Publication of KR102084683B1 publication Critical patent/KR102084683B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Chemical & Material Sciences (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)

Abstract

인공신경망을 이용한 세포 영상 분석 방법은 영상 처리 장치가 투과 현미경 영상을 입력받는 단계, 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계, 상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 상기 세포 영역에 위치한 세포의 상태를 판단하는 단계 및 상기 제2 학습 네트워크에서의 판단으로부터 특징 영상 생성 네트워크를 이용하여 판단의 근거를 기술하는 이미지를 생성하는 단계를 포함한다. 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델이다.

Description

인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치{ANALYSING METHOD FOR CELL IMAGE USING ARTIFICIAL NEURAL NETWORK AND IMAGE PROCESSING APPARATUS FOR CELL IMAGE}
본 발명은 인공신경망을 이용하여 투과 현미경 영상의 세포를 분석하는 방법 및 세포 영상 처리 장치에 관한 것이다.
투과 현미경은 표본의 광 투과성을 이용하여 표본의 전반적인 모양을 보여준다. 예컨대, 세포와 같은 표본이라면, 연구자는 투과 현미경으로 세포의 전반적인 구조를 관찰할 수 있다. 연구자는 세포의 특성이나 상태를 파악하기 위하여 형광 현미경, 전자 현미경과 같은 장치를 사용해야 한다. 나아가 세포의 상태를 면밀하게 분석하기 위해서 연구자는 추가적인 실험을 통해 암세포 여부, 세포의 성숙도 등을 판단해야 한다.
한국특허 제10-1804690호에는 세포의 이미지를 처리하는 방법이 개시되어 있으나, 미리 설정된 명도값에 따라 세포 소스 이미지를 처리할 수 있을 뿐, 다양한 경우의 수에 따른 세포의 상태 등을 분석할 수 없다는 단점이 있다.
이에 본 발명자들은, 추가 장비나 실험 없이 세포의 현미경 영상만으로 세포의 상태를 결정하기 위해 예의 노력한 결과, 세포의 현미경 영상을 인공신경망을 학습 네크워크를 이용하여 분석할 경우, 높은 정확도로 세포의 상태를 분석할 수 있다는 것을 확인하고, 본 발명을 완성하였다.
본 배경기술 부분에 기재된 상기 정보는 오직 본 발명의 배경에 대한 이해를 향상시키기 위한 것이며, 이에 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자에게 있어 이미 알려진 선행기술을 형성하는 정보를 포함하지 않을 수 있다.
한국등록특허 제10-1704690호
본 발명의 목적은 투과 현미경 영상을 이용하여 세포의 상태를 자동으로 분석하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 투과 현미경 영상을 기준으로 세포의 상태를 확인할 수 있는 영상을 생성하는 방법을 제공하는 것이다.
상기 목적을 달성하기 위해서, 본 발명은 영상 처리 장치가 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계; 및 상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 상기 세포 영역에 위치한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법을 제공한다.
본 발명은 또한, 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 상기 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계; 상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계; 상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 제2 투과 현미경 영상에서 식별한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제3 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법을 제공한다.
본 발명은 또한, 제1 투과 현미경 영상을 입력받는 입력장치: 투과 현미경 영상에서 세포 영역을 구분하는 제1 학습 네트워크 및 상기 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 제2 학습 네트워크를 저장하는 저장 장치: 및 상기 제1 학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에서 세포가 위치하는 세포 영역을 식별하고, 상기 식별한 세포 영역을 상기 제2 학습 네트워크에 입력하여 상기 식별한 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 연산 장치를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치를 제공한다.
이하 설명하는 기술은 별도의 실험이나 추가 장비 없이 세포의 상세한 상태를 확인하게 한다. 나아가 이하 설명하는 기술은 형광 염색 등으로도 파악이 어려운 세포 상태에 대한 분석도 정확하게 수행한다.
도 1은 인공신경망을 이용한 세포 분석 과정의 예이다.
도 2는 인식 네트워크의 학습 과정에 대한 예이다.
도 3은 인식 네트워크를 이용하여 세포를 판별하는 과정에 대한 예이다.
도 4는 학습용 영상을 생성하는 비지도학습 네트워크의 예이다.
도 5는 분석 네트워크를 학습하는 과정에 대한 예이다.
도 6은 분석 네트워크를 이용하여 세포를 분석하는 예이다.
도 7은 투과 현미경 영상에서 세포 생존 여부를 분석한 결과이다.
도 8은 투과 현미경 영상에서 암세포 여부를 분석한 결과이다.
도 9는 투과 현미경 영상에서 면역세포의 성숙도를 분석한 결과이다.
도 10은 투과 현미경 영상 내의 세포를 추적하는 과정의 예이다.
도 11은 세포를 추적하여 세포를 분석하는 과정의 예이다.
도 12는 투과 현미경 영상에서 세포를 추적한 후 세포를 분석한 결과이다.
도 13은 세포에 대한 특징 영상을 생성하는 과정의 예이다.
도 14는 분석 네트워크와 생성 네트워크의 구조에 대한 예이다.
도 15는 투과 현미경 영상에 대한 특징 영상을 생성한 결과이다.
도 16은 세포를 추적하여 세포에 대한 특징 영상을 생성하는 과정의 예이다.
도 17은 투과 현미경 영상에서 세포를 추적하여 면역 세포의 성숙도를 나타낸 특징 영상을 생성한 결과이다.
도 18은 투과 현미경 영상에서 세포를 추적하여 암세포의 종류 및 생동성 변화를 나타내는 특징 영상을 생성한 결과이다.
도 19는 투과 현미경 영상을 처리하는 영상 처리 장치의 구성에 대한 예이다.
도 20은 투과 현미경 영상 내의 세포를 분석하는 시스템에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하 설명에서 사용하는 용어 내지 장치에 대하여 정의하거나 설명한다.
투과 현미경은 가시광선 또는 자외선과 같은 광을 광원으로 사용하는 광학 현미경을 의미한다. 예컨대, 투과 현미경은 일반 광학 현미경(bright-field Microscopy), 위상차 현미경(phase contrast microscopy), 미분간섭 현미경(Differential interference contrast microscopy) 등을 의미한다. 투과 현미경은 표본의 광 투과성을 이용하여 표본의 전반적인 모양을 보여준다. 투과 현미경 영상은 투과 현미경을 이용하여 산출한 영상을 의미한다. 여기서 표본은 관찰 대상에 따라 다양할 수 있다. 예컨대, 생물학 내지 의학 분야인 경우 표본은 조직, 세포 등일 수 있다.
이하 설명하는 기술은 투과 현미경 영상에 포함된 세포를 분석한다. 이하 설명하는 기술은 투과 현미경 영상을 학습 네트워크에 입력하여 세포 상태를 분석한다. 이하 설명하는 기술은 기계학습(machine learning)모델을 사용하여 특수 현미경 영상을 생성한다. 기계학습모델은 널리 알려진 바와 같이 다양한 모델이 있다. 설명의 편의를 위하여 이하 설명하는 기술은 인공신경망(artificial neural network)을 사용하여 영상을 생성한다고 가정한다. 예컨대, 대표적인 인공신경망은 CNN(Convolutional Neural Network) 및 CNN을 개량한 모델 등이 있다. 이하 관련된 설명에서 사용가능한 모델에 대하여 설명한다. 물론 이하 설명하는 기술은 특정한 신경망 모델로만 구현되는 것은 아님을 전제한다.
이하 설명하는 기술은 투과 현미경 영상에 포함된 세포를 분석하고, 세포의 특징에 나타내는 특징 영상을 생성한다. 이하 설명하는 기술은 투과 현미경 영상을 일련의 학습 네트워크에 입력하여 특징 영상을 생성한다. 특징 영상은 투과 현미경 영상에 포함된 세포를 분석하여 판단한 결과를 일정하게 이미지로 표현한 영상이다. 특징 영상에 대해서는 후술한다.
영상 처리는 영상 데이터를 일정하게 처리하는 영상 처리 장치에서 수행된다. 영상 처리 장치는 일정한 영상 처리 프로그램을 구동하여 영상을 처리하는 컴퓨터 장치, 서버, 전용 칩셋 등과 같은 하드웨어 장치일 수 있다. 이하 투과 현미경 영상 분석 및 특징 영상 생성은 영상 처리 장치가 수행한다고 가정한다. 영상 처리 장치가 인공신경망을 이용하여 영상을 분석하고, 특징 영상을 생성한다. 인공신경망은 영상 처리 장치가 일정한 학습 데이터를 이용하여 사전에 마련할 수 있다. 또는 인공신경망은 별도의 컴퓨터 장치가 일정한 학습 데이터를 이용하여 사전에 마련할 수 있다.
본 발명에서는 인공신경망을 이용한 학습네크워크를 이용하여 투과 현미경 이미지를 분석할 경우, 추가 실험이나 장비 없이 세포의 상태를 분석할 수 있음을 확인하고자 하였다.
즉, 본 발명의 일 실시예에서는 제1 학습네트워크를 이용하여 투과 현미경 이미지에서 세포 영역을 구분할 수 있도록 영상을 처리한 다음, 처리한 영상을 세포의 상태에 대하여 미리 학습된 인공신경망인 제2 학습 네트워크를 이용하여 분석할 경우, 별도의 추가 실험이나 장비없이 세포의 상태를 분석할 수 있다는 것을 확인하였다(도 1, 도 6 내지 10).
따라서, 본 발명은 일 관점에서, 영상 처리 장치가 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계; 및 상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 상기 세포 영역에 위치한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법에 관한 것이다.
본 발명에 있어서, 상기 제2 학습 네트워크는 복수의 상기 세포 영역에 대하여 각각 세포에 대한 상태를 판단하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 제2 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제2 학습 네트워크는 상기 적어도 하나의 항목 각각에 대하여 개별적으로 사전에 학습된 적어도 하나의 신경망 모델을 포함하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 추가로 포함하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제2 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 거울상 구조로서, 상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 기준으로 상기 특징 영상을 생성하는 것을 특징으로 할 수 있다.
투과 현미경 영상 분석
도 1은 인공신경망을 이용한 세포 분석 과정(100)의 예이다. 투과 현미경 영상이 입력된다(110). 투과 현미경 영상은 현미경에서 나타나는 영상을 CCD, CMOS 등과 같은 이미지 센서로 획득한다. 투과 현미경 영상을 획득하는 과정은 자세한 설명을 생략한다.
인공신경망(N1)은 입력되는 투과 현미경 영상에서 세포를 인식한다(120). 인공신경망(N1)은 투과 현미경 영상에서 세포 영역을 구분하여 출력할 수 있다. 이하 인공신경망(N1)을 인식 네트워크라고 명명한다. 인식 네트워크(N1)는 지도학습 네트워크일 수 있다.
인공신경망(N2)은 인식 네트워크(N1)가 출력하는 세포 영상을 분석한다(130). 이하 인공신경망(N2)을 분석 네트워크라고 명명한다. 분석 네트워크(N2)는 세포 영상에 포함된 세포에 대한 상태를 판단한다(140). 분석 네트워크(N2)는 세포의 상태를 판단한 정보(판단 정보)를 영상과 별도로 출력할 수 있다. 나아가 분석 네트워크(N2)는 판단 정보를 영상에 표시한 형태로 출력할 수도 있다.
분석 네트워크(N2)는 CNN(convolutional neural network) 계열의 모델을 사용할 수 있다. 기본적으로 CNN은 컨볼루셔널(합성곱) 계층 (convolution layer)와 풀링 계층 (pooling layer)이 여러 층으로 이루어진 네트워크이다. 딥러닝 네트워크를 구현하는 모델 중 하나이다. 컨볼루셔널 계층을 통해 입력 이미지에 필터링을 수행하고 그 결과로 특징맵 (feature map)을 추출한다. 특징맵은 다음 층의 입력으로 사용하여 계층별로 연속하여 처리한다. CNN은 입력 영상에 대한 특징맵을 기준으로 입력 영상에 대한 분류 내지 분석 결과를 출력한다.
분석 네트워크(N2)가 분석한 결과를 일정한 영상으로 생성할 수 있다. 도 1에서 세포 상태를 판단(140)한 결과 영상을 도시하였다. 영상 처리 장치가 입력된 투과 현미경 영상에서 개별적으로 인식한 세포를 일정하게 표시(marking)하거나, 해당 세포의 대한 판단 결과를 영상 내의 텍스트로 표시할 수도 있다. 영상 처리 장치는 다양한 영상 처리 기능을 이용하여 판단 결과를 일정하게 표시할 수 있다.
인식 네트워크(N1)는 투과 현미경 영상에서 세포를 식별하고, 세포의 위치 내지 영역을 구분한다. 인식 네트워크(N1)는 영상의 객체(세포)를 인식할 뿐만 아니라 세포(세포 영역)의 위치도 구분해야 한다. 따라서 인식 네트워크(N1)는 영상에서 객체의 위치 정보까지 파악할 수 있는 모델을 사용한다. 도 2는 인식 네트워크(N1)의 학습 과정(200)에 대한 예이다. 인식 네트워크(N1)는 입력 영상에서 객체를 식별하고, 객체의 위치(영역) 정보도 추출할 수 있는 모델이다. 예컨대, 인식 네트워크(N1)는 R-CNN(region proposal convolutional neural network)일 수 있다.
R-CNN은 객체 분석을 수행하는 CNN과 해당 영상에서 객체가 존재할 영역을 제시하는 알고리즘(region proposal algorithm)을 연견한 모델이다. R-CNN은 입력 영상에서 선택적 선택(selective search) 등과 같은 알고리즘을 이용하여 사각형 후보 영역을 결정한다. R-CNN은 후보 영역을 동일한 크기로 잘라내고, 각 영역에 대한 특징을 추출하여 객체에 대한 분류를 수행한다. 한편 Fast R-CNN은 이미지 자체를 자르지 않고, 특징맵을 자르는 방식을 사용하여 속도가 빠르다. Faster R-CNN는 후보 영역을 결정하는 RPN(region proposal network)을 이용한다. R-CNN은 객체가 위치하는 일정한 영역을 결정하는 과정을 통해 해당 객체가 위치하는 영역에 대한 정보를 확보한다.
도 2는 두 가지 학습 방법을 나타낸다. 도 2(A)는 투과 현미경 영상 및 투과 현미경 영상에서 수동으로 식별된 세포 영상을 이용하여 학습되는 예이다. 투과 현미경 영상이 입력된다(210). 이후 수작업 또는 별도의 알고리즘을 이용하여 투과 현미경 영상에서 객체인 세포 영역을 식별한다(230). 인식 네트워크(N1)는 세포 영역이 식별된 영상을 입력받아 학습한다. 이를 통해 인식 네트워크(N1)는 입력 영상에서 세포 영역을 식별하도록 학습된다.
도 2(B)는 라벨링 네트워크(N3)를 이용하여 투과 현미경 영상에서 세포 위치를 식별한 정보를 이용하는 예이다. 라벨링 네트워크(N3)는 사전에 특수 현미경 영상으로 훈련되어, 특정한 관심 세포에 대한 위치를 식별한다. 라벨링 네트워크(N3)에 대해서는 후술한다. 특수 현미경 영상은 형광 현미경 영상과 같은 색상 등으로 표지된 영상을 의미한다. 투과 현미경 영상(210)과 특수 현미경 영상(220)이 입력된다. 특수 현미경 영상은 입력된 투과 현미경 영상에 위치하는 세포에 대한 특수 현미경 영상일 수 있다. 라벨링 네트워크(N3)는 입력된 특수 현미경 영상을 기준으로 학습용 영상을 생성(225)한다. 학습용 영상은 투과 현미경 영상에서 특정 객체(예컨대, 발광하는 세포)의 영역을 나타낸다. 학습용 영상은 이와 같이 관심있는 세포 영역에 대한 위치 정보를 전달한다. 인식 네트워크(N1)는 입력된 투과 현미경 영상 및 학습용 영상을 이용하여 투과 현미경 영상에서 관심있는 세포를 식별하도록 학습된다.
도 3은 인식 네트워크를 이용하여 세포를 판별하는 과정(300)에 대한 예이다. 도 3은 학습된 인식 네트워크(N1)를 이용하여 투과 현미경 영상에서 세포를 식별하고, 세포가 위치한 영역을 추출하는 예이다. 인식 네트워크(N1)는 투과 현미경 영상을 입력받는다(310). 인식 네트워크(N1)는 입력된 투과 현미경 영상에서 세포 또는 관심 있는 세포가 위치하는 영역을 식별한다(320). 인식 네트워크(N1)는 식별한 세포 영역을 구분하여 추출할 수도 있다(330).
도 4는 학습용 영상을 생성하는 비지도학습 네트워크에 대한 예이다. 도 4는 전술한 라벨링 네트워크(N3)의 동작 내지 구조에 대한 예이다. 라벨링 네트워크(N3)는 배경 제거 모델(410), 가설 검증 모델(420) 및 비지도학습 모델(430)을 포함한다.
배경 제거 모델(410)은 입력되는 특수 현미경 영상에서 발광하는 객체에 해당하는 세포만을 뚜렷하게 식별하기 위하여 배경에 해당하는 노이즈를 제거한다. 특수 현미경 영상은 일반적으로 CCD 나 CMOS 등의 이미지 센서(array detector)를 통해 획득된다. 해당 이미지 내 노이즈는 가우시안 랜덤(Gaussian random) 또는 포아송 랜덤(Poisson random) 분포를 따른다. 배경 제거 모델(410)은 노이즈에 해당하는 확률 분포 모델을 일정하게 피팅(fitting)하여 제거할 수 있다.
가설 검증 모델(statistical hypothesis test, 320)은 비지도학습 모델에서 학습하여야할 구성에 대한 분류(class)를 정의한다. 일반적인 비지도학습 모델은 데이터에 대해 스스로 학습하지만 학습을 위한 최소한의 지침이 필요하다. 이 부분을 사용자가 설정할 수도 있지만, 결과에 대한 편형을 제거 하고자 가설 검증을 통해 비지도학습에 필요한 기준을 제공한다. 가설 검증 모델(420)은 Hartigan 딥 테스트(DIP test)를 통해 유니모달리티(unimodality)를 찾고, 유니모달이 아닌 경우 갭 통계(Gap statistic)를 통해 확률분포를 평가한다. 이 과정을 통해 통계적 모집단(statistical population)을 결정한다. 즉, 비지도학습에서 학습해야할 분류를 정의한다.
비지도학습 모델(430)은 다양한 비지도학습 방법론 중 어느 하나를 이용할 수 있다. 예컨대, 비지도학습은 계층적 클러스터링(Hierarchical clustering), K 평균 클러스터링(K-Means clustering), 가우시안 혼합 모델(Gaussian mixture models), 자기 조직화 지도(Self-organizing maps) 및 은닉 마르코프 모델(Hidden Markov model) 등이 있다.
나아가 비지도학습 모델(430)은 복수의 비지도학습 방법론을 사용하고, 최상의 결과를 선택할 수도 있다. 예컨대, 비지도학습 모델(430)은 계층적 클러스터링, K 평균 클러스터링, 가우시안 혼합 모델, 자기 조직화 지도 및 은닉 마르코프 모델 중 적어도 2개 이상을 사용하여 일정한 결과를 산출할 수 있다. 각 모델은 특수 현미경 영상의 품질이나 종류에 따라 상이한 결과(후보 영상)를 산출할 수 있다. 비지도학습 모델(430)은 복수의 후보 영상에 대한 상호 상관관계 최대화(cross-correlation maximization)를 통해 최상의 결과를 선택할 수 있다.
라벨링 네트워크(N3)는 이와 같은 동작을 통해 인식 네트워크(N1) 학습을 위한 학습용 영상을 생성할 수 있다.
도 5는 분석 네트워크를 학습하는 과정(500)에 대한 예이다. 분석 네트워크(N2)가 세포를 판단하는 기준은 실험적 결과에 기반한다. 분석 네트워크(N2)는 투과 현미경 영상 내의 세포 영상과 해당 세포 영상에 대한 실험적 분석 결과를 이용하여 학습된다. 세포의 상태는 다양한 카테고리로 구분될 수 있다. 예컨대, 세포 상태는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나로 구분될 수 있다. 기본적으로 분석 네트워크(N2)는 동일한 기준(예컨대, 세포 생존 여부)에 대해서도 복수의 샘플과 그에 대한 분석 결과를 이용하여 학습된다. 도 5는 K개의 투과 현미경 영상과 실험 결과를 이용하는 예이다. 투과 현미경 영상은 먼저 인식 네트워크(N1)에 입력된다(510). 인식 네트워크(N1)는 투과 현미경 영상에서 세포를 인식하고, 세포 영역을 구분한다(520). 인식 네트워크(N1)는 도 5와 같이 투과 현미경 영상에 존재하는 복수의 세포 영역을 구분하여 출력할 수 있다. 인식 네트워크(N1)가 출력한 세포 영상(세포 영역)은 분석 네트워크(N2)에 전달된다(530). 분석 네트워크(N2)는 입력된 세포 영상을 분석하여 영상 내에 존재하는 세포 상태에 대한 학습을 수행한다(540). 따라서 분석 네트워크(N2)는 세포 영상과 함께 해당 영상에 존재하는 세포의 상태 정보를 입력받아야 한다. 예컨대, (1) 세포 생존 여부라면 상태 정보는 살아 있는 세포 또는 죽은 세포를 나타낸다. (2) 세포 성숙도라면, 상태 정보는 성숙한 세포 또는 미성숙한 세포를 나타낸다. 또는 상태 정보가 세포의 성숙도를 일정한 레벨로 나타낼 수도 있다. (3) 암세포 진행 여부라면, 상태 정보는 해당 세포가 정상 세포인지 또는 암세포인지를 나타낸다. 또는 상태 정보가 암세포 진행 정보를 일정한 레벨로 나타낼 수도 있다.
도 6은 분석 네트워크를 이용하여 세포를 분석하는 예이다. 도 6은 복수의 분석 네트워크를 사용하여 서로 다른 결과를 생성하는 예이다. 도 6은 복수의 영상 분석 네트워크(N2-A, N2-B 및 N-2C)를 도시한다. 복수의 분석 네트워크(N2-A, N2-B 및 N21C)는 서로 세포 상태 카테고리에 대한 실험 결과로 학습된다. 복수의 분석 네트워크(N2-A, N2-B 및 N21C)는 동일한 투과 현미경 영상에 대해서도 서로 다른 세포 상태에 대한 정보를 제공한다.
복수의 분석 네트워크(N2-A, N2-B 및 N21C) 각각은 동일한 투과 현미경 영상(Input 1)을 입력받아 서로 다른 결과값(Output 1, Output 2 및 Output 3)을 생성한다. 결과값 1(Output 1)은 암세포 여부에 대한 판단 정보를 나타낸다. 결과값 2(Output1)는 세포의 성숙도에 대한 판단 정보를 나타낸다. 결과값 3(Output 3)은 세포의 생존 여부에 대한 판단 정보를 나타낸다. 이와 같이 세포 상태를 분석하는 분석 네트워크는 복수의 모델을 포함하고, 사용자의 선택에 따라 특정한 어느 하나 또는 복수의 모델을 사용하여 세포 상태를 분석할 수 있다.
도 7은 투과 현미경 영상에서 세포 생존 여부를 분석한 결과이다. 도 7은 실제 전술한 신경망을 이용하여 투과 현미경 영상을 분석한 결과이다. 도 7(A)는 투과 현미경 영상에서 세포 영역이 구분된 것이다. 도 7(A)에서 Live는 살아 있는 세포를 의미한다. Death는 죽은 세포를 의미한다. 한편 Death 1 내지 Death 3는 세포가 사멸한 원인이 서로 다르다. 각각 permeabilization, phototoxicity, high temperature이다. 세포 사멸 원인에 따라 투과 현미경 영상 내의 세포 형태가 다를 수 있다. 도 7(B)는 신경망을 사용하여 세포 상태를 판단한 결과와 실험적 결과를 비교한 테이블이다. 신경망을 이용한 세포 상태 판단은 세포 생존 및 세포 사멸 원인에 대하여 99% 이상의 정확도로 판별하고 있다.
도 8은 투과 현미경 영상에서 암세포 여부를 분석한 결과이다. 도 8은 실제 전술한 신경망을 이용하여 투과 현미경 영상을 분석한 결과이다. 도 8(A)는 투과 현미경 영상에서 세포 영역이 구분된 것이다. 도 8(A)에서 normal은 정상 세포를 의미한다. 나머지 luminal, basal, HER2 amplified는 암세포를 나타낸다. luminal, basal, HER2 amplified는 암세포의 종류 내지 암세포의 특징을 나타낸다. 암세포의 종류 내지 특징에 따라 투과 현미경 영상 내의 세포 형태가 다를 수 있다. 도 8(B)는 신경망을 사용하여 세포 상태를 판단한 결과와 실험적 결과를 비교한 테이블이다. 신경망을 이용한 세포 상태 판단은 암세포 여부 및 암세포의 특징/종류에 대하여 99% 이상의 정확도로 판별하고 있다.
도 9는 투과 현미경 영상에서 면역세포의 성숙도를 분석한 결과이다. 도 9는 실제 전술한 신경망을 이용하여 투과 현미경 영상을 분석한 결과이다. 도 9(A)는 투과 현미경 영상에서 세포 영역이 구분된 것이다. 도 9(A)에서 immature DC(imDC)는 미성숙한 세포를 나타낸다. matured DC(mDC)는 성숙한 세포를 나타낸다. 한편 면역 세포에 대한 성숙도는 형광 염색으로도 판단하기 어려운 것이다. 즉, 사람의 육안이나 형광 표지된 형태로도 성숙도 판단이 어렵다는 것이다. 도 9(B)는 신경망을 사용하여 세포 상태를 판단한 결과와 실험적 결과를 비교한 테이블이다. 신경망을 이용한 세포 상태 판단은 면역 세포의 성숙도에 대하여 98% 이상의 정확도로 판별하고 있다.
한편 바이오/의학 분야는 살아 있는 세포에 대한 연구도 많다. 즉, 살아 있는 세포를 추적하여 이에 대한 분석이 필요할 것으로 예상하였다.
즉, 본 발명의 다른 실시예에서는 제1 시점에서의 투과 현미경 영상과, 제1 시점 이후의 제2 투과 현미경 영상을 입력하여, 세포를 인식하는 제1 학습 네트워크로 영상을 처리한 다음, 세포를 추적하는 제2 학습 네트워크를 이용하여 제1 시점에서의 투과 현미경 영상에서 인식된 세포를 제 2 투과 현미경 영상에서 식별하여, 제3 학습 네크워크를 이용하여 세포의 상태를 분석할 수 있다는 것을 확인하였다(도 10 내지 도 12).
따라서, 본 발명은 다른 관점에서, 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 상기 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계; 상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계; 상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 제2 투과 현미경 영상에서 식별한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제3 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법에 관한 것이다.
본 발명에 있어서, 상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 제2 학습 네트워크는 시간 간격을 갖는 두 개의 투과 현미경 영상에서 동일 세포를 식별하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제3 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 CNN(convolutional neural network) 모델인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 영상 처리 장치가 제4 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 추가로 포함하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제3 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 거울상 구조로서, 상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 반영하여 상기 특징 영상을 생성하는 것을 특징으로 할 수 있다.
이하 투과 현미경 영상을 이용하여 세포를 추적하고, 추적한 세포에 대한 세포를 분석하는 예를 설명한다.
도 10은 투과 현미경 영상 내의 세포를 추적하는 과정(600)의 예이다. 세포 추적 과정에는 두 가지 신경망(N1 및 N4)가 사용된다. 신경망(N4)는 인식된 세포를 시작으로 시간의 흐름에 따라 세포를 추적한다. 이하 신경망(N4)을 추적 네트워크라고 명명한다.
인식 네트워크(N1)는 투과 현미경 영상을 입력받아(610), 영상 내에 존재하는 객체(세포)를 식별한다(620). 인식 네트워크(N1)는 식별한 세포의 영역을 구분할 수 있다. 따라서 인식 네트워크(N1)는 영상에서 특정 객체와 해당 객체의 위치를 파악할 수 있는 모델이다. 인식 네트워크(N1)는 식별한 세포의 위치를 포함하는 영상 정보를 생성한다.
추적 네트워크(N4)는 인식 네트워크(N1)가 최초 식별한 세포와 세포의 위치를 기준으로 세포를 추적한다(630). 추적 네트워크(N4)는 식별한 세포의 위치를 추적한 결과를 보여주는 영상을 생성한다. 추적 네트워크(N4)는 시간의 흐름에 따른 복수의 투과 현미경 영상에서 세포를 추적한다. 예컨대, 추적 네트워크(N4)는 제1 시점의 투과 현미경 영상 및 제1 시점 이후의 제2 시점의 투과 현미경 영상을 입력받을 수 있다. 제1 시점의 투과 현미경 영상은 인식 네트워크(N1)가 세포 및 세포 영역을 식별한 영상이다. 추적 네트워크(N4)는 제1 시점의 투과 현미경 영상에서 식별한 세포 위치를 시작으로 제2 시점의 투과 현미경 영상에서 식별한 세포의 위치를 추적한다. 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 최초 식별한 세포를 계속하여 추적할 수 있다. 또한 추적 네트워크(N4)는 투과 현미경 영상에서 식별된 복수의 세포에 대한 추적을 수행할 수 있다. 도 10은 추적 네트워크(N4)를 이용하여 영상에서 식별한 세포를 추적한 결과를 보여준다. 도 10에서 추적 네트워크(N4)가 생성한 영상을 살펴보면, 해당 영상은 위치 식별한 세포(사각형 박스 표시)가 최초 C1에서 특정 시간이 경과한 후 C2로 이동한 것을 알 수 있다. C1과 C2를 연결하는 실선은 시간 흐름에 따른 세포 이동 경로를 의미한다. 추적 네트워크(N4)는 객체를 추적하는 비지도학습 네트워크에 해당한다. 영상 처리 장치가 추적 네트워크(N4)의 출력 결과를 이용하여 투과 현미경 영상에 도 10과 같은 사각형 박스나 세포 위치를 나타내는 실선을 표시할 수 있다.
도 11은 세포를 추적하여 세포를 분석하는 과정(700)의 예이다. 먼저 인식 네트워크(N1)가 투과 현미경 영상을 입력받는다(710). 인식 네트워크(N1)은 투과 현미경 영상에서 세포를 식별하고, 식별한 세포에 대한 위치(영역) 정보를 생성한다. 인식 네트워크(N1)는 투과 현미경 영상에서 세포 영역을 표시한 영상을 생성할 수도 있다. 추적 네트워크(N4)는 세포 영역이 식별된 제1 시점의 투과 현미경 영상(제1 투과 현미경 영상이라 함)을 입력받는다. 추적 네트워크(N4)는 제1 투과 현미경 영상에서 식별된 세포를 시작으로 제1 시점 이후의 제2 시점의 투과 현미경 영상에서 세포의 위치를 결정(추적)한다(720). 나아가 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 계속 세포를 추적할 수 있다(730). 도 11은 K개의 투과 현미경 영상에서 동일한 세포를 추적한 결과를 도시한다. 즉, 추적 네트워크(N4)는 시간의 경과에 따른 세포 영상 및 해당 시점의 세포 위치를 나타내는 복수의 영상을 생성할 수 있다.
분석 네트워크(N2)는 추적 네트워크(N4)가 생성한 영상을 입력받는다. 분석 네트워크(N2)는 입력 영상에서 세포의 상태를 판단하여 판단 정보를 생성한다(740). 분석 네트워크(N2)는 시간의 흐름에 따라 세포의 식별하고, 식별한 세포에 대한 생동성(viability) 변화를 나타낸다. 도 11을 살펴보면 분석 대상인 세포가 시간의 흐름에 따라 생동성을 잃어 사멸한 것을 알 수 있다. 영상 처리 장치는 분석 네트워크(N2)가 생성한 판단 정보를 사용자가 쉽게 식별할 수 있도록 영상 내에 식별 정보(텍스트 정보 또는 색상)를 삽입할 수 있다. 예컨대, 영상 처리 장치는 도 11의 하단에 도시한 바와 같이 세포의 유형 및 생동성에 대한 정보를 영상 내에 표시할 수 있다.
도 12는 투과 현미경 영상에서 세포를 추적한 후 세포를 분석한 결과이다. 도 12는 실제 신경망을 이용하여 투과 현미경에서 세포를 추적하고, 세포를 분석한 결과이다. 도 12(A)는 투과 현미경 영상에서 인식 네트워크(N1) 및 추적 네트워크(N4)를 이용하여 세포를 추적한 결과이다. 도 12(B)는 도 12(A)에서 세포 중 "Track 01"로 추적한 세포와 "Track 07"로 추적한 세포에 대한 판단 정보를 도시한다. "Track 01"로 추적한 세포는 시간 경과에 따라 계속 살아 있고, "Track 07"로 추적한 세포는 시간 경과에 따라 사멸한 것을 알 수 있다.
판단 정보 기반한 특징 영상 생성
이하 투과 현미경 영상에 포함된 세포에 대한 상태를 판단하고, 판단한 정보를 기준으로 세포의 특징을 나타내는 영상(특징 영상)을 생성하는 예를 설명한다. 도 13은 세포에 대한 특징 영상을 생성하는 과정 (800) 의 예이다.
투과 현미경 영상은 먼저 인식 네트워크(N1)에 입력된다(510). 도 13은 K개의 서로 다른 투과 현미경 영상이 입력되는 예이다. 인식 네트워크(N1)는 투과 현미경 영상에서 세포를 인식하고, 세포 영역을 구분한다(820). 인식 네트워크(N1)는 도 13와 같이 투과 현미경 영상에 존재하는 복수의 세포 영역을 구분하여 출력할 수 있다. 인식 네트워크(N1)가 출력한 세포 영상(세포 영역)은 분석 네트워크(N2)에 전달된다(830). 분석 네트워크(N2)는 입력된 세포 영상을 분석한다(840). 분석 네트워크(N2)는 세포 상태에 대한 분석 정보를 생성한다.
신경망(N5)는 분석 네트워크(N2)가 출력한 정보를 이용하여 일정한 특징 영상을 생성한다(850). 이하 신경망(N5)를 생성 네트워크라고 명명한다. 전술한 바와 같이 분석 네트워크(N2)는 CNN 모델이다. 생성 네트워크(N5)는 분석 네트워크(N2)와는 반대되는(거울상) 구조를 갖는다. 생성 네트워크(N5)는 분석 네트워크(N2)의 세포 상태 판단 과정을 역으로 추적하여 해당 판단에 필요한 정보를 식별한다. 생성 네트워크(N5)는 판단 과정에 사용된 정보를 특징 정보라고 명명한다. 특징 정보는 세포 상태를 판단하는 기준이 되며, 복수의 특징 정보 중 기여도가 큰 정보가 있다. 생성 네트워크(N5)는 특징 정보를 중요도(기여도) 기준으로 나열한다. 이와 같이 특징 정보에 대한 중요도가 결정되면, 생성 네트워크(N5)는 해당 중요도의 크기를 일정한 이미지로 변환한다. 예컨대, 생성 네트워크(N5)는 중요도에 따라 색상을 달리하거나 질감을 달리하는 영상을 생성할 수 있다. 도 13은 생성 네트워크(N5)가 생성한 특징 영상을 도시하였다. 특징 영상은 특정 색상이나 형태 자체가 정량적으로 세포의 특성과 직접 연관되지 않을 수 있다. 다만 특징 영상은 색상이나 형태로 서로 다른 세포의 특성을 구분하는 정보가 될 수 있다.
생성 네트워크(N5)는 영상에 대한 분류 (class) 정보를 입력받아, 해당 분류 정보가 의미하는 영상이 무엇인지 검출한다. 생성 네트워크(N5)는 일종의 약지도학습(weakly-supervised learning) 네트워크에 해당한다. 의료 분야에서 약지도학습 네트워크는 영상 전체에 대한 소견(분석 결과)를 기준으로 영상에서 병변의 위치를 검출하는데 사용되기도 한다. 생성 네트워크(N5)는 사전에 학습된 분석 네트워크 (N2)의 정보를 사용한다.
도 14는 생성 네트워크의 구조에 대한 예이다. 먼저 사전에 학습된 CNN으로 영상을 처리한다. 이때 CNN은 투과 현미경 영상에서 세포에 대한 분류 정보를 생성한다. 이 과정은 전술한 판단 네트워크(N2)를 통해 수행할 수도 있다. 도 14는 상부에는 판단 네트워크(N2)를 도시한 예이다. 판단 네트워크(N2)는 입력된 투과 현미경 영상을 분석하여 특정 세포 영상에 대한 분류 정보(분석 정보)를 출력한다.
생성 네트워크(N5)는 영상을 분석한 CNN과 거울상 구조를 갖는다. 생성 네트워크(N5)는 CNN(N2)이 산출한 분류 정보를 입력받는다. 생성 네트워크(N5)는 분석 네트워크(N2)가 산출한 결과를 역추적하는 과정을 수행한다. 도 14에서 투과 현미경 영상에 포함된 세포(들)에 대한 분류 정보를 색상으로 표현하였다.
생성 네트워크(N5)는 영상에 대한 모든 분류 정보에 대하여 해당 신경 노드의 확률을 계산한다. 도 14는 3개의 분류 정보를 별도의 색상으로 표시한 예이다. 도 14는 3개의 생성 네트워크(N5)를 각각 도시하였는데, 이는 3개의 분류 정보를 역으로 추적하는 과정을 도시한 것이다. 생성 네트워크(N5)는 기구축된 분석 네트워크(N2)를 기준으로 각 분류에 대한 확률값을 연산한다.
생성 네트워크(N5) 동작에 대하여 설명한다. 생성 네트워크(N5)는 해당 분류 정보에 대한 확률을 계산하고, 각 계층별로 확률을 곱하여 그 값이 0보다 작은 확률에 대한 노드를 제거한다. 각 계층에 대하여 동일한 동작을 수행하면, 최종 컨볼루션 계층 후의 확률값은 영상에서 각 픽셀이 해당 분류 정보에 기여하는 정도(기여도)를 의미하게 된다. 한편 생성 네트워크(N5)는 CNN의 분류 결과와 관계없이 가능한 모든 분류에 대하여, 확률값 연산을 수행한다. 즉, 생성 네트워크(N5)는 전체 분류의 개수만큼의 영상을 생성하게 된다. 또 생성한 각 영상은 해당 분류의 확률 정보를 포함하게 된다. 각 픽셀에 대한 확률값은 해당 픽셀의 색상 내지 밝기값으로 표현될 수 있다. 도 14는 3개의 분류 정보에 대하여 생성 네트워크(N5)가 생성한 영상을 예시한다. 3개의 분류 정보는 일반적으로 확률을 역추적하는 시작점이 서로 다르다. 따라서 결과적으로 최종 생성되는 각 픽셀의 확률값도 서로 다른 결과를 갖는다. 세포 영상에 대하여 판단 네트워크(N2)가 해당 세포의 상태를 판단한 판단 정보를 생성하는데, 이때 판단 정보 생성에 중요하게 기여한 정보(픽셀)는 색상이나 밝기값으로 구분될 수 있다.
도 15는 투과 현미경 영상에 대한 특징 영상을 생성한 결과이다.
도 15(A)는 면역 세포의 성숙도를 나타내는 특징 영상의 예이다. 세로축에서 DIC는 투과 현미경 영상을 나타낸다. PAINT가 생성 네트워크를 이용하여 생성한 특징 영상이다. Overlay는 투과 현미경 영상과 특징 영상을 중첩시킨 영상이다. 가로축에서 immature DC는 미성숙 세포를 나타내고, mature DC는 성숙한 세포를 나타낸다. 도 15(A)와 같이 특징 영상은 성숙한 세포와 미성숙한 세포를 색상이나 형태로 구분할 수 있다.
도 15(B)는 세포의 생존 여부를 나타내는 특징 영상의 예이다. 세로축에서 DIC는 투과 현미경 영상을 나타낸다. PAINT가 신경망을 이용하여 생성한 특징 영상이다. Overlay는 투과 현미경 영상과 특징 영상을 중첩시킨 영상이다. 가로축에서 live는 살아 있는 세포를 나타낸다. death는 죽은 세포를 나타낸다. death 1 내지 death3은 세포 사멸 원인이 서로 다른 경우이다. 도 15(B)와 같이 특징 영상은 살아 있는 세포와 작은 세포를 구분할 수 있다. 나아가 특징 영상은 사멸 원인에 따라 서로 다른 색상이나 형태를 표현할 수도 있다.
도 15(C)는 암세포 여부를 나타내는 특징 영상의 예이다. 세로축에서 DIC는 투과 현미경 영상을 나타낸다. PAINT가 생성 네트워크를 이용하여 생성한 특징 영상이다. Overlay는 투과 현미경 영상과 특징 영상을 중첩시킨 영상이다. 가로축에서 normal은 정상 세포를 나타내고, luminal, basal. HER2+는 암세포를 나타낸다. luminal, basal. HER2+는 암세포의 종류 내지 특성이 서로 다르다. 도 15(C)와 같이 특징 영상은 정상 세포와 암세포를 구분할 수 있다. 나아가 특징 영상은 암세포의 종류 내지 특징에 따라 서로 다른 색상이나 형태를 표현할 수도 있다.
도 16은 세포를 추적하여 세포에 대한 특징 영상을 생성하는 과정(900)의 예이다. 먼저 인식 네트워크(N1)가 투과 현미경 영상을 입력받는다(910). 인식 네트워크(N1)은 투과 현미경 영상에서 세포를 식별하고, 식별한 세포에 대한 위치(영역) 정보를 생성한다. 인식 네트워크(N1)는 투과 현미경 영상에서 세포 영역을 표시한 영상을 생성할 수도 있다. 추적 네트워크(N4)는 세포 영역이 식별된 제1 시점의 투과 현미경 영상(제1 투과 현미경 영상이라 함)을 입력받는다. 추적 네트워크(N4)는 제1 투과 현미경 영상에서 식별된 세포를 시작으로 제1 시점 이후의 제2 시점의 투과 현미경 영상에서 세포의 위치를 결정(추적)한다(920). 나아가 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 계속 세포를 추적할 수 있다(930). 도 16은 K개의 투과 현미경 영상에서 동일한 세포를 추적한 결과를 도시한다. 즉, 추적 네트워크(N4)는 시간의 경과에 따른 세포 영상 및 해당 시점의 세포 위치를 나타내는 복수의 영상을 생성할 수 있다.
분석 네트워크(N2)는 추적 네트워크(N4)가 생성한 영상을 입력받는다. 분석 네트워크(N2)는 입력 영상에서 세포의 상태를 판단하여 판단 정보를 생성한다. 생성 네트워크(N5)는 판단 정보를 기준으로 판단에 기초가된 특징 정보의 중요도를 구분하고, 중요도에 따라 일정한 이미지를 생성한다(940). 도 16을 살펴보면 분석 대상인 세포가 시간의 흐름에 따라 생동성을 잃어 사멸한 것을 알 수 있다.
도 17은 투과 현미경 영상에서 세포를 추적하여 면역 세포의 성숙도를 나타낸 특징 영상을 생성한 결과이다. 도 17은 신경망을 이용하여 실제 투과 현미경 영상에서 세포를 추적하고, 추적한 세포에 대한 특징 영상을 생성한 예이다. 도 17(A)는 투과 현미경 영상에서 세포를 추적한 결과이다. 도 17(A)는 두 가지 상황에 대한 경우이다. "imDC"는 미성숙 세포를 나타낸고, "imDC+LPS"는 미성숙 세포에 LPS(리포폴리사카라이드)가 투여된 상황이다. 도 17(B)는 추적된 세포에 대한 투과 현미경 영상, 세포 상태 및 특징 영상을 도시한다. 도 17(B) 좌측은 imDC에서 "Tack 04"로 추적된 세포에 대한 예이다. 도 17(B) 우측은 imDC+LPS에서 "Track 01"로 추적된 세포에 대한 예이다. 해당 세포는 시간 경과에 따라 성숙한 세포로 변화된 것을 알 수 있다.
도 18은 투과 현미경 영상에서 세포를 추적하여 암세포의 종류 및 생동성 변화를 나타내는 특징 영상을 생성한 결과이다. 도 18은 신경망을 이용하여 실제 투과 현미경 영상에서 세포를 추적하고, 추적한 세포에 대한 특징 영상을 생성한 예이다. 도 18(A)는 투과 현미경 영상에서 세포를 추적한 결과이다. 도 18(A)는 모두 세포 10개(Track 01 내지 Track 10)을 추적한 결과를 도시한다. 도 18(B)는 추적된 세포에 대한 투과 현미경 영상, 세포 상태 및 특징 영상을 도시한다. 도 18(B) 좌측은 "Tack 01"로 추적된 세포에 대한 예이다. 도 17(B) 우측은 "Track 07"로 추적된 세포에 대한 예이다. 해당 세포는 시간 경과에 따라 사멸한 것을 알 수 있다.
본 발명은 또다른 관점에서, 제1 투과 현미경 영상을 입력받는 입력장치: 투과 현미경 영상에서 세포 영역을 구분하는 제1 학습 네트워크 및 상기 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 제2 학습 네트워크를 저장하는 저장 장치: 및 상기 제1 학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에서 세포가 위치하는 세포 영역을 식별하고, 상기 식별한 세포 영역을 상기 제2 학습 네트워크에 입력하여 상기 식별한 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 연산 장치를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치에 관한 것이다.
이하 도면을 통해 영상 처리 장치에 관해 상세히 설명한다.
도 19는 투과 현미경 영상을 처리하는 영상 처리 장치(1000)의 구성에 대한 예이다. 영상 처리 장치(1000)는 투과 현미경 영상에서 세포를 분석하는 장치이다. 또 영상 처리 장치(1000)는 세포 분석 정보에 기반하여 특징 영상을 생성하는 장치이다.
영상 처리 장치(1000)는 물리적으로 다양한 형태로 구현될 수 있다. 도 19 하단에 영상 처리 장치의 구현 예를 도시하였다. 영상 처리 장치(1000)는 PC와 같은 컴퓨터 장치(A), 네트워크의 서버(B), 영상 처리 전용 칩셋(C) 등의 형태를 가질 수 있다. 컴퓨터 장치는 스마트 기기 등과 같은 모바일 기기를 포함할 수 있다. 최근 AI 전용 칩셋이 활발하게 개발되고 있다. 따라서 영상 처리 장치는 특수 현미경 영상을 생성하는 신경망 모델을 포함하는 칩셋 형태의 제품으로도 구현 가능하다.
영상 처리 장치(1000)는 저장 장치(1010), 메모리(1020), 연산장치(1030), 인터페이스 장치(1040) 및 통신 장치(1050)를 포함한다.
저장 장치(1010)는 세포 상태 분석을 위한 신경망 모델을 저장한다. 예컨대, 저장 장치(1010)는 인식 네트워크(N1) 및 분석 네트워크(N2)를 저장할 수 있다. 세포 추적하여 세포를 분석하는 경우 저장 장치(1010)는 인식 네트워크(N1), 분석 네트워크(N2) 및 추적 네트워크(N4)를 저장할 수 있다.
저장 장치(1010)는 특징 영상 생성을 위한 신경망 모델을 저장할 수 있다. 저장 장치(1010)는 인식 네트워크(N1), 분석 네트워크(N2) 및 생성 네트워크(N5)를 저장할 수 있다. 세포 추적하여 세포를 분석하는 경우 저장 장치(1010)는 인식 네트워크(N1), 분석 네트워크(N2), 생성 네트워크(N5) 및 추적 네트워크(N4)를 저장할 수 있다. 또 저장 장치(1010)는 영상을 분석한 결과를 영상 내에 일정하게 표기(마크, 색상 또는 텍스트 등)하기 위한 영상 처리 프로그램을 저장할 수도 있다.
저장 장치(1010)는 각종 신경망을 훈련하기 위한 라벨링 네트워크(N3) 및 학습 데이터를 저장할 수도 있다. 나아가 저장 장치(1010)는 영상 처리에 필요한 프로그램내지 소스 코드 등을 저장할 수 있다. 저장 장치(1010)는 투과 현미경 영상, 각 신경망 모델이 생성하는 영상 및 특수 영상을 저장할 수 있다.
메모리(1020)는 영상 처리 장치(1000)가 수신한 투과 현미경 영상, 특수 현미경영상 생성과정에서 임시로 생성되는 영상, 신경망을 이용한 영상 처리 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(1040)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(1040)는 물리적으로 연결된 입력 장치 또는 외부 저장 장치로부터 투과 현미경 영상을 입력받을 수 있다. 인터페이스 장치(1040)는 세포 분석이나 특징 영상 생성을 위한 각종 신경망 모델을 입력받을 수 있다. 인터페이스 장치(1040)는 신경망 모델 생성을 위한 학습데이터, 정보 및 파라미터값을 입력받을 수도 있다.
통신 장치(1050)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신 장치(1050)는 외부 객체로부터 투과 현미경 영상을 수신할 수 있다. 통신 장치(1050)는 각종 신경망 모델 및 모델 학습을 위한 데이터도 수신할 수 있다. 통신 장치(1050)는 생성한 특수 현미경 영상을 외부 객체로 송신할 수 있다.
통신 장치(1050) 내지 인터페이스 장치(1040)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신 장치(1050) 내지 인터페이스 장치(1040)를 입력장치라고 명명할 수 있다.
연산 장치(1030)는 저장장치(1010)에 저장된 신경망 모델 내지 프로그램을 이용하여 특수 현미경 영상을 처리한다. 연산 장치(1030)는 전술한 과정을 통해 주어진 학습 데이터를 이용하여 세포 분석 과정에 사용되는 신경망 모델을 학습할 수 있다. 연산 장치(1030)는 인식 네트워크(N1), 분석 네트워크(N2), 라벨링 네트워크(N3), 추적 네트워크(N4) 및 생성 네트워크(N5) 중 적어도 하나를 학습된 형태로 구축할 수 있다. 연산 장치(1030)는 전술한 과정을 통해 구축된 신경망을 이용하여 투과 현미경 영상에서 세포 상태를 분석할 수 있다. 연산 장치(1030)는 투과 현미경 영상에 분석된 결과를 도형, 색상 또는 텍스트 등으로 화면에 부가(overlay)할 수도 있다. 나아가 연산 장치(1030)는 전술한 과정을 통해 구축된 신경망을 이용하여 투과 현미경 영상에서 세포 상태에 대한 특징 영상을 생성할 수 있다. 연산 장치(1030)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, GPU, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
도 20은 투과 현미경 영상 내의 세포를 분석하는 시스템에 대한 예이다. 도 20은 네트워크를 이용하여 세포 분석을 제공하는 실시예에 대한 것이다. 도 20에서 서비스 서버(1180)가 전술한 영상 처리 장치에 해당한다. 도 20에서 각 객체 간 보안이나 통신에 대한 자세한 설명은 생략한다. 각 객체는 통신 수행하기 전에 일정한 인증을 수행할 수도 있다. 예컨대, 인증에 성공한 사용자만이 서비스 서버(1180)에 세포 분석을 요청할 수 있다.
사용자는 사용자 단말을 통해 서비스 서버(1180)에 특수 현미경 영상 제공을 요청할 수 있다. 사용자는 영상 DB(1150)로부터 투과 현미경 영상을 수신할 수 있다. 영상 DB(1150)는 실험과정에서 도출한 투과 현미경 영상을 저장한다. 영상 DB(1150)는 네트워크에 위치하는 객체일 수 있다. 또는 영상 DB(1150)는 단순한 저장 매체일 수도 있다. 사용자는 사용자 단말(1110)을 통해 투과 현미경 영상을 서비스 서버(1180)에 전달한다. 투과 현미경 영상을 포함한 요청을 수신한 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포에 대한 분석을 수행한다. 나아가 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포의 상태를 나타내는 특징 영상을 생성할 수도 있다. 서비스 서버(1180)는 세포 분석 내지 특징 영상 생성을 위한 각종 신경망 모델을 사전에 구축하여야 한다. 서비스 서버(1180)는 세포를 분석한 결과 또는 특징 영상을 사용자 단말(1110)에 전송할 수 있다. 또는 도면에 도시하지 않았지만, 서비스 서버(1180)는 분석한 결과 또는 특징 영상을 별도의 저장 매체에 저장하거나, 별도의 객체에 전달할 수도 있다.
사용자는 실험 과정에서 획득한 투과 현미경 영상을 사용자 단말(1120)을 통해 서비스 서버(1180)에 전달할 수도 있다. 투과 현미경 영상을 포함한 요청을 수신한 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포에 대한 분석을 수행한다. 나아가 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포의 상태를 나타내는 특징 영상을 생성할 수도 있다. 서비스 서버(1180)는 세포 분석 내지 특징 영상 생성을 위한 각종 신경망 모델을 사전에 구축하여야 한다. 서비스 서버(1180)는 세포를 분석한 결과 또는 특징 영상을 사용자 단말(1110)에 전송할 수 있다. 또는 도면에 도시하지 않았지만, 서비스 서버(1180)는 분석한 결과 또는 특징 영상을 별도의 저장 매체에 저장하거나, 별도의 객체에 전달할 수도 있다.
또한, 상술한 바와 같은 인식 네트워크(N1)를 학습하는 방법, 인식 네트워크(N1)를 구축하기 위한 학습 영상 생성 방법, 학습용 영상을 생성하는 라벨링 네트워크(N3) 생성 방법, 분석 네트워크(N2)를 학습하는 방법, 투과 현미경 영상 내의 세포를 분석하는 방법, 추적 네트워크(N4) 생성 방법, 세포를 추적하여 투과 현미경 영상 내의 세포를 분석하는 방법, 특징 영상 생성 방법, 세포를 추적하여 특징 영상을 생성하는 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
1000 : 영상 처리 장치
1010 : 저장장치
1020 : 메모리
1030 : 연산장치
1040 : 인터페이스 장치
1050 : 통신장치
1100 : 특수 현미경 영상을 제공하는 시스템
1110, 1120 : 사용자 단말
1150 : 영상 DB
1180 : 서비스 서버
N1: 인식 네트워크
N2: 분석 네트워크
N3: 라벨링 네트워크
N4: 추적 네트워크
N5: 생성 네트워크
100: 인공신경망을 이용한 세포 분석 과정
200: 인식 네트워크(N1)의 학습 과정
300: 인식 네트워크를 이용하여 세포를 판별하는 과정
400: 라벨링 네트워크(N3)의 동작 내지 구조
500: 분석 네트워크를 학습하는 과정
600: 투과 현미경 영상 내의 세포를 추적하는 과정
700: 세포를 추적하여 세포를 분석하는 과정
800: 세포에 대한 특징 영상을 생성하는 과정
900: 세포를 추적하여 세포에 대한 특징 영상을 생성하는 과정

Claims (17)

  1. 영상 처리 장치가 투과 현미경 영상을 입력받는 단계;
    상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계; 및
    상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 하나 이상의 특징 정보 및 이의 중요도를 판단하고, 이를 기준으로 세포 영역에 위치한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되,
    상기 제 1 학습 네트워크는 별도의 투과 현미경 영상 및 학습용 영상을 통해 학습되고,
    상기 학습용 영상은 비지도 학습 라벨링 네트워크를 통해 별도의 특수 현미경 영상의 객체 영역에서 발생하는 신호로 부터 생성되며,
    상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법.
  2. 제1항에 있어서,
    상기 제2 학습 네트워크는 복수의 상기 세포 영역에 대하여 각각 세포에 대한 상태를 판단하는 인공신경망을 이용한 세포 영상 분석 방법.
  3. 제1항에 있어서,
    상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 인공신경망을 이용한 세포 영상 분석 방법.
  4. 제1항에 있어서,
    상기 제2 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 인공신경망을 이용한 세포 영상 분석 방법.
  5. 제4항에 있어서,
    상기 제2 학습 네트워크는 상기 적어도 하나의 항목 각각에 대하여 개별적으로 사전에 학습된 적어도 하나의 신경망 모델을 포함하는 인공신경망을 이용한 세포 영상 분석 방법.
  6. 제1항에 있어서,
    상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 더 포함하는 인공신경망을 이용한 세포 영상 분석 방법.
  7. 제6항에 있어서,
    상기 제2 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 거울상 구조로서,
    상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 상기 하나 이상의 특징 정보에 대해 상기 판단 정보 생성 과정을 역으로 추적하여, 각 특징 정보에 따른 픽셀의 확률 값을 각각 생성하고, 상기 특징 정보의 중요도를 기준으로 상기 특징 영상을 생성하며,
    상기 특징 영상은 특징 정보의 중요도에 따라 구분되어 생성되는 인공신경망을 이용한 세포 영상 분석 방법.
  8. 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계;
    상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계;
    상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계;
    상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 하나 이상의 특징 정보 및 이의 중요도를 판단하고, 이를 기준으로 상기 제2 투과 현미경 영상에서 식별한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되,
    상기 제1 학습 네트워크는 별도의 투과현미경 영상 및 학습용 영상을 이용하여 학습되고,
    상기 학습용 영상은 라벨링 네트워크를 통해 별도의 특수 현미경 영상의 객체 영역에서 발생하는 신호로부터 생성되며,
    상기 제3 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법.
  9. 제8항에 있어서,
    상기 제3 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 CNN(convolutional neural network) 모델인 인공신경망을 이용한 세포 영상 분석 방법.
  10. 제9항에 있어서,
    상기 영상 처리 장치가 제4 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 더 포함하는 인공신경망을 이용한 세포 영상 분석 방법.
  11. 제10항에 있어서,
    상기 제3 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 거울상 구조로서,
    상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 반영하여 상기 특징 영상을 생성하는 인공신경망을 이용한 세포 영상 분석 방법.
  12. 제8항에 있어서,
    상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 인공신경망을 이용한 세포 영상 분석 방법.
  13. 제8항에 있어서,
    상기 제2 학습 네트워크는 시간 간격을 갖는 두 개의 투과 현미경 영상에서 동일 세포를 식별하는 인공신경망을 이용한 세포 영상 분석 방법.
  14. 제1 투과 현미경 영상을 입력받는 입력장치:
    투과 현미경 영상에서 세포 영역을 구분하는 제1 학습 네트워크 및 하나 이상의 특징 정보 및 이의 중요도를 판단하고, 이를 기준으로 상기 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 제2 학습 네트워크를 저장하는 저장 장치: 및
    상기 제1 학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에서 세포가 위치하는 세포 영역을 식별하고, 상기 식별한 세포 영역을 상기 제2 학습 네트워크에 입력하여 상기 식별한 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 연산 장치를 포함하되,
    상기 제1 학습 네트워크는 별도의 투과현미경 영상 및 학습용 영상을 이용하여 학습되고,
    상기 학습용 영상은 라벨링 네트워크를 통해 별도의 특수 현미경 영상의 객체 영역에서 발생하는 신호로부터 생성되며,
    상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 연산 장치는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
  16. 제15항에 있어서,
    상기 저장 장치는 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 제3 학습 네트워크를 더 저장하고,
    상기 연산 장치는 상기 판단 정보를 상기 제3 학습 네트워크에 입력하여 상기 특징 영상을 생성하되,
    상기 제2 학습 네트워크는 상기 판단 정보라는 잠재 변수를 산출하는 인코더이고, 상기 제3 학습 네트워크는 상기 잠재 변수를 입력으로 영상을 생성하는 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 반영하여 상기 특징 영상을 생성하는 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
KR1020190001741A 2019-01-07 2019-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치 KR102084683B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190001741A KR102084683B1 (ko) 2019-01-07 2019-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
PCT/KR2020/000226 WO2020145606A1 (ko) 2019-01-07 2020-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190001741A KR102084683B1 (ko) 2019-01-07 2019-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치

Publications (1)

Publication Number Publication Date
KR102084683B1 true KR102084683B1 (ko) 2020-03-04

Family

ID=69783217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190001741A KR102084683B1 (ko) 2019-01-07 2019-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치

Country Status (2)

Country Link
KR (1) KR102084683B1 (ko)
WO (1) WO2020145606A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220041463A (ko) 2020-09-25 2022-04-01 고려대학교 산학협력단 선 레이블을 이용한 세포 영상 분할 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20230059734A (ko) 2021-10-25 2023-05-03 고려대학교 산학협력단 인공지능을 이용한 세포 판별 방법 및 장치
KR102557748B1 (ko) 2022-12-14 2023-07-20 고려대학교 산학협력단 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
KR101704690B1 (ko) 2015-09-02 2017-02-09 선문대학교 산학협력단 세포 분석 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2961336B1 (en) * 2013-02-28 2024-03-27 Ares Trading S.A. Apparatus, method, and system for automated, non-invasive cell activity tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
KR101704690B1 (ko) 2015-09-02 2017-02-09 선문대학교 산학협력단 세포 분석 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Mesbah, Rassoul, Brendan McCane, and Steven Mills. Deep convolutional encoder-decoder for myelin and axon segmentation. 2016 IVCNZ. IEEE, 2016.* *
Veluchamy,Magudeeswaran,Karthikeyan Perumal, and Thirumurugan Ponuchamy. Feature extraction and classification of blood cells using artificial neural network. American journal of applied sciences 9.5.* *
Zhang, Junkang, et al. Cancer cells detection in phase-contrast microscopy images based on Faster R-CNN. 2016 9th International Symposium on Computational Intelligence and Design (ISCID). IEEE. 2016.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220041463A (ko) 2020-09-25 2022-04-01 고려대학교 산학협력단 선 레이블을 이용한 세포 영상 분할 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102533080B1 (ko) 2020-09-25 2023-05-15 고려대학교 산학협력단 선 레이블을 이용한 세포 영상 분할 방법, 이를 수행하기 위한 기록 매체 및 장치
US11908133B2 (en) 2020-09-25 2024-02-20 Korea University Research And Business Foundation Method for cell image segmentation using scribble labels, recording medium and device for performing the method
KR20230059734A (ko) 2021-10-25 2023-05-03 고려대학교 산학협력단 인공지능을 이용한 세포 판별 방법 및 장치
KR102557748B1 (ko) 2022-12-14 2023-07-20 고려대학교 산학협력단 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체

Also Published As

Publication number Publication date
WO2020145606A1 (ko) 2020-07-16

Similar Documents

Publication Publication Date Title
CN113454733B (zh) 用于预后组织模式识别的多实例学习器
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US20200342604A1 (en) Colony contrast gathering
JP6503382B2 (ja) 血液学用デジタルホログラフィ顕微鏡検査データ分析
Tek et al. Parasite detection and identification for automated thin blood film malaria diagnosis
US20220139072A1 (en) Machine learning using distance-based similarity labels
US8831327B2 (en) Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN)
Bjornsson et al. Associative image analysis: a method for automated quantification of 3D multi-parameter images of brain tissue
KR102084683B1 (ko) 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
JP7176697B2 (ja) 細胞評価システム及び方法、細胞評価プログラム
JP2016507759A5 (ko)
Fuchs et al. Computational pathology analysis of tissue microarrays predicts survival of renal clear cell carcinoma patients
Yang et al. A CNN-based active learning framework to identify mycobacteria in digitized Ziehl-Neelsen stained human tissues
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN111079620A (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN113261012A (zh) 处理图像的方法、装置及系统
Kovalev et al. Deep learning in big image data: Histology image classification for breast cancer diagnosis
Li et al. An automatic plant leaf stoma detection method based on YOLOv5
KR102084682B1 (ko) 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치
US11966842B2 (en) Systems and methods to train a cell object detector
KR20230063147A (ko) 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
Chen et al. Weakly supervised deep learning for detecting and counting dead cells in microscopy images
Cao et al. Pattern recognition in high-content cytomics screens for target discovery-case studies in endocytosis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant