KR20240083820A - 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법 - Google Patents

종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법 Download PDF

Info

Publication number
KR20240083820A
KR20240083820A KR1020230157523A KR20230157523A KR20240083820A KR 20240083820 A KR20240083820 A KR 20240083820A KR 1020230157523 A KR1020230157523 A KR 1020230157523A KR 20230157523 A KR20230157523 A KR 20230157523A KR 20240083820 A KR20240083820 A KR 20240083820A
Authority
KR
South Korea
Prior art keywords
cells
tumor microenvironment
tumor
slide image
annotation
Prior art date
Application number
KR1020230157523A
Other languages
English (en)
Inventor
임광일
이영주
유선우
김은영
Original Assignee
가톨릭대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Publication of KR20240083820A publication Critical patent/KR20240083820A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치는 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행되는 컴퓨터 프로그램이 저장된 메모리를 포함하는 전자 장치로서, 상기 적어도 하나의 프로세서는, 종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하고, 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하고, 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하고, 상기 조직 병리 슬라이드 이미지의 종양미세환경을 학습하도록 어노테이션된 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하도록 구성될 수 있다.

Description

종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법{ELECTRONIC DEVICE FOR ANNOTATING CELLS IN THE TUMOR MICRO ENVIRONMENT AND ANNOTATION METHOD THEREOF}
본 발명은 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법에 관한 것이다.
종양미세환경은 종양 주변에 있는 다양한 면역세포, 혈관세포, 섬유아세포 및 각종 cytokine, free DNA, free RNA 등을 총체적으로 일컫는 용어이다. 종양미세환경은 종양의 성장과 예후에 영향을 미치며, 최근에는 종양미세환경에 영향을 미치는 면역 항암제가 개발되었다.
현재 종양미세환경에 따라 면역 항암제를 개발할 때는 종양 침범 림프구 (tumor infiltrating lymphocyte)의 개수만을 계측하여 면역 항암제의 반응을 예측하고 있다. 그러나, 종양미세환경에는 림프구 이외에도 종양 연관 대식세포 (tumor associated macrophage), 종양 연관 호중구 (tumor associated neutrophil), 종양 연관 섬유아세포 (cancer associated fibroblast) 등의 많은 세포들이 종양의 성장과 예후와 연관되어 있어 종양 침범 림프구의 개수 계측만으로는 종양미세환경을 정확하게 파악하기 어렵다.
따라서, 종양미세환경을 구성하는 다양한 세포들의 숫자를 계측하거나, 종양미세환경 각각의 세포들 각각을 연구하려면 세포 모양을 정확하게 분할(segmentation)하면서 세포의 종류를 분류(classification)할 필요가 있다.
그러나, 아주 작은 크기의 이미지 패치에도 포함된 세포의 수는 수백 개를 넘어가며, 그 중 충분한 개수의 세포에 어노테이션(annotation)을 수행하는 것은 시간과 비용 측면에서 물리적으로 어렵다.
KR 10-2022-0086964 A
본 발명의 실시에는 상술한 문제점을 해결하기 위하여 제안된 것으로, 종양미세환경을 구성하는 다양한 세포들을 분할하여 세포의 종류를 분류함으로써 어노테이션된 상기 조직 병리 슬라이드 이미지를 학습하는 인공 지능 모델을 포함하는 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치는 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행되는 컴퓨터 프로그램이 저장된 메모리를 포함하는 전자 장치로서, 상기 적어도 하나의 프로세서는, 종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하고, 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하고, 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하고, 상기 조직 병리 슬라이드 이미지의 종양미세환경을 학습하도록 어노테이션된 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하도록 구성될 수 있다.
상술한 과제를 해결하기 위한 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법은, 종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하는 단계; 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하는 단계; 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계; 및 상기 조직 병리 슬라이드 이미지의 종양미세환경을 학습하도록 어노테이션된 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하는 단계를 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
이 외에도, 본 발명을 구현하기 위한 방법이 컴퓨터 상에서 수행되도록 매체에 저장되는 컴퓨터 프로그램이 더 제공될 수 있다.
본 발명의 전술한 과제 해결 수단에 의하면 종양미세환경을 구성하는 다양한 면역 세포, 혈관 세포, 섬유아세포 등을 종합적으로 고려하여 면역 항암제의 반응을 예측하고 더 정확한 종양의 성장과 예후를 예측할 수 있다.
또한, 본 발명의 전술한 과제 해결 수단에 의하면 종양미세환경을 구성하는 다양한 세포에 대한 어노테이션을 보조하여 사용자 편의성을 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있다.
도 1은 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 구성을 간략하게 도시한 블록도이다.
도 2는 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법의 플로우 차트이다.
도 3은 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 전처리 과정에 대한 플로우 차트이다.
도 4는 염색된 조직 병리 슬라이드 이미지와 세포핵 검출된 조직 병리 슬라이드 이미지를 도시한 것이다.
도 5는 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 수동 분류 과정에 대한 플로우 차트이다.
도 6은 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 오토라벨링 과정에 대한 플로우 차트이다.
도 7은 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 결과를 도시한 이미지이다.
도 8은 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 툴을 도시한 것이다.
도 9 내지 도 11은 도 8의 툴을 이용하여 이미지 어노테이션을 수행하는 화면을 도시한 것이다.
본 발명 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 발명이 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 발명에 따른 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 발명에 따른 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 발명에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 발명에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 발명의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련데이터로서 입력데이터와 출력데이터가 같이 제공됨으로써 문제(입력데이터)의 해답(출력데이터)이 정해져 있는 지도학습(supervised learning), 및 출력데이터 없이 입력데이터만 제공되어 문제(입력데이터)의 해답(출력데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태(State)에서 어떤 행동(Action)을 취할 때마다 외부 환경에서 보상(Reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱신경망(CNN; Convolutional Neural Network), 순환신경망(RNN; Recurrent Neural Network), 트랜스포머(Transformer), 생성적 대립 신경망(GAN; generative adversarial networks) 등으로 구분될 수 있다.
본 장치와 시스템은 인공지능 모델을 포함할 수 있다. 인공지능 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력(input)으로부터 예측하고자 하는 결과(output)를 추론할 수 있다.
프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다.
뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.
본 발명의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 구성을 간략하게 도시한 블록도이다. 이하, 도 2 내지 도 11을 참조하여 본 발명에 따른 전자 장치 및 그의 어노테이션 방법을 설명하기로 한다.
본 발명에 따른 전자 장치(100)는 프로세서(110), 메모리(120), 통신부(130) 및 입출력 인터페이스(140) 등을 포함할 수 있다. 전자 장치(100)가 포함할 수 있는 내부 구성 요소는 이에 한정되지 않는다. 본 발명의 전자 장치(100)는 프로세서(110) 대신 별도의 프로세싱 서버 또는 클라우드 서버를 통해 프로세서(110)의 기능을 수행할 수 있다.
도 1을 참고하면, 프로세서(110)는 전자 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(120) 및 메모리(120)에 저장된 데이터를 이용하여 전자 장치(100)의 동작을 수행하도록 구현될 수 있다. 이 때, 프로세서(110)와 메모리(120)는 각각 별개의 칩으로 구현될 수 있다. 또는, 프로세서(110)와 메모리(120)는 단일의 칩으로 구현될 수도 있다.
실시예에 따른 메모리(120)는 전자 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 이미지, 영상 등)을 저장할 있고, 전자 장치(100)에서 구동되는 다수의 응용 프로그램(application program) 또는 어플리케이션(application), 전자 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리는 전자 장치(100)과는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
실시예에 따른 통신부(130)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
실시예에 따른 입출력 인터페이스(140)는 본 발명의 전자 장치(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 입출력 인터페이스(140)는 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈(SIM)이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 본 발명의 전자 장치(100)은, 입출력 인터페이스(140)에 연결된 외부 기기와 관련된 적절한 제어를 수행할 수 있다.
도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
따라서, 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치(100)는 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)에 의해 수행되는 컴퓨터 프로그램이 저장된 메모리(120)를 포함할 수 있다.
본 발명에 따른 전자 장치(100)의 적어도 하나의 프로세서(110)가 어노테이션 방법을 수행할 수 있다.
도 2를 참조하면, 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치(100)의 어노테이션 방법은, 종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하는 단계(S110), 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하는 단계(S120), 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계(S130) 및 상기 조직 병리 슬라이드 이미지의 종양미세환경을 학습하도록 어노테이션된 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하는 단계(S140)를 포함할 수 있다.
도 3을 참조하면, 상기 종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하는 단계(S110)는 기설정된 염색 용약을 이용하여 상기 조직 병리 슬라이드 이미지 내의 세포질과 세포핵이 상이한 색으로 염색되도록 명령하는 단계(S210)를 포함할 수 있다. 종양 미세환경을 구성하는 다양한 세포들을 좀 더 쉽게 분할하기 위하여 세포질과 세포핵, 또한 복수의 세포핵을 각각 상이한 색으로 염색할 수 있다.
이때 조직 병리 슬라이드 이미지는 고형암의 조직병리검사 유리 슬라이드에서 추출된 병리 이미지 패치를 의미할 수 있다.
세포질과 세포핵이 상이한 색으로 염식되도록 세포질과 세포핵을 각각 상이한 염색 용액으로 염색할 수 있다. 일 실시예로서, 상기 세포질을 염색하는 염색 용약은 eosin 염색 용약이며, 상기 세포핵을 염색하는 염색 용약은 Hematoxylin일 수 있다.
또한, 상기 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하는 단계(S120)는 상기 세포질의 색과 상기 세포핵의 색을 나타내는 바이너리 값이 기설정된 값을 초과하면 각각 세포질과 세포핵으로 구분하는 단계(S220) 및 구분된 상기 세포핵을 분할하는 단계(S230)를 포함할 수 있다.
각각 상이한 색으로 염색된 세포질의 색과 세포핵의 색을 각 색을 나타내는 바이너리 값의 차이로 구분하여 바이너리 값이 미리 설정된 색상 차이 값을 나타내면 세포질과 세포핵을 구분할 수 있다.
세포질과 세포핵을 염색된 색으로 구분한 후, 복수의 세포핵을 각각 분할(Segmentation)할 수 있다.
도 4를 참조하면, 세포핵(210)은 hematoxylin 염색약에 의하여 짙은 보라색으로 염색되고, 세포질(220)은 eosin 염색약에 의해 핑크색으로 나타나는 것을 확인할 수 있다. 짙은 보라색과 핑크색의 대조로 세포핵(210)과 세포질(220)을 용이하게 구분할 수 있으며, 짙은 보라색과 핑크색의 대조에 따른 바이너리(binary)를 구분하는 알고리즘을 통해 세포핵(210)을 분할할 수 있다.
도 4의 우측 도면을 참조하면, 바이너리를 구분하는 알고리즘을 통해 각 세포핵(210)을 확인하고, 확인된 세포핵(210)을 세포핵(210)의 형태에 따라 구분되는 색으로 조직 병리 슬라이드 이미지 내에서 분할할 수 있다.
한편, 구분된 상기 세포핵을 분할하는 단계(S120)는 구분된 상기 세포핵(210)의 면적이 기설정된 면적 이상인 경우 상기 세포핵(210)을 수동 분할하는 가이드를 제공하는 단계를 더 포함할 수 있다.
예를 들어, 도 4에 도시된 분할된 세포핵(210)이 기설정된 면적 이상일 경우, 여러 개의 세포가 뭉쳐져 있어 복수 개의 세포핵(210)이 같이 뭉쳐져 있거나 세포핵(210)이 겹쳐져 있는 경우, 세포핵(210)의 색이 구분이 안되고 주변 색과 비슷한 경우에 사용자가 인지하기 어려워, 면적에 따라 자동으로 세포핵(210) 분할하는 가이드를 제공할 수 있다.
따라서, 분할된 세포핵(210)을 입출력 인터페이스(140)를 통해 수동 분할 가능하도록 하여 세포핵(210)을 각각 인지하지 못해 분할이 이루어지지 않은 경우 추가 수정을 용이하게 할 수 있다.
일 실시예로서, 상기 분할된 상기 세포핵(210)의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계(S130)는 분할된 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 분류하는 단계(S330)를 포함할 수 있다.
종양 연관 대식세포는 세포핵이 굉장히 작고 진하면서 동그란 형태일 수 있다. 종양 연관 호중구는 세포핵이 최대 4개까지 분할, 분절되어 있는 형태일 수 있으며, 분할 수행 결과에 따라 세포핵 4개가 모두 나타나거나 일부만 나타날 수 있다. 종양 연관 섬유아세포는 길쭉길쭉한 형태의 세포핵으로 나타날 수 있다. 각 세포 특징에 따라 대응하는 라벨링으로 분류될 수 있다.
또는, 호상구는 핵이 두개로 나눠져있고 세포질이 굉장히 빨갛게 나타나며, 종양세포는 핵이 크고 모양도 다양하고 핵의 경계도 다양한 형상이 나타나는 비정형세포일 수 있다. 혈관은 동그랗거나 길게 잘릴 수 있고, 그 혈관을 덮고 있는 내피세포가 있고, 적혈관이 그 안을 채우고 있을 수 있다.
다시 말해, 각 특징적 형태에 따라 조직을 구분 할 수 있으며, 호중구, 호상구, 림프구, 종양, 혈관, 종양 연관 호중구, 종양 연관 섬유아세포, 종양 연관 대식세포 등으로 분류될 수 있다.
일 실시예로서, 도 5를 참조하면, 상기 분할된 상기 세포핵(210)의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계(S130)는 상기 조직 병리 슬라이드 이미지 내에 복수의 세포가 포함될 경우, 입력 인터페이스를 이용하여 각 세포의 영역으로 분할하는 입력을 받는 단계(S310), 상기 입력 인터페이스를 이용하여 분할된 각 세포에 대한 분류 결과를 입력 받는 단계(S320), 분할된 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 분류하는 단계(S330)를 포함할 수 있다.
입출력 인터페이스(140)를 통해 각 세포에 대한 분류 결과를 입력 받고, 입력 받은 결과에 따라 종양 연관 대식세포, 종양 연관 호중구, 종양 연관 섬유아세포 등으로 분류할 수 있다.
일 실시예로서, 본 발명에 따른 전자 장치(100)의 툴을 이용하여, 조직 병리 슬라이드 이미지 내에 세포핵을 분할하고, 세포의 분류를 숫자판과 연동하여 1번 누르면 종양, 2번 누르면 림프사이트가 맵핑되도록 할 수 있다.
다른 실시예로서, 도 6을 참조하면, 상기 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계(S130)는, 인공 지능 모델을 이용하여 상기 조직 병리 슬라이드 이미지 내 세포핵의 정보에 따라 상기 세포를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 오토라벨링하는 단계(S410) 및 할된 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 분류하는 단계(S420)를 포함할 수 있다. 단계(S420)는 단계(S330)과 동일유사할 수 있다.
툴을 이용하여 수동으로 세포핵 분할 및 분류를 수행하는 것 대신 수동으로 분할 및 분류된 세포핵을 학습 데이터로 학습시킨 인공 지능 모델을 이용하여 조직 병리 슬라이드 이미지 내 세포핵을 오토라벨링을 통해 자동으로 분할 및 분류할 수 있다.
또한, 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하는 단계는 상기 조직 병리 슬라이드의 세포핵 분할에 따른 분할 이미지 및 상기 세포핵의 좌표 정보를 전달하는 단계 및 상기 조직 변리 슬라이드의 분류에 따른 분류 정보를 전달하는 단계를 포함할 수 있다.
상술한 바와 같이, 세포핵의 분할 결과로 생성된 분할 이미지와 분류 결과에 따라 분류된 분류 정보를 맵핑하여 인공 지능 모델에 전달함으로써 인공 지능 모델이 오토라벨링으로 세포핵 분할 및 분류를 수행하도록 학습시킬 수 있다.
이를 위해 인공 지능 모델을 딥러닝 기반 학습 모델로 구현하여야 하며 많은 양의 학습이 필요하여 상술한 학습 데이터를 증강 기술을 통해 증강할 수도 있다.
도 7을 참조하면, 조직 병리 슬라이드 이미지 내에서 상기 영역(310) 내 세포핵을 분할하고, 기설정된 미만의 분할 영역(410)은 제거하여 분할 이미지를 정리할 수 있다.
그리고나서, 분할된 영역(320)을 대응되는 세포 종류로 분류한 후, 대응하는 세포 종류(330)를 분할된 영역(320)에 나란히 맵핑할 수 있다.
상술한 분할 및 분류에 따른 어노테이션을 수행하기 위해 도 8 내지 도 11에 도시된 바와 같이, 본 발명에 따른 전자 장치(100)의 어노테이션 방법을 수행하는 툴을 구현할 수 있다.
본 발명에 따른 툴은 사전에 저장된 특정 타입의 조직 병리 슬라이드 이미지를 불러와서 실행할 수 있다.
도 8에 도시된 바와 같이, 파일 목록(810)은 불러온 파일들을 나타내며, dilation 조절 슬라이더(820)는 생성된 조직 병리 슬라이드 이미지 중 얼마나 dilate된 결과를 사용할지 결정할 수 있다.
뷰 모드(830)은 원본 이미지(original), 모든 픽셀 그룹(overlay), 어노테이션된 픽셀 그룹(classified)를 선택할 수 있다.
편집 모드(840)는 편집을 수행할 때 오브젝트를 선택(select)하거나, 추가(add)하거나, 컷(cut)하는 모드를 선택할 수 있다.
export 버튼(850), 어노테이션 색 레이블(860), 어노테이션 리스트(870), 어노테이션 리스트 편집 버튼(880)을 추가로 제공할 수 있다.
필터 버튼(890)은 너무 작은 픽셀 그룹을 제거하는 것으로, 픽셀 그룹의 크기는 dilation 조절 슬라이더(820)로 설정할 수 있다.
분류 버튼(8100)은 해당 체크박스가 선택됨과 동시에 어노테이션이 적용되며, 노 어노테이션 버튼(8120)은 어노테이션할 픽셀 그룹이 없는 경우 처리하는 버튼이다.
줌 버튼(8110)을 통해 마우스 휠로 배율을 조절할 수 있다.
도 9는 불러온 조직 병리 슬라이드 이미지의 원본 이미지이며, 도 10은 모든 픽셀 그룹(overlay) 모드에서 원본 이미지 위에 모든 픽셀 그룹이 검은색 테두리로 체크된 것이다. 그 중 선택된 픽셀 그룹은 다른 색으로 표시될 수 있고, 어노테이션된 픽셀 그룹은 대응하는 어노테이션 색으로 표시될 수 있다.
도 11은 어노테이션된 픽셀 그룹(classified) 모드에서 원본 이미지 위에 어노테이션이 적용된 픽셀그룹을 대응하는 어노테이션 색으로 표시하고, 어노테이션 되지 않은 픽셀 그룹은 별도의 검은 테두리고 체크하지 않을 수 있다.
따라서, 본 발명에 따른 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치는 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행되는 컴퓨터 프로그램이 저장된 메모리를 포함하는 전자 장치로서, 상기 적어도 하나의 프로세서는, 종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하고, 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하고, 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하고, 상기 조직 병리 슬라이드 이미지의 종양미세환경을 학습하도록 어노테이션된 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하도록 구성될 수 있다.
상술한 툴을 통해 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하고, 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하여 종양미세환경 내 다양한 세포들을 더 쉽게 분할 및 분류할 수 있다. 기타 상술한 내용과 중복되는 내용은 생략하기로 한다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 전자 장치
110: 프로세서
120: 메모리
130: 통신부
140: 입출력 인터페이스

Claims (20)

  1. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행되는 컴퓨터 프로그램이 저장된 메모리를 포함하는 전자 장치로서,
    상기 적어도 하나의 프로세서는,
    종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하고,
    전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하고,
    분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하고,
    상기 조직 병리 슬라이드 이미지의 종양미세환경을 학습하도록 어노테이션된 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하도록 구성된
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  2. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    기설정된 염색 용약을 이용하여 상기 조직 병리 슬라이드 이미지 내의 세포질과 세포핵이 상이한 색으로 염색되도록 명령하는 것을 특징으로 하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  3. 제2 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 세포질의 색과 상기 세포핵의 색을 나타내는 바이너리 값이 기설정된 값을 초과하면 각각 세포질과 세포핵으로 구분하고, 구분된 상기 세포핵을 분할도록 구성된
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  4. 제3 항에 있어서,
    상기 적어도 하나의 프로세서는,
    구분된 상기 세포핵의 면적이 기설정된 면적 이상인 경우 상기 세포핵을 수동 분할하는 가이드를 제공하도록 구성된
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  5. 제2 항에 있어서,
    상기 세포질과 상기 세포핵을 염색하는 염색 용약은 상이한 염색 용약인 것을 특징으로 하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  6. 제5 항에 있어서,
    상기 세포질을 염색하는 염색 용약은 eosin 염색 용약이며, 상기 세포핵을 염색하는 염색 용약은 Hematoxylin인 것을 특징으로 하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  7. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    분할된 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 분류하도록 구성된
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  8. 제7 항에 있어서,
    사용자 입력을 입력 받는 입력 인터페이스를 더 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 조직 병리 슬라이드 이미지 내에 복수의 세포가 포함될 경우, 상기 입력 인터페이스를 이용하여 각 세포의 영역으로 분할하는 입력을 받도록 구성된
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  9. 제8 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 입력 인터페이스를 이용하여 분할된 각 세포에 대한 분류 결과를 입력 받도록 구성된
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  10. 제7 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 인공 지능 모델을 이용하여 상기 조직 병리 슬라이드 이미지 내 세포핵의 정보에 따라 상기 세포를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 오토라벨링하도록 구성된
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치.
  11. 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법으로서,
    종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하는 단계;
    전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하는 단계;
    분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계; 및
    상기 조직 병리 슬라이드 이미지의 종양미세환경을 학습하도록 어노테이션된 상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하는 단계를 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  12. 제11 항에 있어서,
    상기 종양미세환경을 나타내는 조직 병리 슬라이드 이미지를 전처리하는 단계는,
    기설정된 염색 용약을 이용하여 상기 조직 병리 슬라이드 이미지 내의 세포질과 세포핵이 상이한 색으로 염색되도록 명령하는 단계를 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  13. 제12 항에 있어서,
    상기 전처리된 상기 조직 병리 슬라이드 이미지에서 세포핵을 분할하는 단계는,
    상기 세포질의 색과 상기 세포핵의 색을 나타내는 바이너리 값이 기설정된 값을 초과하면 각각 세포질과 세포핵으로 구분하는 단계; 및
    구분된 상기 세포핵을 분할하는 단계를 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  14. 제13 항에 있어서,
    상기 구분된 상기 세포핵을 분할하는 단계는,
    구분된 상기 세포핵의 면적이 기설정된 면적 이상인 경우 상기 세포핵을 수동 분할하는 가이드를 제공하는 단계를 더 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  15. 제12 항에 있어서,
    상기 세포질과 상기 세포핵을 염색하는 염색 용약은 상이한 염색 용약인 것을 특징으로 하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  16. 제11 항에 있어서,
    상기 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계는,
    분할된 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 분류하는 단계를 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  17. 제16 항에 있어서,
    상기 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계는,
    상기 조직 병리 슬라이드 이미지 내에 복수의 세포가 포함될 경우, 입력 인터페이스를 이용하여 각 세포의 영역으로 분할하는 입력을 받는 단계를 더 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  18. 제17 항에 있어서,
    상기 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계는,
    상기 입력 인터페이스를 이용하여 분할된 각 세포에 대한 분류 결과를 입력 받는 단계를 더 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  19. 제16 항에 있어서,
    상기 분할된 상기 세포핵의 정보에 따라 상기 조직 병리 슬라이드 이미지를 분류하여 어노테이션을 수행하는 단계는,
    인공 지능 모델을 이용하여 상기 조직 병리 슬라이드 이미지 내 세포핵의 정보에 따라 상기 세포를 종양 연관 대식세포, 종양 연관 호중구 및 종양 연관 섬유아세포 중 적어도 하나로 오토라벨링하는 단계를 더 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
  20. 제19 항에 있어서,
    상기 조직 병리 슬라이드 이미지를 인공 지능 모델에 전달하는 단계는
    상기 조직 병리 슬라이드의 세포핵 분할에 따른 분할 이미지 및 상기 세포핵의 좌표 정보를 전달하는 단계; 및
    상기 조직 변리 슬라이드의 분류에 따른 분류 정보를 전달하는 단계를 포함하는
    종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치의 어노테이션 방법.
KR1020230157523A 2022-12-05 2023-11-14 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법 KR20240083820A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220168123 2022-12-05
KR20220168123 2022-12-05

Publications (1)

Publication Number Publication Date
KR20240083820A true KR20240083820A (ko) 2024-06-12

Family

ID=91469458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230157523A KR20240083820A (ko) 2022-12-05 2023-11-14 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법

Country Status (1)

Country Link
KR (1) KR20240083820A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220086964A (ko) 2020-12-17 2022-06-24 가톨릭대학교 산학협력단 Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220086964A (ko) 2020-12-17 2022-06-24 가톨릭대학교 산학협력단 Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템

Similar Documents

Publication Publication Date Title
JP2023514282A (ja) 非表形式データのための自動データ分析方法、関連するシステム及び装置
KR102338913B1 (ko) 혈관내 광단층 영상에서의 생분해성 스텐트를 포함하는 딥러닝 기반 영상 분할 방법
WO2014046762A1 (en) Determining and communicating user's emotional state
US12014493B2 (en) Method and apparatus for bone age assessment
Yuan et al. An improved DeepLab v3+ deep learning network applied to the segmentation of grape leaf black rot spots
CN109564636A (zh) 使用一个神经网络来训练另一个神经网络
Prezja et al. Improving performance in colorectal cancer histology decomposition using deep and ensemble machine learning
KR20240083820A (ko) 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법
KR102455875B1 (ko) 골 연령 판독 방법 및 장치
KR20220144149A (ko) 엑스레이 영상에서 골절을 검출하는 방법
KR20240067783A (ko) 인공지능 기반의 성분 분석 및 의학적 근거를 활용하여 식품의 의학적 효능을 산출하는 장치, 방법 및 프로그램
KR20220074442A (ko) 질병을 판정하기 위한 정보를 제공하는 방법
KR20240006058A (ko) 메타 학습으로 생성된 모델로 개인화된 생물학적 상태를 예측하기 위한 시스템, 방법 및 디바이스
KR20240083819A (ko) 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법
EP4348555A1 (en) Explainable artificial intelligence-based sales maximization decision models
KR102656289B1 (ko) 공병 수거 및 교환 시스템 및 서버
KR20240058031A (ko) 딥러닝 기술 기반 갑상선 초음파 영상에 대해 암 진단을 수행하는 전자 장치 및 예측 방법
KR102671422B1 (ko) 학생의 인적성 및 성적 자료와 머신러닝 기술을 활용하여 학교에서 반 배정을 하는 장치 및 방법
KR20240076731A (ko) 인공지능 모델을 이용한 임산부의 피검사 수치 예측 장치 및 방법
KR102672710B1 (ko) 내시경 영상 합성 장치 및 합성 방법
KR102610505B1 (ko) 인공지능 기반의 농산물 외부 결함 측정 장치, 방법및 프로그램
KR102635589B1 (ko) 인도시아닌 그린 혈관조영술에서의 맥락막 혈관 과투과 검출 장치, 방법 및 프로그램
KR102657234B1 (ko) 열화상 이미지 기반의 자가 학습 딥러닝을 이용한 절화의 초기 질병을 예측하기 위한 장치, 시스템 및 방법
KR102669575B1 (ko) 인공지능 모델 기반 고객 맞춤 마케팅 퍼널 최적화 방법 및 장치
KR102610506B1 (ko) 인공지능 기반의 농산물 결함 식별 장치, 방법 및 프로그램