KR102068279B1 - 이미지 분석 방법 및 시스템 - Google Patents

이미지 분석 방법 및 시스템 Download PDF

Info

Publication number
KR102068279B1
KR102068279B1 KR1020190123098A KR20190123098A KR102068279B1 KR 102068279 B1 KR102068279 B1 KR 102068279B1 KR 1020190123098 A KR1020190123098 A KR 1020190123098A KR 20190123098 A KR20190123098 A KR 20190123098A KR 102068279 B1 KR102068279 B1 KR 102068279B1
Authority
KR
South Korea
Prior art keywords
training
graph data
node
data
graph
Prior art date
Application number
KR1020190123098A
Other languages
English (en)
Inventor
장민제
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to KR1020190123098A priority Critical patent/KR102068279B1/ko
Priority to US16/694,826 priority patent/US11100359B2/en
Application granted granted Critical
Publication of KR102068279B1 publication Critical patent/KR102068279B1/ko
Priority to US17/375,876 priority patent/US11854194B2/en
Priority to US18/517,138 priority patent/US20240087123A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

이미지 분석 방법 및 시스템이 제공된다. 상기 이미지 분석 방법은 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제1 노드와, 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 정의되는 제1 엣지를 포함하는 트레이닝 로(raw) 그래프 데이터를 추출하고, 상기 트레이닝 로 그래프 데이터의 제1 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하고, 상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 그래프 신경망(GNN; graph Neural Network)을 트레이닝하여 리드아웃 함수의 파라미터를 결정하고, 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제2 노드와, 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 결정되는 제2 엣지를 포함하는 인퍼런스 그래프 데이터를 추출하고, 상기 인퍼런스 그래프 데이터를 상기 그래프 신경망에 입력하여 상기 리드아웃 함수에 의해 인퍼런스 출력 데이터를 도출하는 것을 포함한다.

Description

이미지 분석 방법 및 시스템{Method and System for analysing image}
본 발명은 이미지 분석 방법 및 시스템에 관한 것이다. 구체적으로는, 그래프 신경망(GNN; graph Neural Network)을 이용하여 이미지 분석을 하는 방법 및 시스템에 관한 것이다.
WSI(whole slide image)는 환자의 조직 일부를 떼어낸 조직 슬라이드 이미지를 의미하고, 이러한 WSI 내에는 암세포와 백혈구의 개수, 배치 및 형상 등의 정보가 포함되어 있다. 이러한 WSI를 입력으로 하여 환자의 항암제 반응 효과 또는 환자의 기대잔여수명 등의 다양한 병리학적 진단을 머신 러닝(machine learning) 방식으로 도출할 수 있다.
전통적인 머신 러닝 기법은 WSI에서 여러가지 피쳐(feature)를 추출하고, 머신 러닝을 적용하여 가설(hypothesis) 혹은 함수(function)를 트레이닝하는 작업을 수행한다. 그러나, 이러한 방법은 WSI에서 함수를 분석이 용이하고 단순한 수학적 모델을 사용하므로 항암제 반응 효과와 같은 고차적원인 병리 정보를 진단하기 위한 피쳐 추출이 어려울 수 있다. 즉, 피쳐 추출에 있어서 적절한 진단 모델을 트레이닝하기 위해서는 의학적인 지식과 머신 러닝에 대한 전문성이 필수적으로 요구된다.
이와 달리, 딥 러닝(deep learning) 기법 중 WSI의 모든 픽셀을 신경망에 입력하여 트레이닝하는 방식도 존재한다. 그러나, 이러한 방법은 WSI의 용량이 매우 크다는 점에서 신속성 및 효율성이 크게 저하되고, 많은 리소스(resource)가 필요하다는 문제가 있다.
등록특허공보 제 10-1917947호
본 발명이 해결하려는 과제는, 효율적이고 고차원적인 정보를 예측하기에 적합한 이미지 분석 방법을 제공하는 것이다.
본 발명이 해결하려는 또 다른 과제는, 효율적이고 고차원적인 정보를 예측하기에 적합한 컴퓨터로 판독가능한 기록매체에 저장된 컴퓨터 프로그램를 제공하는 것이다.
본 발명이 해결하려는 또 다른 과제는, 효율적이고 고차원적인 정보를 예측하기에 적합한 이미지 분석 시스템을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 이미지 분석 방법은, 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제1 노드와, 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 정의되는 제1 엣지를 포함하는 트레이닝 로(raw) 그래프 데이터를 추출하고, 상기 트레이닝 로 그래프 데이터의 제1 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하고, 상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 그래프 신경망(GNN; graph Neural Network)을 트레이닝하여 리드아웃 함수의 파라미터를 결정하고, 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제2 노드와, 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 결정되는 제2 엣지를 포함하는 인퍼런스 그래프 데이터를 추출하고, 상기 인퍼런스 그래프 데이터를 상기 그래프 신경망에 입력하여 상기 리드아웃 함수에 의해 인퍼런스 출력 데이터를 도출하는 것을 포함한다.
상기 다른 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 컴퓨터로 판독가능한 기록매체에 저장된, 컴퓨터 프로그램은 컴퓨팅 장치와 결합하여, 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제1 노드와, 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 정의되는 제1 엣지를 포함하는 트레이닝 로 그래프 데이터를 추출하는 단계, 상기 트레이닝 로 그래프 데이터의 제1 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하는 단계, 상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 그래프 신경망을 트레이닝하여 리드아웃 함수 및 업데이트 함수의 파라미터를 결정하는 단계, 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제2 노드와, 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 결정되는 제2 엣지를 포함하는 인퍼런스 로 그래프 데이터를 추출하는 단계, 상기 인퍼런스 로 그래프 데이터의 제2 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하는 단계, 상기 업데이트 함수를 이용하여 상기 제2 노드의 피쳐 정보를 업데이트하는 단계 및 상기 인퍼런스 그래프 데이터를 상기 그래프 신경망에 입력하여 상기 리드아웃 함수에 의해 인퍼런스 출력 데이터를 도출하는 단계를 실행시킨다.
상기 또 다른 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 이미지 분석 시스템은 컴퓨터 프로그램이 저장된 스토리지 유닛 및 상기 컴퓨터 프로그램을 실행시키는 프로세싱 유닛을 포함하고, 상기 컴퓨터 프로그램은, 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제1 노드와, 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 정의되는 제1 엣지를 포함하는 트레이닝 로 그래프 데이터를 추출하는 오퍼레이션, 상기 트레이닝 로 그래프 데이터의 제1 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하는 오퍼레이션, 상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 그래프 신경망을 트레이닝하여 리드아웃 함수의 파라미터를 결정하는 오퍼레이션, 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제2 노드와, 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 결정되는 제2 엣지를 포함하는 인퍼런스 로 그래프 데이터를 추출하는 오퍼레이션, 상기 인퍼런스 로 그래프 데이터의 제2 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하는 오퍼레이션, 상기 업데이트 함수를 이용하여 상기 제2 노드의 피쳐 정보를 업데이트하는 단계 및 상기 인퍼런스 그래프 데이터를 상기 그래프 신경망에 입력하여 상기 리드아웃 함수에 의해 인퍼런스 출력 데이터를 도출하는 오퍼레이션를 포함한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 에 적용되는 조직 슬라이드 이미지의 예시도이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 에 적용되는 트레이닝 그래프 데이터의 예시도이다.
도 5는 도 4의 제1 노드의 임베딩(embedding)된 피쳐를 설명하기 위한 도면이다.
도 6은 도 4의 제1 엣지의 임베딩된 피쳐를 설명하기 위한 예시도이다.
도 7은 도 3의 그래프 신경망 트레이닝 단계를 세부적으로 설명하기 위한 순서도이다.
도 8은 업데이트 함수 및 리드아웃 함수의 트레이닝 방법을 설명하기 위한 예시적인 개념도이다.
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 에 적용되는 인퍼런스 그래프 데이터의 예시도이다.
도 10은 도 3의 인퍼런스 출력 데이터를 도출하는 단계를 세부적으로 설명하기 위한 순서도이다.
도 11은 인퍼런스 그래프 데이터의 노드 업데이트와 출력 데이터의 리드아웃을 설명하기 위한 예시적인 개념도이다.
도 12는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템을 설명하기 위한 블록도이다.
도 13은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이다.
도 14는 트레이닝 로 그래프 데이터의 샘플링을 설명하기 위한 개념도이다.
도 15는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이다.
도 16은 인퍼런스 로 그래프 데이터의 샘플링을 설명하기 위한 개념도이다.
도 17은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이다.
도 18은 인퍼런스 로 그래프 데이터의 샘플링을 설명하기 위한 개념도이다.
도 19는 프리 인퍼런스 출력 데이터의 머지(merge)를 설명하기 위한 개념도이다.
도 20은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이다.
도 21은 트레이닝 로 그래프 데이터의 샘플링을 설명하기 위한 개념도이다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 "부"는 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서" 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서" 는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
이하에서, 도 1 내지 도 12를 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 분석 시스템 및 방법에 대해서 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템은 이미지 분석 장치(10)를 포함한다. 이미지 분석 장치(10)는 트레이닝 조직 슬라이드 이미지(WSI_T) 및 인퍼런스 조직 슬라이드 이미지(WSI_I)를 입력받을 수 있다. 이미지 분석 장치(10)는 트레이닝 조직 슬라이드 이미지(WSI_T)를 통해서 내부의 그래프 신경망(GNN; Graph Neural Network)을 트레이닝하여 분석 모델을 구축하고, 인퍼런스 조직 슬라이드 이미지(WSI_I)를 분석 모델에 적용하여 인퍼런스 출력 데이터(Output_I)를 출력할 수 있다.
이미지 분석 장치(10)는 프로세싱 유닛(100) 및 스토리지 유닛(200)을 포함할 수 있다. 프로세싱 유닛(100)은 스토리지 유닛(200)에 저장된 컴퓨터 프로그램(210)을 로드(load)하여 실행할 수 있다. 프로세싱 유닛(100)은 이미지 분석 장치(10)의 각 구성의 전반적인 동작을 제어한다. 프로세싱 유닛(100)은 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 이미지 분석 장치(10)는 하나 이상의 프로세싱 유닛(100)을 포함할 수도 있다.
스토리지 유닛(200)은 내부에 컴퓨터 프로그램(210)을 저장할 수 있다. 스토리지 유닛(200)은 프로세싱 유닛(100)이 로드하고 실행하기 위한 자료들을 저장할 수 있다. 스토리지 유닛(200)은 예를 들어, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(210)은 본 발명의 몇몇 실시예들에 따라 트레이닝 조직 슬라이드 이미지(WSI_T) 및 인퍼런스 조직 슬라이드 이미지(WSI_I)부터 다양한 생체 지표를 검출하고, 상기 생체 지표를 기초로 진단 대상 조직 대한 병리 진단 결과 또는 의학적 예측 결과인 인퍼런스 출력 데이터(Output_I)를 출력하는 오퍼레이션을 수행할 수 있다.
도 2는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 에 적용되는 조직 슬라이드 이미지의 예시도이다.
도 1 및 도 2를 참조하면, 도 2의 조직 슬라이드 이미지는 트레이닝 조직 슬라이드 이미지(WSI_T) 또는 인퍼런스 조직 슬라이드 이미지(WSI_I)의 예시일 수 있다. 트레이닝 조직 슬라이드 이미지(WSI_T)는 인퍼런스 조직 슬라이드 이미지(WSI_I)와 달리 트레이닝 출력 데이터를 레이블(lable) 형태로 포함할 수 있다. 트레이닝 출력 데이터는 일종의 병리학적 진단 결과를 의미한다. 트레이닝 출력 데이터는 이진값(binary value)을 가질 수 있다. 예를 들어, 트레이닝 출력 데이터가 '항암제 반응 유무'에 대한 것이라면 항암제 반응이 있는 경우 '1', 항암제 반응이 없는 경우 '0'을 가질 수 있다.
또는, 트레이닝 출력 데이터는 이진값이 아닌 이산값(discrete value)을 가질 수 있다. 예를 들어, 트레이닝 출력 데이터가 '환자의 기대 잔여 수명은 몇년인가'에 대한 것이라면 미리 정해진 설정에 따라 트레이닝 출력 데이터는 3가지 이상의 값을 가질 수 있다. 이 때, 각각의 값은 서로 중복되지 않아야 하고, 각각의 값을 모두 합친 경우 가능한 모든 경우를 포함해야 한다.
인퍼런스 조직 슬라이드 이미지(WSI_I)는 트레이닝 조직 슬라이드 이미지(WSI_T)와 달리 별도의 출력 데이터(레이블)가 없으므로 인퍼런스 출력 데이터(Output_I)를 이미지 분석 장치(10)가 도출해야한다. 이 때, 도출되는 인퍼런스 출력 데이터(Output_I)는 트레이닝 출력 데이터와 달리 연속된 값 중에 선택될 수 있다. 예를 들어, 트레이닝 출력 데이터가 ‘항암제 반응 유무’에 대한 것이고, '1'과 '0'의 값을 가진다면, 이에 대응되는 인퍼런스 출력 데이터(Output_I)는 1과 0 사이의 0.7과 같은 값을 가질 수 있다. 이 때, 인퍼런스 출력 데이터(Output_I)는 항암제 반응이 있을 확률이 0.7이라고 해석될 수 있다.
도 2의 조직 슬라이드 이미지는 실제 조직의 이미지 상에 표시되는 마크(M)를 포함할 수 있다. 마크(M)는 조직 슬라이드 이미지의 조직학적 특징(Histological features)의 위치 상에 표시될 수 있다. 마크(M)는 추후에 그래프 데이터에서 제1 노드 또는 제2 노드로 표현될 수 있다. 여기서, 조직학적 특징이란, 세포(cell), 혈관과 같은 구조(structure) 및 조직(tissue)를 모두 포함하는 개념이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 설명하기 위한 순서도이고, 도 4는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 에 적용되는 트레이닝 그래프 데이터의 예시도이다. 도 5는 도 4의 제1 노드의 임베딩(embedding)된 피쳐를 설명하기 위한 도면이고, 도 6은 도 4의 제1 엣지의 임베딩된 피쳐를 설명하기 위한 예시도이다.
도 3을 참조하면, 트레이닝 조직 슬라이드 이미지에 대응하는 트레이닝 그래프 데이터를 추출한다(S100).
구체적으로, 도 1, 도 2 및 도 4를 참조하면, 트레이닝 그래프 데이터(GData_T)는 트레이닝 조직 슬라이드 이미지(WSI_T)의 조직학적 특징에 대응하는 제1 노드(N1_1, N1_2, N1_3)를 포함할 수 있다. 제1 노드(N1_1, N1_2, N1_3)는 도 2가 트레이닝 조직 슬라이드 이미지(WSI_T)인 경우 마크(M)에 대응되는 부분일 수 있다. 트레이닝 그래프 데이터(GData_T)는 복수의 제1 노드(N1_1, N1_2, N1_3)를 포함하고, 제1 노드(N1_1, N1_2, N1_3)는 각각 서로 다른 클래스(class)를 가지는 제1_1 노드(N1_1), 제1_2 노드(N1_2) 및 제1_3 노드(N1_3)를 포함할 수 있다.
여기서, 제1 노드(N1_1, N1_2, N1_3)는 3가지 클래스를 가지는 것으로 도시하였으나, 이는 하나의 예시에 불과할 뿐 본 실시예가 이에 제한되는 것은 아니다. 즉, 제1 노드(N1_1, N1_2, N1_3)의 클래스의 종류는 4가지 이상이 될 수도 있고, 3가지 미만이 될 수도 있다.
트레이닝 그래프 데이터(GData_T)는 제1 엣지(E1_1, E1_2, E1_3, E1_4)를 포함할 수 있다. 제1 엣지(E1_1, E1_2, E1_3, E1_4)는 제1 노드(N1_1, N1_2, N1_3) 사이의 관계에 의해서 정의될 수 있다. 제1 엣지(E1_1, E1_2, E1_3, E1_4)는 2개의 제1 노드 사이를 연결하는 선분으로 표현될 수 있다. 제1 엣지(E1_1, E1_2, E1_3, E1_4)는 서로 다른 클래스의 제1 노드(N1_1, N1_2, N1_3)들을 각각 연결하는 제1_1 엣지(E1_1), 제1_2 엣지(E1_2) 및 제1_3 엣지(E1_3)를 포함할 수 있다. 구체적으로, 제1_1 엣지(E1_1)는 제1_1 노드(N1_1)와 제1_2 노드(N1_2)를 연결하고, 제1_2 엣지(E1_2)는 제1_1 노드(N1_1)와 제1_3 노드(N1_3)를 연결할 수 있다. 제1_3 엣지(E1_3)는 제1_2 노드(N1_2)와 제1_3 노드(N1_3)를 연결할 수 있다.
제1 엣지(E1_1, E1_2, E1_3, E1_4)는 물론 제1_1 노드(N1_1), 제1_2 노드(N1_2) 및 제1_3 노드(N1_3)끼리 서로 연결하는 제1_4 엣지(E1_4)도 포함할 수 있다.
제1 엣지(E1_1, E1_2, E1_3, E1_4)는 2개의 제1 노드 사이의 관계에서 정의되는 것으로 설명하였지만, 본 실시예는 이에 제한되는 것은 아니다. 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법에서는 하이퍼그래프의 형태를 사용하여 3개 이상의 제1 노드 사이의 관계에 의해서도 하나의 제1 엣지가 정의될 수도 있다. 즉, 복수의 제1 노드와 복수의 제1 노드 사이의 관계에 의해서 하나의 제1 엣지가 정의될 수도 있다.
트레이닝 그래프 데이터(GData_T)는 트레이닝 그래프 데이터(GData_T)에 대응되는 트레이닝 출력 데이터를 레이블 형식으로 포함할 수 있다. 이 때, 트레이닝 출력 데이터는 트레이닝 그래프 데이터(GData_T)에 대응되는 트레이닝 조직 슬라이드 이미지(WSI_T)의 레이블에서 상속(inheritance)된 것일 수 있다.
도 5를 참조하면, 제1 노드(N1_1, N1_2, N1_3)는 조직학적 특징의 특성에 대한 제1 피쳐 정보(Feature 1)가 임베딩(embedding)될 수 있다. 도 5에는 예시적으로 제1_1 노드(N1_1)만을 도시하였으나, 제1_1 노드(N1_1)가 아닌 다른 제1 노드(N1_2, N1_3)에도 같은 방식으로 제1 피쳐 정보(Feature 1)가 임베딩될 수 있다. 물론, 제1 노드(N1_1, N1_2, N1_3) 각각에 임베딩되는 제1 피쳐 정보(Feature 1)는 서로 개별적인 값을 가질 수 있다.
상술한 '임베딩'이란, 각각의 제1 노드(N1_1, N1_2, N1_3) 내부에 제1 피쳐 정보(Feature 1)가 부속되어 저장됨을 의미할 수 있다. 제1 피쳐 정보(Feature 1)는 제1 노드(N1_1, N1_2, N1_3)에 대응하는 조직학적 특징의 특성으로서, 조직학적 특징의 클래스 정보(Class), 티슈 정보(Tissue), 위치 정보(Position) 및 형상 정보(Shape) 중 적어도 하나를 포함할 수 있다. 도 4에서 도시된 바와 같이 트레이닝 그래프 데이터(GData_T)의 제1 노드(N1_1, N1_2, N1_3)는 서로 다른 컬러나 해칭(hatching)을 이용하여 제1 노드(N1_1, N1_2, N1_3)의 제1 피쳐 정보(Feature 1) 중 클래스 정보(Class)를 직관적으로 표시할 수도 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
제1 피쳐 정보(Feature 1) 중 클래스 정보(Class)는 조직학적 특징의 종류를 의미할 수 있다. 예를 들어, 폐조직에 대한 트레이닝 조직 슬라이드 이미지(WSI_T)에서는 클래스 정보(Class)는 림포플라즈마 세포(Lymphoplasma cell), 섬유아세포(Fibroblast), 대식세포(Macrophage), 종양 세포(Tumor cell), 내피 세포(Endothelial cell) 및 혈관(Blood vessel) 중 어느 하나일 수 있다.
제1 피쳐 정보(Feature 1) 중 티슈 정보(Tissue)는 각각의 제1 노드(N1_1, N1_2, N1_3)에 대응하는 조직학적 특징이 어떤 조직에 위치하는지를 의미할 수 있다. 위치 정보(Position)는 각각의 제1 노드(N1_1, N1_2, N1_3)에 대응하는 조직학적 특징의 정확한 위치를 의미할 수 있고, 형상 정보(Shape)는 각각의 제1 노드(N1_1, N1_2, N1_3)에 대응하는 조직학적 특징의 형상을 의미할 수 있다.
본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법에서 상술한 제1 피쳐 정보(Feature 1)의 종류는 예시에 불과하고, 필요와 목적에 따라서 얼마든지 다른 정보가 제1 피쳐 정보(Feature 1)에 포함될 수 있다.
도 4 및 도 6을 참조하면, 제1 엣지(E1_1, E1_2, E1_3, E1_4)는 제1 노드(N1_1, N1_2, N1_3) 사이의 관계에 대한 제2 피쳐 정보(Feature 2)가 임베딩될 수 있다. 도 6에는 예시적으로, 제1_1 노드(N1_1)와 제1_2 노드(N1_2) 사이의 제1_1 엣지(E1_1)만을 도시하였으나, 제1_1 엣지(E1_1)가 아닌 다른 제1 엣지(E1_1, E1_2, E1_3, E1_4)에도 같은 방식으로 제2 피쳐 정보(Feature 2)가 임베딩될 수 있다. 물론, 제1 엣지(E1_1, E1_2, E1_3, E1_4) 각각에 임베딩되는 제2 피쳐 정보(Feature 2)는 서로 개별적인 값을 가질 수 있다.
제2 피쳐 정보(Feature 2)는 2개의 제1 노드에 대응하는 2개의 조직학적 특징 사이의 관계에 대한 특성으로서, 2개의 제1 노드에 대응하는 조직학적 특징들 사이의 거리 정보(Distance) 및 유사성 정보(Similarity) 중 적어도 하나를 포함할 수 있다.
제2 피쳐 정보(Feature 2) 중 거리 정보(Distance)는 2개의 제1 노드에 대응하는 조직학적 특징들 사이의 거리에 대한 정보를 의미할 수 있다. 이 때, 거리 정보(Distance)는 가공되지 않은 거리 정보일 수도 있고, 가공된 거리 정보일 수 있다.
거리 정보(Distance)가 가공된 거리 정보인 경우 임계 거리보다 거리가 가까운 경우 '1'로 저장되고, 임계 거리보다 거리가 먼 경우 '0'으로 저장될 수 있다. 제1 엣지(E1_1, E1_2, E1_3, E1_4)는 거리 정보(Distance)가 '0'인 경우 트레이닝 그래프 데이터(GData_T)에서 표시되지 않을 수 있다. 나아가, 임계 거리보다 멀리 위치한 조직학적 특징들 사이에는 제1 엣지(E1_1, E1_2, E1_3, E1_4)가 아예 형성되지 않을 수도 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 즉, 모든 제1 노드(N1_1, N1_2, N1_3) 사이에 제1 엣지(E1_1, E1_2, E1_3, E1_4)가 형성되고, 제1 엣지(E1_1, E1_2, E1_3, E1_4)에 거리 정보(Distance)가 '1' 또는 '0'으로 임베딩될 수도 있다.
거리 정보(Distance)가 가공되지 않은 실제 거리 정보인 경우에는 추후에 그래프 신경망을 트레이닝할 때 더 가까운 거리의 노드에 가중치를 두는 방식도 사용할 수 있다. 이에 대해서는 추후에 더 자세히 설명한다.
제2 피쳐 정보(Feature 2) 중 유사성 정보(Similarity)는 2개의 제1 노드(N1_1, N1_2, N1_3)에 대응하는 조직학적 특징들 사이의 유사한 정도를 의미할 수 있다. 이 때, 유사성 정보(Similarity)는 2개의 제1 노드의 제1 피쳐 정보(Feature 1)를 각각 벡터로 표현했을 때 2개의 벡터의 코사인 유사도(cosine similarity)로 측정할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
다시, 도 3을 참조하면, 그래프 신경망을 트레이닝한다(S200).
도 7은 도 3의 그래프 신경망 트레이닝 단계를 세부적으로 설명하기 위한 순서도이다.
구체적으로, 도 7을 참조하면, 그래프 신경망을 트레이닝하는 단계(S200)는 병렬적으로 수행되는 다음의 2가지 단계를 포함한다.
즉, 그래프 신경망을 트레이닝하여 업데이트 함수의 파라미터를 확정하고(S210), 그래프 신경망을 트레이닝하여 리드아웃(Read out) 함수의 파라미터를 확정한다(S220).
먼저 업데이트 함수의 파라미터를 확정하는 단계(S210)를 도 8을 참조하여 설명한다.
도 8은 업데이트 함수 및 리드아웃 함수의 트레이닝 방법을 설명하기 위한 예시적인 개념도이다.
도 8을 참조하면, 제1 그래프 데이터(GData_Ta)는 복수의 제1 노드(N1a~N1i) 및 복수의 제1 노드(N1a~N1i)를 서로 연결하는 복수의 제1 엣지(E1a~E1m)를 포함할 수 있다. 도 8의 제1 그래프 데이터(GData_Ta)는 예시적으로 9개의 제1 노드(N1a~N1i)와 14개의 제1 엣지(E1a~E1m)를 포함하도록 도시되었지만, 이는 예시에 불과하고 본 실시예가 이에 제한되는 것은 아니다. 제1 그래프 데이터(GData_Ta)는 도 4의 트레이닝 그래프 데이터(GData_T)에 대응된다.
제1 그래프 데이터(GData_Ta)의 제1 a노드(N1a)의 제1 피쳐 정보를 업데이트하기 위해서는 제1 a노드(N1a)와 연결된 제1 a엣지(E1a), 제1 b엣지(E1b), 제1 c엣지(E1c), 제1 d엣지(E1d) 및 제1 e엣지(E1e)의 제2 피쳐 정보가 필요할 수 있다. 또한, 제1 a노드(N1a)의 이웃 노드들의 제1 피쳐 정보도 필요할 수 있다.
여기서, '이웃 노드'란, 제1 그래프 데이터(GData_Ta)에서 업데이트의 대상이 되는 제1 노드와 인접한 제1 노드를 의미할 수 있다. 만약, '인접'한 정도를 '1개의 엣지'라고 설정한다면, 제1 a노드(N1a)의 이웃 노드는 제1 b노드(N1b), 제1 c노드(N1c), 제1 d노드(N1d), 제1 e노드(N1e) 및 제1 f노드(N1f)로 정의된다. 제1 b노드(N1b), 제1 c노드(N1c), 제1 d노드(N1d), 제1 e노드(N1e) 및 제1 f노드(N1f)는 각각 제1 a엣지(E1a), 제1 b엣지(E1b), 제1 c엣지(E1c), 제1 d엣지(E1d) 및 제1 e엣지(E1e)를 통해서 제1 a노드(N1a)와 인접하기 때문이다. 반면에, 제1 g노드(N1g), 제1 h노드(N1h) 및 제1 i노드(N1i)는 직접 연결되는 제1 엣지가 없으므로 이웃 노드가 아니다.
만약, '인접'한 정도를 '2개의 엣지'로 설정한다면, 제1 b노드(N1b), 제1 c노드(N1c), 제1 d노드(N1d), 제1 e노드(N1e) 및 제1 f노드(N1f)뿐만 아니라 제1 g노드(N1g), 제1 h노드(N1h) 및 제1 i노드(N1i)도 제1 a노드(N1a)의 이웃 노드로 정의될 수 있다. 제1 g노드(N1g)는 제1 e엣지(E1e)와 제1 j엣지(E1j) 또는 제1 a엣지(E1a)와 제1 k엣지(E1k)를 통해서 2개의 엣지로 제1 a노드(N1a)와 인접하고, 제1 h노드(N1h) 및 제1 i노드(N1i)는 각각 제1 d엣지(E1d)와 제1 l엣지(E1l) 및 제1 d엣지(E1d)와 제1 m엣지(E1m)를 통해서 2개의 엣지로 제1 a노드(N1a)와 인접하기 때문이다. '인접'한 정도는 업데이트 결과의 정확성과 리소스의 허용 한도 등을 고려해 미리 설정할 수 있다.
'인접'한 정도를 '1개의 엣지'로 설정하는 경우, 제1 a노드(N1a)의 제1 피쳐 정보를 출력으로 하고, 이웃 노드인 제1 b노드(N1b), 제1 c노드(N1c), 제1 d노드(N1d), 제1 e노드(N1e) 및 제1 f노드(N1f)의 제1 피쳐 정보와 제1 a엣지(E1a), 제1 b엣지(E1b), 제1 c엣지(E1c), 제1 d엣지(E1d) 및 제1 e엣지(E1e)의 제2 피쳐 정보가 입력이 되는 업데이트 함수 f가 존재할 수 있다.
업데이트 함수 f는 그래프 신경망에 의해서 복수의 트레이닝 그래프 데이터에서 트레이닝되어 파라미터가 확정될 수 있다. 즉, 그래프 신경망은 상술한 입력 정보(제1 b노드(N1b), 제1 c노드(N1c), 제1 d노드(N1d), 제1 e노드(N1e) 및 제1 f노드(N1f)의 제1 피쳐 정보 및 제1 a엣지(E1a), 제1 b엣지(E1b), 제1 c엣지(E1c), 제1 d엣지(E1d) 및 제1 e엣지(E1e)의 제2 피쳐 정보)와 출력 정보(제1 a노드(N1a)의 제1 피쳐 정보)의 관계를 예측할 수 있도록 업데이트 함수 f의 파라미터를 확정할 수 있다.
즉, 그래프 신경망은 트레이닝 페이즈(phase)에서 복수의 트레이닝 그래프 데이터를 통해서 업데이트 함수 f의 파라미터를 확정하고, 추후에 인퍼런스 페이즈에서 업데이트 함수 f의 확정된 파라미터를 통해서 인퍼런스 그래프 데이터의 입력 정보(이웃 노드의 피쳐 정보와 연결된 엣지들의 피쳐 정보)에 대응하는 인퍼런스 출력 정보(업데이트 대상 노드의 업데이트된 피쳐 정보)를 도출할 수 있다. 그래프 신경망은 트레이닝 그래프 데이터의 개수가 많을수록 더욱 정밀한 인퍼런스 출력 데이터를 도출할 수 있다.
인퍼런스 페이즈에서는 모든 노드가 전부 업데이트되므로, 이웃 노드와 연결되는 제1 엣지의 개수는 매번 달라질 수 있다. 마찬가지로, 트레이닝 페이즈에서도 입력으로 이용되는 이웃 노드와 제1 엣지의 개수가 매번 달라질 수 있다. 그래프 신경망은 매번 다른 개수의 입력을 통해서 업데이트 함수 f를 트레이닝할 수 있다.
이 때, 업데이트 함수 f는 제1 엣지(E1a~E1m)의 제2 피쳐 정보 중 가공되지 않은 거리 정보를 이용할 수도 있다. 즉, 2개의 제1 노드 사이의 거리가 가까울수록 더 큰 가중치를 주어 제1 노드의 제1 피쳐 정보의 업데이트를 더욱 정밀하게 수행할 수 있다.
업데이트 함수 f의 구조는 예를 들어, 이웃 노드의 제1 피쳐 정보를 모두 더한 뒤 다층 퍼셉트론(MLP; multi layer perceptron)을 통과시키는 구조를 채용할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
도 7 및 도 8을 참조하여, 리드아웃 함수의 파라미터를 확정하는 단계(S220)를 설명한다.
리드아웃 함수 g는 그래프 신경망에 의해서 복수의 트레이닝 그래프 데이터에서 트레이닝되어 파라미터가 확정될 수 있다. 즉, 그래프 신경망은 리드아웃 함수 g의 파라미터는 제1 그래프 데이터(GData_Ta)에서 입력 정보(모든 제1 노드(N1a~N1i)의 제1 피쳐 정보)와 출력 정보(트레이닝 출력 데이터(Output_T))의 관계를 예측할 수 있도록 확정할 수 있다. 이 때, 트레이닝 출력 데이터(Output_T)는 트레이닝 그래프 데이터에 레이블 형식으로 포함될 수 있다.
즉, 그래프 신경망은 트레이닝 페이즈에서 복수의 트레이닝 그래프 데이터 세트를 통해서 리드아웃 함수 g의 파라미터를 확정하고, 추후에 인퍼런스 페이즈에서 리드아웃 함수 g의 확정된 파라미터를 통해서 인퍼런스 그래프 데이터의 입력 정보에 대응하는 인퍼런스 출력 데이터를 도출할 수 있다. 그래프 신경망은 트레이닝 그래프 데이터 세트의 개수가 많을수록 더욱 정밀한 인퍼런스 출력 데이터를 도출할 수 있다.
인퍼런스 페이즈에서는 그래프 데이터마다 노드의 개수가 전부 다를 수 있으므로 트레이닝 페이즈에서도 입력으로 이용되는 제1 노드의 개수가 매번 달라질 수 있다. 그래프 신경망은 매번 다른 개수의 입력을 통해서 리드아웃 함수 g를 트레이닝할 수 있다.
리드아웃 함수 g의 구조는 예를 들어, 모든 제1 노드의 제1 피쳐 정보를 다층 퍼셉트론을 통과시켜 단일 스칼라 값을 획득하는 구조를 채용할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
다시 도 7을 참조하면, 본 실시예에 따른 이미지 분석 시스템 및 방법에서 업데이트 함수의 파라미터를 확정하는 단계(S210)와 리드아웃 함수의 파라미터를 확정하는 단계(S220)는 서로 병렬적으로 진행된다. 이 때, 업데이트 함수 f와 리드아웃 함수 g는 각각 진행되지만, 서로 영향을 주면서 각각의 파라미터가 확정될 수 있다.
다시, 도 3을 참조하면, 인퍼런스 조직 슬라이드 이미지에 대응하는 인퍼런스 그래프 데이터를 추출한다(S300).
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 에 적용되는 인퍼런스 그래프 데이터의 예시도이다.
구체적으로, 도 1, 도 2, 도 5, 도 6 및 도 9를 참조하면, 인퍼런스 그래프 데이터(GData_I)는 인퍼런스 조직 슬라이드 이미지(WSI_I)의 조직학적 특징에 대응하는 제2 노드(N2_1, N2_2, N2_3)를 포함할 수 있다. 제2 노드(N2_1, N2_2, N2_3)는 도 2가 인퍼런스 조직 슬라이드 이미지(WSI_I)인 경우 마크(M)에 대응되는 부분일 수 있다. 트레이닝 그래프 데이터(GData_T)는 복수의 제2 노드(N2_1, N2_2, N2_3)를 포함하고, 제2 노드(N2_1, N2_2, N2_3)는 각각 서로 다른 클래스를 가지는 제2_1 노드(N2_1), 제2_2 노드(N2_2) 및 제2_3 노드(N2_3)를 포함할 수 있다.
여기서, 제2 노드(N2_1, N2_2, N2_3)는 3가지 클래스를 가지는 것으로 도시하였으나, 이는 하나의 예시에 불과할 뿐 본 실시예가 이에 제한되는 것은 아니다. 즉, 제2 노드(N2_1, N2_2, N2_3)의 클래스의 종류는 4가지 이상이 될 수도 있고, 3가지 미만이 될 수도 있다.
인퍼런스 그래프 데이터(GData_I)도 트레이닝 그래프 데이터와 같이 제2 노드(N2_1, N2_2, N2_3) 내부에 제3 피쳐 정보가 임베딩될 수 있다. 상기 제3 피쳐 정보는 도 5의 제1 피쳐 정보(Feature 1)와 같이 클래스 정보, 티슈 정보, 위치 정보 및 형상 정보 중 적어도 하나를 포함할 수 있다.
인퍼런스 그래프 데이터(GData_I)는 제2 엣지(E2_1, E2_2, E2_3, E2_4)를 포함할 수 있다. 제2 엣지(E2_1, E2_2, E2_3, E2_4)는 제2 노드(N2_1, N2_2, N2_3) 사이의 관계에 의해서 정의될 수 있다. 제2 엣지(E2_1, E2_2, E2_3, E2_4)는 2개의 제2 노드(N2_1, N2_2, N2_3) 사이를 연결하는 선분으로 표현될 수 있다. 제2 엣지(E2_1, E2_2, E2_3, E2_4)는 서로 다른 클래스의 제2 노드(N2_1, N2_2, N2_3)들을 각각 연결하는 제2_1 엣지(E2_1), 제2_2 엣지(E2_2) 및 제2_3 엣지(E2_3)를 포함할 수 있다. 구체적으로, 제2_1 엣지(E2_1)는 제2_1 노드(N2_1)와 제2_2 노드(N2_2)를 연결하고, 제2_2 엣지(E2_2)는 제2_1 노드(N2_1)와 제2_3 노드(N2_3)를 연결할 수 있다. 제2_3 엣지(E2_3)는 제2_2 노드(N2_2)와 제2_3 노드(N2_3)를 연결할 수 있다.
제2 엣지(E2_1, E2_2, E2_3, E2_4)는 물론 제2_1 노드(N2_1), 제2_2 노드(N2_2) 및 제2_3 노드(N2_3)끼리 서로 연결하는 제2_4 엣지(E2_4)도 포함할 수 있다.
제2 엣지(E2_1, E2_2, E2_3, E2_4)는 내부에 제4 피쳐 정보가 임베딩될 수 있다. 상기 제4 피쳐 정보는 도 6의 제2 피쳐 정보(Feature 2)와 같이 거리 정보 및 유사성 정보 중 적어도 하나를 포함할 수 있다. 인퍼런스 그래프 데이터(GData_I)는 트레이닝 그래프 데이터와 달리 레이블의 형태로 인퍼런스 출력 데이터가 존재하지 않고, 이는 이미지 분석 장치(10)를 통해서 도출될 수 있다.
다시, 도 3을 참조하면, 그래프 신경망을 통해서 인퍼런스 출력 데이터를 도출한다(S400).
도 10은 도 3의 인퍼런스 출력 데이터를 도출하는 단계를 세부적으로 설명하기 위한 순서도이고, 도 11은 인퍼런스 그래프 데이터의 노드 업데이트와 출력 데이터의 리드아웃을 설명하기 위한 예시적인 개념도이다.
도 10을 참조하면, 업데이트 함수를 통해서 인퍼런스 그래프 데이터의 노드를 업데이트한다(S410).
구체적으로 도 11을 참조하면, 제2 그래프 데이터(GData_Ia)는 복수의 제2 노드(N2a~N2i) 및 복수의 제2 노드(N2a~N2i)와 서로 연결되는 복수의 제2 엣지(E2a~E2m)를 포함할 수 있다. 도 11의 제2 그래프 데이터(GData_Ia)는 예시적으로 9개의 제2 노드(N2a~N2i)와 14개의 제2 엣지(E2a~E2m)를 포함하도록 도시되었지만, 이는 예시에 불과하고 본 실시예가 이에 제한되는 것은 아니다. 제2 그래프 데이터(GData_Ia)는 도 9의 인퍼런스 그래프 데이터(GData_I)에 대응된다.
제2 a노드(N2a)는 이웃 노드인 제2 b노드(N2b), 제2 c노드(N2c), 제2 d노드(N2d), 제2 e노드(N2e) 및 제2 f노드(N2f)의 제3 피쳐 정보와, 제2 a노드(N2a)와 연결된 제2 a엣지(E2a), 제2 b엣지(E2b), 제2 c엣지(E2c), 제2 d엣지(E2d) 및 제2 e엣지(E2e)의 제4 피쳐 정보를 입력 정보로 하여 업데이트 함수 f를 통해서 제2 a노드(N2a)의 제3 피쳐 정보를 업데이트할 수 있다.
제2 a노드(N2a)와 유사하게, 다른 제2 노드(N2b~N2i)도 업데이트 함수 f와 이웃 노드의 제3 피쳐 정보 및 연결된 제2 엣지의 제4 피쳐 정보를 이용하여 업데이트될 수 있다.
모든 제2 노드(N2a~N2i)의 제3 피쳐 정보는 동시에 업데이트될 수 있다. 즉, 제3 피쳐 정보를 업데이트 하기위해 사용되는 이웃 노드의 제3 피쳐 정보는 모두 업데이트되기 전의 값으로 사용될 수 있다. 이를 통해서, 데이터의 노이즈를 최소화하고, 불필요한 데이터의 변형을 방지할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
모든 제2 노드(N2a~N2i)의 제3 피쳐 정보는 벡터 형태일 수 있다. 즉, 제3 피쳐 정보는 복수의 원소를 포함할 수 있다. 본 실시예에 따른 이미지 분석 시스템 및 방법은 제3 피쳐 정보를 업데이트할 때, 새로운 원소를 생성할 수도 있고, 기존의 원소의 값을 변경할 수도 있다. 즉, 제3 피쳐 정보의 업데이트는 벡터의 원소의 개수와 내용을 중 적어도 하나를 변경시킬 수 있다.
한편, 업데이트 함수 f는 제2 엣지(E2a~E2m)의 제4 피쳐 정보 중 가공되지 않은 거리 정보를 이용할 수도 있다. 즉, 2개의 제2 노드 사이의 거리가 가까울수록 더 큰 가중치를 주어 제2 노드의 제3 피쳐 정보의 업데이트를 더욱 정밀하게 수행할 수 있다.
다시, 도 10을 참조하면, 리드아웃 함수를 통해서 인퍼런스 출력 데이터를 도출한다(S420).
구체적으로 도 11을 참조하면, 제2 노드(N2a~N2i)의 제3 피쳐 정보를 입력 정보로 하고, 리드아웃 함수 g를 통해서 인퍼런스 출력 데이터(Output_I)를 도출할 수 있다.
리드아웃 함수 g의 구조는 예를 들어, 모든 제2 노드의 제3 피쳐 정보를 다층 퍼셉트론을 통과시켜 단일 스칼라 값을 획득하는 구조를 채용할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 인퍼런스 페이즈에서 상기 단일 스칼라 값의 인퍼런스 출력 데이터(Output_I)는 도 1에서 상술한 바와 같이 병리 진단 결과 내지 의학적 예측 결과에 대한 값일 수 있다.
본 발명을 통해서 도출된 인퍼런스 출력 데이터(Output_I)는 환자의 항암제 반응 유무에 대한 확률일 수 있다. 즉, 도 1의 인퍼런스 조직 슬라이드 이미지(WSI_I)의 환자가 항암제에 반응을 하는 지를 예측해볼 수 있다. 또는 본 발명을 통해서 도출된 인퍼런스 출력 데이터(Output_I)는 특정한 치료 후의 환자의 기대 수명일 수도 있다. 즉, 도 1의 이미지 분석 장치(10)는 전문적인 지식 없이 인퍼런스 조직 슬라이드 이미지(WSI_I)를 입력으로 의학적 예측을 도출할 수 있다.본 실시예들에 따른 이미지 분석 시스템 및 방법은 기존의 조직 슬라이드 이미지의 사이즈보다 대폭 축소된 그래프 데이터를 이용하여 딥 러닝을 적용할 수 있다. 기존의 조직 슬라이드 이미지의 경우 109 스케일의 픽셀 수와 106 스케일의 세포 수를 포함한다. 따라서, 조직학적 특징에 대응되는 그래프 데이터의 경우 103 단위만큼의 작아진 데이터를 통해서 이미지 분석을 수행할 수 있다. 이러한 스케일의 차이는 딥 러닝 기술을 사용하는 이미지 분석의 정확성, 신속성 및 효율성을 매우 향상시킬 수 있다. 또한, 딥 러닝을 통한 분석을 위한 리소스(resource)의 문턱 요구 조건을 크게 낮추어 분석의 용이성을 향상시킬 수 있다.
나아가, 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법은 그래프 신경망이 각각의 노드의 피쳐 정보를 자율적으로 트레이닝하여 업데이트하고, 그 업데이트된 피쳐 정보를 이용하여 최종 출력을 도출함으로써 피쳐 정보 선정에 필요한 전문성을 요구하지 않을 수 있다. 즉, 전통적인 머신 러닝 방법은 어떠한 피쳐 정보가 결과에 영향을 미치는 지에 대해서 고도의 전문 지식을 통한 분석이 선행되어야 적절한 결과를 도출할 수 있다. 이에 반해서, 본 실시예들에 따른 이미지 분석 시스템 및 방법은 선정된 최소한의 피쳐 정보에 따라서 그래프 신경망이 피쳐 정보를 스스로 업데이트하고, 결과를 도출하므로 조직 슬라이드 이미지 분석의 전문 지식에 대한 문턱을 대폭 낮출 수 있다.
이하, 도 4, 도 9 및 도 12를 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 분석 시스템 및 방법에 대해서 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 12는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템을 설명하기 위한 블록도이다.
도 12를 참조하면, 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템은 이미지 분석 장치(10) 및 병리학 분석 장치(pathology analysis device)(20)를 포함한다.
병리학 분석 장치(20)는 트레이닝 조직 슬라이드 이미지(WSI_T) 및 인퍼런스 조직 슬라이드 이미지(WSI_I)를 입력받을 수 있다. 병리학 분석 장치(20)는 트레이닝 조직 슬라이드 이미지(WSI_T)에서 트레이닝 데이터(Data_T)를 추출하고, 인퍼런스 조직 슬라이드 이미지(WSI_I)에서 인퍼런스 데이터(Data_I)를 추출할 수 있다.
트레이닝 데이터(Data_T)는 상술한 도 4의 트레이닝 그래프 데이터(GData_T)를 생성하기 위해 필요한 데이터일 수 있다. 인퍼런스 데이터(Data_I)는 상술한 도 9의 인퍼런스 그래프 데이터(GData_I)를 생성하기 위해 필요한 데이터일 수 있다.
이미지 분석 장치(10)는 병리학 분석 장치(20)로부터 트레이닝 데이터(Data_T) 및 인퍼런스 데이터(Data_I)를 수신할 수 있다. 이미지 분석 장치(10)는 도 4의 트레이닝 그래프 데이터(GData_T)와 도 9의 인퍼런스 그래프 데이터(GData_I)를 생성하여 인퍼런스 출력 데이터(Output_I)를 도출할 수 있다.
이하, 도 1 내지 3 및 도 13 내지 도 16을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 분석 시스템 및 방법에 대해서 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 13은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이고, 도 14는 트레이닝 로 그래프 데이터의 샘플링을 설명하기 위한 개념도이다. 도 15는 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이고, 도 16은 인퍼런스 로(raw) 그래프 데이터의 샘플링을 설명하기 위한 개념도이다.
도 13은 도 3의 트레이닝 그래프 데이터를 추출하는 단계(S100)를 세부적으로 설명하기 위한 도면이고, 도 15는 도 3의 인퍼런스 그래프 데이터를 추출하는 단계(S300)을 세부적으로 설명하기 위한 도면이다.
도 3 및 도 13를 참조하면, 트레이닝 조직 슬라이드 이미지에 대응하는 트레이닝 로(raw) 그래프 데이터를 생성한다(S110).
구체적으로 도 14를 참조하면, 트레이닝 로 그래프 데이터(GData_raw_T)는 상술한 도 4의 트레이닝 그래프 데이터(GData_T)와 대응될 수 있다.
다시, 도 13을 참조하면, 샘플링을 통해서 트레이닝 그래프 데이터를 생성한다(S120).
구체적으로 도 14를 참조하면, 트레이닝 로 그래프 데이터(GData_raw_T)는 제1 영역(R1)을 포함할 수 있다. 제1 영역(R1)은 샘플링을 통해서 유지되는 제1 노드(N1_1, N1_2, N1_3)가 존재하는 영역일 수 있다. 제1 영역(R1) 외의 영역에 위치한 제1 노드(N1_1, N1_2, N1_3)는 제거될 수 있다. 제1 엣지(E1_1, E1_2, E1_3, E1_4)는 제1 영역(R1) 내에 위치한 제1 노드(N1_1, N1_2, N1_3) 사이를 연결한 것만 유지되고 나머지는 제거될 수 있다. 상기 샘플링을 통해서 트레이닝 로 그래프 데이터(GData_raw_T)는 트레이닝 그래프 데이터(GData_T)로 변경될 수 있다.
상기 샘플링은 랜덤 샘플링일 수 있다. 즉, 복수의 제1 노드(N1_1, N1_2, N1_3) 중 일부를 무작위로 제거하고 유지되는 제1 노드(N1_1, N1_2, N1_3)만을 트레이닝 그래프 데이터(GData_T)의 제1 노드(N1_1, N1_2, N1_3)로 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 즉, 무작위가 아닌 미리 설정된 방식으로 샘플링이 수행될 수도 있다.
상기 샘플링은 전체 제1 노드(N1_1, N1_2, N1_3)를 대상으로 전체적으로 수행될 수 있다. 이는 다른 조작 없이 단순한 방식으로 샘플링을 수행할 수 있어 본 실시예의 이미지 분석 시스템 및 방법의 신속성과 효율성을 높일 수 있다.
또는 상기 샘플링은 클래스 별로 각각 수행될 수도 있다. 즉, 서로 클래스가 다른 제1_1 노드(N1_1), 제1_2 노드(N1_2) 및 제1_3 노드(N1_3)는 개별적으로 샘플링이 수행될 수 있다. 즉, 제1_1 노드(N1_1) 중 일부를 샘플링하고, 제1_2 노드(N1_2) 중 일부를 샘플링하고, 제1_3 노드(N1_3) 중 일부를 샘플링할 수 있다. 이 경우, 제거되는 제1 노드(N1_1, N1_2, N1_3)의 밀도가 균일해질 수 있어 트레이닝 그래프 데이터(GData_T)의 특성의 변형이 최소화될 수 있다. 이를 통해서, 본 실시예에 따른 이미지 분석 시스템 및 방법의 정밀성이 유지될 수 있다.
또한, 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법은 제1 노드만을 샘플링하고, 남은 제1 노드 사이의 제1 엣지를 모두 유지하는 방식 외에도, 제1 엣지만을 샘플링하는 방식도 가능할 수 있다. 또한, 제1 노드의 샘플링을 먼저 수행하고, 남아있는 제1 엣지를 다시 샘플링하는 것도 가능하다.
결론적으로, 제1 노드의 제1 피쳐 정보와 제1 엣지의 제2 피쳐 정보가 모두 샘플링의 대상이 될 수 있다.
도 15를 참조하면, 인퍼런스 조직 슬라이드 이미지에 대응하는 인퍼런스 로 그래프 데이터를 생성한다(S310).
구체적으로 도 16을 참조하면, 인퍼런스 로 그래프 데이터(GData_raw_I)는 상술한 도 9의 인퍼런스 그래프 데이터(GData_I)와 대응될 수 있다.
다시, 도 15를 참조하면, 샘플링을 통해서 인퍼런스 그래프 데이터를 생성한다(S320).
구체적으로 도 16을 참조하면, 인퍼런스 로 그래프 데이터(GData_raw_I)는 제2 영역(R2)을 포함할 수 있다. 제2 영역(R2)은 샘플링을 통해서 유지되는 제2 노드(N2_1, N2_2, N2_3)가 존재하는 영역일 수 있다. 제2 영역(R2) 외의 영역에 위치한 제2 노드(N2_1, N2_2, N2_3)는 제거될 수 있다. 제2 엣지(E2_1, E2_2, E2_3, E2_4)는 제2 영역(R2) 내에 위치한 제2 노드(N2_1, N2_2, N2_3) 사이를 연결한 것만 유지되고 나머지는 제거될 수 있다. 상기 샘플링을 통해서 인퍼런스 로 그래프 데이터(GData_raw_I)는 인퍼런스 그래프 데이터(GData_I)로 변경될 수 있다.
상기 샘플링은 랜덤 샘플링일 수 있다. 즉, 복수의 제2 노드(N2_1, N2_2, N2_3) 중 일부를 무작위로 제거하고 유지되는 제2 노드(N2_1, N2_2, N2_3)만을 인퍼런스 그래프 데이터(GData_I)의 제2 노드(N2_1, N2_2, N2_3)로 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 즉, 무작위가 아닌 미리 설정된 방식으로 샘플링이 수행될 수도 있다.
상기 샘플링은 전체 제2 노드(N2_1, N2_2, N2_3)를 대상으로 전체적으로 수행될 수 있다. 이는 다른 조작 없이 단순한 방식으로 샘플링을 수행할 수 있어 본 실시예의 이미지 분석 시스템 및 방법의 신속성과 효율성을 높일 수 있다.
또는 상기 샘플링은 클래스 별로 각각 수행될 수도 있다. 즉, 서로 클래스가 다른 제2_1 노드(N2_1), 제2_2 노드(N2_2) 및 제2_3 노드(N2_3)의 샘플링을 개별적으로 수행될 수 있다. 이 경우, 제거되는 제2 노드(N2_1, N2_2, N2_3)의 밀도가 균일해질 수 있어 트레이닝 그래프 데이터(GData_T)의 특성의 변형이 최소화될 수 있다. 이를 통해서, 본 실시예에 따른 이미지 분석 시스템 및 방법의 정밀성이 유지될 수 있다.
또한, 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법은 제2 노드만을 샘플링하고, 남은 제2 노드 사이의 제2 엣지를 모두 유지하는 방식 외에도, 제2 엣지만을 샘플링하는 방식도 가능할 수 있다. 또한, 제2 노드의 샘플링을 먼저 수행하고, 남아있는 제2 엣지를 다시 샘플링하는 것도 가능하다.
결론적으로, 제2 노드의 제3 피쳐 정보와 제2 엣지의 제4 피쳐 정보가 모두 샘플링의 대상이 될 수 있다.
본 실시예에 따른 이미지 분석 시스템 및 방법은 그래프 데이터의 용량을 샘플링을 통해서 줄여 딥 러닝 분석의 연산량을 축소시킬 수 있다. 즉, 트레이닝 그래프 데이터(GData_T)와 인퍼런스 그래프 데이터(GData_I)의 노드와 엣지가 줄어듦에 따라서, 이미지 분석의 정확성과 신속성을 높일 수 있다. 또한, 리소스의 문턱 요구 조건을 낮추어 분석의 용이성을 향상시킬 수 있다.
이하, 도 1, 도 3, 도 13, 도 15 및 도 17 내지 도 19를 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 분석 시스템 및 방법에 대해서 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 17은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이고, 도 18은 인퍼런스 로 그래프 데이터의 샘플링을 설명하기 위한 개념도이다. 도 19는 프리 인퍼런스 출력 데이터의 머지(merge)를 설명하기 위한 개념도이다.
도 17을 참조하면, 그래프 데이터를 추출하고(S100), 그래프 신경망을 트레이닝하는 단계(S200)는 도 3의 설명과 동일하다. 이 때, 도 3의 그래프 데이터를 추출하는 단계(S100)는 도 13의 트레이닝 로 그래프 데이터를 생성하는 단계(S110) 및 트레이닝 그래프 데이터를 생성하는 단계(S120)를 포함할 수도 있다.
도 3의 인퍼런스 그래프 데이터를 추출하는 단계(S300)는 도 17에서 도시된 바와 같이 다음의 2개의 단계로 세분화될 수 있다.
먼저, 인퍼런스 조직 슬라이드 이미지에 대응하는 인퍼런스 로 그래프 데이터를 생성한다(S310a). 이 단계는 도 15의 인퍼런스 로 그래프 데이터를 생성하는 단계(S310)와 동일하다.
이어서, 샘플링을 통해서 N개의 서로 다른 인퍼런스 그래프 데이터를 생성한다(S320a).
구체적으로 도 18을 참조하면, 하나의 인퍼런스 로 그래프 데이터(GData_raw_I)를 여러 번 샘플링하여 여러 개의 인퍼런스 그래프 데이터(GData_I1~GData_I3)를 생성할 수 있다. 도 18은 N=3인 경우를 도시하였으나, 이는 예시에 불과할뿐 본 실시예가 이에 제한되는 것은 아니다.
구체적으로, 제1 인퍼런스 그래프 데이터(GData_I1)는 제2 영역(R2)에 속한 제2 노드(N2_1, N2_2, N2_3)만을 유지하고, 나머지 제2 노드(N2_1, N2_2, N2_3)를 제거하여 생성될 수 있다. 제2 인퍼런스 그래프 데이터(GData_I2)는 제3 영역(R3)에 속한 제2 노드(N2_1, N2_2, N2_3)만을 유지하고, 나머지 제2 노드(N2_1, N2_2, N2_3)를 제거하여 생성될 수 있다. 제3 인퍼런스 그래프 데이터(GData_I3)는 제4 영역(R4)에 속한 제2 노드(N2_1, N2_2, N2_3)만을 유지하고, 나머지 제2 노드(N2_1, N2_2, N2_3)를 제거하여 생성될 수 있다.
다시, 도 17을 참조하면, 그래프 신경망을 통해서 N개의 서로 다른 프리(Pre) 인퍼런스 출력 데이터를 도출한다(S400a).
구체적으로 도 1 및 도 19를 참조하면, 즉, N개의 인퍼런스 그래프 데이터(GData_I1~GData_I3) 각각에 대한 프리 인퍼런스 출력 데이터(P1~P3)을 도출할 수 있다. 각각의 프리 인퍼런스 출력 데이터(P1~P3)의 도출은 도 3의 인퍼런스 출력 데이터를 도출하는 단계(S400)과 동일하다.
그래프 신경망(500)은 본 실시예에 따른 이미지 분석 시스템으로 구현된 신경망일 수 있다. 그래프 신경망(500)은 제1 인퍼런스 그래프 데이터(GData_I1), 제2 인퍼런스 그래프 데이터(GData_I2) 및 제3 인퍼런스 그래프 데이터(GData_I3)를 입력받을 수 있다. 그래프 신경망(500)은 제1 인퍼런스 그래프 데이터(GData_I1)에 대해서 제1 프리 인퍼런스 출력 데이터(P1)을 도출하고, 제2 인퍼런스 그래프 데이터(GData_I2)에 대해서 제2 프리 인퍼런스 출력 데이터(P2)을 도출할 수 있다. 그래프 신경망(500)은 제3 인퍼런스 그래프 데이터(GData_I3)에 대해서 제3 프리 인퍼런스 출력 데이터(P3)을 도출할 수 있다.
다시, 도 17을 참조하면, N개의 서로 다른 프리 인퍼런스 출력 데이터를 머지(merge)한다(S500).
구체적으로, 도 1 및 도 19를 참조하면, 이미지 분석 장치(10)은 N개의 프리 인퍼런스 출력(P1~P3)을 머지하여 최종적으로 인퍼런스 출력 데이터(Output_I)를 도출할 수 있다.
이 때, 상기 머지는 N개의 프리 인퍼런스 출력(P1~P3)을 평균하는 방법을 사용할 수 있다.
또는, 상기 머지는 N개의 프리 인퍼런스 출력(P1~P3)을 피쳐 정보로 하여 그래프 신경망(500)에 의해서 트레이닝된 머지 함수에 의해서 최종적인 인퍼런스 출력 데이터(Output_I)를 도출할 수 있다. 이 때, 머지 함수의 트레이닝은 도 17의 그래프 신경망 트레이닝(S200) 단계에서 트레이닝될 수 있다.
본 실시예들에 따른 이미지 분석 시스템 및 방법은 입력 데이터인 인퍼런스 그래프 데이터의 용량을 줄이면서도 정밀한 인퍼런스 출력 데이터의 값을 도출할 수 있다. 즉, 하나의 인퍼런스 조직 슬라이드 이미지로부터 N개의 인퍼런스 그래프 데이터를 획득함으로써, 데이터 추출시에 발생할 수 있는 데이터 편향이나 노이즈를 최소화할 수 있다. 이 때, N의 수가 커질수록 이미지 분석의 정확성을 더욱 향상될 수 있다.
이하, 도 1, 도 3, 도 13, 도 15, 도 17 내지 도 21을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 분석 시스템 및 방법에 대해서 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.
도 20은 본 발명의 몇몇 실시예들에 따른 이미지 분석 시스템 및 방법을 세부적으로 설명하기 위한 순서도이고, 도 21은 트레이닝 로 그래프 데이터의 샘플링을 설명하기 위한 개념도이다.
도 20은 도 17의 트레이닝 그래프 데이터를 추출하는 단계(S100)를 세부적으로 설명하기 위한 순서도이다.
도 13, 도 17 및 도 20을 참조하면, 트레이닝 그래프 데이터를 추출하는 단계(S100)는 다음의 두 단계로 세분화될 수 있다.
먼저, 트레이닝 조직 슬라이드 이미지에 대응하는 트레이닝 로 그래프 데이터를 생성한다(S110a). 이 단계는 도 13의 트레이닝 로 그래프 데이터를 생성하는 단계(S110)과 동일하다.
이어서, 샘플링을 통해서 N개의 서로 다른 트레이닝 그래프 데이터를 생성한다(S120a).
구체적으로 도 21을 참조하면, 하나의 트레이닝 로 그래프 데이터(GData_raw_T)를 여러 번 샘플링하여 여러 개의 트레이닝 그래프 데이터(GData_T1~GData_T2)를 생성할 수 있다. 도 21은 N=3인 경우를 도시하였으나, 이는 예시에 불과할뿐 본 실시예가 이에 제한되는 것은 아니다.
구체적으로, 제1 트레이닝 그래프 데이터(GData_T1)는 제1 영역(R1)에 속한 제1 노드(N1_1, N1_2, N1_3)만을 유지하고, 나머지 제1 노드(N1_1, N1_2, N1_3)를 제거하여 생성될 수 있다. 제2 트레이닝 그래프 데이터(GData_T2)는 제5 영역(R5)에 속한 제1 노드(N1_1, N1_2, N1_3)만을 유지하고, 나머지 제1 노드(N1_1, N1_2, N1_3)를 제거하여 생성될 수 있다. 제3 트레이닝 그래프 데이터(GData_T3)는 제6 영역(R6)에 속한 제1 노드(N1_1, N1_2, N1_3)만을 유지하고, 나머지 제1 노드(N1_1, N1_2, N1_3)를 제거하여 생성될 수 있다.
본 실시예들에 따른 이미지 분석 시스템 및 방법은 입력 데이터인 트레이닝 그래프 데이터의 용량을 줄이면서 더 많은 트레이닝 그래프 데이터를 생성할 수 있다. 즉, 하나의 트레이닝 조직 슬라이드 이미지로부터 N개의 트레이닝 그래프 데이터를 생성할 수 있어 그래프 신경망의 트레이닝을 강화할 수 있고, 이를 통해서 이미지 분석 시스템 및 방법의 정밀도를 향상시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 이미지 분석 장치
100: 프로세싱 유닛
200: 스토리지 유닛
210: 프로그램

Claims (15)

  1. 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징(histological features)에 대응하는 제1 노드와, 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 정의되는 제1 엣지를 포함하는 트레이닝 로(raw) 그래프 데이터를 추출하고,
    상기 트레이닝 로 그래프 데이터의 제1 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하고,
    상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 그래프 신경망(GNN; Graph Neural Network)을 트레이닝하여 리드아웃(read out) 함수의 파라미터를 결정하고,
    인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제2 노드와, 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 결정되는 제2 엣지를 포함하는 인퍼런스 그래프 데이터를 추출하고,
    상기 인퍼런스 그래프 데이터를 상기 그래프 신경망에 입력하여 상기 리드아웃 함수에 의해 인퍼런스 출력 데이터를 도출하는 것을 포함하고,
    상기 제1 노드를 샘플링하는 것은 랜덤 샘플링하는 것을 포함하는 이미지 분석 방법.
  2. 제1 항에 있어서,
    상기 제1 노드는 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징의 제1 피쳐(feature) 정보가 임베딩(embedding)되고,
    상기 제1 엣지는 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 대한 제2 피쳐 정보가 임베딩되고,
    상기 제2 노드는 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징의 제3 피쳐 정보가 임베딩되고,
    상기 제2 엣지는 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 대한 제4 피쳐 정보가 임베딩되는 이미지 분석 방법.
  3. 제2 항에 있어서,
    상기 리드아웃 함수의 파라미터를 결정하는 것은,
    상기 제1 노드의 제1 피쳐 정보를 이용하여 상기 리드아웃 함수의 파라미터를 결정하는 것을 포함하는 이미지 분석 방법.
  4. 제2 항에 있어서,
    상기 트레이닝 그래프 데이터를 추출한 후에, 상기 제1 노드 중 제1 대상 노드 및 제1 이웃 노드의 제1 피쳐 정보와, 상기 제1 엣지 중 제1 대상 노드와 연결된 제1 연결 엣지의 제2 피쳐 정보를 이용하여 상기 그래프 신경망을 트레이닝하여 업데이트 함수의 파라미터를 결정하는 것을 포함하는 이미지 분석 방법.
  5. 삭제
  6. 제1 항에 있어서,
    상기 인퍼런스 그래프 데이터를 추출하는 것은,
    상기 제2 노드와, 상기 제2 엣지를 포함하는 인퍼런스 로(raw) 그래프 데이터를 생성하고,
    상기 인퍼런스 로 그래프 데이터의 상기 제2 노드를 샘플링하여 상기 인퍼런스 그래프 데이터를 생성하는 것을 포함하는 이미지 분석 방법.
  7. 제6 항에 있어서,
    상기 제2 노드를 샘플링하는 것은 랜덤 샘플링하는 것을 포함하는 이미지 분석 방법.
  8. 제6 항에 있어서,
    상기 제2 노드를 샘플링하여 상기 인퍼런스 그래프 데이터를 생성하는 것은,
    상기 제2 노드에 대한 샘플링을 N번 수행하여 N개의 상기 인퍼런스 그래프 데이터를 생성하는 것을 포함하고,
    상기 인퍼런스 출력 데이터를 도출하는 것은,
    상기 N개의 상기 인퍼런스 그래프 데이터에 대한 N개의 프리(pre) 인퍼런스 출력 데이터를 각각 도출하고,
    상기 N개의 프리 인퍼런스 출력 데이터를 머지(merge)하여 상기 인퍼런스 출력 데이터를 생성하는 것을 포함하는 이미지 분석 방법.
  9. 제8 항에 있어서,
    상기 머지하여 상기 인퍼런스 출력 데이터를 생성하는 것은,
    상기 N개의 프리 인퍼런스 출력 데이터를 평균하여 상기 인퍼런스 출력 데이터를 생성하는 것을 포함하는 이미지 분석 방법.
  10. 제8 항에 있어서,
    상기 머지하여 상기 인퍼런스 출력 데이터를 생성하는 것은,
    상기 N개의 프리 인퍼런스 출력 데이터를 머지 함수에 입력하여 생성하는 것을 포함하고,
    상기 머지 함수는 상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 상기 그래프 신경망을 트레이닝하여 파라미터가 결정된 이미지 분석 방법.
  11. 컴퓨팅 장치와 결합하여,
    트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제1 노드와, 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 정의되는 제1 엣지를 포함하는 트레이닝 로(raw) 그래프 데이터를 추출하는 단계;
    상기 트레이닝 로 그래프 데이터의 제1 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하는 단계;
    상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 그래프 신경망(GNN; Graph Neural Network)을 트레이닝하여 리드아웃(read out) 함수 및 업데이트 함수의 파라미터를 결정하는 단계;
    인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제2 노드와, 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 결정되는 제2 엣지를 포함하는 인퍼런스 로(raw) 그래프 데이터를 추출하는 단계;
    상기 인퍼런스 로 그래프 데이터의 제2 노드를 샘플링하여 인퍼런스 그래프 데이터를 생성하는 단계;
    상기 업데이트 함수를 이용하여 상기 제2 노드의 피쳐 정보를 업데이트하는 단계; 및
    상기 인퍼런스 그래프 데이터를 상기 그래프 신경망에 입력하여 상기 리드아웃 함수에 의해 인퍼런스 출력 데이터를 도출하는 단계를 실행시키는 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터 프로그램.
  12. 제11 항에 있어서,
    상기 제2 노드를 샘플링하여 상기 인퍼런스 그래프 데이터를 생성하는 것은,
    상기 제2 노드에 대한 샘플링을 N번 수행하여 N개의 상기 인퍼런스 그래프 데이터를 생성하는 것을 포함하고,
    상기 인퍼런스 출력 데이터를 도출하는 것은,
    상기 N개의 상기 인퍼런스 그래프 데이터에 대한 N개의 프리 인퍼런스 출력 데이터를 각각 도출하고,
    상기 N개의 프리 인퍼런스 출력 데이터를 머지하여 상기 인퍼런스 출력 데이터를 생성하는 것을 포함하는 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터 프로그램.
  13. 컴퓨터 프로그램이 저장된 스토리지 유닛; 및
    상기 컴퓨터 프로그램을 실행시키는 프로세싱 유닛을 포함하고,
    상기 컴퓨터 프로그램은,
    트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제1 노드와, 상기 트레이닝 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 정의되는 제1 엣지를 포함하는 트레이닝 로(raw) 그래프 데이터를 추출하는 오퍼레이션;
    상기 트레이닝 로 그래프 데이터의 제1 노드를 샘플링하여 트레이닝 그래프 데이터를 생성하는 오퍼레이션;
    상기 트레이닝 그래프 데이터 및 상기 트레이닝 그래프 데이터에 대응하는 트레이닝 출력 데이터를 이용하여 그래프 신경망(GNN; Graph Neural Network)을 트레이닝하여 리드아웃(read out) 함수 및 업데이트 함수의 파라미터를 결정하는 오퍼레이션;
    인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징에 대응하는 제2 노드와, 상기 인퍼런스 조직 슬라이드 이미지의 복수의 조직학적 특징 사이의 관계에 의해서 결정되는 제2 엣지를 포함하는 인퍼런스 로(raw) 그래프 데이터를 추출하는 오퍼레이션;
    상기 인퍼런스 로 그래프 데이터의 제2 노드를 샘플링하여 인퍼런스 그래프 데이터를 생성하는 오퍼레이션;
    상기 업데이트 함수를 이용하여 상기 제2 노드의 피쳐 정보를 업데이트하는 단계; 및
    상기 인퍼런스 그래프 데이터를 상기 그래프 신경망에 입력하여 상기 리드아웃 함수에 의해 인퍼런스 출력 데이터를 도출하는 오퍼레이션를 포함하는 이미지 분석 시스템.
  14. 제13 항에 있어서,
    상기 트레이닝 조직 슬라이드 이미지에서 트레이닝 데이터를 추출하고, 상기 인퍼런스 조직 슬라이드 이미지에서 인퍼런스 데이터를 추출하는 병리학 분석 장치(pathology analysis device)를 더 포함하고,
    상기 트레이닝 그래프 데이터를 생성하는 오퍼레이션은, 상기 트레이닝 데이터에서 상기 트레이닝 로 그래프 데이터를 생성하는 오퍼레이션을 포함하고,
    상기 인퍼런스 그래프 데이터를 생성하는 오퍼레이션은, 상기 인퍼런스 데이터에서 상기 인퍼런스 로 그래프 데이터를 생성하는 오퍼레이션을 포함하는 이미지 분석 시스템.
  15. 제13 항에 있어서,
    상기 제2 노드를 샘플링하여 상기 인퍼런스 그래프 데이터를 생성하는 오퍼레이션은,
    상기 제2 노드에 대한 샘플링을 N번 수행하여 N개의 상기 인퍼런스 그래프 데이터를 생성하는 오퍼레이션을 포함하고,
    상기 인퍼런스 출력 데이터를 도출하는 오퍼레이션은,
    상기 N개의 상기 인퍼런스 그래프 데이터에 대한 N개의 프리 인퍼런스 출력 데이터를 각각 도출하고,
    상기 N개의 프리 인퍼런스 출력 데이터를 머지하여 상기 인퍼런스 출력 데이터를 생성하는 오퍼레이션을 포함하는 이미지 분석 시스템.
KR1020190123098A 2019-10-04 2019-10-04 이미지 분석 방법 및 시스템 KR102068279B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190123098A KR102068279B1 (ko) 2019-10-04 2019-10-04 이미지 분석 방법 및 시스템
US16/694,826 US11100359B2 (en) 2019-10-04 2019-11-25 Method and system for analyzing image
US17/375,876 US11854194B2 (en) 2019-10-04 2021-07-14 Method and system for analyzing image
US18/517,138 US20240087123A1 (en) 2019-10-04 2023-11-22 Method and system for analyzing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190123098A KR102068279B1 (ko) 2019-10-04 2019-10-04 이미지 분석 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102068279B1 true KR102068279B1 (ko) 2020-01-20

Family

ID=69367824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190123098A KR102068279B1 (ko) 2019-10-04 2019-10-04 이미지 분석 방법 및 시스템

Country Status (2)

Country Link
US (3) US11100359B2 (ko)
KR (1) KR102068279B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812450A (zh) * 2020-06-01 2020-10-23 复旦大学 一种电网危险故障的识别方法
KR102192348B1 (ko) * 2020-02-24 2020-12-17 한국과학기술원 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법
CN113411549A (zh) * 2021-06-11 2021-09-17 上海兴容信息技术有限公司 一种判断目标门店的业务是否正常的方法
WO2021225421A1 (ko) * 2020-05-08 2021-11-11 주식회사 루닛 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
WO2021225422A1 (ko) * 2020-05-08 2021-11-11 주식회사 루닛 병리 슬라이드 이미지에 대한 면역 표현형과 연관된 정보를 제공하는 방법 및 장치
KR20210136884A (ko) * 2020-05-08 2021-11-17 주식회사 루닛 병리 슬라이드 이미지에 대한 면역 표현형과 연관된 정보를 제공하는 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102068279B1 (ko) * 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템
KR102068277B1 (ko) * 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
US11830622B2 (en) * 2021-06-11 2023-11-28 International Business Machines Corporation Processing multimodal images of tissue for medical evaluation
US11676399B1 (en) * 2022-07-18 2023-06-13 Motional Ad Llc. Object tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180077218A (ko) * 2015-10-28 2018-07-06 구글 엘엘씨 계산 그래프들 프로세싱
KR101917947B1 (ko) 2017-02-23 2018-11-12 고려대학교 산학협력단 딥러닝을 사용하여 재발 부위를 예측하고, pet 이미지를 생성하는 방법과 장치
WO2019081781A1 (en) * 2017-10-27 2019-05-02 Deepmind Technologies Limited NEURAL GRAPH NETWORK SYSTEMS FOR GENERATING STRUCTURED REPRESENTATIONS OF OBJECTS

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036372A1 (en) * 2004-03-18 2006-02-16 Bulent Yener Method and apparatus for tissue modeling
WO2006020627A1 (en) * 2004-08-11 2006-02-23 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CA3021481A1 (en) * 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
CN110073404B (zh) 2016-10-21 2023-03-21 南坦生物组学有限责任公司 数字组织病理学和显微解剖
KR101889722B1 (ko) 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
US10956795B2 (en) * 2017-09-15 2021-03-23 Case Western Reserve University Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
US11461628B2 (en) 2017-11-03 2022-10-04 Samsung Electronics Co., Ltd. Method for optimizing neural networks
KR102071491B1 (ko) 2017-11-10 2020-01-30 주식회사 디시젠 차세대 염기서열분석을 이용한 기계학습 기반 유방암 예후 예측 방법 및 예측 시스템
EP3794511A1 (en) * 2018-05-18 2021-03-24 BenevolentAI Technology Limited Graph neutral networks with attention
KR101889724B1 (ko) 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
US10395772B1 (en) * 2018-10-17 2019-08-27 Tempus Labs Mobile supplementation, extraction, and analysis of health records
US11779220B2 (en) * 2018-12-14 2023-10-10 Research Development Foundation Multi-channel orthogonal convolutional neural networks
KR102068279B1 (ko) * 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180077218A (ko) * 2015-10-28 2018-07-06 구글 엘엘씨 계산 그래프들 프로세싱
KR101917947B1 (ko) 2017-02-23 2018-11-12 고려대학교 산학협력단 딥러닝을 사용하여 재발 부위를 예측하고, pet 이미지를 생성하는 방법과 장치
WO2019081781A1 (en) * 2017-10-27 2019-05-02 Deepmind Technologies Limited NEURAL GRAPH NETWORK SYSTEMS FOR GENERATING STRUCTURED REPRESENTATIONS OF OBJECTS

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CGC-Net: Cell Graph Convolutional Network for Grading of Colorectal Cancer Histology Images, 2019.09.* *
문장 레벨 그래프 회선 신경망을 통한 텍스트 분류, 2019.08.* *
블로그:2019.08.17 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192348B1 (ko) * 2020-02-24 2020-12-17 한국과학기술원 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법
WO2021172675A1 (ko) * 2020-02-24 2021-09-02 한국과학기술원 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법
WO2021225421A1 (ko) * 2020-05-08 2021-11-11 주식회사 루닛 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
WO2021225422A1 (ko) * 2020-05-08 2021-11-11 주식회사 루닛 병리 슬라이드 이미지에 대한 면역 표현형과 연관된 정보를 제공하는 방법 및 장치
KR20210136884A (ko) * 2020-05-08 2021-11-17 주식회사 루닛 병리 슬라이드 이미지에 대한 면역 표현형과 연관된 정보를 제공하는 방법 및 장치
KR20210136885A (ko) * 2020-05-08 2021-11-17 주식회사 루닛 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
KR102591696B1 (ko) 2020-05-08 2023-10-19 주식회사 루닛 병리 슬라이드 이미지에 대한 면역 표현형과 연관된 정보를 제공하는 방법 및 장치
KR102628046B1 (ko) * 2020-05-08 2024-01-23 주식회사 루닛 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
CN111812450A (zh) * 2020-06-01 2020-10-23 复旦大学 一种电网危险故障的识别方法
CN111812450B (zh) * 2020-06-01 2022-03-18 复旦大学 一种电网危险故障的识别方法
CN113411549A (zh) * 2021-06-11 2021-09-17 上海兴容信息技术有限公司 一种判断目标门店的业务是否正常的方法

Also Published As

Publication number Publication date
US11100359B2 (en) 2021-08-24
US20210103757A1 (en) 2021-04-08
US11854194B2 (en) 2023-12-26
US20240087123A1 (en) 2024-03-14
US20210342627A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
KR102068279B1 (ko) 이미지 분석 방법 및 시스템
KR102068277B1 (ko) 이미지 분석 방법 및 시스템
TWI832966B (zh) 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備
JP2021535484A (ja) 自動的な腫瘍検出及び分類のためのシステム
CN110378913A (zh) 图像分割方法、装置、设备及存储介质
KR102166835B1 (ko) 신경망 학습 방법 및 그 장치
Subbanna et al. IMaGe: iterative multilevel probabilistic graphical model for detection and segmentation of multiple sclerosis lesions in brain MRI
CN113706444A (zh) 一种图像处理方法、装置、设备及存储介质
KR20220120345A (ko) 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 딥 러닝 모델
CN115393376A (zh) 医学图像处理方法、装置、计算机设备和存储介质
Khattar et al. Computer assisted diagnosis of skin cancer: a survey and future recommendations
KR102601738B1 (ko) 이미지 분석 방법 및 시스템
Sangeetha et al. Enabling Accurate Brain Tumor Segmentation with Deep Learning
Bi et al. Hypergraph structural information aggregation generative adversarial networks for diagnosis and pathogenetic factors identification of Alzheimer’s disease with imaging genetic data
Khanna et al. Polygenic risk score for cardiovascular diseases in artificial intelligence paradigm: a review
Huang et al. Flip learning: Erase to segment
KR20230136512A (ko) 기도 영역의 레벨을 결정하는 방법 및 장치
Khazane et al. DeepDefacer: automatic removal of facial features via U-Net image segmentation
RS CoC-ResNet-classification of colorectal cancer on histopathologic images using residual networks
Zhou et al. Recursive training strategy for a deep learning network for segmentation of pathology nuclei with incomplete annotation
Alves et al. Uncertainty-Guided Self-learning Framework for Semi-supervised Multi-organ Segmentation
Battineni et al. Brain imaging studies using deep neural networks in the detection of Alzheimer's Disease
Ali et al. EMTL-Net: Boosting segmentation quality in histopathology images of gland and nuclei by explainable multitask learning network as an optimized strategy
Hamim et al. Enhancing Brain Tumor MRI Segmentation Accuracy and Efficiency with Optimized U-Net Architecture
CN116994652B (zh) 基于神经网络的信息预测方法、装置及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant