KR102330263B1 - 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치 - Google Patents

인공신경망을 이용한 핵 영역 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR102330263B1
KR102330263B1 KR1020190151624A KR20190151624A KR102330263B1 KR 102330263 B1 KR102330263 B1 KR 102330263B1 KR 1020190151624 A KR1020190151624 A KR 1020190151624A KR 20190151624 A KR20190151624 A KR 20190151624A KR 102330263 B1 KR102330263 B1 KR 102330263B1
Authority
KR
South Korea
Prior art keywords
image
nuclear
instance
region
marker
Prior art date
Application number
KR1020190151624A
Other languages
English (en)
Other versions
KR20210063116A (ko
Inventor
박상현
권문기
미구엘 루나
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020190151624A priority Critical patent/KR102330263B1/ko
Publication of KR20210063116A publication Critical patent/KR20210063116A/ko
Application granted granted Critical
Publication of KR102330263B1 publication Critical patent/KR102330263B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예는, 제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득하는 단계, 상기 제1 이미지에 대하여 핵의 확률맵을 기초로 마커(marker)를 표시하고, 상기 제2 이미지에 대하여 핵의 확률맵을 기초로 마커를 표시하는 단계, 마커가 표시된 상기 제1 이미지 및 상기 제2 이미지를 컨벌루션(Convolution) 기반의 신경망에 입력하여 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역을 추정하는 단계, 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역에 대한 상기 신경망의 출력 데이터를 이용하여 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스간 동일성 여부를 판단하는 단계를 포함할 수 있다.

Description

인공신경망을 이용한 핵 영역 검출 방법 및 그 장치{ METHOD AND APPARATUS FOR DETECTING NUCLEAR REGION USING ARTIFICIAL NEURAL NETWORK }
본 발명은 핵 영역 검출 방법 및 그 장치에 관한 것으로서, 더 상세하게는 분할된 핵 영역을 검출하고 보정하는 기술에 관한 것이다.
유사 분열 세포의 개수를 카운팅 하는 작업은 일반적으로 병리학자(pathologist)에 의해 수행되는 병리 진단 작업이다. 병리학자는 염색된 조직 슬라이드를 고 배율의 현미경을 통해 관찰하거나, 디지털 병리 장비에 의해 스캔 된 조직 슬라이드 이미지를 컴퓨팅 장치를 통해 관찰하는 방식으로 유사 분열 세포를 카운팅한다.
이를 개선하기 위해 다양한 핵 영역을 검출 방법이 개발되고 있다. 하지만 여전히, 핵 분할 과정에서 모호한 경계를 갖는 인접한 핵 영역은 정확하게 검출되지 못한다는 한계가 존재한다.
본 발명은, 분할되는 핵의 영역을 검출하는 방법에 있어서, 핵 인스턴스의 세그멘테이션을 정확하게 검출하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 핵 영역 검출 방법은 제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득하는 단계, 상기 제1 이미지에 대하여 핵의 확률맵을 기초로 마커(marker)를 표시하고, 상기 제2 이미지에 대하여 핵의 확률맵을 기초로 마커를 표시하는 단계, 마커가 표시된 상기 제1 이미지 및 상기 제2 이미지를 컨벌루션(Convolution) 기반의 신경망에 입력하여 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역을 추정하는 단계, 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역에 대한 상기 신경망의 출력 데이터를 이용하여 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스간 동일성 여부를 판단하는 단계를 포함할 수 있다.
일 실시예에서 상기 마커를 표시하는 단계는, 컨벌루션 기반의 제3 신경망에 상기 제1 이미지 및 상기 제2 이미지를 입력하여 이미지내의 단위 영역당 핵이 존재할 확률에 대한 핵의 확률맵을 생성하고, 각 이미지내의 단위 영역중 지역 최대값(local maximum)에 대응되는 단위 영역에 상기 마커를 표시하는 단계를 포함할 수 있다.
일 실시예에서 상기 마커를 표시하는 단계는, 상기 복수개의 핵 인스턴스 이미지에 각각에 대하여 핵의 확률맵을 기초로 마커를 표시하는 단계, 상기 마커의 위치를 기초로 복수개의 이미지 쌍을 생성하는 단계 및 상기 복수개의 이미지 쌍 중 하나의 이미지 쌍을 획득하는 단계를 포함하고, 상기 하나의 이미지 쌍은, 상기 제1 이미지 및 상기 제2 이미지를 포함할 수 있다.
일 실시예에서 상기 복수개의 이미지 쌍 각각은, 각각의 이미지에 포함된 마커의 위치가 기준치보다 가까운 적어도 두개의 이미지를 포함할 수 있다.
일 실시예에서 상기 하나의 이미지 쌍은, 상기 복수개의 이미지 쌍 중 랜덤하게 획득될 수 있다.
일 실시예에서 상기 신경망은, 복수의 컨벌루션 레이어를 포함하는 컨벌루션 계층 및 복수의 디컨벌루션 레이어를 포함하는 디컨벌루션 계층을 포함하고, 상기 핵 인스턴스의 영역을 추정하는 단계는, 상기 컨벌루션 계층을 통해, 핵 인스턴스의 특징을 추출하는 단계 및 상기 디컨벌루션 계층을 통해, 세그멘테이션(segmentation)된 핵 인스턴스의 영역을 추정하는 단계를 포함할 수 있다.
일 실시예에서 상기 신경망의 출력 데이터는, 상기 제1 이미지에 대한 특징맵(feature map) 및 상기 제2 이미지에 대한 특징맵이고, 상기 핵 인스턴스의 동일성 여부를 판단하는 단계는, 상기 제1 이미지에 대한 특징맵 및 상기 제2 이미지에 대한 특징맵의 다이스 계수(Dice coefficient)의 중복도를 기초로 상기 제1 이미지에 포함된 핵 인스턴스와 상기 제2 이미지에 포함된 핵 인스턴스간 동일성 수치를 추정하는 단계를 포함할 수 있다.
일 실시예에서 상기 동일성 여부를 판단하는 단계는, 상기 동일성 수치가 기준치 이상인 경우 상기 제1 이미지와 상기 제2 이미지를 병합하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 핵 영역 검출 장치는 프로세서를 포함하고, 상기 프로세서는, 제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득하고, 상기 제1 이미지에 대하여 핵의 확률맵을 기초로 마커(marker)를 표시하고, 상기 제2 이미지에 대하여 핵의 확률맵을 기초로 마커를 표시하고, 마커가 표시된 상기 제1 이미지 및 상기 제2 이미지를 컨벌루션(Convolution) 기반의 신경망에 입력하여 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역을 추정하고, 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역에 대한 상기 신경망의 출력 데이터를 이용하여 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스간 동일성 여부를 판단할 수 있다.
일 실시예에서 상기 프로세서는, 컨벌루션 기반의 제3 신경망에 상기 제1 이미지 및 상기 제2 이미지를 입력하여 이미지내의 단위 영역당 핵이 존재할 확률에 대한 핵의 확률맵을 생성하고, 각 이미지내의 단위 영역중 지역 최대값(local maximum)에 대응되는 단위 영역에 상기 마커를 표시할 수 있다.
일 실시예에서 상기 프로세서는, 상기 복수개의 핵 인스턴스 이미지에 각각에 대하여 핵의 확률맵을 기초로 마커를 표시하고, 상기 마커의 위치를 기초로 복수개의 이미지 쌍을 생성하고, 상기 복수개의 이미지 쌍 중 하나의 이미지 쌍을 획득하고, 상기 하나의 이미지 쌍은, 상기 제1 이미지 및 상기 제2 이미지를 포함할 수 있다.
일 실시예에서 상기 복수개의 이미지 쌍 각각은, 각각의 이미지에 포함된 마커의 위치가 기준치보다 가까운 적어도 두 개의 이미지를 포함할 수 있다.
일 실시예에서 상기 하나의 이미지 쌍은, 상기 복수개의 이미지 쌍 중 무작위로 선택될 수 있다.
일 실시예에서 상기 신경망은, 복수의 컨벌루션 레이어를 포함하는 컨벌루션 계층 및 복수의 디컨벌루션 레이어를 포함하는 디컨벌루션 계층을 포함하고, 상기 프로세서는, 상기 컨벌루션 계층을 통해 핵 인스턴스의 특징을 추출하고, 상기 디컨벌루션 계층을 통해 세그멘테이션(segmentation)된 핵 인스턴스의 영역을 추정할 수 있다.
일 실시예에서 상기 신경망의 출력 데이터는, 상기 제1 이미지에 대한 특징맵(feature map) 및 상기 제2 이미지에 대한 특징맵이고, 상기 프로세서는, 상기 제1 이미지에 대한 특징맵 및 상기 제2 이미지에 대한 특징맵을 기초로 상기 제1 이미지에 포함된 핵 인스턴스와 상기 제2 이미지에 포함된 핵 인스턴스간 동일성 수치를 추정할 수 있다.
일 실시예에서 상기 프로세서는, 상기 동일성 수치가 기준치 이상인 경우 상기 제1 이미지와 상기 제2 이미지를 병합할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른 핵 영역 검출 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 핵 영역 검출 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 핵 영역 검출 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 핵 인스턴스 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 핵 인스턴스 영역을 검출하는 신경망의 구성 및 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 검출된 핵 인스턴스의 동일성을 판단하는 방법을 설명하기 위한 도면이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 개시의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시의 다양한 실시예에서 사용한 용어는 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 본 개시의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 핵 영역 검출 방법을 설명하기 위한 개념도이다. 병리학 영상에서 세포의 이형성(atypism)과 핵의 동질성(homogeneouty)은 암의 등급과 단계를 진단하는 데 중요한 요소이다.
도 1의 (a)는 병리 이미지 원본이고, (b)는 종래 기술을 이용하여 핵 영역을 검출한 예시도이고, (c)는 후술하는 본 발명의 일 실시예에 따른 핵 영역 검출 방법에 따라 핵 영역을 검출한 예시도이며, (d)는 실제 핵 영역을 도시한 도면이다.
(b)에 도시된 바와 같이 종래에는 세포의 핵 영역, 배경 영역 및 경계를 검출하여 개별 핵을 식별하였다. 이와 같은 종래 기술은 세포의 핵 추출에 있어서 우수한 성능을 나타내나, 인접한 복수의 인스턴스에 대한 정확한 구별은 불가하다는 한계가 존재한다. 종래 기술은 검출된 복수의 인스턴스 사이를 반드시 배경이 되도록 처리를 하여, 복수의 인스턴스가 붙어있다 하더라도 각각의 인스턴서의 사이를 배경이 되도록 처리한다. 따라서 검출된 복수의 인스턴스 각각이 동일한 핵에 포함되어 있더라도, 각각 상이한 핵에 포함되는 것으로 식별될 수 있다. 반면, 후술되는 본 발명의 몇몇 실시예에 따른 핵 영역 검출 방법을 이용하는 경우 도 (c)와 같이 인접한 인스턴스가 동일한 핵에 포함되어 있는지 여부를 정확히 식별할 수 있다.
보다 상세하게, 본 발명의 몇몇 실시예에 따른 핵 영역 검출 방법은 핵 영역 검출 정확도를 높이기 위해, 핵 인스턴스를 검출하고 신경망을 이용하여 핵 인스턴스를 병합 또는 분리하는 동작은 반복하여 수행할 수 있다. 전술한 핵 인스턴스는 핵이 존재할 것으로 판단되는 영역을 의미하고, 본 실시예에서 신경망을 이용해 검출된 각각의 핵 인스턴스가 동일한 핵에 포함된다고 판단된 경우 각각의 핵 인스턴스를 병합할 수 있다. 또한, 일 실시예에서 전술한 신경망은 디코딩 레이어를 더 포함할 수 있고, 상술한 디코딩 레이어를 통해 핵 인스턴스의 세그멘테이션(segmentaion)이 추정될 수 있다. 또한 추정된 핵 인스턴스의 세그멘테이션을 이용하여 상술한 신경망의 가중치 매트릭스를 갱신할 수 있다. 전술한 과정을 통해 본 발명의 몇몇 실시예에 따른 신경망은 다양한 입력 데이터를 이용하여 학습을 수행할 수 있고, 이를 통해 과적합 문제(overfitting problem)의 발생을 최소화 할 수 있다.
일 실시예에 따른 핵 영역 검출 방법은 먼저, 제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득할 수 있다. 이후 제1 이미지에 대하여 핵의 확률맵을 기초로 마커(marker)를 표시하고, 제2 이미지에 대하여 핵의 확률맵을 기초로 마커를 표시할 수 있다. 이후, 마커가 표시된 제1 이미지 및 제2 이미지를 컨벌루션(Convolution) 기반의 신경망에 입력하여 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 제2 이미지에 포함된 핵 인스턴스 영역을 추정할 수 있다. 또한, 제1 이미지에 포함된 핵 인스턴스의 영역 및 제2 이미지에 포함된 핵 인스턴스 영역에 대한 신경망의 출력 데이터를 이용하여 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스간 동일성 여부를 판단할 수 있다. 보다 상세한 설명은 이하 관련 도면에서 후술한다.
도 2는 본 발명의 일 실시예에 따른 핵 영역 검출 장치의 구성 및 동작을 설명하기 위한 도면이다.
일 실시예에 따른 핵 영역 검출 장치(100)는 메모리(103), 프로세서(104), 통신 모듈(102), 입출력 인터페이스(101) 및 시스템 버스(bus)를 포함할 수 있다.
메모리(103)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(103)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism)을 이용하여 메모리(103)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(102)을 통해 메모리(103)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크를 통해 제공하는 파일들에 의해 설치되는 프로그램에 기반하여 메모리(103)에 로딩될 수 있다.
프로세서(104)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(103) 또는 통신 모듈(102)에 의해 프로세서(104)로 제공될 수 있다. 예를 들어 프로세서(104)는 메모리(103)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
일 실시예에서 프로세서(104)는 제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득하고, 제1 이미지에 대하여 핵의 확률맵을 기초로 마커(marker)를 표시하고, 제2 이미지에 대하여 핵의 확률맵을 기초로 마커를 표시하고, 마커가 표시된 제1 이미지 및 제2 이미지를 컨벌루션(Convolution) 기반의 신경망에 입력하여 제1 이미지에 포함된 핵 인스턴스의 영역 및 제2 이미지에 포함된 핵 인스턴스 영역을 추정하고, 제1 이미지에 포함된 핵 인스턴스의 영역 및 제2 이미지에 포함된 핵 인스턴스 영역에 대한 신경망의 출력 데이터를 이용하여 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스간 동일성 여부를 판단할 수 있다.
통신 모듈(102)은 네트워크를 통해 외부 서버와 핵 영역 검출 장치(100)가 서로 통신하기 위한 기능을 제공할 수 있다. 물론 통신 모듈(102)은 다른 사용자 다른 서버와 통신하기 위한 기능을 제공할 수도 있다. 일례로, 핵 영역 검출 장치(100)의 프로세서(104)가 메모리(103)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(102)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 콘텐츠, 파일 등이 통신 모듈과 네트워크를 거쳐 핵 영역 검출 장치(100)의 통신 모듈(102)을 통해 핵 영역 검출 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(102)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(104)나 메모리(103)로 전달될 수 있고, 콘텐츠나 파일 등은 핵 영역 검출 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
입출력 인터페이스(101)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(101)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 핵 영역 검출 장치(100)의 프로세서(104)는 메모리(103)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 외부 서버가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 콘텐츠가 입출력 인터페이스(101)를 통해 디스플레이에 표시될 수 있다.
또한, 다른 실시예들에서 핵 영역 검출 장치(100)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 핵 영역 검출 장치(100)는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 핵 영역 검출 방법의 순서도이다. 이하, 후술되는 핵 영역 검출 방법을 수행하는 장치는 핵 영역 검출 장치임을 가정하고 설명한다.
단계 S110에서, 핵 영역 검출 장치는 제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득할 수 있다. 핵 인스턴스 이미지는 적어도 하나 이상의 핵 인스턴스를 포함하는 병리이미지일 수 있다. 예를 들어 복수개의 핵 인스턴스 이미지는 다중 조직 H&E(Haematoxylin Eosin) 염색 이미지를 포함하는 MoNuSeg 데이터 및/또는 Negative Breast Cancer 조직의 TNBC(Triple-Negative Breast Cancer) 데이터를 포함할 수 있다.
단계 S120에서, 핵 영역 검출 장치는 제1 이미지에 마커를 표시하고, 제2 이미지에 마커를 표시할 수 있다. 보다 상세하게 핵 영역 검출 장치는 제1 이미지 및 제2 이미지에 대하여 핵의 확률맵을 생성할 수 있고, 생성된 핵의 확률맵을 이용하여 각각의 이미지에 대하여 핵의 위치에 대응되는 마커를 표시할 수 있다. 일 실시예에서 핵 영역 검출 장치는 생성된 핵의 확률맵의 지역 최대값(local maximum)을 마커로 표시할 수 있다.
단계 S130에서, 마커가 표시된 제1 이미지 및 제2 이미지를 컨벌루션 기반의 신경망에 입력할 수 있다. 일 실시예에서 핵 영역 검출 장치는 복수개의 핵 인스턴스 이미지를 이용하여 제1 이미지 및 제2 이미지를 포함하는 이미지 쌍을 생성할 수 있다. 전술한 이미지 쌍은 지정된 기준을 기초로 생성될 수 있다. 일 실시예에서 핵 영역 검출 장치는 복수개의 핵 인스턴스 이미지에 표시된 마커의 위치가 가까운 순서로 2개의 이미지를 포함하는 이미지 쌍을 생성할 수 있다. 다만, 이는 이미지 쌍을 생성하는 일 예시일 뿐, 이미지 쌍을 생성하는 기준 및 이미지 쌍에 포함된 이미지의 개수가 이에 한정되는 것은 아니다.
또한, 다른 실시예에서 이전에 생성되었던 이미지 쌍의 조합과 상이한 조합으로 새로운 이미지 쌍이 생성될 수 있고, 이를 신경망의 학습 데이터로 이용할 수 있다. 이와 같이 복수의 핵 인스턴스 이미지에 대하여 다양한 조합으로 신경망을 학습시킴으로써, 충분한 양의 학습 데이터 확보가 가능하고, 과적합 문제의 발생을 방지할 수 있다.
또한 일 실시예에 따라 생성된 복수개의 이미지 쌍이 순차적으로 신경망에 입력될 수 있다. 일 실시예에서 신경망에 입력되는 이미지 쌍은 랜덤하게 선택될 수 있다. 다만 이는 이미지 쌍을 선택하는 방법의 일 예시일 뿐, 본원 발명의 신경망에 입력 데이터로 사용되는 이미지 쌍이 선택되는 기준이 이에 한정되는 것은 아님에 유의한다.
단계 S140에서, 제1 이미지에 포함된 핵 인스턴스의 영역 및 제2 이미지에 포함된 핵 인스턴스 영역을 추정할 수 있다. 일 실시예에서 핵 영역을 검출하기 위해 사용되는 신경망은 컨벌루션 레이어와 디컨벌루션 레이어를 포함할 수 있다. 일 실시예에서 컨벌루션 레이어는 핵 인스턴스를 추출하기 위한 핵 인스턴스의 특징을 추출할 수 있다. 또한 일 실시예에서 디컨벌루션 레이어는 입력 데이터에 포함된 핵 인스턴스를 검출할 수 있다. 일 예로 컨벌루션 레이어는 컨벌루션 연산을 수행하는 16개의 레이어를 포함하고, 디컨벌루션 레이어는 디컨벌루션 연산을 수행하는 16개의 레이어를 포함할 수 있다. 다만 이는 예시일 뿐 레이어의 숫자는 이에 한정되지 않음에 유의한다.
단계 S150에서, 제1 이미지에 포함된 핵 인스턴스의 영역 및 제2 이미지에 포함된 핵 인스턴스 영역에 대한 신경망의 출력 데이터를 획득할 수 있다. 일 실시예에서 핵 영역 검출 장치는 제1 이미지의 특징맵 및 제2 이미지의 특징맵을 출력할 수 있다. 또한 신경망의 출력 데이터는 제1 이미지에 포함된 핵 인스턴스의 세그멘테이션 및 제2 이미지에 포함된 핵 인스턴스의 세그멘테이션 정보를 포함할 수 있다. 핵 인스턴스의 세그멘테이션이란 핵 분할로 생성된 핵의 분할된 부분을 의미한다. 다만 본 발명의 몇몇 실시예에 따른 신경망의 출력 데이터 형태는 통상의 기술자가 용이하게 설계 및 변경할 수 있는 다양한 형태일 수 있음에 유의한다.
단계 S160에서, 전술한 신경망의 출력 데이터를 이용하여 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스간 동일성 여부를 판단할 수 있다. 핵 인스턴스 장치는 신경망에서 검출한 핵 인스턴스의 세그멘테이션을 획득할 수 있고, 하나의 이미지 쌍에 포함된 제1 이미지의 핵 인스턴스의 세그멘테이션과 제2 이미지의 핵 인스턴스의 세그멘테이션을 비교할 수 있다.
예를 들어 핵 인스턴스 장치는 다이스 계수(Dice coefficient)를 이용하여 제1 이미지의 핵 인스턴스의 세그멘테이션과 제2 이미지의 핵 인스턴스의 세그멘테이션간 중복도를 계산할 수 있다. 일 실시예에서 핵 영역 검출 장치는 상술한 중복도를 이용하여 각 이미지가 동일한 핵의 인스턴스를 포함하고 있는지 여부를 판단할 수 있다.
이후, 제1 이미지와 제2 이미지간 핵 인스턴스의 세그멘테이션의 중복도가 지정된 기준치보다 높은 경우, 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스는 동일한 핵에 포함된 것으로 가정할 수 있고, 이 경우 제1 이미지와 제2 이미지의 핵 인스턴스를 병합한다. 병합된 핵 인스턴스를 포함하는 이미지는 다시 신경망의 입력 데이터 및/또는 학습 데이터로 이용되어 신경망의 핵 영역 검출의 정확도를 높일 수 있다.
반면, 제1 이미지와 제2 이미지간 핵 인스턴스의 세그멘테이션 중복도가 기준치보다 낮은 경우, 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스는 서로 상이한 핵에 포함된 것으로 가정할 수 있고, 이후 상술한 제1 이미지와 제2 이미지는 동일한 이미지 쌍에 포함되지 않는다. 이 경우 제1 이미지와 제2 이미지는 각각 상이한 이미지와 쌍을 이루어 신경망의 입력 데이터 및/또는 학습 데이터로 활용될 수 있음은 물론이다.
이하, 도 4를 참조하여 신경망에 입력되는 데이터에 대하여 상세히 설명한다. 도 4의 (a)는 종래 기술을 통해 획득한 핵의 확률맵의 예시도, (b)는 확률맵의 지역 최대값을 기초로 마커가 표시된 이미지의 예시도, (c)는 분할된 핵 인스턴스 영역을 검출한 결과의 예시도이다.
(a)에 도시된 바와 같이, 본 발명의 몇몇 실시예에 따른 핵 영역 검출 장치는 복수의 핵 인스턴스 이미지에 대한 확률맵을 생성할 수 있다. 핵의 확률맵은 영역화 네트워크를 이용해 추정될 수 있다. 영역화 네트워크는 예를 들어 U-net이 사용될 수 있으나, 본 발명의 일 실시예에 따른 영역화 네트워크의 종류가 이에 한정되는 것은 아님에 유의한다.
이후, (b)에 도시된 바와 같이 핵 영역 검출 장치는 생성된 핵의 확률맵을 이용하여 지역 최대값(local maximum)을 마커로 표시할 수 있다. 이 경우 마커가 표시된 각각의 영역은 이후, 핵 영역 검출 단계를 통해 개별 핵 인스턴스 영역으로 검출되거나, 다른 핵 인스턴스와 병합되거나, 복수의 핵 인스턴스 영역으로 분리될 수도 있다.
본 발명의 몇몇 실시예에 따라 핵 영역을 검출하는 신경망은 마커를 포함하는 이미지를 입력 데이터로 이용할 수 있다. 이 경우 전술한 신경망은 복수의 이미지로 구성된 이미지 쌍을 입력 데이터로 이용할 수 있으며, 전술한 바 이미지 쌍은 지정된 기준에 따른 복수의 이미지로 구성될 수 있다. 일 실시예에서 이미지 쌍은 복수의 이미지에 포함된 마커의 위치를 기초로 생성될 수 있다. 예를 들어 마커의 위치가 가까운 순서에 따라 적어도 2개의 이미지를 포함하는 이미지 쌍이 생성될 수 있다. 이 경우, 신경망에 입력되는 이미지 데이터는 마커 채널을 포함하는 RGB 이미지 패치일 수 있다. (c)는 핵 영역 검출 장치에 의해 핵 인스턴스 영역이 검출된 이미지의 일 예이다.
도 5는 본 발명의 일 실시예에 따른 핵 인스턴스간 동일성 판단을 수행하는 방법을 설명하기 위한 도면이다.
일 실시예에서 핵 인스턴스 영역을 검출하는 신경망(210)은 제1 이미지(201) 및 제2 이미지(202)를 포함하는 이미지 쌍(200)을 입력 데이터 및/또는 학습 데이터로 이용할 수 있다. 이후, 핵 인스턴스 영역을 검출하는 신경망(210)은 제1 이미지(201) 및 제2 이미지(202)에 포함된 핵 인스턴스 영역이 검출된 데이터(300a, 300b)를 출력할 수 있다.
일 실시예에서 신경망의 입력 데이터인 이미지 쌍(200)은 이미지에 표시된 마커의 위치가 가까운 순서로 생성될 수 있다. 일 실시예에서 핵 영역 검출 장치가 제1 이미지(201)에 표시된 마커와 제1 이미지(202)에 표시된 마커를 기초로 신경망(210)을 통해 핵 인스턴스 영역을 검출한 결과, 제1 이미지(201)에 포함된 핵 인스턴스와 제2 이미지(202)에 포함된 핵 인스턴스가 동일한 핵에 포함된 경우, 제1 이미지(201)와 제2 이미지(202)를 병합할 수 있다(300a). 전술한 방법에 따라 병합된 데이터(300a)는 다른 제3 이미지와 이미지 쌍을 이루어 신경망(210)에 입력될 수 있다.
선택적 실시예에서 핵 영역 검출 장치가 제1 이미지(201)와 제2 이미지(202)에 포함된 핵 인스턴스가 서로 상이한 핵에 포함된다고 판단한 경우(300b), 제1 이미지(201)와 제2 이미지(202)는 각각 서로 다른 이미지와 이미지 쌍을 이루어 신경망(210)에 다시 입력될 수 있다. 이 경우 제1 이미지(201)와 제2 이미지(202)는 이후에도 동일한 이미지 쌍에 포함되지 않을 수 있다.
일 실시예에서 핵 인스턴스 영역을 검출하는 신경망(210)은 인코딩 레이어(220)와 디코딩 레이어(230)를 포함할 수 있다. 일 실시예에서 인코딩 레이어(220)는 각 이미지에 포함된 핵 인스턴스의 특징을 추출하여, 각 이미지의 특징맵을 출력할 수 있다. 또한, 디코딩 레이어(230)는 각 이미지에 포함된 핵 인스턴스의 영역을 추정할 수 있고, 후술되는 다이스 계수를 이용하여 각 이미지에 포함된 핵 인스턴스가 동일한 핵에 포함되는지 여부를 추정할 수 있다. 보다 상세한 설명은 이하 도 6을 참조하여 설명한다.
도 6은 도 5에 도시된 신경망을 보다 상세히 설명하기 위한 도면이다. 본 발명의 일 실시예에 따라 핵 영역을 검출하는 신경망은, 입력된 이미지 쌍에 포함된 핵 인스턴스의 동일성 여부를 더 판단할 수 있다.
보다 상세하게, 핵 영역 검출 장치는 제1 이미지(201) 및 제2 이미지(202)를 포함하는 이미지 쌍(200)을 입력 데이터로 이용할 수 있다. 입력 데이터는 먼저 컨벌루션 레이어(221a, 221b, 223a, 223b)에 입력될 수 있다. 이후, 제1 이미지(201) 및 제2 이미지(202)의 특징맵을 추출하는 인코딩 섹션의 끝 단(223a, 223b)에서 각 이미지에 포함된 핵 인스턴스의 동일성 여부를 판단하는 분류기로 전술한 제1 이미지(201) 및 제2 이미지(202)의 특징맵이 전달될 수 있다.
또한, 컨벌루션 레이어(221a, 221b, 223a, 223b)와 디컨벌루션 레이어(231a, 231b, 232a, 232b)는 스킵 연결(250a, 250b)을 할 수 있고, 레이어간 가중치를 공유하기 위해 채널 단위 행렬 곱셈(222, 240)을 수행할 수 있다. 이 경우 디컨벌루션 레이어(231a, 231b, 232a, 232b)은 제1 이미지(201)및 제2 이미지(202)에 포함된 핵 인스턴스 영역을 추정할 수 있다. 보다 상세하게 디컨벌루션 레이어(231a, 231b, 232a, 232b)은 제1 이미지(201)및 제2 이미지(202)에 포함된 핵 인스턴스의 세그멘테이션 영역을 추정할 수 있다.
일 실시예에서 분류기는 추가 컨벌루션 레이어(260) 및 완전 연결 레이어(261)를 포함할 수 있으나, 이와 같은 분류기의 신경망 구조는 일 예일 뿐 신경망의 구조가 이에 한정되는 것은 아님에 유의한다. 보다 상세하게 컨벌루션 레이어(221a, 221b, 223a, 223b)에 의해 추출된 특징맵은 클래스를 추정하기 위한 추가 컨벌루션 레이어(260) 및 완전 연결 레이어(fully-connected layer)(261)에 전달될 수 있다. 이를 통해 추정된 클래스와 디컨벌루션 레이어(231a, 231b, 232a, 232b)에서 추정된 핵 인스턴스 영역(311, 312)의 중복도를 기초로 제1 이미지(201)의 핵 인스턴스와 제2 이미지(202)의 핵 인스턴스간 동일성 수치(320)가 계산될 수 있다. 상술한 신경망의 손실 함수
Figure 112019120619014-pat00001
은
Figure 112019120619014-pat00002
=
Figure 112019120619014-pat00003
Figure 112019120619014-pat00004
+
Figure 112019120619014-pat00005
로 정의될 수 있다. 여기서 분할 손실
Figure 112019120619014-pat00006
는 수식 1과 같이 정의된다.
[수식 1]
Figure 112019120619014-pat00007
여기서 Θ는 매개 변수 세트이며,
Figure 112019120619014-pat00008
과
Figure 112019120619014-pat00009
는 두 가지 입력 피처이다.
Figure 112019120619014-pat00010
는 ·에 대한 세그먼트 예측이고,
Figure 112019120619014-pat00011
과
Figure 112019120619014-pat00012
는
Figure 112019120619014-pat00013
과
Figure 112019120619014-pat00014
에 대한 세그먼트 기준입니다.
Figure 112019120619014-pat00015
는
Figure 112019120619014-pat00016
와
Figure 112019120619014-pat00017
사이의 교차 엔트로피이다. 분류 손실은
Figure 112019120619014-pat00018
로 정의되며, 여기서
Figure 112019120619014-pat00019
는 분류 예측
Figure 112019120619014-pat00020
와 세그먼트 예측 사이의 다이스 계수
Figure 112019120619014-pat00021
사이의 곱이다.
[수식 2]
Figure 112019120619014-pat00022
상술한
Figure 112019120619014-pat00023
손실은 인스턴스 분할의 일관성이 클래스 예측에 영향을 주도록 할 수 있다. 즉, 분할이 일관된 경우 두 인스턴스가 모두 동일한 핵에 있다고 판단 될 가능성이 높아지고, 분할이 일관되지 않으면 확률이 줄어 든다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (17)

  1. 제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득하는 단계;
    상기 제1 이미지에 대하여 핵의 확률맵을 기초로 마커(marker)를 표시하고, 상기 제2 이미지에 대하여 핵의 확률맵을 기초로 마커를 표시하는 단계;
    마커가 표시된 상기 제1 이미지 및 상기 제2 이미지를 컨벌루션(Convolution) 기반의 신경망에 입력하여 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역을 추정하는 단계;
    상기 제1 이미지에 포함된 핵 인스턴스의 영역에 대한 특징맵(feature map) 및 상기 제2 이미지에 포함된 핵 인스턴스 영역에 대한 특징맵을 포함하는 상기 신경망의 출력 데이터를 이용하여, 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스 간 동일성 여부를 나타내는 동일성 수치를 획득하는 단계; 및
    상기 동일성 수치가 기준치 이상이면, 상기 제1 이미지와 상기 제2 이미지를 병합하는 단계를 포함하는
    핵 영역 검출 방법.
  2. 제1 항에 있어서,
    상기 마커를 표시하는 단계는,
    컨벌루션 기반의 제3 신경망에 상기 제1 이미지 및 상기 제2 이미지를 입력하여 이미지내의 단위 영역당 핵이 존재할 확률에 대한 핵의 확률맵을 생성하고, 각 이미지내의 단위 영역 중 지역 최대값(local maximum)에 대응되는 단위 영역에 상기 마커를 표시하는 단계를 포함하는,
    핵 영역 검출 방법.
  3. 제1 항에 있어서,
    상기 마커를 표시하는 단계는,
    상기 복수개의 핵 인스턴스 이미지에 각각에 대하여 핵의 확률맵을 기초로 마커를 표시하는 단계;
    상기 마커의 위치를 기초로 복수개의 이미지 쌍을 생성하는 단계; 및
    상기 복수개의 이미지 쌍 중 하나의 이미지 쌍을 획득하는 단계;를 포함하고,
    상기 하나의 이미지 쌍은,
    상기 제1 이미지 및 상기 제2 이미지를 포함하는,
    핵 영역 검출 방법.
  4. 제3 항에 있어서,
    상기 복수개의 이미지 쌍 각각은,
    각각의 이미지에 포함된 마커의 위치가 기준치보다 가까운 적어도 두 개의 이미지를 포함하는,
    핵 영역 검출 방법.
  5. 제3 항에 있어서,
    상기 하나의 이미지 쌍은,
    상기 복수개의 이미지 쌍 중 랜덤하게 획득된,
    핵 영역 검출 방법.
  6. 제1 항에 있어서,
    상기 신경망은,
    복수의 컨벌루션 레이어를 포함하는 컨벌루션 계층 및 복수의 디컨벌루션 레이어를 포함하는 디컨벌루션 계층을 포함하고,
    상기 핵 인스턴스의 영역을 추정하는 단계는,
    상기 컨벌루션 계층을 통해, 핵 인스턴스의 특징을 추출하는 단계; 및
    상기 디컨벌루션 계층을 통해, 세그멘테이션(segmentation)된 핵 인스턴스의 영역을 추정하는 단계를 포함하는,
    핵 영역 검출 방법.
  7. 제1 항에 있어서,
    상기 핵 인스턴스의 동일성 수치를 획득하는 단계는,
    상기 제1 이미지에 포함된 핵 인스턴스의 영역에 대한 특징맵 및 상기 제2 이미지에 포함된 핵 인스턴스의 영역에 대한 특징맵의 다이스 계수(Dice coefficient)의 중복도를 기초로 상기 동일성 수치를 추정하는 단계를 포함하는,
    핵 영역 검출 방법.
  8. 삭제
  9. 프로세서;를 포함하고,
    상기 프로세서는,
    제1 이미지 및 제2 이미지를 포함하는 복수개의 핵 인스턴스 이미지를 획득하고,
    상기 제1 이미지에 대하여 핵의 확률맵을 기초로 마커(marker)를 표시하고, 상기 제2 이미지에 대하여 핵의 확률맵을 기초로 마커를 표시하고,
    마커가 표시된 상기 제1 이미지 및 상기 제2 이미지를 컨벌루션(Convolution) 기반의 신경망에 입력하여 상기 제1 이미지에 포함된 핵 인스턴스의 영역 및 상기 제2 이미지에 포함된 핵 인스턴스 영역을 추정하고,
    상기 제1 이미지에 포함된 핵 인스턴스의 영역에 대한 특징맵(feature map) 및 상기 제2 이미지에 포함된 핵 인스턴스 영역에 대한 특징맵을 포함하는 상기 신경망의 출력 데이터를 이용하여, 제1 이미지에 포함된 핵 인스턴스와 제2 이미지에 포함된 핵 인스턴스간 동일성 여부를 나타내는 동일성 수치를 획득하며,
    상기 동일성 수치가 기준치 이상이면, 상기 제1 이미지와 상기 제2 이미지를 병합하는
    핵 영역 검출 장치.
  10. 제9 항에 있어서,
    상기 프로세서는,
    컨벌루션 기반의 제3 신경망에 상기 제1 이미지 및 상기 제2 이미지를 입력하여 이미지내의 단위 영역당 핵이 존재할 확률에 대한 핵의 확률맵을 생성하고, 각 이미지내의 단위 영역 중 지역 최대값(local maximum)에 대응되는 단위 영역에 상기 마커를 표시하는,
    핵 영역 검출 장치.
  11. 제9 항에 있어서,
    상기 프로세서는,
    상기 복수개의 핵 인스턴스 이미지에 각각에 대하여 핵의 확률맵을 기초로 마커를 표시하고, 상기 마커의 위치를 기초로 복수개의 이미지 쌍을 생성하고, 상기 복수개의 이미지 쌍 중 하나의 이미지 쌍을 획득하고
    상기 하나의 이미지 쌍은,
    상기 제1 이미지 및 상기 제2 이미지를 포함하는,
    핵 영역 검출 장치.
  12. 제11 항에 있어서,
    상기 복수개의 이미지 쌍 각각은,
    각각의 이미지에 포함된 마커의 위치가 기준치보다 가까운 적어도 두 개의 이미지를 포함하는,
    핵 영역 검출 장치.
  13. 제11 항에 있어서,
    상기 하나의 이미지 쌍은,
    상기 복수개의 이미지 쌍 중 무작위로 선택된,
    핵 영역 검출 장치.
  14. 제9 항에 있어서,
    상기 신경망은,
    복수의 컨벌루션 레이어를 포함하는 컨벌루션 계층 및 복수의 디컨벌루션 레이어를 포함하는 디컨벌루션 계층을 포함하고,
    상기 프로세서는,
    상기 컨벌루션 계층을 통해 핵 인스턴스의 특징을 추출하고, 상기 디컨벌루션 계층을 통해 세그멘테이션(segmentation)된 핵 인스턴스의 영역을 추정하는,
    핵 영역 검출 장치.
  15. 제9 항에 있어서,
    상기 프로세서는,
    상기 제1 이미지에 포함된 핵 인스턴스의 영역에 대한 특징맵 및 상기 제2 이미지에 포함된 핵 인스턴스의 영역에 대한 특징맵의 다이스 계수(Dice coefficient)의 중복도를 기초로 상기 동일성 수치를 추정하는,
    핵 영역 검출 장치.
  16. 삭제
  17. 컴퓨터를 이용하여 제1항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.

KR1020190151624A 2019-11-22 2019-11-22 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치 KR102330263B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190151624A KR102330263B1 (ko) 2019-11-22 2019-11-22 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190151624A KR102330263B1 (ko) 2019-11-22 2019-11-22 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210063116A KR20210063116A (ko) 2021-06-01
KR102330263B1 true KR102330263B1 (ko) 2021-11-23

Family

ID=76376001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151624A KR102330263B1 (ko) 2019-11-22 2019-11-22 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102330263B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102545632B1 (ko) * 2021-06-17 2023-06-21 라온피플 주식회사 작물의 식별 장치 및 방법
WO2023106546A1 (ko) * 2021-12-09 2023-06-15 재단법인대구경북과학기술원 상향식 인스턴스 세분화 방법 및 장치
CN116958018A (zh) * 2022-08-31 2023-10-27 腾讯科技（深圳）有限公司 针对病理图像的病变区域确定方法、模型训练方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249883A1 (en) * 2010-04-09 2011-10-13 General Electric Company Methods for segmenting objects in images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249883A1 (en) * 2010-04-09 2011-10-13 General Electric Company Methods for segmenting objects in images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Lorenzo Ginori외 3인, "Cell Microscopy Imaging: a review on digital image processing applications", (2013.12.31.) 1부.*

Also Published As

Publication number Publication date
KR20210063116A (ko) 2021-06-01

Similar Documents

Publication Publication Date Title
US10885365B2 (en) Method and apparatus for detecting object keypoint, and electronic device
US11200424B2 (en) Space-time memory network for locating target object in video content
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
US10910099B2 (en) Segmentation, landmark detection and view classification using multi-task learning
KR102330263B1 (ko) 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
JP2007111531A (ja) 画像の一貫性を改善する方法、信号、機械読出可能媒体およびシステム
CN112070781A (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN108010048A (zh) 一种基于多图谱的自动脑部mri图像的海马体分割方法
Zidan et al. Swincup: Cascaded swin transformer for histopathological structures segmentation in colorectal cancer
CN111709929A (zh) 一种肺部癌变区域分割与分类检测系统
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
EP3877949A1 (en) Systems and methods for semi-automatic tumor segmentation
CN113689372A (zh) 图像处理方法、设备、存储介质及程序产品
CN114549462A (zh) 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
US20090310883A1 (en) Image processing apparatus, method, and program
US20240054639A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
Hu et al. Deep learning-based segmentation of epithelial ovarian cancer on T2-weighted magnetic resonance images
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Zhang et al. Multiple morphological constraints-based complex gland segmentation in colorectal cancer pathology image analysis
CN113129297B (zh) 基于多期相肿瘤影像的直径自动测量方法及系统
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant