KR102335173B1 - 병리 영상 분석 시스템 및 방법 - Google Patents

병리 영상 분석 시스템 및 방법 Download PDF

Info

Publication number
KR102335173B1
KR102335173B1 KR1020190145409A KR20190145409A KR102335173B1 KR 102335173 B1 KR102335173 B1 KR 102335173B1 KR 1020190145409 A KR1020190145409 A KR 1020190145409A KR 20190145409 A KR20190145409 A KR 20190145409A KR 102335173 B1 KR102335173 B1 KR 102335173B1
Authority
KR
South Korea
Prior art keywords
region
interest
sample image
data
pathological
Prior art date
Application number
KR1020190145409A
Other languages
English (en)
Other versions
KR20210058210A (ko
Inventor
김남국
김영곤
고현정
최규헌
Original Assignee
울산대학교 산학협력단
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 재단법인 아산사회복지재단 filed Critical 울산대학교 산학협력단
Priority to KR1020190145409A priority Critical patent/KR102335173B1/ko
Publication of KR20210058210A publication Critical patent/KR20210058210A/ko
Application granted granted Critical
Publication of KR102335173B1 publication Critical patent/KR102335173B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본 발명은 병리 영상 분석 시스템 및 방법을 제공한다. 본 발명은 광학 장치로부터 절편의 확대된 영상을 획득하고, 상기 영상에 대한 샘플 영상을 생성하는 샘플 영상 생성부, 생성된 상기 샘플 영상 및 병리학적 카테고리를 기초로 상기 샘플 영상에서의 관심 영역 설정 기준을 학습하는 학습부, 상기 관심 영역 설정 기준에 따라 상기 관심 영역을 포함하는 상기 샘플 영상에서의 분석 데이터를 생성하는 분석 데이터 생성부, 사용자의 지시를 입력 받아 상기 분석 데이터의 상기 관심 영역을 수정하고, 상기 수정된 관심 영역을 포함하는 가공 데이터를 생성하는 가공 데이터 생성부 및 상기 샘플 영상, 상기 분석 데이터 및 상기 가공 데이터를 저장하는 데이터베이스부를 포함하고, 상기 학습부는 상기 가공 데이터를 이용하여 상기 관심 영역 설정 기준을 재학습하는, 병리 영상 분석 시스템을 제공한다.

Description

병리 영상 분석 시스템 및 방법{SYSTEM AND METHOD FOR ANALYZING PATHOLOGICAL IMAGE}
본 발명의 실시예들은 병리 영상 분석 시스템 및 방법에 관한 것이다.
병리학(Pathology)은 병의 원인 등을 밝히기 위하여 병의 상태나 병체(病體)의 조직 구조, 기관의 형태 및 기능의 변화 등을 연구하는 기초 의학이다. 일반적으로 병리 진단은 병리의사가 조직의 절편을 현미경으로 관찰하고, 해당 조직의 상태 또는 질병의 유무 등을 판독하여 이루어진다.
이러한 병리 진단은 절편의 전체 영역을 검사하는 것이 이상적이다. 그러나 관찰자가 절편을 높은 배율로 확대한 상태에서 육안으로 관찰해야 하기 때문에, 절편의 전체 영역을 면밀히 검사하는 것은 실질적으로 불가능하다. 또한 종래의 병리 진단에서는 조직 절편 유리 슬라이드를 현미경을 통해 관찰하거나, 최근 도입이 적극적으로 확대되어 병리 진단에서 활용하고 있는 디지털 병리 진단에서는 유리 슬라이드 절편을 의료용 슬라이드 스캐너로 스캔한 다음 스캔된 영상을 관찰하고 있다. 그러나 이러한 디지털 병리 진단은 고가의 장비인 의료용 슬라이드 스캐너를 이용할 뿐만 아니라, 초고해상도의 영상을 처리하고 저장하기 위한 고성능의 장비가 추가로 필요하다. 또한 현미경을 이용한 병리 판독이나 디지털 영상을 활용하는 병리 판독 모두 병리의사가 영상을 육안으로 직접 판독하기 때문에 시간이 많이 소요되며, 병리학자의 숙련도 또는 피로도가 병리 진단의 신뢰성에 큰 영향을 미치기 때문에 병리 진단의 일관된 결과를 보장할 수 없다.
일본 공개특허공보 제2006-153742호
본 발명의 실시예들은 인공 신경망을 통해 병리 영상을 분석하고, 분석된 병리 영상을 간단하고 편리하게 수정하여 인공 신경망을 재학습시킬 수 있는 병리 영상 분석 시스템 및 병리 영상 방법을 제공한다.
본 발명의 일 실시예는 광학 장치로부터 절편의 확대된 영상을 획득하고, 상기 영상에 대한 샘플 영상을 생성하는 샘플 영상 생성부, 생성된 상기 샘플 영상 및 병리학적 카테고리를 기초로 상기 샘플 영상에서의 관심 영역(Region of Interest) 설정 기준을 학습하는 학습부, 상기 관심 영역 설정 기준에 따라 상기 관심 영역을 포함하는 상기 샘플 영상에서의 분석 데이터를 생성하는 분석 데이터 생성부, 사용자의 지시를 입력 받아 상기 분석 데이터의 상기 관심 영역을 수정하고, 상기 수정된 관심 영역을 포함하는 가공 데이터를 생성하는 가공 데이터 생성부 및 상기 샘플 영상, 상기 분석 데이터 및 상기 가공 데이터를 저장하는 데이터베이스부를 포함하고, 상기 학습부는 상기 가공 데이터를 이용하여 상기 관심 영역 설정 기준을 재학습하는 병리 영상 분석 시스템을 제공한다.
본 발명의 일 실시예에 있어서, 상기 가공 데이터 생성부는 사용자의 지시를 입력 받아 상기 관심 영역의 아웃라인을 편집하여, 상기 가공 데이터를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 가공 데이터 생성부는 사용자의 지시를 입력 받아 상기 분석 데이터의 상기 관심 영역에 대해 병리학적 식별자를 라벨링하여, 상기 가공 데이터를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 가공 데이터 생성부는 사용자의 지시를 입력 받아 상기 관심 영역에 대한 병리학적 식별자의 정오를 판정하여, 상기 가공 데이터를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 학습부는 상기 데이터베이스부에 저장된 상기 샘플 영상이 상기 가공 데이터로 수정된 이력을 참조하여, 상기 관심 영역 설정 기준을 재학습할 수 있다.
본 발명의 일 실시예에 있어서, 사용자의 지시를 입력 받아 상기 샘플 영상의 특정 영역을 선택하는 영역 선택부 및 상기 데이터베이스부에 저장된 데이터를 참조하여, 상기 특정 영역과 상기 관심 영역을 매칭하고, 상기 관심 영역에 대응되는 병리학적 식별자를 표시하는 식별자 표시부를 더 포함할 수 있다.
본 발명의 다른 실시예는 광학 장치로부터 절편의 확대된 영상을 획득하고, 상기 영상에 대한 샘플 영상을 생성하는 단계, 생성된 상기 샘플 영상 및 병리학적 카테고리를 기초로 상기 샘플 영상에서의 관심 영역 설정 기준을 학습하는 단계, 상기 관심 영역 설정 기준에 따라 상기 관심 영역을 포함하는 상기 샘플 영상에서의 분석 데이터를 생성하는 단계, 사용자의 지시를 입력 받아 상기 분석 데이터의 상기 관심 영역을 수정하고, 상기 수정된 관심 영역을 포함하는 가공 데이터를 생성하는 단계, 상기 샘플 영상, 상기 분석 데이터 및 상기 가공 데이터를 저장하는 단계 및 상기 가공 데이터를 이용하여 상기 관심 영역 설정 기준을 재학습하는 단계를 포함하는, 병리 영상 분석 방법을 제공한다.
본 발명의 다른 실시예에 있어서, 상기 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 상기 관심 영역의 아웃라인을 편집하여, 상기 가공 데이터를 생성할 수 있다.
본 발명의 다른 실시예에 있어서, 상기 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 상기 관심 영역에 대해 병리학적 식별자를 라벨링하여, 상기 가공 데이터를 생성할 수 있다.
본 발명의 다른 실시예에 있어서, 상기 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 상기 관심 영역에 대한 병리학적 식별자의 정오를 판정하여, 상기 가공 데이터를 생성할 수 있다.
본 발명의 다른 실시예에 있어서, 상기 관심 영역 설정 기준을 재학습하는 단계는 저장된 상기 샘플 영상이 상기 가공 데이터로 수정된 이력을 참조하여 재학습할 수 있다.
본 발명의 다른 실시예에 있어서, 사용자의 지시를 입력 받아 상기 샘플 영상의 특정 영역을 선택하는 단계 및 저장된 데이터를 참조하여, 상기 특정 영역과 상기 관심 영역을 매칭하고, 상기 관심 영역에 대응되는 병리학적 식별자를 표시하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예는, 컴퓨터를 이용하여 상기 병리 영상 분석 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.
본 발명의 실시예들에 따른 병리 영상 분석 시스템 및 병리 영상 분석 방법은 가공 데이터 입력부를 통해 사용자의 지시를 입력 받아 샘플 영상에서의 관심 영역(Region of Interest)을 간단하고 편리하게 수정할 수 있으며, 이를 바탕으로 학습부를 반복적으로 학습시킬 수 있다. 또한 본 발명의 실시예들에 따른 병리 영상 분석 시스템 및 병리 영상 분석 방법은 사용자의 지시에 따라 선택된 샘플 영상에서의 특정 영역과 관심 영역을 매칭하고, 매칭된 관심 영역에 대응되는 병리학적 식별자를 표시함으로써 병리 영상 교육 시스템을 구현할 수 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 병리 영상 분석 시스템을 나타내는 도면이다.
도 3은 도 2의 병리 영상 분석 시스템의 일 실시 형태를 나타내는 도면이다.
도 4는 도 2의 병리 영상 분석 시스템의 다른 실시 형태를 나타내는 도면이다.
도 5는 도 2의 병리 영상 분석 시스템의 데이터베이스부를 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 병리 영상 분석 시스템을 나타내는 도면이다.
도 7은 도 6의 병리 영상 분석 시스템의 일 실시 형태를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 병리 영상 분석 방법을 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 발명의 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시예로 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 다른 실시예에 도시되어 있다 하더라도, 동일한 구성요소에 대하여서는 동일한 식별부호를 사용한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면들에 도시된 본 발명에 관한 실시예들을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 병리 영상 분석 시스템을 나타내는 도면이다. 도 3은 도 2의 병리 영상 분석 시스템의 일 실시 형태를 나타내는 도면이고, 도 4는 도 2의 병리 영상 분석 시스템의 다른 실시 형태를 나타내는 도면이며, 도 5는 도 2의 병리 영상 분석 시스템의 데이터베이스부를 나타내는 도면이다.
도 1의 네트워크 환경은 제1 디바이스(100)와, 서버(200)와, 통신망(300)을 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 단말의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
제1 디바이스(100)는 광학 장치(MS)와 연결되어 절편(tissue specimen)의 영상을 획득한다. 제1 디바이스(100)는 스마트폰이나 PC, 태블릿 PC 등과 같은 장치를 의미하며, 서버(200)와 구분되는 사용자 단말일 수 있다. 제1 디바이스(100)는 광학 장치(MS)에 의해 확대된 절편(tissue specimen)의 영상을 촬상하는 촬상수단과, 촬상된 영상을 디스플레이하는 표시수단과, 촬상된 영상을 데이터화하고 통신망을 통해 데이터를 송수신하는 통신수단을 구비할 수 있다.
광학 장치(MS)는 절편(tissue specimen)을 광학적으로 확대하는 장치로서, 대물 렌즈와 접안 렌즈를 포함할 수 있다. 광학 장치(MS)는 접안 렌즈가 제1 디바이스(100)의 렌즈 등과 접촉하여 초점이 일치되도록, 별도의 어댑터 또는 커넥터를 통해 제1 디바이스(100)와 결합될 수 있다. 광학 장치(MS)는 특별히 한정하지 않으며, 본 발명의 일 실시예에서는 광학 장치(MS)로서 현미경을 이용할 수 있다.
절편(tissue specimen)은 병리 영상을 생성하여 분석하고자 하는 대상으로서, 예를 들어 신체의 일부 조직, 세포 또는 혈액 등에 대한 샘플일 수 있다. 절편(tissue specimen)은 관찰 또는 분석의 용이함을 위해 시약 등으로 미리 전처리된 상태일 수 있다.
서버(200)는 제1 디바이스(100)와 통신망(300)을 통해 연결되어, 제1 디바이스(100)와 데이터를 송수신한다. 서버(200)는 데이터를 처리하는 프로세서와 데이터를 저장하는 메모리 등을 구비할 수 있다. 또한, 서버(200)는 물리적 서버를 가상화한 클라우드 서버일 수 있다.
통신망(300)은 일반적인 공지의 유선 또는 무선 통신망 또는 이들의 결합을 포함하는 개념이다.
이와 같은 구성을 통해, 본 발명의 일 실시예에 따른 병리 영상 분석 시스템(1)은, 광학 장치(MS)를 통해 광학적으로 확대된 절편(tissue specimen)의 상을 제1 디바이스(100)가 촬상하고, 촬상된 절편(tissue specimen)의 영상은 통신망(300)을 통해 서버(200)로 전송될 수 있다.
한편, 본 발명의 일 실시예에 따른 병리 영상 분석 시스템(1)은 제1 디바이스(100)에 포함되거나 서버(200)에 포함될 수 있다. 또는, 병리 영상 분석 시스템(1)의 일부 구성은 제1 디바이스(100)에 포함되고, 나머지 구성은 서버(200)에 포함될 수 있다. 예를 들어, 수신부(110) 및 샘플 영상 생성부(121)는 제1 디바이스(100)에, 나머지 구성은 서버(200)에 포함될 수 있다. 이하에서는 병리 영상 분석 시스템(1)이 제1 디바이스(100) 내에 포함되는 경우를 중심으로 설명한다.
도 2에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 병리 영상 분석 시스템(1)은 광학 장치(MS)로부터 절편(tissue specimen)의 확대된 영상을 획득하고, 영상에 대한 샘플 영상을 생성하는 샘플 영상 생성부(121)와, 생성된 샘플 영상 및 병리학적 카테고리를 기초로 샘플 영상에서의 관심 영역(Region of Interest) 설정 기준을 학습하는 학습부(122)와, 관심 영역 설정 기준에 따라 관심 영역을 포함하는 샘플 영상에서의 분석 데이터를 생성하는 분석 데이터 생성부(123)와, 사용자의 지시를 입력 받아 분석 데이터의 관심 영역을 수정하고, 수정된 관심 영역을 포함하는 가공 데이터를 생성하는 가공 데이터 생성부(124) 및 샘플 영상, 분석 데이터 및 가공 데이터를 저장하는 데이터베이스부(130)를 포함할 수 있다.
수신부(110)는 광학 장치(MS)에 의해 확대된 절편(tissue specimen)의 상을 받아들여, 후술하는 프로세서(120)로 전달한다. 예를 들어, 수신부(110)는 빛을 받아들이는 렌즈와, 받아들인 빛을 전기 신호로 변환하는 CCD(Charge Coulped Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등을 포함하는 하드웨어 수단일 수 있다. 또한, 전술한 바와 같이, 제1 디바이스(100)는 어댑터 또는 커넥터 등을 통해 광학 장치(MS)와 결합되며, 이에 따라, 광학 장치(MS)의 대물 렌즈에 의해 확대된 절편(tissue specimen)의 상은 접안 렌즈를 거쳐 수신부(110)를 통해 제1 디바이스(100)로 이동될 수 있다.
프로세서(120)는 수신부(110)에 의해 촬상된 절편(tissue specimen)의 상에 대해 소정의 처리를 실시한다. 프로세서(120)는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서(120)는 샘플 영상 생성부(121)와, 학습부(122)와, 분석 데이터 생성부(123)와, 가공 데이터 생성부(124)를 포함할 수 있다.
샘플 영상 생성부(121)는 수신부(110)로부터 절편(tissue specimen)의 상을 받아들여, 절편(tissue specimen)의 확대된 영상을 획득하고, 영상에 대한 샘플 영상을 생성한다. 예를 들어, 샘플 영상 생성부(121)는 수신부(110)에서 변환된 아날로그 신호를 디지털 신호로 변환하는 ADC(Analog to Digital Converter)와, 디지털 신호를 처리하는 마이크로 프로세서와, 처리된 디지털 신호를 아날로그 신호로 변환하는 DAC(Digital to Analog Converter) 등을 포함할 수 있다. 이와 같은 구성을 통해, 수신부(110)의 렌즈를 통해 받아들여진 빛은 CCD 또는 CMOS를 통해 전기 신호로 변환되고, 변환된 전기 신호는 다시 ADC를 통해 디지털 신호로 변환되어 마이크로 프로세서에서 처리된다. 처리된 디지털 신호는 후술하는 데이터베이스부(130) 등에 저장될 수 있다. 그리고, 처리된 디지털 신호는 DAC를 통해 아날로그 신호로 변환되어 후술하는 입출력 인터페이스부(140) 등을 통해 출력될 수 있다. 샘플 영상 생성부(121)에 의해 생성된 샘플 영상은 광학 장치(MS)에 의해 확대된 절편(tissue specimen)의 상을 디지털화한 영상 데이터를 포함할 수 있다.
학습부(122)는 샘플 영상 생성부(121)에 의해 생성된 샘플 영상을 전달 받고, 전달된 샘플 영상과 미리 설정된 병리학적 카테고리를 기초로 샘플 영상에서의 관심 영역 설정 기준을 학습한다.
병리 영상 분석에서 사용되는 샘플 영상은 절편(tissue specimen)을 수십배에서 수백배로 확대한 영상으로서, 매우 큰 용량의 초고해상도 영상일 수 있다. 따라서, 생성된 샘플 영상을 전체적으로 분석하는 것은 지나치게 많은 시간이 소요되며, 관찰자의 숙련도 및 피로도에 따라 오히려 분석의 정확성이 떨어질 수 있다. 따라서, 샘플 영상에서 분석이 필요한 영역 또는 이상 세포인 것으로 의심되는 영역을 별도의 관심 영역으로 설정하여, 설정된 관심 영역에 대해서 집중적으로 관찰을 하는 것이 바람직하다.
이를 위해 학습부(122)는 기계학습(machine learning)을 기반으로 관심 영역 설정 기준을 학습할 수 있다. 기계학습은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 이에 따라, 학습부(122)는 CNN(Convolution Neural Network)과 같은 인공 신경망을 포함할 수 있다.
구체적으로, 학습부(122)는 샘플 영상 생성부(121)에 의해 생성된 샘플 영상으로부터 특징값을 추출하고, 추출된 특징값과 미리 설정된 병리학적 카테고리를 기초로 해당 샘플 영상에 대해 관심 영역을 설정하는 기준을 학습할 수 있다. 특징값은 샘플 영상의 영상 데이터로부터 특정 조직이나, 세포 또는 질환의 유무와 같은 유의미한 데이터를 산출하기 위한 값이다. 특징값은 미리 설정된 기준에 따라 학습부(122)의 인공 신경망에 의해 추출될 수 있다. 병리학적 카테고리는 병리학적으로 구분되는 특정 조직이나 세포, 또는 특정 질환이나 특정 소견, 특정 증상 등을 의미할 수 있다. 이에 따라, 학습부(122)는 병리학적 카테고리와 추출된 특징값을 대응시켜, 해당 샘플 영상으로부터 관심 영역을 설정하는 기준을 학습할 수 있다.
분석 데이터 생성부(123)는 학습부(122)가 학습한 관심 영역 설정 기준에 따라, 관심 영역을 포함하는 샘플 영상에서의 분석 데이터를 생성한다. 분석 데이터는 샘플 영상에 대해 설정된 관심 영역뿐만 아니라, 관심 영역 설정 시에 기초한 병리학적 카테고리를 포함할 수 있다. 또한, 분석 데이터는 학습부(122)에서 추출한 특징값을 바탕으로, 샘플 영상에 나타난 조직 또는 세포의 이상 여부, 이상 조직 또는 이상 세포의 개수 및 위치와 같이, 샘플 영상에 대한 종합적인 분석 정보를 포함할 수 있다.
가공 데이터 생성부(124)는 사용자의 지시를 입력 받아 분석 데이터의 관심 영역을 수정하고, 수정된 관심 영역을 포함하는 가공 데이터를 생성한다. 구체적으로, 가공 데이터 생성부(124)는 입출력 인터페이스부(140)를 통해 사용자의 지시를 입력 받아, 설정된 관심 영역의 아웃라인을 편집함으로써 가공 데이터를 생성할 수 있다.
도 3(a)에 나타낸 바와 같이, 분석 데이터 생성부(123)에 의해 생성된 분석 데이터는, 샘플 영상에 대해 관심 영역(ROI)이 설정된 상태일 수 있다. 또한 분석 데이터는 사용자가 시각적으로 인식할 수 있도록 영상의 형태로 입출력 인터페이스부(140)에 의해 출력될 수 있다.
다음, 도 3(b) 및 도 3(c)에 나타낸 바와 같이, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아, 설정된 관심 영역(ROI)에 대한 편집 모드로 진입하여, 관심 영역을 편집할 수 있다. 도 3(b) 및 도 3(c)에는 설정된 관심 영역(ROI)의 아웃라인을 따라 일정한 간격으로 편집 포인트가 위치하고, 사용자의 지시를 입력 받아 편집 포인트를 이동시켜 관심 영역의 아웃라인을 수정하는 것으로 나타냈으나, 이에 한정하지는 않는다. 예를 들어, 사용자의 지시를 입력 받아 편집 포인트를 삭제 또는 추가하거나, 아웃라인을 이동 또는 복사하여 관심 영역(ROI)의 아웃라인을 편집할 수도 있다. 또는 사용자의 지시를 입력 받아 아웃라인을 새로 작성할 수도 있다. 또한, 아웃라인의 편집 방법은 특별히 한정하지 않으며, 마우스, 키보드 또는 터치 패널 등을 포함하는 입출력 인터페이스부(140)를 통해 사용자의 지시를 입력 받아, 설정된 관심 영역(ROI)의 아웃라인을 자유롭게 편집할 수 있다. 편집이 완료되면 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아, 아웃라인이 편집된 관심 영역(ROI')을 포함하는 가공 데이터를 생성할 수 있다. 또한, 도 3(d)에 나타낸 바와 같이, 관심 영역(ROI)에 설정된 편집 포인트를 연결하는 아웃라인이 곡선을 이루도록 편집할 수도 있다.
다른 실시예로, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아 분석 데이터의 관심 영역에 대해 병리학적 식별자를 라벨링하여, 가공 데이터를 생성할 수 있다.
구체적으로, 도 4(a) 및 도 4(b)에 나타낸 바와 같이, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아 분석 데이터에 설정된 관심 영역 중 특정 관심 영역을 선택할 수 있다. 다음, 도 4(c)에 나타낸 바와 같이, 주관식 입력 모드로 진입할 수 있다. 주관식 입력 모드에서, 가공 데이터 생성부(124)는 입출력 인터페이스부(140)를 통해, 해당 관심 영역에 대해 병리학적 식별자를 라벨링하는 화면을 출력할 수 있다. 여기서 병리학적 식별자는 선택된 특정 관심 영역에 대응되는 조직 또는 세포의 이름이나 상태 또는 질환에 대한 명칭일 수 있다. 라벨링 방법은 특별히 한정하지 않으며, 본 발명의 일 실시예에서는 사용자가 입출력 인터페이스부(140)로서 키보드 등을 통해 병리학적 식별자를 입력하여 라벨링할 수 있다. 이에 따라, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아, 선택된 특정 관심 영역에 대해 병리학적 식별자를 새롭게 라벨링하고, 새롭게 라벨링된 병리학적 식별자를 포함하는 가공 데이터를 생성할 수 있다.
또 다른 실시예로, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아 관심 영역에 대한 병리학적 식별자의 정오를 판정하여, 가공 데이터를 생성할 수 있다.
구체적으로, 전술한 실시예와 마찬가지로, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아 특정 관심 영역을 선택할 수 있다(도 4(a) 및 도 4(b)). 다음, 도 4(d)에 나타낸 바와 같이, 입출력 인터페이스부(140) 등을 통해 객관식 선택 모드로 진입할 수 있다. 객관식 선택 모드에서 가공 데이터 생성부(124)는 분석 데이터 생성부(123)가 생성한 분석 데이터를 기초로, 특정 관심 영역에 대한 병리학적 식별자를 표시하고, 해당 병리학적 식별자의 정오를 판정할 수 있는 화면을 출력할 수 있다. 사용자는 특정 관심 영역에 대한 해당 병리학적 식별자가 올바르면 「YES」를 입력하고, 해당 병리학적 식별자가 잘못 되었으면 「NO」를 입력할 수 있다. 이에 따라, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아, 선택된 특정 관심 영역에 대해 병리학적 식별자의 정오를 판정하고, 해당 판정 결과를 포함하는 가공 데이터를 생성할 수 있다.
다른 실시예로, 가공 데이터 생성부(124)가 선택된 특정 관심 영역에 대한 복수개의 병리학적 식별자를 표시하고, 사용자의 지시를 입력 받아 그 중 하나의 병리학적 식별자를 선택할 수도 있다. 이 경우, 가공 데이터 생성부(124)는 선택된 병리학적 식별자를 해당 관심 영역에 대한 새로운 병리학적 식별자로 라벨링하여, 이를 포함하는 가공 데이터를 생성할 수 있다.
데이터베이스부(130)는 샘플 영상, 분석 데이터 및 가공 데이터를 영구적 또는 일시적으로 저장한다. 데이터베이스부(130)는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
다른 실시예로, 데이터베이스부(130)는 샘플 영상, 분석 데이터 및 가공 데이터를 각각 따로 저장하면서, 동시에 샘플 영상, 분석 데이터 및 가공 데이터를 서로 매칭한 데이터 형태로 저장할 수 있다.
구체적으로, 도 5에 나타낸 바와 같이, 데이터베이스부(130)에는 샘플 영상(Ai)과, 분석 데이터(Bi)와, 가공 데이터(Ci)가 각각 저장되어 있을 수 있다. 여기서 샘플 영상(Ai)과, 분석 데이터(Bi)와, 가공 데이터(Ci)는 각각 구분되어 독립된 데이터로 저장되되, 샘플 영상(Ai)과 해당 샘플 영상(Ai)으로부터 분석된 분석 데이터(Bi) 및 가공 데이터(Ci)가 매칭되도록 저장될 수 있다. 예를 들어, 특정 샘플 영상(Ai)이 분석 데이터(Bi) 및 가공 데이터(Ci)로 분석 및 가공된 이력을 별개의 데이터 형태로 저장할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 병리 영상 분석 시스템(1)을 나타내는 도면이고, 도 7은 도 6의 병리 영상 분석 시스템(1)에 따른 일 실시 형태를 나타내는 도면이다.
본 발명에 따른 병리 영상 분석 시스템(1)은 사용자의 지시를 입력 받아 샘플 영상의 특정 영역을 선택하는 영역 선택부(125)와, 데이터베이스부(130)에 저장된 데이터를 참조하여, 특정 영역과 관심 영역을 매칭하고, 매칭된 관심 영역에 대응되는 병리학적 식별자를 표시하는 식별자 표시부(126)를 더 포함할 수 있다.
구체적으로, 도 7(a)에 나타낸 바와 같이, 샘플 영상이 입출력 인터페이스부(140)를 통해 사용자가 인식할 수 있도록 출력된 상태에서, 영역 선택부(125)는 사용자의 지시를 입력 받아 샘플 영상의 특정 영역을 선택할 수 있다. 영역을 선택하는 방법은 특별히 한정하지 않으며, 입출력 인터페이스부(140)로서 마우스 또는 키보드 등을 통해 샘플 영상에 대해 원하는 영역을 자유롭게 선택할 수 있다. 영역 선택부(125)에 의해 특정 영역이 선택되면, 식별자 표시부(126)는 선택된 특정 영역과, 데이터베이스부(130)에 저장되어 있는 샘플 영상에 설정된 관심 영역을 매칭한다.
사용자가 선택한 특정 영역과 샘플 영상에 설정된 관심 영역을 매칭하는 방법은 특별히 한정하지 않는다. 예를 들어, 사용자가 선택한 특정 영역의 좌표값과 샘플 영상에 설정되어 있는 관심 영역의 좌표값을 비교하여 매칭할 수 있다. 또는, 학습부(122)가 추출한 특징값을 바탕으로, 사용자가 선택한 특정 영역에 대한 특징값과 샘플 영상에 설정되어 있는 관심 영역에 대한 특징값을 서로 비교하여 매칭할 수도 있다.
그리고 도 7(b)에 나타낸 바와 같이, 식별자 표시부(126)는 매칭된 관심 영역에 대한 병리학적 식별자를 표시할 수 있다. 식별자 표시부(126)는 데이터베이스부(130)에 저장된 데이터를 참조하여, 매칭된 관심 영역에 대한 병리학적 식별자를 화면으로 표시할 수 있다. 이에 따라, 분석하고자 하는 병리 영상에 포함되어 있는 병리학적 식별자를 프로세서(120)가 임의로 출력하는 것이 아니라, 사용자가 원하는 영역을 지정하고, 지정된 영역에 대응되는 병리학적 식별자를 프로세서(120)가 선택적으로 출력함으로써, 병리 영상 교육 시스템을 구현할 수 있다.
또한, 본 발명의 일 실시예에 따른 병리 영상 분석 시스템(1)의 학습부(122)는 가공 데이터 생성부(124)에 의해 생성된 가공 데이터를 이용하여, 관심 영역 설정 기준을 재학습할 수 있다.
구체적으로, 학습부(122)는 데이터베이스부(130)에 저장된 샘플 영상이 가공 데이터로 수정된 이력을 참조하여, 관심 영역 설정 기준을 재학습할 수 있다. 구체적으로, 전술한 바와 같이, 데이터베이스부(130)에는 샘플 영상과 해당 샘플 영상으로부터 분석된 분석 데이터 및 가공 데이터가 매칭되도록 저장될 수 있으며, 학습부(122)는 샘플 영상이 분석 데이터 및 가공 데이터로 분석 및 가공된 이력을 참조하여, 관심 영역 설정 기준을 재학습할 수 있다. 이에 따라, 학습부(122)는 기존의 관심 영역 설정 기준에 따라 샘플 영상에 대해 설정된 관심 영역과, 사용자의 지시를 입력 받아 수정된 관심 영역을 비교 학습하여, 새로운 관심 영역 설정 기준을 학습할 수 있다.
입출력 인터페이스부(140)는 사용자의 지시를 입력하거나 프로세서(120)에 의해 처리된 데이터 등을 시각적으로 나타내는 하드웨어 또는 소프트웨어 수단을 모두 포함할 수 있다. 예를 들어, 입출력 인터페이스부(140)는 마우스, 키보드, 터치 패널, 디스플레이 등을 포함할 수 있다.
또한, 본 발명에 따른 병리 영상 분석 시스템(1)은 통신부(미도시)를 추가로 포함할 수 있다. 통신부는 통신망(300) 등을 통해 샘플 영상, 분석 데이터 또는 가공 데이터를 서버(200)로 송신하거나, 서버(200)로부터 다른 데이터를 수신할 수 있다.
본 발명의 일 실시예에서는 학습부(122)가 관심 영역 설정 기준을 학습하고, 학습된 관심 영역 설정 기준을 기초로 하여 분석 데이터 생성부(123)가 샘플 영상에 대해 관심 영역을 설정하고, 가공 데이터 생성부(124)가 관심 영역을 가공하는 것으로 설명하였으나, 이에 한정하지 않는다. 예를 들어, 학습부(122)는 생성된 샘플 영상과 병리학적 카테고리를 바탕으로, 생성된 샘플 영상과 유사한 영상을 추출하는 유사 영상 추출 기준을 학습할 수 있다. 이 경우, 데이터베이스부(130)는 다수개의 병리 영상을 저장하고, 분석 데이터 생성부(123)는 학습된 유사 영상 추출 기준을 기초로, 데이터베이스부(130)로부터 샘플 영상과 유사한 영상을 추출할 수 있다. 또한, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아, 추출된 유사 영상의 정오 판단 또는 추출된 유사 영상과 샘플 영상의 합치율 등을 포함하는 가공 데이터를 생성할 수 있다. 그리고 학습부(122)는 가공 데이터를 참조하여 유사 영상 추출 기준을 재학습할 수 있다.
다른 실시예로, 본 발명에 따른 병리 영상 분석 시스템(1)은 제2 디바이스(미도시)를 추가로 포함할 수 있다. 제2 디바이스는 제1 디바이스(100)와 구분되는 사용자 단말로서, 제1 디바이스(100)와 마찬가지로 통신망(300)을 통해 서버(200)와 데이터를 송수신할 수 있는 장치이다. 이 경우, 영역 선택부(125)와 식별자 표시부(126)는 제1 디바이스(100)가 아닌 제2 디바이스에 포함될 수 있다. 이에 따라, 제2 디바이스는 사용자의 지시를 입력 받아, 서버(200)로부터 샘플 영상, 분석 데이터 및 가공 데이터를 전송 받을 수 있다. 또한, 사용자의 지시를 입력 받아, 영역 선택부(125)와 식별자 표시부(126)를 통해 샘플 영상의 특정 영역을 선택하고, 선택된 특정 영역에 대한 병리학적 식별자에 관한 정보를 제공 받을 수 있다.
도 8은 본 발명의 일 실시예에 따른 병리 영상 분석 방법을 나타내는 도면이다.
본 발명의 일 실시예에 따른 병리 영상 분석 방법은, 광학 장치(MS)로부터 절편(tissue specimen)의 확대된 영상을 획득하고, 영상에 대한 샘플 영상을 생성하는 단계(S110)와, 생성된 샘플 영상 및 병리학적 카테고리를 기초로 샘플 영상에서의 관심 영역 설정 기준을 학습하는 단계(S120)와, 관심 영역 설정 기준에 따라 관심 영역을 포함하는 샘플 영상에서의 분석 데이터를 생성하는 단계(S130)와, 사용자의 지시를 입력 받아 분석 데이터의 관심 영역을 수정하고, 수정된 관심 영역을 포함하는 가공 데이터를 생성하는 단계(S140)와, 샘플 영상, 분석 데이터 및 가공 데이터를 저장하는 단계(S150)와, 가공 데이터를 이용하여 관심 영역 설정 기준을 재학습하는 단계(S160)를 포함할 수 있다.
먼저, 수신부(110)는 광학 장치(MS)의 대물 렌즈 및 접안 렌즈를 거쳐 확대된 절편(tissue specimen)의 상을 획득하고, 이를 전기 신호로 변환한다. 그리고 샘플 영상 생성부(121)는 전기 신호를 데이터 신호로 변환하여 절편(tissue specimen)의 확대된 영상에 대한 샘플 영상을 생성한다(S110). 이때, 샘플 영상 생성부(121)는 입출력 인터페이스부(140)를 통해 생성된 샘플 영상을 출력할 수 있다.
다음, 학습부(122)는 생성된 샘플 영상과 병리학적 카테고리를 기초로 샘플 영상에서의 관심 영역 설정 기준을 학습한다(S120).
다음, 분석 데이터 생성부(123)는 학습된 관심 영역 설정 기준에 따라 샘플 영상에 대해 관심 영역을 설정하고, 설정된 관심 영역을 포함하여 샘플 영상에 대한 분석 데이터를 생성한다(S130).
다음, 가공 데이터 생성부(124)는 사용자의 지시를 입력 받아 분석 데이터의 관심 영역을 수정하고, 수정된 관심 영역을 포함하는 가공 데이터를 생성한다(S140).
한편, 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 관심 영역의 아웃라인을 편집하여, 가공 데이터를 생성할 수 있다. 사용자는 입출력 인터페이스부(140) 등을 통해 편집 모드로 진입하여, 샘플 영상에 설정된 관심 영역의 아웃라인을 수정하여, 가공 데이터를 생성할 수 있다.
다른 실시예로, 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 설정된 관심 영역에 대해 병리학적 식별자를 라벨링하여, 가공 데이터를 생성할 수 있다. 사용자는 입출력 인터페이스부(140) 등을 통해 편집 모드로 진입하여, 샘플 영상에 설정된 관심 영역에 대해 병리학적 식별자를 직접 입력하여, 새로운 병리학적 식별자가 라벨링된 관심 영역을 포함하는 가공 데이터를 생성할 수 있다.
또 다른 실시예로, 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 관심 영역에 대한 병리학적 식별자의 정오를 판정하여, 가공 데이터를 생성할 수 있다. 사용자는 입출력 인터페이스부(140) 등을 통해 편집 모드로 진입하여, 샘플 영상에 설정된 관심 영역의 병리학적 식별자에 대해 정오를 판정하거나, 복수개의 선택지로부터 적절한 병리학적 식별자를 선택할 수 있다. 병리학적 식별자에 대한 정오 판정 결과 또는 새롭게 선택된 병리학적 식별자가 라벨링된 관심 영역을 포함하는 가공 데이터를 생성할 수 있다.
다음, 샘플 영상, 분석 데이터 및 가공 데이터를 데이터베이스부(130)에 저장한다(S150). 샘플 영상, 분석 데이터 및 가공 데이터는 각각 구분되도록 데이터베이스부(130)에 저장하되, 샘플 영상이 분석 데이터 및 가공 데이터로 분석 및 가공된 이력을 별개의 데이터 형태로 저장할 수 있다.
다음, 학습부(122)는 가공 데이터를 이용하여 관심 영역 설정 기준을 재학습한다(S160). 학습부(122)는 샘플 영상이 분석 데이터 및 가공 데이터로 분석 및 가공된 이력을 참조하여 관심 영역 설정 기준을 재학습할 수 있다.
다른 실시예로, 본 발명에 따른 병리 영상 분석 방법은 사용자의 지시를 입력 받아 샘플 영상의 특정 영역을 선택하는 단계(S170)와, 저장된 데이터를 참조하여, 특정 영역과 관심 영역을 매칭하고, 매칭된 관심 영역에 대응되는 병리학적 식별자를 표시하는 단계(S180)를 더 포함할 수 있다.
먼저, 영역 선택부(125)는 입출력 인터페이스부(140)를 통해 사용자의 지시를 입력 받아 샘플 영상의 특정 영역을 선택한다(S170). 영역을 선택하는 방법은 특별히 한정하지 않으며, 마우스를 통해 샘플 영상의 특정 영역을 드래그하여 선택하거나, 샘플 영상에 대해 좌표값을 입력하는 방법이 이용될 수 있다.
다음, 샘플 영상의 특정 영역이 선택되면, 식별자 표시부(126)는 데이터베이스부(130)에 저장된 데이터를 참조하여, 선택된 특정 영역과 분석 데이터의 관심 영역을 매칭하고, 매칭된 관심 영역에 대응되는 병리학적 식별자를 표시한다(S180). 구체적으로, 선택된 특정 영역의 좌표값과 분석 데이터의 관심 영역의 좌표값을 비교하여, 선택된 특정 영역과 분석 데이터의 관심 영역을 매칭한다. 다음, 데이터베이스부(130)에 저장된 데이터(샘플 영상, 분석 데이터 및 가공 데이터 등)를 참조하여, 매칭된 관심 영역에 대응되는 병리학적 식별자를 영상으로 표시한다. 또는, 학습부(122)에 의해 추출된 특징값을 참조하여, 선택된 특정 영역의 특징값과 관심 영역의 특징값을 비교하여 매칭할 수도 있다.
본 발명의 실시예들에 따른 병리 영상 분석 시스템 및 병리 영상 분석 방법은 가공 데이터 입력부를 통해 사용자의 지시를 입력 받아 샘플 영상에서의 관심 영역을 간단하고 편리하게 수정할 수 있으며, 이를 바탕으로 학습부를 반복적으로 학습시킬 수 있다. 또한 본 발명의 실시예들에 따른 병리 영상 분석 시스템 및 병리 영상 분석 방법은 사용자의 지시에 따라 선택된 샘플 영상에서의 특정 영역과 관심 영역을 매칭하고, 매칭된 관심 영역에 대응되는 병리학적 식별자를 표시함으로써 병리 영상 교육 시스템을 구현할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
본 명세서에서는 본 발명을 한정된 실시예를 중심으로 설명하였으나, 본 발명의 범위 내에서 다양한 실시예가 가능하다. 또한 설명되지는 않았으나, 균등한 수단도 또한 본 발명에 그대로 결합되는 것이라 할 것이다. 따라서 본 발명의 진정한 보호범위는 아래의 청구범위에 의하여 정해져야 할 것이다.
1: 병리 영상 분석 시스템
100: 제1 디바이스
110: 수신부
120: 프로세서
121: 샘플 영상 생성부
122: 학습부
123: 분석 데이터 생성부
124: 가공 데이터 생성부
130: 데이터베이스부
140: 입출력 인터페이스부
200: 서버
300: 통신망

Claims (13)

  1. 광학 장치로부터 절편의 확대된 영상을 획득하고, 상기 영상에 대한 샘플 영상을 생성하는 샘플 영상 생성부;
    생성된 상기 샘플 영상 및 병리학적 카테고리를 기초로 상기 샘플 영상에서의 관심 영역 설정 기준을 학습하는 학습부;
    상기 관심 영역 설정 기준에 따라 상기 관심 영역을 포함하는 상기 샘플 영상에서의 분석 데이터를 생성하는 분석 데이터 생성부;
    사용자의 지시를 입력 받아 상기 분석 데이터의 상기 관심 영역을 수정하고, 상기 수정된 관심 영역을 포함하는 가공 데이터를 생성하는 가공 데이터 생성부; 및
    상기 샘플 영상, 상기 분석 데이터 및 상기 가공 데이터를 저장하는 데이터베이스부;를 포함하고,
    상기 가공 데이터 생성부는 사용자의 지시를 입력 받아, 상기 분석 데이터에 포함된 상기 관심 영역에 대한 편집 모드로 진입하여 상기 관심 영역을 수정하고,
    상기 학습부는 상기 샘플 영상이 분석 및 가공된 이력을 참조하여, 기존의 관심 영역 설정 기준에 따라 상기 샘플 영상에 대해 설정된 관심 영역과 사용자의 지시를 입력 받아 수정된 관심 영역을 비교 학습하여, 새로운 관심 영역 설정 기준을 학습하는, 병리 영상 분석 시스템.
  2. 제1 항에 있어서,
    상기 가공 데이터 생성부는 사용자의 지시를 입력 받아 상기 관심 영역의 아웃라인을 편집하여, 상기 가공 데이터를 생성하는, 병리 영상 분석 시스템.
  3. 제1 항에 있어서,
    상기 가공 데이터 생성부는 사용자의 지시를 입력 받아 상기 분석 데이터의 상기 관심 영역에 대해 병리학적 식별자를 라벨링하여, 상기 가공 데이터를 생성하는, 병리 영상 분석 시스템.
  4. 제1 항에 있어서,
    상기 가공 데이터 생성부는 사용자의 지시를 입력 받아 상기 관심 영역에 대한 병리학적 식별자의 정오를 판정하여, 상기 가공 데이터를 생성하는, 병리 영상 분석 시스템.
  5. 삭제
  6. 제1 항에 있어서,
    사용자의 지시를 입력 받아 상기 샘플 영상의 특정 영역을 선택하는 영역 선택부; 및
    상기 데이터베이스부에 저장된 데이터를 참조하여, 상기 특정 영역과 상기 관심 영역을 매칭하고, 매칭된 상기 관심 영역에 대응되는 병리학적 식별자를 표시하는 식별자 표시부;를 더 포함하는, 병리 영상 분석 시스템.
  7. 광학 장치로부터 절편의 확대된 영상을 획득하고, 상기 영상에 대한 샘플 영상을 생성하는 단계;
    생성된 상기 샘플 영상 및 병리학적 카테고리를 기초로 상기 샘플 영상에서의 관심 영역 설정 기준을 학습하는 단계;
    상기 관심 영역 설정 기준에 따라 상기 관심 영역을 포함하는 상기 샘플 영상에서의 분석 데이터를 생성하는 단계;
    사용자의 지시를 입력 받아 상기 분석 데이터의 상기 관심 영역을 수정하고, 상기 수정된 관심 영역을 포함하는 가공 데이터를 생성하는 단계;
    상기 샘플 영상, 상기 분석 데이터 및 상기 가공 데이터를 저장하는 단계; 및
    상기 가공 데이터를 이용하여 상기 관심 영역 설정 기준을 재학습하는 단계;를 포함하고,
    상기 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아, 상기 분석 데이터에 포함된 상기 관심 영역에 대한 편집 모드로 진입하여 상기 관심 영역을 수정하고,
    상기 관심 영역 설정 기준을 재학습하는 단계는 상기 샘플 영상이 분석 및 가공된 이력을 참조하여, 기존의 관심 영역 설정 기준에 따라 상기 샘플 영상에 대해 설정된 관심 영역과 사용자의 지시를 입력 받아 수정된 관심 영역을 비교 학습하여, 새로운 관심 영역 설정 기준을 학습하는, 병리 영상 분석 방법.
  8. 제7 항에 있어서,
    상기 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 상기 관심 영역의 아웃라인을 편집하여, 상기 가공 데이터를 생성하는, 병리 영상 분석 방법.
  9. 제7 항에 있어서,
    상기 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 상기 관심 영역에 대해 병리학적 식별자를 라벨링하여, 상기 가공 데이터를 생성하는, 병리 영상 분석 방법.
  10. 제7 항에 있어서,
    상기 가공 데이터를 생성하는 단계는 사용자의 지시를 입력 받아 상기 관심 영역에 대한 병리학적 식별자의 정오를 판정하여, 상기 가공 데이터를 생성하는 병리 영상 분석 방법.
  11. 삭제
  12. 제7 항에 있어서,
    상기 관심 영역 설정 기준을 재학습하는 단계 후에,
    사용자의 지시를 입력 받아 상기 샘플 영상의 특정 영역을 선택하는 단계; 및
    저장된 데이터를 참조하여, 상기 특정 영역과 상기 관심 영역을 매칭하고, 매칭된 상기 관심 영역에 대응되는 병리학적 식별자를 표시하는 단계;를 더 포함하는, 병리 영상 분석 방법.
  13. 컴퓨터를 이용하여 제7 항 내지 제10 항 및 제12 항의 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
KR1020190145409A 2019-11-13 2019-11-13 병리 영상 분석 시스템 및 방법 KR102335173B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145409A KR102335173B1 (ko) 2019-11-13 2019-11-13 병리 영상 분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145409A KR102335173B1 (ko) 2019-11-13 2019-11-13 병리 영상 분석 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210058210A KR20210058210A (ko) 2021-05-24
KR102335173B1 true KR102335173B1 (ko) 2021-12-07

Family

ID=76153286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145409A KR102335173B1 (ko) 2019-11-13 2019-11-13 병리 영상 분석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102335173B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158908A1 (ko) * 2021-01-22 2022-07-28 주식회사 루닛 병리 이미지 분석 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153742A (ja) 2004-11-30 2006-06-15 Nec Corp 病理診断支援装置、病理診断支援プログラム、病理診断支援方法、及び病理診断支援システム
KR101628276B1 (ko) * 2015-04-20 2016-06-08 주식회사 루닛 클라우드 기반 병리 분석 시스템 및 방법
WO2019054638A1 (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101654824B1 (ko) * 2014-07-25 2016-09-06 주식회사 인피니트헬스케어 의료 영상의 위치 매칭 제어 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153742A (ja) 2004-11-30 2006-06-15 Nec Corp 病理診断支援装置、病理診断支援プログラム、病理診断支援方法、及び病理診断支援システム
KR101628276B1 (ko) * 2015-04-20 2016-06-08 주식회사 루닛 클라우드 기반 병리 분석 시스템 및 방법
WO2019054638A1 (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20210058210A (ko) 2021-05-24

Similar Documents

Publication Publication Date Title
US10810735B2 (en) Method and apparatus for analyzing medical image
JP4496943B2 (ja) 病理診断支援装置、病理診断支援プログラム、病理診断支援装置の作動方法、及び病理診断支援システム
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
EP1586897B1 (en) Image analysis supporting method, image analysis supporting program, and image analysis supporting device
US12008750B2 (en) Generating annotation data of tissue images
EP3633543A1 (en) System and method for reviewing and analyzing cytological specimens
US20170061608A1 (en) Cloud-based pathological analysis system and method
US20120327211A1 (en) Diagnostic information distribution device and pathology diagnosis system
WO2017221592A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10395091B2 (en) Image processing apparatus, image processing method, and storage medium identifying cell candidate area
US20200388036A1 (en) Histological image analysis
US10591402B2 (en) Image processing apparatus, image processing method, and image processing program
JPWO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US10140713B1 (en) Morphology identification in tissue samples based on comparison to named feature vectors
US11315251B2 (en) Method of operation of an artificial intelligence-equipped specimen scanning and analysis unit to digitally scan and analyze pathological specimen slides
KR102335173B1 (ko) 병리 영상 분석 시스템 및 방법
EP3764095A1 (en) Image processing method, image processing device, and program
US9760678B2 (en) Systems and methods in digital pathology
JP7235272B2 (ja) 画像処理装置及び検査システム
JP5910637B2 (ja) 生体画像解析システム、生体画像解析方法および生体画像解析プログラム
CN115917594A (zh) 使用几何特征的整个载玻片注释转移
CN114332844B (zh) 医学图像的智能分类应用方法、装置、设备和存储介质
US20240077997A1 (en) System and method for diagnosis and analysis of medical images
CN115917612A (zh) 使用深度学习校正用于数字病理学图像的多扫描仪中的差异
KR20230001976A (ko) 이미지를 이용한 딥러닝 기반의 생물종 분류장치 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191113

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210512

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211124

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211130

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211201

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241002

Start annual number: 4

End annual number: 4