KR102622960B1 - 조직 병리 판독 지원 장치 및 그 방법 - Google Patents

조직 병리 판독 지원 장치 및 그 방법 Download PDF

Info

Publication number
KR102622960B1
KR102622960B1 KR1020220106723A KR20220106723A KR102622960B1 KR 102622960 B1 KR102622960 B1 KR 102622960B1 KR 1020220106723 A KR1020220106723 A KR 1020220106723A KR 20220106723 A KR20220106723 A KR 20220106723A KR 102622960 B1 KR102622960 B1 KR 102622960B1
Authority
KR
South Korea
Prior art keywords
slide
tissue image
classification
patches
patch
Prior art date
Application number
KR1020220106723A
Other languages
English (en)
Inventor
천종기
고영신
장지욱
Original Assignee
(재)씨젠의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (재)씨젠의료재단 filed Critical (재)씨젠의료재단
Priority to KR1020220106723A priority Critical patent/KR102622960B1/ko
Priority to PCT/KR2023/012646 priority patent/WO2024043751A1/ko
Application granted granted Critical
Publication of KR102622960B1 publication Critical patent/KR102622960B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 인공지능 모델에 대해, 병변이 존재하는 경우 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 복수의 패치들로 분할하고 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고 복수의 패치들과 상기 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 이미지 분류 결과에 대한 학습을 진행하고, 학습된 인공지능 모델을 이용하여 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 상기 복수의 패치들과 상기 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 이미지 분류 결과를 생성하는 조직 병리 판독 지원 장치 및 그 방법을 제공한다.

Description

조직 병리 판독 지원 장치 및 그 방법{Histopathology interpretation assisted device and method thereof}
본 발명은 조직 병리 판독 지원 장치 및 그 방법에 관한 것이다.
디지털 병리란 유리로 된 병리 슬라이드를 스캐너를 활용하여 디지털 슬라이드 또는 슬라이드 조직 이미지('WSI; Whole Slide Image')로 변환 저장하여 기존 광학현미경으로 판독하는 업무 대신에 개인용 컴퓨터 혹은 전산망을 통해 모니터로 관찰하는 모든 기술을 통칭한다.
디지털 병리 핵심 기술은 유리 슬라이드에 담긴 조직의 전체 형상을 빠른 시간 안에 고해상도 디지털 영상으로 변환하는 것이다.
조직 병리 이미지 디지털화의 최종 목표는 다양한 자동화된 영상 분석 컴퓨터 알고리즘을 활용하여 ‘컴퓨터 보조 진단(computer-assisted diagnosis)'을 현실화하는 것이다.
한편, 병리의사들의 업무부담(workload)은 꾸준히 증가하고 있는 반면 병리의사들의 수는 상대적으로 부족해 지고 있다. 이러한 병리의사들의 상대적 공급부족과 업무부담의 증가는 휴먼 에러(human error)를 유발할 수 있다. 조직 병리 검사(Histopathologic test)의 병리 진단(pathologic diagnosis)은 사실상 '확정적 진단(confirmative diagnosis)'의 의미를 갖기 때문에, 일단 위음성(false negative)으로 인해 조기 진단과 치료의 시기를 놓칠 경우 다음 검사까지 인지될 기회가 없다. 그런데 불행히도 위음성은 병리 진단에서 가장 흔하게 발생하는 오류이다. 그렇기 때문에, 반복적이고 노동집약적이고 습관적인 판독 업무 환경에서 위음성을 줄이거나, 조기 발견하여 즉각적으로 교정할 수 있는 기회를 제공하는 도구가 필요하다. 블라인드 리뷰(blinded review)는 품질 관리 향상을 위한 중요하고 효과적인 방법이다. 그렇다고 해서 매일 판독한 모든 슬라이드를 중복 체크(double check) 또는 리뷰(review)하는 것은 현실적으로 불가능하다.
일반적으로 권고되는 병리 검사실의 품질 관리는 매달 일정 비율의 슬라이드를 임의적으로 리뷰하도록 하고 있으나, 그 비율은 기관의 상황에 따라 다르게 적용할 수 있다. 때때로 이 과정에서 유의미한 불일치가 발생하기도 하고, 뒤늦게 수정되기도 한다. 그러나, 대게 그 시점이 최초 진단 보고일로부터 1~2개월 경과된 후라, 이러한 사후 조치가 임상적으로 환자에게 의미 있는 결과를 이끌어내기엔 너무 늦은 경우가 많다. 인공지능 모델이 그 기능을 도울 수 있다면 환자와 병리의사 모두에게 큰 도움이 될 것이다.
인공지능 분류 모델이 전문의 판독 전 단계에서 스크리닝 도구(screening tool)로서 적용되려면, 선제적으로 모든 대상 유리 슬라이드가 디지털화 (digitalization) 되어있어야만 한다.
예상 가능한 업무 흐름으로, 먼저 유리 슬라이드를 제작하고, 디지털화(스캐닝)하고, 인공지능의 예측을 도출하고, 예측 결과에 따라 양성 케이스들(positive cases)를 우선적으로 리스트업할 수 있다. 그 후, 전문의가 슬라이드 조직 이미지(Whole slide image (WSI))를 뷰어를 통해 열고, 스캔된 슬라이드를 통해 우선 진단을 하며, 이 때 인공지능이 보여주는 예측 결과나 히트맵(heatmap)을 참고하고, 필요에 따라 유리 슬라이드를 현미경을 통해 직접 확인하고 그 외에는 슬라이드 조직 이미지만을 통해 진단하는 방식으로 구성이 될 것이다.
디지털 병리는 최근 빠르고 깊게 발전되어 이미 임상 실무 (clinical practice)로 빠르게 전환되어 가고 있으며, 전통적인 병리에 비해 여러 장점을 갖고 있다. 그러나 병리 분야에 있어서 여전히 유리 슬라이드를 기반으로 하는 전통적 방식의 판독 기능을 완전히 대체하기 어렵다. 특히 위 생검(gastric biopsy) 조직에서 헬리코박터균(Helicobacter pylori)과 같은 미생물 검출은 슬라이드 조직 이미지에서는 검출이 어렵다는 우려가 있다. The Updated Sydney System (업데이트된 시드니 시스템)에 의해 일상적으로 위염의 분류 및 조직학적 등급(classification and histologic grading of gastritis)을 리포트하는 병리 검사실에서는 위 생검 판독에 유리 슬라이드 없이 디지털 병리를 일차 진단에 바로 적용하기에는 현실적인 부담이 있다.
특히 슬라이드 조직 이미지를 일차 진단에 바로 적용하기 위해서는 현미경을 통한 전통적 판독과의 차이를 최소화 하기 위해 가능한 고해상도 (x40 이상)로 스캔을 해야 한다. 이 경우 고해상도 슬라이드 조직 이미지를 저장 및 처리하기 위한 정보 전산 인프라 구축에 및 운용에 상당한 비용이 든다. 그러나 일차 진단이 아닌 품질 관리 용도를 위해서라면, 저해상도(예를 들어 x20)로 스캔된 슬라이드 조직 이미지로도 충분하다.
그리고, 슬라이드 제작 직후 판독으로 이어지는 대부분의 상업적 병리 검사실에서는, 판독 단계를 슬라이드 스캔 이후로 미루는 방식의 업무 흐름 변경이 상당한 부담일 수 있다. 이러한 제한점 때문에 일부 연구자들은 슬라이드 조직 이미지 기반 대신 Augmented Reality Microscope (ARM) with Real-time Artificial Intelligence Integration을 제안하기도 했다. 그러나 아무리 성능이 뛰어난 인공지능 적용 ARM이라 해도, 현미경 시야(Field of vision) 밖에 있는 병변을 검출할 수는 없기에 일상적인 병리의사들의 휴먼 에러를 보완하기에는 역시 한계가 있다. 또한, 내시경 생검 판독에 적용 가능한 ARM 방식의 공개된 또는 상용화된 모델이 아직은 없다.
마지막으로, 병리의사들이 판독하기 전에 인공지능 모델이 판독의 우선 순위를 정해주고, 의심 병변을 가시화해 주고, 예상 분류 결과를 제공해 주는 것은, 자칫 병리의사들로 하여금 인공지능 의존 바이어스(AI dependent bias)를 유도할 위험이 있다. 그 동안 병리의사들의 진단 역량에 견줄 만큼 높은 퍼포먼스를 보이는 인공지능 모델이 여럿 소개 되어 왔음에도 불구하고, 매 케이스의 진단 결과에 대한 법적 책임과 권한은 결국 그 병리의사의 몫이다. 바이어스는 그 자체로 문제이며, 이는 어쩌면 오히려 인공지능 모델의 성능이 좋을수록 의존성(dependency)을 유발할 수 있기도 하다. 이것은 환자 입장에서도 우려스러운 일일 수 있다. 자칫 성능 좋은 인공지능 모델에 의존한 병리의사가 바이어스를 가지고 진단한 것이 오진의 문제를 일으켰을 때 (예를 들어 인공지능 모델, 인간 병리의사 양측 모두 병변을 놓쳤을 때, 또는 인공지능 모델이 음성이라고 예측한 것을 믿고 인간 병리의사가 슬라이드 조직 이미지를 무시한 채 판독해 버렸을 때) 법적 책임 여부에 대한 공방이 벌어질 소지가 있다.
최근 수 년간 많은 연구자들에 의해서 조직 병리 슬라이드 조직 이미지를 기반으로 한 인공지능 모델이 개발되고 제안되고 있으며, 실제로 몇몇 연구들에서 병리의사와 비슷하거나 능가하는 퍼포먼스를 보인다고 주장하고 있다. 그러나, 결국 각 진단에 대한 온전한 책임과 권한은 오롯이 해당 병리의사들의 몫이고, 이것을 인공지능이 완전히 대체할 수는 없다.
특히, 위장관 병리에 있어서 암종(CA)/고등급 이형성증(HGD)의 감별은 그룹에 따라서 관찰자 간 변동성 또는 불일치가 있다. 위장관 병리에서는 분류를 어떻게 정의하느냐에 따라 개발된 각각의 인공지능 분류의 퍼포먼스가 달라질 수 밖에 없음을 쉽게 예측할 수 있다. 실제로 유사한 다른 연구들에서 각 그룹에 따라 분류의 정의에 차이가 있으며, 일부 연구에서는 회색 지대에 해당하는 진단을 연구에서 제외하기도 했다.
또 많은 경우 병리의사들은 일상 업무에서, 절제 표본(resection specimen)의 판독에서와는 달리, 내시경 생검 (또는 기타 작은 생검) 표본의 리포트에는 애매모호한 표현을 쓰기도 한다. 예를 들어, atypical glandular proliferation of undetermined significance, suspicious for dysplasia, cannot be ruled out malignancy, favor neoplastic… 등과 같은 표현들이 그것이다. 이러한 현실에서, 인공지능 모델이 병리의사들의 이러한 고민을 해결해 줄 것이라는 기대는 환상에 가깝다. 이것은 작은 생검 조직 판독 자체의 한계이기 때문이다.
그러나 많은 연구들이 인공지능 모델이 관심 병변(Region of interest, ROI)의 진단을 얼마나 정확히 맞추는지, 그 퍼포먼스를 높이는 데에 초점을 맞추고 있으며, 이는 종종 임상 시행에 있어서 낮은 재현성을 야기하곤 한다. 그 이유는 인공지능 모델의 높은 정확도를 위한 조건이 일상 업무의 현실에서의 조건과는 큰 차이가 있기 때문이다. 인공지능 모델의 높은 정확도를 위해, 잘 정제된 데이터 준비를 중요시 한다. 실제로, 스캔 품질의 불량(poor scan quality (out of focus, tissue missing, air bubbles.. 등))과 슬라이드 제작 품질의 불량(poor slide quality(염색 불량(poor staining), 고정 불량(poor section), 조직 아티팩트(tissue artifact), 기포 혼입(air bubbles), 조직 접힘(tissue folding), 탈수 불량(poor dehydration) 등))은 모델의 퍼포먼스를 떨어뜨리는 요소들이다. 이런 아티팩트(artifact)를 인위적으로 모두 배제하고, 정말 잘 만든 슬라이드로 블러(blur) 없이 깨끗하게 스캔한 매우 정제된 데이터들만으로 학습시켰을 때, 모델의 퍼포먼스는 극대화될 것이다. 단, '완전히 디지털화된 병리 검사실(fully digitalized pathology laboratory)' 로의 전환을 염두에 둔다면, 이는 상당히 모순적이고 비현실적이라고 할 수 있다.
앞에서 언급했듯이, 조직 병리 검사들의 건수는 점차적으로 증가하고 있고, 이는 비단 병리의사들의 업무부담만 증가하는 것이 아니라, 슬라이드를 제작하는 병리 검사실 기사에게도 과부하이다. 업무부담의 증가는 조직병리 기사(histopathology technician)의 업무 역량에도 영향을 끼치고, 이것은 슬라이드의 품질 저하로 이어진다. 즉, 병리의사들은 매일 모든 슬라이드를 완벽한 품질로 컨트롤 할 수 없으며, 현실에서는 생각보다 많은 비율로 기준 미달의 품질의 슬라이드를 접하고 있다. 스캔의 품질도 마찬가지다. 업체들은 1-3% 정도의 스캔 에러율을 고지하고 있다. 이런 슬라이드들은 완전히 판독할 수 없을 정도의 심각한 품질 불량 일 수 있으며, 어느 정도 판독은 가능하지만 위에 언급한 다양한 아티팩트를 보이는 수준의 저품질의 슬라이드 조직 이미지 또한 빈번하게 볼 수 있다. 판독은 가능하나 저품질의 슬라이드 조직 이미지를 모두 재스캔하는 것은 현실적으로 불가능하고 또한 비효율적이다. “활용 가능한 인공지능 모델의 개발과 실무 적용”의 관점에서는 단지 인공지능 모델 퍼포먼스를 극대화하기 위해서 이러한 비효율적인 업무 부담을 감당하기 보다는, 현실이 반영된 신뢰할 만한 수준의 인공지능 모델을 일상 실무(routine practice)에 맞게 개발하여 적용하는 것이 더 적절할 것이다.
실시예들은, 병리의사들의 일상적인 잠재적 휴먼 에러, 특히 위음성을 줄여 주는 조직 병리 판독 지원 장치 및 방법을 제공한다.
본 명세서는, 인공지능 모델에 대해, 병변이 존재하는 경우 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 복수의 패치들로 분할하고 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과에 대한 학습을 진행하고, 학습된 인공지능 모델을 이용하여 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과를 생성하는 조직 병리 판독 지원 장치 및 그 방법을 제공한다.
일 실시예는, 슬라이드 정보와 슬라이드 조직 이미지를 입력하는 입력부; 입력된 슬라이드 조직 이미지를 복수의 패치들로 분할하는 전처리부; 학습된 인공지능 모델을 이용하여, 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과를 생성하는 조직 분류부; 슬라이드 정보와 슬라이드 조직 이미지, 복수의 패치들, 패치들에 대한 패치 정보, 패치 분류 결과, 슬라이드 조직 분류 결과를 저장하는 저장부; 복수의 패치들 및 슬라이드 조직 이미지 각각의 패치 분류 결과와 슬라이드 조직 분류 결과를 출력하는 출력부를 포함하는 조직 병리 판독 지원 장치를 제공한다.
이 학습된 인공지능 모델은, 병변이 존재하는 경우 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 전처리부를 이용하여 복수의 패치들로 분할하고 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고, 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과에 대한 학습을 진행할 수 있다.
다른 실시예는, 슬라이드 정보와 슬라이드 조직 이미지를 입력하는 입력 단계; 입력된 슬라이드 조직 이미지를 복수의 패치들로 분할하는 전처리 단계; 인공지능 모델에 대해, 병변이 존재하는 경우 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 복수의 패치들로 분할하고 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고, 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과에 대한 학습을 진행하는 학습 단계; 학습된 인공지능 모델을 이용하여 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과를 생성하는 조직 분류 단계; 슬라이드 정보와 슬라이드 조직 이미지, 복수의 패치들, 패치들에 대한 패치 정보, 패치 분류 결과, 슬라이드 조직 분류 결과를 저장하는 저장 단계; 및 복수의 패치들 각각의 패치 분류 결과와 슬라이드 조직 분류 결과를 출력하는 출력 단계를 포함하는, 조직 병리 판독 지원 방법을 제공한다.
실시예들에 따른 조직 병리 판독 지원 장치 및 방법에 의하면, 병리의사들의 일상적인 잠재적 휴먼 에러, 특히 위음성을 줄여 줄 수 있다.
도 1은 일 실시예에 따른 조직 병리 판독 지원 시스템의 개념도이다.
도 2는 일 실시예에 따른 조직 병리 판독 지원 장치의 블럭도이다.
도 3은 도 2의 인공지능 모델을 학습 과정들을 도시하고 있다.
도 4는 도 3의 데이터 전처리 과정에서 패치 이미지를 생성하기 위한 데이터 전처리 과정의 흐름도이다.
도 5는 도 3의 패치 분류부의 동작 흐름 및 그 결과를 도시하고 있다.
도 6은 도 3의 슬라이드 조직 이미지 분류부의 동작 흐름 및 그 결과를 도시하고 있다.
도 7은 도 2의 조직 분류부의 동작 흐름 및 그 결과를 도시하고 있다.
도 8은 도 2의 조직 병리 판독 지원 장치를 통해 슬라이드 분석 결과와 슬라이드 조직 이미지 분류 결과를 비교하는 흐름도이다.
도 9a는 도 2의 출력부에 표시되는 슬라이드 조직 이미지를 나타낸다.
도 9b는 도 2의 출력부에 표시되는 전문의 판독 결과, 슬라이드 미리보기 이미지, 인공지능 판독 결과와, 이전결과 정보를 표시한다.
도 9c는 도 2의 출력부에 표시되는 통계정보 및 슬라이드 분석 결과와 슬라이드 조직 이미지 분류 결과의 불일치 여부를 나타낸다.
도 10은 다른 실시예에 따른 조직 병리 판독 지원 방법의 흐름도이다.
도 11은 본 발명의 실시예들에 따른 컴퓨팅 시스템의 구성도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 학습 과정은 훈련(training)으로 표현하고, 그 결과는 학습(learning)이라고 표현할 수 있으나, 학습 과정이나 그 결과를 훈련 또는 학습 중 하나를 사용할 수도 있다.
도 1은 일 실시예에 따른 조직 병리 판독 일상 업무에서 진단에 대한 자동검증 시스템의 개념도이다.
도 1을 참조하면, 일 실시예에 따른 조직 병리 판독 일상 업무에서 진단에 대한 자동검증 시스템(100)은 슬라이드 스캐너(110)와 서버 컴퓨터(120), 표시장치(130)를 포함한다.
조직 슬라이드(112)를 작업자가 투입하면, 슬라이드 스캐너(110)가 디지털화된 슬라이드 조직 이미지(114)를 생성하고, 이를 서버 컴퓨터(120)에 업로드하면 개발된 인공지능 모델(122)이 표시장치(130)에 산출물을 생성한다.
산출물은, 예를 들어, 조직 병변의 위치를 포함하는 병변 위치 정보(132)와 환자 단위의 분류 결과를 포함하는 환자 판독 정보(134)일 수 있다. 즉, 표시장치(130)는 조직 병변의 위치를 포함하는 병변 위치 정보(132)와 환자 단위의 분류 결과를 포함하는 환자 판독 정보(134)를 표시한다.
또한, 산출물은, 후술하는 바와 같이 인공지능 모델을 이용한 조직 병리 지원 장치에 의해 진단한 슬라이드 조직 분류 결과와 병리의사에 의한 슬라이드 판독 결과인 병리 진단의 불일치 여부를 추가로 표시하므로, 인공지능 모델을 조직병리 판독 일상 업무에서 진단에 대한 자동검증 시스템(100)을 구축할 수 있다. 이를 통해 조직 병리 진단시 일상 업무의 진단 품질을 관리할 수 있다.
전술한 서버 컴퓨터(120)는 도 2 내지 도 9b, 도 9c를 참조하여 설명하는 조직 병리 판독 지원 장치(200)를 포함할 수 있다. 이하에서, 조직 병리 판독 지원 장치(200)에 대해 상세히 설명한다.
도 2는 일 실시예에 따른 조직 병리 판독 지원 장치의 블럭도이다.
도 2를 참조하면, 일 실시예에 따른 조직 병리 판독 지원 장치(200)는 입력부(210), 전처리부(220), 조직 분류부(230), 저장부(240) 및 출력부(250)를 포함할 수 있다.
입력부(210)는 조직 슬라이드에 대한 정보인 슬라이드 정보와 조직 슬라이드를 디지털화한 슬라이드 조직 이미지를 입력한다.
도 1을 참조하여 설명한 바와 같이, 조직 슬라이드(112)를 작업자가 투입하면, 슬라이드 스캐너(110)가 디지털화된 슬라이드 조직 이미지(114)를 생성한다. 슬라이드 조직 이미지(114)는 학습용 슬라이드 조직 이미지와 판독용 슬라이드 조직 이미지일 수 있다. 학습용 슬라이드 조직 이미지는 학습용 슬라이드(112a)를 디지털화한 슬라이드 조직 이미지이고, 판독용 슬라이드 조직 이미지는 판독용 슬라이드(112b)를 디지털화한 슬라이드이다.
입력부(210)는 조직이 촬영된 슬라이드 조직 이미지를 조직 병리 판독 지원 장치(200)의 외부로부터 입력 받을 수 있다. 슬라이드 조직 이미지는 조직(tissue)이 촬영된 이미지이다.
조직은 인간 또는 동물의 세포들을 포함할 수 있다. 일 예로 조직은 암(e.g. 위암, 대장암) 세포의 존재 여부를 확인하기 위해 인체의 장기(e.g. 위, 대장, 소장, 간)로부터 추출된 생검 조직일 수 있다.
조직은 다양한 형태의 촬영 장비(e.g. 카메라, 캠코더, 스캐너)를 통해 촬영될 수 있다. 그리고 조직이 촬영된 이미지의 포맷은 JPG, GIF, PNG, BMP 등으로 다양하게 결정될 수 있다.
이때, 조직은 헤마톡실린 및 에오신(hematoxylin and eosin) 염색이 수행된 조직일 수 있다. 헤마톡실린 및 에오신 염색에 의해서 세포핵(cell nuclei)은 파란색으로 염색되고 세포외기질(extracellular matrix)과 세포질(cytoplasm)은 분홍색으로 염색될 수 있다.
한편, 학습용 슬라이드 조직 이미지는 주석(annotation) 정보를 추가로 포함할 수 있다. 주석 정보는 조직 이미지의 어떤 영역이 어떤 그룹에 해당하는지를 지시하는 정보이다. 일 예로, 주석 정보는 조직 이미지의 특정 영역이 병변(e.g. 암)이 존재하는 비정상(abnormal) 영역이고 나머지 영역이 병변이 존재하지 않는 정상(normal) 영역이라는 것을 지시할 수 있다. 예를 들어, 학습용 슬라이드 조직 이미지는, 도 4를 참조하여 후술하는 바와 같이, 주석 정보로, 병변이 존재하는 경우 병변별로 다른 색깔로 병변 부위를 단일의 폐곡선으로 표시할 수 있다.
주석 정보는 슬라이드 조직 이미지를 분류하는 인공지능 모델(231)의 학습 시에 정답을 지시하는 정보로서 사용될 수 있다.
전처리부(220)는 입력부(210)에서 입력 받은 슬라이드 조직 이미지(114)를 복수의 패치들(116)로 분할할 수 있다.
복수의 패치들 각각(116)의 크기는 조직 이미지보다 작을 수 있다. 일 예로, 복수의 패치들 각각(116)의 크기는 n*n 픽셀(e.g. 256*256, 128*128)로 동일할 수 있다.
다른 예로, 복수의 패치들(116)의 크기는 서로 상이할 수도 있다. 복수의 패치들(116) 중 일부는 n*n 픽셀(e.g. 256*256) 크기의 패치이고 일부는 m*m 픽셀(e.g. 128*128) 크기의 패치일 수 있다. 이때, m은 n보다 작다.
조직 분류부(230)는 학습된 인공지능 모델(231)을 이용하여, 복수의 패치들 각각(116)의 분류를 추론하여 패치 분류 결과를 생성하고 복수의 패치들(116)과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과를 생성한다.
학습된 인공지능 모델(231)은, 병변이 존재하는 경우 병변 부위를 표시한 학습용 슬라이드 조직 이미지(114)를 전처리부(220)를 이용하여 복수의 패치들(116)로 분할하고 복수의 패치들 각각(116)의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고, 복수의 패치들(116)과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지(114)의 분류를 추론하여 슬라이드 조직 분류 결과에 대한 학습을 진행할 수 있다.
전술한 인공지능 모델(231)은 딥 러닝 모델(deep learning model)일 수 있다. 본 명세서에서 딥 러닝 모델은 인공 신경망을 다층으로 쌓은 모델일 수 있다. 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 각각의 영상의 특징(feature)를 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 모델로 구현될 수 있다.
일 예로, 딥 러닝 모델은 컨볼루션 뉴럴 네트워크(CNN, Convolutional Neural Network)일 수 있다. CNN은 Visual Geometry Group (VGG) network, Inception (GoogleNet), ResNet, DenseNet 등의 다양한 형태의 스키마로 구현될 수 있다.
단, 본 발명의 실시예들에서 설명하는 딥 러닝 모델은 CNN에만 한정되지 않으며, 현재 또는 장래에 사용될 수 있는 다른 형태의 딥 러닝 모델(e.g. DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network))이 사용될 수도 있다.
딥 러닝 모델은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.
딥 러닝 모델에 대한 학습을 수행한다는 것은 딥 러닝 모델의 입력에 대한 예측 값이 실제 값(ground-truth)과 최대한 유사하도록 딥 러닝 모델에 대한 파라미터를 조정하는 것을 의미한다. 조직 분류부(230)는 패치(116)와 재구성된 슬라이드 조직 이미지(reconstructed WSI)를 딥 러닝 모델(231)에 입력하고, 딥 러닝 모델의 예측 값과 실제 값을 비교하여 딥 러닝 모델(231)에 대한 파라미터를 조정하는 과정을 반복적으로 수행하여 딥 러닝 모델의 예측 정확도를 높일 수 있다.
이때, 조직 분류부(230)는 입력된 패치(116)와 재구성된 슬라이드 조직 이미지의 손실 함수 값을 최소화하는 방향으로 딥 러닝 모델(231)에 대한 파라미터를 조정할 수 있다.
손실 함수는 타깃 패치에 대한 타입의 예측 값이 타깃 패치의 실제 타입과 얼마나 유사한 지를 계산하는 함수이다. 손실 함수는 일 예로 평균 절대 오차(MAE), 평균 제곱 오차(MSE), 평균 제곱근 오차(RMSE), 이진 크로스-엔트로피(Binary Cross-Entropy) 또는 범주형 크로스-엔트로피(Categorical Cross-Entropy) 등일 수 있다.
학습된 인공지능 모델(231)은 둘 이상이며, 슬라이드 정보는 슬라이드 조직 이미지의 장기를 포함할 수 있다. 이때, 조직 분류부(230)는 슬라이드 조직 이미지의 장기에 따라 둘 이상의 인공지능 모델들 중 하나를 선택하여 조직 이미지를 분류할 수 있다. 아래에서 학습된 인공지능 모델(231)은 위장과 대장의 장기를 대상으로 학습된 인공지능 모델을 예시적으로 설명한다. 그러나, 예시된 위장, 대장 모델 이외에도 유사한 방식으로 다른 장기 (유방, 전립선, 피부 등)에 대한 모델을 추가 개발하여 동일한 방식으로 일상 품질 관리 시스템 으로서 적용할 수 있다.
본 발명의 실시예들에서 패치 분류 결과와 슬라이드 조직 분류 결과는 다양한 방법으로 분류될 수 있다.
일 예로, 패치 분류 결과와 슬라이드 조직 분류 결과는 악성(malignant) 및 비악성(non-malignant), 또는 종양성(neoplastic) 및 비종양성(non-neoplastic) 등의 2가지 그룹 또는 클래스로 분류될 수 있다.
다른 예로, 패치 분류 결과와 슬라이드 조직 분류 결과는 악성(malignant), 이형성(dysplasia) 및 비종양성(non-neoplastic)의 3가지 그룹으로 분류될 수 있다.
또 다른 예로, 패치 분류 결과와 슬라이드 조직 분류 결과는 악성(malignant), 이형성(dysplasia), 미분류(uncategorized) 및 비종양성(non-neoplastic)의 4가지 그룹으로 분류될 수 있다.
일 예로, 악성(malignant) 그룹은 선암(adenocarcinoma), 선암으로 의심(suspicious for adenocarcinoma), 선암을 암시(suggestive of adenocarcinoma), 고도 림프종(high-grade lymphoma) 및 기타 암종(carcinoma)를 포함하는 악성 신생물(malignant neoplasm)을 지시하는 그룹으로 정의될 수 있다.
이형성(dysplasia) 그룹은 모든 등급의 이형성증이 있는 관상 선종(tubular adenoma)을 포함하는 이형성(dysplasia)을 지시하는 그룹으로 정의될 수 있다.
비종양성(non-neoplastic) 타입은 비종양성(nonneoplastic) 양성 병변(e.g. 위염(gastritis), 폴립(polyps) 등)을 지시하는 그룹으로 정의될 수 있다.
미분류(uncategorized) 그룹은 비정형 선 증식(atypical glandular proliferation), 신경 내분비 종양(neuroendocrine tumors), 점막하 종양(submucosal tumors), 저등급 림프종(low-grade lymphoma) 및 기질 종양(stromal tumors) 등 전술한 3가지 그룹에 해당되지 않는 나머지 병변(lesions)을 지시하는 타입으로 정의될 수 있다.
이때, 패치 분류 결과와 슬라이드 조직 분류 결과 중 일부는 정상 그룹으로 정의되고, 정상 그룹을 제외한 나머지는 비정상 그룹으로 정의될 수 있다. 예를 들어, 패치 분류 결과와 슬라이드 조직 분류 결과가 악성(malignant), 이형성(dysplasia), 미분류(uncategorized) 및 비종양성(non-neoplastic)의 4가지 그룹으로 분류될 경우에, 이 중 악성(malignant), 이형성(dysplasia), 미분류(uncategorized)는 비정상 그룹으로 정의되고 비종양성(non-neoplastic)은 정상 그룹으로 정의될 수 있다.
저장부(240)는 슬라이드 정보와 슬라이드 조직 이미지, 복수의 패치들, 패치들에 대한 패치 정보, 패치 분류 결과, 슬라이드 조직 분류 결과를 저장할 수 있다. 저장부(240)는 위 정보들의 일부를 일시적으로 저장하였다가 자동으로 삭제하거나 저장한 후 삭제 요청이 있을 때까지 지속적으로 저장할 수 있다.
출력부(250)는 복수의 패치들 각각(116)의 패치 분류 결과와 슬라이드 조직 분류 결과를 출력할 수 있다. 출력부(250)는 복수의 패치들 각각(116)의 패치 분류 결과와 슬라이드 조직 분류 결과뿐만 아니라 입력부(210)를 통해 입력된 모든 정보들과 저장부(240)에 저장된 모든 정보들을 출력할 수 있다.
실제 현실에서 일상 업무의 품질 관리 용도로 사용할 것을 목표로 인공지능 모델(231)을 이용한 조직 분류 모델을 개발하고자 하는 우리의 개발 의도에 맞게, 데이터 준비에 있어서 원칙은 모델(231)의 높은 정확도를 확보하기 위해서 잘 정제된 슬라이드 조직 이미지 데이터 세트를 인위적으로 마련하기 보다는 실무 현장의 상황을 철저히 반영하기 위해 현실에서의 관찰자 간 변동성과 일상적인 아티팩트를 보존하여 그대로 데이터를 사용하는 것이다.
최상의 모델 정확도를 확보하기 위한 목적으로 슬라이드 품질을 조작하지 않을 수 있다. 오히려 일상적인 아티팩트들 - 슬라이드 칼자국, 염색 불량, 고정 불량, 기포 혼입 등 - 을 인위적인 개선 (학습 전용 고품질 슬라이드를 재 제작 하는 등) 없이 그대로 학습에 사용할 수 있다. 단 병리의사들이 판독하기 어려운 수준의 슬라이드 제작 불량은 제외될 수 있다.
다시 말해 학습용 슬라이드 조직 이미지는 인위적인 개선 없이 슬라이드 스캐너에 의해 스캔된 슬라이드 조직 이미지를 그대로 사용할 수 있다.
스캔 품질 또한 인위적으로 조절하지 않을 수 있다. 스캐너 제조사에 따르면 평균 1-3% 정도의 재스캔을 요하는 수준의 불량율을 고지하고 있고, 그 외의 대부분은 판독에 지장을 주지 않은 미미한 문제들이다. 예를 들어, 좁은 범위의 초점 포커스 아웃(focus out), 일부 타일의 중첩 에러, 일부 스캔 조직 경계 부위가 잘려나감(edge cutting) 등이 그것이다. 이러한 일상적인 미미한 문제를 그대로 반영하기 위해, 학습 전용 고품질 슬라이드 조직 이미지를 얻고자 재 스캔을 하는 등 인위적인 개선 작업을 하지 않을 수 있다. 단, 병리의사가 도 2에 도시한 바와 같이 노이즈 이미지로 판독하기 어려운 수준의 스캔 불량은 제외될 수 있다.
패치 분류 결과는, 가능한 모든 진단을 분류하고자 4분류 모델로 아래와 같이 4개 그룹들로 정의할 수 있다(표 1). 그러나, 정의상, 그룹 내 질환의 이질성(heterogeneity)이 가장 큰 '그룹 U'가 모델의 퍼포먼스를 많이 저해하는 요인이 될 수 있으므로, '그룹 U'를 제외한 3분류 모델을 채택할 수 있다. 그룹 U에 해당하는 케이스들은 3분류 모델 개발을 위한 학습 데이터에서는 최종적으로 제외될 수 있다. 그러나 다음 단계로, 표 1의 그룹 U 중 NET (등급 1 또는 2) 만을 포함하도록 재정의하고 4분류 모델로 업그레이드 하여 실무에 적용할 수 있다.
[표 1]
각 분류에 해당하는 슬라이드 조직 이미지는 각각의 병리의사가 독립적으로 주석을 달 수 있다. 그룹 M은 레드 라인으로, 그룹 D는 블루 라인으로 단일 폐곡선을 그리고, 병변부와 정상부의 경계가 모호한 경우, 확실한 병변만을 포함시키도록 아웃트라인을 그릴 수 있다(상피와 기질이 모두 포함됨). 단일 폐곡선 내의 패치들만 각 분류의 데이터로 사용하고, 그 밖의 부분들은 모두 제거할 수 있다.
그룹 N의 경우, 위의 정의에 맞는 슬라이드 조직 이미지들을 병리의사들이 리뷰 및 컨펌하고 별도의 주석없이 바로 패치를 생성한 후 데이터로 사용할 수 있다. 이때 그룹 M, D 슬라이드의 병변 이외의 부분은 그룹 N 데이터로 사용되지 않을 수 있다. 하나의 폐곡선 내에는 가능한 한 비종양성 샘 또는 크립트(crypt)를 포함시키지 않도록 하고, 가능한 한 괴사, 궤양(ulcer detritus), 세포외 점액 풀(extracellular mucin pool), 혈액과 같은 비조직 구성요소를 포함시키지 않도록 할 수 있다. 필요시 주석은 다른 병리의사가 리뷰하고 경우에 따라 수정되거나 제외될 수 있다.
슬라이드 조직 이미지(114)를 인공지능 모델(231)에 투입하고, 인공지능 모델(231)이 슬라이드 조직 이미지에 대한 그룹을 분류하여 그 결과를 예측하도록 해야 한다. 슬라이드 조직 이미지(114)를 인공지능 모델(231)이 인식할 수 있는 형태로 변환하고 처리하였으며, 1) 학습 단계와 2) 예측 단계에서 각각 정보의 손실 없이 처리하도록 인공지능 모델을 구성한다.
슬라이드 조직 이미지(114)는 기가 픽셀(Giga pixel) 수준의 정보를 포함하기 때문에, 이를 한번에 딥 러닝 모델에 사용하기는 적합하지 않다. 따라서, 해당 기가 픽셀의 정보를 포함하는 슬라이드 조직 이미지(114)를 변환하여 인공지능 모델(231)이 처리할 수 있다.
슬라이드 조직 이미지(114)를 패치 형태로 변환하여 처리하는 방식을 기반으로 모델을 구성한다. 많은 Convolution neural network (CNN) 기반의 슬라이드 조직 이미지 처리 연구에서 언급되었듯이, CNN의 복잡성으로 인해, 온전한 슬라이드 조직 이미지를 한번에 처리하는 것은 슬라이드 조직 이미지가 포함하는 정보의 손실과 자원 손실을 유발할 수 있다. 그러므로, 도 3에 도시한 바와 같이 동작 순서에 따라 모델을 학습한다.
출력부(250)는, 패치 분류 결과를 각 패치의 병변의 위치별로 고유의 색깔로 표시하고, 슬라이드 조직 분류 결과를 문자나 숫자, 색깔 중 적어도 하나로 표시할 수 있다.
재구성된 슬라이드 조직 이미지는 병변의 위치별로 고유의 색깔로 표시한 복수의 패치들을 결합하여 재구성되고, 출력부(250)는 재구성된 슬라이드 조직 이미지와 함께 문자 또는 숫자로 표기되는 상기 슬라이드 조직 분석 결과를 표시할 수 있다.
입력부(210)는, 병리의사에 의해 슬라이드 조직 이미지에 대응하는 슬라이드를 현미경으로 또는 슬라이드 조직 이미지를 화면을 통해 검사한 슬라이드 판독 결과인 병리 진단을 입력하고, 출력부(250)는, 병리의사에 의한 슬라이드 판독 결과인 병리 진단과 함께, 조직 분류부에 의한 슬라이드 조직 이미지 분류 결과와 병리의사에 의한 슬라이드 판독 결과인 병리 진단의 불일치 여부를 추가로 표시할 수 있다. 이를 통해 인공지능 모델(231)을 조직병리 판독 일상 업무에서 진단에 대한 자동검증 시스템을 구축하여 일상 업무의 진단 품질을 관리할 수 있다.
구체적으로, 입력부(210)로 입력되는 것은 병리의사가 슬라이드를 판독한 내용, 즉 "병리 진단" 정보(텍스트 정보)일 수 있다. 이 병리 진단 정보는 분류 규칙에 의해서 M, D, N 세 클래스 중 하나로 "분류" 될 수 있다. 그리고 인공지능 모델은 독립적으로 M, D, N 세 클래스 중 하나를 예측할 수 있다. 출력부(250)는 "병리 진단 정보 (텍스트 정보)에 의한 분류 결과" 와 각각에 대응하는 "인공지능 모델 (이미지 정보)에 의한 분류 결과"의 일치 또는 불일치 여부를 표시한다. 출력부(250)가, 전술한 둘 이상의 케이스에 대해 슬라이드 조직 이미지 분류 결과와 병리의사에 의한 슬라이드 판독 결과인 병리 진단의 불일치 여부를 추가로 표시할 때, 출력부(250)는, 슬라이드 조직 이미지 분류 결과와 병리의사에 의한 슬라이드 분석 결과인 병리 진단 중 하나가 양성인 경우에 우선순위로 표시할 수 있다.
도 3은 도 2의 인공지능 모델을 학습 과정들을 도시하고 있다. 도 4는 도 3의 데이터 전처리 과정에서 패치 이미지를 생성하기 위한 데이터 전처리 과정의 흐름도이다.
도 3 및 도 4를 참조하면, 조직 분류부(230)에서 이용하는 인공지능 모델을 학습하기 위해, 데이터를 전처리하는 과정(S310)과 패치를 분류하는 과정(S320), 슬라이드 조직 이미지를 분류하는 과정(S330)을 포함한다.
데이터를 전처리하는 과정(S310)은, 전처리부(220)에 의해 데이터를 조직화하고, 인공지능 모델이 학습 가능한 형태인 여러 개의 패치로 변환한다.
데이터를 전처리하는 과정(S310)은, 전술한 방법과 같이 생성된 실제 값 정보와 표 1과 같이 레이블된 정보를 기반으로 모델(231)의 학습을 진행한다. 그룹 N의 학습용 슬라이드 조직 이미지(WSI)는 그대로 데이터를 셋업하고, 그룹 M, D 는, 예를 들어, 병변 부위를 색깔로 표시하는 주석 정보를 포함하여 데이터를 셋업할 수 있다.
학습용 슬라이드 조직 이미지(WSI)를 학습을 위해 크게 두 개의 Deep neural networks (DNNs) 모델이 필요하다. 하나의 모델은 패치 분류부(232)에 사용되고 다른 하나는 슬라이드 조직 이미지 분류부(234)에 이용될 수 있다. 따라서, 각 모델의 학습을 위해서 '패치 이미지 데이터' 와 '슬라이드 조직 이미지 데이터'의 두 가지 형태의 데이터로 준비한다.
우선, 슬라이드 조직 이미지 데이터는, 수집된 슬라이드 조직 이미지(WSI)의 스캔 구성 값을 확인하고, 값이 상이한 슬라이드 조직 이미지들은 데이터 세트에서 제외된다. 이는 다른 조건으로 촬영된 슬라이드 조직 이미지(WSI)가 모델에서 오류를 일으키는 것을 방지하기 위함이다. 최종적으로 선정된 슬라이드 조직 이미지 데이터 세트는 표 1과 같다.
그룹 N의 경우, 학습용 슬라이드 조직 이미지(WSI)로부터, 예를 들어, 256*256 픽셀들 사이즈의 네모난 패치를 생성한다. 패치 크기의 경우, 사용자의 편의성과 성능 간 트레이드 오프(trade-off)를 인터뷰 조사하여 정의할 수 있다. 예를 들어, 큰 픽셀 사이즈를 가지는 패치는 성능이 좋을 수는 있으나, 사용자 인터페이스에서 제공하는 병변 위치 정보에 대한 설명의 제공에 적합하지 않음을 확인할 수 있다.
다음으로 그룹 M, D 의 경우 주석 정보를 기준으로 주석 내부에 존재하는 패치만을 선별하여 저장할 수 있다. 패치 외부의 패치들은 데이터 세트에 포함되지 않을 수 있다.
또한, 정확한 모델 성능 평가와 피드백을 위해, 패치 데이터가 속한 슬라이드 조직 이미지들(WSIs)을 기준으로 학습, 평가, 검사 세트를 구성한다. 만약 슬라이드 조직 이미지(WSI)와 패치 사이의 관련성에 대한 고려 없이 학습, 평가, 검사 세트를 구성한다면, 학습 세트의 구성에 동일한 슬라이드 조직 이미지(WSI)로부터 생성된 패치 이미지가 학습 데이터 세트와 평가 및 검사 데이터 세트 동시에 분포하게 되어, 모델이 검사 단계에서 속임수(cheating)로 동작할 수 있기 때문에 정확한 평가가 어렵다. 마지막으로, 조직 분류부(230)의 바이어스 생성을 최소화하기 위해, 패치 데이터는 생성된 학습 풀(training pool)로부터 랜덤 샘플링(random sampling)할 수 있다.
도 5는 도 3의 패치 분류부의 동작 흐름 및 그 결과를 도시하고 있다.
도 3 및 도 5를 참조하면, 패치를 분류하는 과정(S320)은, 패치 분류부(232)에 의해 하나의 학습용 슬라이드 조직 이미지(WSI)에서 발생한 각 패치에 대해서, 라벨링 정보를 기준으로 학습을 진행한다.
패치를 분류하는 과정(S320)은 CNN 기반의 DNNs 아키텍처를 사용하여 패치 분류부(232)를 학습한다. 예를 들어, 패치 이미지의 분류를 위한, DNN 아키텍처 중 높은 성능을 보이고 있는 DenseNet201을 활용하여, 모델을 학습시킬 수 있다. 학습된 DenseNet201 모델에 셋업된 학습 데이터를 투입할 수 있다. 패치 분류 모델은 각 패치 이미지가 3개의 정답 레이블, 예를 들어 그룹 M, D, N을 잘 추론하도록 학습시킬 수 있다.
패치 분류부(232)로부터 생성된 패치 분류 결과는, 2가지의 활용을 목적을 지닌다; 1) 슬라이드 조직 이미지 분류부(234)가 추론하기 위한 요소들로의 활용과, 2) 사용자 인터페이스에서 설명의 제공이다. 특히 슬라이드 조직 이미지 분류부(234)를 위한 요소들로서의 활용을 위해서 본 단계에서 학습된 모델을 기반으로 슬라이드 조직 이미지(WSI)가 학습이 가능하다. 패치 분류부(232)는 패치 분류 결과를 각 그룹에 대한 분산(distribution)의 형태로 생성이 가능한데 이를 핵심 정보로 사용하게 된다.
도 6은 도 3의 슬라이드 조직 이미지 분류부의 동작 흐름 및 그 결과를 도시하고 있다.
도 3 및 도 6을 참조하면, 슬라이드 조직 이미지를 분류하는 과정(S330)은, 학습용 슬라이드 조직 이미지 분류부(234)에 의해 슬라이드 조직 이미지(WSI)에 대한 정보를 종합하여 슬라이드 조직 이미지(WSI)에 대한 패치 분류 정보를 생성하는 인공지능 모델을 학습시킨다. 인공지능 모델의 학습 방법은 둘 이상의 장기들에 대한 각각의 인공지능 모델에 동일하게 적용하여 모델을 구성한다.
슬라이드 조직 이미지 분류부(234)는 슬라이드의 파편화된 정보인 패치 분류 결과를 요소들로 한 학습 데이터를 슬라이드 조직 이미지(WSI)의 정답 레이블로 추론하도록 학습한다.
슬라이드 조직 이미지 분류부(234)의 학습 단계는 1)데이터 전처리 단계에서 활용된 패치 메이커 모델과 2)모델 학습에서 학습된 패치 분류부(232)를 기반으로 일련의 과정을 통해서 슬라이드 조직 이미지 분류부(234)를 학습시킨다. 이는 기가 픽셀의 정보를 포함하는 슬라이드 조직 이미지 분류를 위해 필요한 자원을 효율적으로 활용하기 위함으로, 각 모델이 하나의 모델처럼 유기적으로 작동하도록 디자인된다.
슬라이드 조직 이미지 분류부(234)의 학습 과정에서 슬라이드 조직 이미지(WSI)는 패치 메이커에 의해서 패치 이미지로 변환되며, 변환된 패치 이미지는 위치 정보를 기반으로 재구성되어 슬라이드 조직 이미지 분류부(234)에 학습시키는 과정을 거친다.
이러한 슬라이드 조직 이미지 분류부(234)의 학습 과정은 크게 3가지 단계를 포함한다; 패치 메이커 단계, 패치 분류 단계, 슬라이드 조직 이미지 학습 단계이다.
패치 메이커 단계에서는 학습 대상이 되는 슬라이드 조직 이미지를 여러 개의 패치 이미지로 전환한다. 해당 전환 과정에서 각 패치 이미지의 위치 정보를 보존하기 위해서, 변환된 패치의 인덱스와 위치 정보, 어떤 슬라이드 조직 이미지로부터 생성 되었는지를 저장부(240)에 기록한다.
다음으로, 패치 분류 단계에서는 학습된 패치 분류부(232)를 통해서, 하나의 슬라이드 조직 이미지를 구성하는 각 패치들이 어떠한 분류 정보를 가지는지 추론한다.
각 패치 이미지에 대한 추론 정보는 패치의 인덱스에 따라서 저장부(240)에 저장된다. 따라서 저장부(240)에는 하나의 슬라이드 조직 이미지에 대한, 각 패치 이미지의 인덱스, 위치 정보, 분류 정보가 종합적으로 기록된다. 최종적으로 슬라이드 조직 이미지 학습을 위해서 패치 이미지의 저장부(240)를 종합하여, 재구성된 슬라이드 조직 이미지(reconstructed WSI)를 생성한다. 재구성된 슬라이드 조직 이미지는 슬라이드 조직 이미지의 특징 정보를 요약되거나 압축된 형태로 포함하기 때문에 해당 정보를 하나의 이미지와 같이 CNN에 처리할 수 있게 된다. 따라서 재구성된 슬라이드 조직 이미지를 인풋 형태로 가지는 CNN 그룹 분류 네트워크를 구성하고, 3개의 정답 레이블, 예를 들어 그룹 M, D, N을 적절하게 추론하도록 모델을 학습시킨다.
도 6을 참조하면, 하나의 슬라이드 조직 이미지는 패치 메이커에 의해서 패치는 다수의 이미지로 변환되며, 패치 분류부(232)에 의해서 분포 정보를 생성하고, 이를 재구성된 슬라이드 조직 이미지로 변환하는 과정을 나타낸다.
재구성된 슬라이드 조직 이미지는 일반적인 네모 형태의 이미지와 같은 모양으로 구성됨을 확인할 수 있다. 재구성된 슬라이드 조직 이미지를 분류하도록 학습된 CNN 모델을 슬라이드 조직 이미지 분류부(234)로 사용한다. 위의 일련의 과정은 위 생검과 대장 생검 각각에 대해 시행하여, 2개의 모델을 생성한다.
도 7은 인공지능 모델을 이용하여 조직을 분류하는 도 2의 조직 분류부의 동작 흐름 및 그 결과를 도시하고 있다.
본 단계에서는 이전 단계에서 학습된 모델을 기반으로 전체의 예측 프레임워크(framework)가 작동하여 결과와 추가 정보들을 생성한다. 예측 방식은 앞서 언급한 학습 순서와 유사하게 구성될 수 있다. 개발된 모델들은 위 생검과 대장 생검 각각에 대한 모델이 개별적으로 구성되고 학습된다. 각 모델은 동일한 순서로 작동될 수 있다.
학습된 슬라이드 조직 이미지 분류부의 모델의 작동 과정은 학습 업무의 순서와 유사한 업무로 구성된다.
조직 분류부(230)에 새로운 한 개의 슬라이드 조직 이미지(WSI)가 투입되면, 패치 메이커는 투입된 슬라이드 조직 이미지로부터 여러 개의 패치 이미지들과 그에 대한 인덱스, 위치 정보 등 패치 정보를 생성하고 저장부(240)에 기록한다.
각 패치 이미지는 패치 분류부(232)에 투입되고 모델에 의해서 그룹이 추론되어, 패치 분류 결과를 생성하고, 저장부(240)에 저장한다. 최종적으로 슬라이드 조직 이미지 분류부(234)는 패치 이미지 정보와 저장부(240)의 패치 분류 정보 등을 종합하여 재구성된 슬라이드 조직 이미지를 생성하고 슬라이드 조직 이미지를 분류한다.
해당 과정은, 각 패치 분류 정보와 위치 정보를 통합되어 재구성된 슬라이드 조직 이미지로 변환되어 슬라이드 조직 이미지 분류부(234)로 투입하여 슬라이드 조직 이미지 분류 결과를 생성하고 저장부(240)에 저장하는 것을 포함한다.
따라서 저장부(240)에는 3가지의 타입의 정보가 생성되어 저장되는데, 이는 패치 이미지 정보, 패치 분류 정보, 슬라이드 조직 이미지 분류 정보일 수 있다. 패치 이미지 정보는 패치 인덱스, 패치 이미지, 패치 위치 정보 등을 포함하며, 패치 분류 정보는 패치 분류 모델로부터 생성된 그룹 추론 결과를 의미하고, 슬라이드 조직 이미지 분류 정보는 하나의 슬라이드 조직 이미지에 대해서 슬라이드 조직 이미지 분류 모델이 추론한 그룹 정보를 의미한다.
일상 업무의 품질 관리 용도로 위한 이미지 분류 정보는 언급된 3가지 정보를 종합하여 사용자에게 제공하도록 구성된다. 패치 이미지 정보는 사용자 인터페이스에서 슬라이드 원본 이미지에 대한 시각화와 각 패치의 위치 정보를 제공하여 사용자 인터페이스에서 슬라이드 이미지에 대한 시각정보를 제공한다.
패치 분류 정보는 사용자 인터페이스에서 나타난 슬라이드 이미지 위에 각 패치의 분류 정보(heat map)를 제공하기 위해 사용되며, 이는 분류 결과에 대한 근거 제공과 품질 관리를 위한 병변 위치 정보를 제공하도록 돕는다. 출력부(250)는 저장부(240)의 슬라이드 조직 이미지 분류 정보와, 패치 이미지 예측 정보를 기반으로 병변의 위치를 시각적으로 제공한다.
도 8은 도 2의 조직 병리 판독 지원 장치를 통해 병리의사에 의한 슬라이드 판독 결과와 인공지능 모델에 의한 슬라이드 조직 이미지 분류 결과를 비교하는 흐름도이다.
도 2의 조직 병리 판독 지원 장치(200)는 매일의 판독 슬라이드들이 스캔되어 슬라이드 조직 이미지로 변환되고, 동시에 인공지능 판독과 그 결과의 시각화 및 정보 처리까지의 일련의 과정을 지원한다.
조직 병리 판독 지원 장치(200)는 현미경 판독 후 판독된 모든 슬라이드를 대상으로 매일의 스캔 및 인공지능 예측을 실행할 수 있다.
도 2 및 도 8을 참조하면, 병리의사가 현미경으로 판독을 진행한다. 슬라이드들이 위 생검, 대장 생검등 표본에 따라 구분되어 제작되지 않으며, 단순히 접수번호 순으로 장기 구분 없이 섞여서 병리의사에게 입고된다. 따라서 병리의사도 장기 구분 없이 접수번호 순으로 판독한다. 입력부(210)는 병리의사에 의해 슬라이드 조직 이미지에 대응하는 슬라이드를 현미경으로 또는 슬라이드 조직 이미지를 화면을 통해 판독한 슬라이드 진단 결과를 입력한다(S810).
예를 들어, 입력부(210)는 키보드나 마우스와 같은 입력장치로, 병리의사의 타이핑에 의하거나 마우스 클릭에 의해 분석한 슬라이드 판독 결과를 입력할 수 있다.
판독된 슬라이드들을 스캐너(110)로 스캔한다. 스캐너(110)에서 생성된 슬라이드 조직 이미지는 특정 확장자 파일, 예를 들어 mrxs 확장자 파일이며, 스캐너 프로그램에서 지정된 경로에 저장된다. 해당 경로에 새 슬라이드 조직 이미지 파일이 생성되면 이를 저장부(250)에 복사한다.
조직 병리 판독 지원 장치(200)는 스캔된 슬라이드 이름(병리 번호)을 저장부(240)에서 검색하여, 병리 리포트의 검체 정보(specimen information)에서, 지정된 키워드들에 따라 각각의 장기에 해당하는 둘 이상의 인공지능 모델들 중 하나를 호출하여 구동한다(표 2 참조). 인공지능 모델에서는 슬라이드 조직 이미지 파일을 읽어 패치 분류 결과와 슬라이드 조직 이미지 분류 결과의 예측을 수행하고, 각각의 예측 결과를 저장부(240)에 저장한다(S820).
[표 2]
출력부(250)는, 병리의사에 의한 슬라이드 병리진단 결과와 함께, 조직 분류부(230)에 의한 슬라이드 조직 이미지 분류 결과와 병리진단에 의한 슬라이드 분류 결과의 불일치 여부를 추가로 표시할 수 있다(S830).
구체적으로, 스캔된 슬라이드들은 병리진단에 의한 그룹과 인공지능 예측에 의한 그룹이 정리되고, 병리의사들은 다음 날 (또는 수 시간 후) 조직 병리 판독 지원 장치(200)에 접속하여 각각의 그룹 간의 일치 여부를 확인할 수 있으며 불일치 케이스들을 우선적으로 리뷰할 수 있다.
이를 통해 병리의사가 불일치 케이스들을 "리뷰" 하고, 필요시 최초 결과(휴먼 에러에 의한 병리 진단 오류)를 "교정" 할 수 있다.
병리의사가 불일치 케이스들에 대해 병리진단 오류 여부를 판단하고(S840), 불일치 케이스들 중 병리진단이 잘못된 경우, 병리의사가 입력부(210)를 이용하여 교정한 병리진단 및 작성된 진단 오류가 발생한 원인을 입력할 수 있다(S850).
반대로, 불일치 케이스들 중 조직 분류부(230)에 의한 슬라이드 조직 이미지 분류 결과가 잘못된 경우, 전술한 바와 같이 해당 슬라이드 조직 이미지에 주석을 포함하여 학습용 슬라이드 조직 이미지를 제작하고, 인공지능 모델을 추가로 학습시킬 수 있다(S860).
도 9a는 도 2의 출력부에 표시되는 슬라이드 조직 이미지를 나타낸다. 도 9b는 도 2의 출력부에 표시되는 전문의 판독 결과, 슬라이드 미리보기 이미지, 인공지능 판독 결과와, 이전결과 정보를 표시한다. 도 9c 도 2의 출력부에 표시되는 통계정보 및 슬라이드 판독 결과와 슬라이드 조직 이미지 분류 결과의 불일치 여부를 나타낸다.
도 9a에 도시한 바와 같이, 슬라이드 조직 이미지에 표시된 각 패치별 히트맵 색상은 해당 패치에서 추론된 그룹의 결과를 나타낸다.
조직 병리 판독 지원 장치(200)는 검사 결과/통계 페이지를 통해 접수일(Receipt Date), 검사일(Inspect Date), 스캔일(Scan Date) 별로 스캔된 슬라이드 데이터를 조회할 수 있다.
먼저, 검사 결과 페이지에서는 슬라이드 별 접수일(Receipt Date), 검사일(Inspect Date), 병리 번호(Pathology No)(슬라이드 이름(slide name)), 환자명(Patient name), 병리진단에 의한 분류 결과(Classification by Pathologic Diagnosis), 인공지능 모델에 의한 분류 결과(Classification by AI Prediction), 일치/불일치 여부(Concordance), 인공지능 모델 이름(AI model by anatomy), 판독의사(Pathologist (reader)) 등에 대한 슬라이드 정보 리스트를 제공한다.
이 리스트를 통해 해당 슬라이드 조직 이미지 및 히트맵을 확인할 수 있다. 또, 단일 배율(0.5x)의 인공지능 히트맵 섬네일(AI model heatmap thumbnail)과 병리진단, 노트(Note), 이전 병리진단(Previous Pathologic Diagnosis) 등의 텍스트 정보(text information)를 제공한다. 병리의사가 일상에서의 주요 업무를 수행하면서 모든 판독된 슬라이드 조직 이미지를 단지 품질 관리 목적만을 위해서 100% 리뷰하기란 매우 어렵다. 따라서, 병리진단에 의한 분류 결과와 인공지능 예측에 의한 분류 결과가 불일치하는 케이스만 별도로 조회할 수 있도록 필터링 기능을 수행할 수 있다.
그리고, 병리의사가 자신이 판독한 슬라이드 조직 이미지를 리뷰하면 해당 행이 하이라이트되어 리뷰 수행 여부를 직관적으로 알 수 있도록 할 수 있다.
또한 통계 페이지에서는 인공지능 모델(Gastric/Colorectal)별 예측 퍼포먼스 및 분포(distribution)을 확인할 수 있으며, 테이블 내 각 셀을 클릭하는 방법을 통해서도 해당 슬라이드 조직 이미지들을 리뷰할 수 있기 때문에 병리의사들은 검사 결과 페이지에서뿐만 아니라, 통계 페이지를 통해서도 원하는 조건의 케이스들을 선택적으로 리뷰할 수 있다.
스캔된 슬라이드를 조회하여 특정 슬라이드 행 또는 열을 더블클릭하면 해당 슬라이드에 대한 슬라이드 조직 이미지 뷰어가 나타난다. 화면을 드래그하여 이미지 위치를 이동할 수 있으며, 마우스 휠을 조작하여 슬라이드 조직 이미지의 확대/축소를 지원하고, 우상단 미니맵을 통해 현재 화면에 표시되는 위치를 파악할 수 있다.
또한 하나의 검체(specimen) 내 여러 슬라이드가 존재할 경우 (예를 들어, 리컷(recut), 연속 또는 디퍼 섹션(serial or deeper section)이 존재하거나, 둘 이상의 블럭들이 존재하는 경우 등), 관련 슬라이드 조직 이미지들을 함께 묶어서 볼 수 있도록 슬라이드 조직 이미지 뷰어 좌상단에 연관 슬라이드 리스트가 제공된다. 또한 좌하단의 기능 버튼을 통해 다양한 슬라이드 조직 이미지 관련 기능을 사용할 수 있다.
인공지능 모델은 블랙박스 기법을 근간으로 하고 있기 때문에 모델이 데이터의 어떤 특징을 학습했으며, 어떤 이유로 예측 결과를 도출했는지 파악하기가 매우 어렵다. 따라서 인공지능 예측의 결과를 무조건 신뢰하는 것은 어려우며, 실제로 그 결과의 적절한 판단 근거와 그 타당성 및 신뢰성 검증이 요구된다. 이에 슬라이드 조직 이미지 뷰어에서 단일 슬라이드 조직 이미지 위에 슬라이드 조직 이미지 예측 정보와 패치 예측 정보를 함께 파악할 수 있도록 시각화하는 기능을 제공한다.
도 9a를 다시 참조하면, 슬라이드 조직 이미지 예측 정보는 슬라이드 조직 이미지 뷰어의 우측 상단의 미니맵 하단에 텍스트 라벨로 표시한다. 패치 예측 정보는 히트맵 형식으로 구현하며, 각각의 패치들에 대한 위치 정보를 기반으로 슬라이드 조직 이미지 내 각각의 패치에 위에는 예측 정보를 표현한다.
그룹 M 패치의 위치에는 레드 히트(red heat), 그룹 D 패치 위에는 블루 히트(blue heat)로, 그룹 N 패치에는 노 히트(no heat)로 모델 학습 시 슬라이드 주석에 사용했던 색깔을 동일하게 사용할 수 있다. 특히 슬라이드 조직 이미지 뷰어를 통해 슬라이드를 보는 동안 우클릭을 통해 간단히 히트맵이 'mask-on and -off' 되도록 구현할 수 있다. 슬라이드 조직 이미지 뷰어의 기본 기능인 확대/축소, 회전 등의 기능으로 모든 배율(0.5x ~ 40x)에서 슬라이드 조직 이미지와 히트맵을 동시에 볼 수 있도록 할 수 있다. 따라서 병리의사는 슬라이드 조직 이미지를 리뷰할 때, 한 장의 슬라이드 조직 이미지를 통해서 인공지능 모델이 각각 어느 부분을 어떻게 추론했는지, 모든 배율에서 수시로 히트맵을 마스크 온-오프 하면서 직관적으로 비교할 수 있다.
인공지능 분류 모델 고도화 연구는 여전히 진행 중에 있으며, 인공지능 모델의 성능 측정 및 성능 개선을 위해 실무에 적용된 인공지능 모델의 슬라이드 조직 이미지-레벨 및 패치-레벨 퍼포먼스에 대한 병리의사의 지속적인 피드백이 필요하다. 따라서 각 슬라이드 조직 이미지 리스트에 인공지능 모델의 히트맵과 예측에 대한 정성평가 내용을 기록할 수 있도록 할 수 있다. 이러한 평가 정보는 추후 모델 성능 강화를 위한 추가 데이터로 활용된다.
위 표 2의 분류에 따라, 병리진단(텍스트 정보)에서 해당 키워드가 포함된 경우 각각의 그룹으로 분류가 되고, 이 분류 결과는 인공지능 모델 예측에 따른 분류 결과와 1:1 비교하여, 일치/불일치 여부를 판별하는 기준이 된다.
각 키워드들 분류 적용의 우선순위는 M>U>D>N일 수 있다. 단, “sessile serrated adenoma/polyp”, “sessile serrated adenoma”, “sessile serrated lesion”의 경우에는 D 항목의 키워드들보다 우선할 수 있다.
예를 들어, “Adeno carcinoma , moderately differentiated”“Neoplastic lesion, suspicious for malignanc y”, “adenoma, high grade dysplasia”“Tubulovillous adenoma, low to focal high grade dysplasia”“with focal carcinoma tous change”“adenoma, grade uncertain ”, “ Malignan t neoplasm”, "Atypical glandular proliferation, favor neoplastic ”, “Neuroendocrine carcinoma ” 등의 진단은 '이태리 체의 키워드들'을 포함하고 있으며, '볼드 체의 키워드들'에 의해 최종 분류된다. Tubular adenoma , low grade dysplasia ”, “Atypical glandular proliferation, favor dysplasia ”, “glandular proliferation, indefinite for dysplasia ”, “glandular proliferation, undetermined significance ” 등의 진단은 위의 규칙에 따라 D로 분류된다. “Small cell nests with neuroendocrine feature” 도 “ Neuroendocrine tumor, grade 1 ( carcinoid tumor)”과 함께 U로 분류된다.
분류 규칙에 따라, “Tubulovillous adenoma, low to focal high grade dysplasia”가 병리진단에 의한 분류는 “M” 인데, 슬라이드 조직 이미지 인공지능 예측은 “D”로 서로 다를 경우, “불일치” 케이스로 표기 되고, 병리의사가 재검토할 대상이 된다. "Atypical glandular proliferation, favor neoplastic ”, “glandular proliferation, undetermined significance ”, “glandular proliferation, indefinite for dysplasia ” 같은 모호한 진단의 경우들도 병리진단에 의한 분류는 “각각 M, D, D”로 표시되나, 슬라이드 조직 이미지 예측은 각 케이스 소견에 따라 M, D 또는 N 으로 예측될 수 있다. 이러한 비 전형적인 케이스들도 인공지능 예측과 “불일치(Discordance)” 로 표기되면 병리의사가 다시 한 번 검토할 수 있다.
또 위와 같이 전형적이지 않은 케이스들은 자주 연속 절편 (serial cut) 또는 리컷(recut) 슬라이드가 제작되곤 하는데, 이럴 경우 각 슬라이드 조직 이미지들마다 인공지능 예측 결과가 다를 수 있다. 예를 들어 원본 슬라이드의 예측은 D이고, 연속 절편 중 한 장에서는 D, 다른 한 장 에서는 M, 마지막 디퍼 컷(deeper cut)에서는 병변이 모두 사라져서 N일 경우가 있다. 이렇게 한 블록으로부터 제작된 연속된 슬라이드의 인공지능 예측이 각각 다를 경우 M>U>D>N 의 순으로 최종 예측을 표기할 수 있다.
앞의 사례에서는 인공지능 예측은 최종적으로 “M” 으로 표기될 수 있다. 병리진단이 “TA, LGD”라면 “D”로 표기 될 것이므로 이 또한 “불일치” 케이스에 해당할 수 있다. 단순히 전문의 진단과 인공지능 예측의 일치율(정확도) 향상이 목적이라면 각 장의 슬라이드들의 예측 결과에 따라 D,D,M,N 중 가장 많은 D로 최종 분류되도록 세팅을 하면 될 것이다. 그러나, 분석 후(post-analytic) 품질 관리의 목적에 맞게, 그리고 위음성을 빠르게 검출하기 위한 목적에 맞게, 가장 비중이 높은 인공지능 예측 결과 대신, 임상적으로 더 위중한 결과를 우선으로 표기할 수 있다.
이러한 시스템으로 구성되어 있기 때문에, 사실상, 인공지능 예측의 정확도는 다른 진단 보조 목적의 인공지능 모델의 그것에 비해 낮을 수 밖에 없다. 다만, 필요 이상으로 많은 케이스를 리뷰하게 되면 효율적이지 않기 때문에, 효율적이면서도 실용적인 기능을 할 수 있는 수준의 이상적인 정확도를 확보해야 한다.
일 실시예에 따른 조직 병리 판독 지원 장치(200)는, 광학 현미경 기준 업무 흐름을 유지하면서도, 병리의사들의 진단에 대한 책임을 침해하거나 위협하지 않으며, 병리의사들의 일상적인 잠재적 휴먼 에러, 특히 위음성을 줄여 줄 수 있는 - 병리의사보다 더 잘 진단하는 것이 아닌 -, 신뢰할 만한 성능의 인공지능 모델을 개발하여, 위장관 내시경 생검 판독의 일상 실무(routine practice)에 적용할 수 있는 가장 현실적이고 적합한 방법으로서 “as a tool of daily fast QC”로 실무 적용할 수 있다.
또한, 일 실시예에 따른 조직 병리 판독 지원 장치(200)는, 일상 업무 (또는 실무)에서 잠재적인 휴먼 에러에 의한 위음성을 잘 검출하고, 즉각적으로 필요한 조치를 하도록 하기 위해, 궁극적으로 치료가 필요한 환자를 놓치는 것을 방지할 수 있다.
또한, 일 실시예에 따른 조직 병리 판독 지원 장치(200)는, 일상 실무에 바로 적용 가능하도록 실무 현장의 아티팩트 및 변수를 반영할 수 있다.
또한, 일 실시예에 따른 조직 병리 판독 지원 장치(200)는, '침윤암과 이형성', '종양성 변화와 반응성 변화' 등의 정확한 감별을 위한 기준을 제공하는 것은 우리의 목표가 아니며, 이는 병리의사 각자의 고유 권한 임을 존중할 수 있다.
도 10은 다른 실시예에 따른 조직 병리 판독 지원 방법의 흐름도이다.
도 10을 참조하면, 조직 병리 판독 지원 방법(1000)은 입력 단계(S1010), 전처리 단계(S1020), 학습 단계(S1030), 조직 분류 단계(S1040), 저장 단계(S1050) 및 출력 단계(S1060)를 포함한다.
입력 단계(S1010)는 슬라이드 정보와 슬라이드 조직 이미지를 입력한다.
도 4을 참조하여 설명한 바와 같이, 전처리 단계(S1020)는 입력된 슬라이드 조직 이미지를 복수의 패치들로 분할한다.
도 5 및 도 7을 참조하여 설명한 바와 같이, 학습단계(S1030)는 인공지능 모델에 대해, 병변이 존재하는 경우 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 복수의 패치들로 분할하고 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고, 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과에 대한 학습을 진행한다.
도 7을 참조하여 설명한 바와 같이, 조직 분류 단계(S1040)는 학습된 인공지능 모델을 이용하여 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과를 생성한다.
저장 단계(S1040)는 슬라이드 정보와 슬라이드 조직 이미지, 복수의 패치들, 패치들에 대한 패치 정보, 패치 분류 결과, 슬라이드 조직 분류 결과를 저장한다.
출력 단계(S1050)는 복수의 패치들 각각의 패치 분류 결과와 슬라이드 조직 분류 결과를 출력한다.
학습용 슬라이드 조직 이미지는, 병변이 존재하는 경우 병변별로 다른 색깔로 병변 부위를 단일의 폐곡선으로 표시할 수 있다.
학습용 슬라이드 조직 이미지는 인위적인 개선 없이 슬라이드 스캐너에 의해 스캔된 슬라이드 조직 이미지를 그대로 사용할 수 있다.
학습된 인공지능 모델은 둘 이상이며, 슬라이드 정보는 슬라이드 조직 이미지의 장기를 포함하고, 조직 분류 단계(S1030)에서, 슬라이드 조직 이미지의 장기에 따라 둘 이상의 인공지능 모델들 중 하나를 선택하여 조직 이미지를 분류할 수 있다. 전술한 바와 같이 학습된 인공지능 모델은 위장과 대장의 장기를 대상으로 학습된 인공지능 모델을 예시적으로 설명하였다. 그러나, 예시된 위장, 대장 모델 이외에도 유사한 방식으로 다른 장기 (유방, 전립선, 피부 등등등...)에 대한 모델을 추가 개발하여 동일한 방식으로 일상 품질 관리 시스템 으로서 적용할 수 있다.
도 7 및 도 9a를 참조하여 설명한 바와 같이, 출력 단계(S1060)에서, 패치 분류 결과를 각 패치의 병변의 위치별로 고유의 색깔로 표시하고, 슬라이드 조직 분류 결과를 문자나 숫자, 색깔 중 하나로 표시할 수 있다.
도 7을 참조하여 설명한 바와 같이, 재구성된 슬라이드 조직 이미지는 병변의 위치별로 고유의 색깔로 표시한 복수의 패치들을 결합하여 재구성되고, 출력 단계(S1060)에서, 재구성된 슬라이드 조직 이미지와 함께 문자 또는 숫자로 표기되는 슬라이드 조직 분석 결과를 표시할 수 있다.
입력 단계(S1010)에서, 병리의사에 의해 슬라이드 조직 이미지에 대응하는 슬라이드를 현미경으로 또는 슬라이드 조직 이미지를 화면을 통해 판독한 병리진단 결과를 입력한다.
이후에 출력 단계(S1060)에서, 도 9b를 참조하여 설명한 바와 같이, 병리진단 결과와 함께, 조직 분류 단계(S1040)에서 슬라이드 조직 이미지 분류 결과와 병리진단에 의한 분류 결과의 불일치 여부를 추가로 표시할 수 있다.
구체적으로, 입력 단계(S1010)에서 입력되는 것은 병리의사가 슬라이드를 분석, 판독한 내용, 즉 "병리진단" 정보(텍스트 정보)일 수 있다. 이 병리진단 정보는 분류 규칙에 의해서 M, D, N 세 그룹 중 하나로 "분류" 될 수 있다. 그리고 인공지능 모델은 독립적으로 M, D, N 세 그룹 중 하나를 예측할 수 있다. 출력 단계(S1060)에서 "병리진단 정보(텍스트 정보)에 의한 분류 결과" 와 각각에 대응하는 "인공지능 모델 (이미지 정보)에 의한 분류 결과"의 일치 또는 불일치 여부를 표시한다.
조직 분류 단계(S1040)에서 슬라이드 조직 이미지 분류 결과와 병리진단에 의한 분류 결과의 불일치 여부를 추가로 표시하는 것을 통해 인공지능 모델을 조직병리 판독 일상 업무에서 진단에 대한 자동검증 시스템을 구축하여 일상 업무의 진단 품질을 관리할 수 있다.
도 11은 본 발명의 실시예들에 따른 컴퓨팅 시스템(1100)의 구성도이다.
도 11을 참조하면, 컴퓨팅 시스템(1100)은 메모리(1110) 및 프로세서(1120)를 포함할 수 있다.
메모리(1110)는 조직이 촬영된 슬라이드 조직 이미지 및 슬라이드 조직 이미지가 분할된 복수의 패치들을 저장할 수 있으나, 별도의 대용량 스토리지 서버 등에 별도로 저장할 수도 있다. 메모리(1110)는 휘발성 메모리(e.g. SRAM, DRAM) 또는 비휘발성 메모리(e.g. NAND Flash)일 수 있다.
프로세서(1120)는 인공지능 모델에 대해, 병변이 존재하는 경우 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 복수의 패치들로 분할하고 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과에 대한 학습을 진행할 수 있다. 프로세서(1120)는 학습된 인공지능 모델을 이용하여 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 복수의 패치들과 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과를 생성할 수 있다.
조직 병리 판독 지원 장치(200)는 도 11에 도시한 컴퓨팅 시스템(1100)으로 구성할 수도 있고, 스캔 파일(WSI이미지)을 저장할 스토리지와 GPU 프로세서와 일반 메모리가 장착된 GPU 서버로 구성할 수도 있으나, 본 발명은 이에 제한되지 않는다.
전술한 조직 병리 판독 지원 장치(200)는, 프로세서, 메모리, 사용자 입력 장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 수 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력 장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력 장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력 수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동 장치등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
한편, 컴퓨팅 장치는 고전(classic) 컴퓨팅 장치가 아니라 양자(quantum) 컴퓨팅 장치일 수 있다. 양자 컴퓨팅 장치는 비트가 아닌 큐비트(Qubit) 단위로 연산을 수행한다. 큐비트는 0과 1이 동시에 중첩(superposition)되는 상태를 가질 수 있으며, M개의 큐비트가 있으면 동시에 2^M개의 상태를 표현할 수 있다.
양자 컴퓨팅 장치는 양자 연산을 수행하기 위해 하나 이상의 큐비트를 입력 받아 지정된 연산을 수행하는 다양한 종류의 양자 게이트들(e.g. Pauli / Rotation / Hadamard / CNOT / SWAP / Toffoli)을 사용할 수 있고, 양자 게이트들을 조합하여 특수한 기능을 하는 양자 회로를 구성할 수 있다.
양자 컴퓨팅 장치는 기존의 인공 신경망(e.g. CNN, RNN)이 수행하는 기능을 적은 파라미터를 사용하면서도 더 빠른 속도로 수행할 수 있는 양자 인공 신경망(e.g. QCNN, QGRNN)을 사용할 수 있다.
또한 전술한 조직 병리 판독 지원 방법(1000)은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 조직 병리 판독 지원 방법(1000)을 수행할 수 있도록 코딩된 컴퓨터 판독 가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 조직 병리 판독 지원 방법(1000)은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 조직 병리 판독 지원 방법(1000)은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 조직 병리 판독 지원 방법(1000)을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델에서 소프트웨어로 학습한 결과(가중치)를 배열 구조로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 조직 병리 판독 지원 방법(1000)은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성 요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 조직 병리 판독 지원 방법(1000)을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 조직 병리 판독 지원 방법(1000)을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(인터페이스)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 10를 통해 설명된 조직 병리 판독 지원 방법(1000)은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 조직 병리 판독 지원 방법(1000)은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 조직 병리 판독 지원 방법(1000)은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 슬라이드 정보와 슬라이드 조직 이미지를 입력하는 입력부;
    입력된 슬라이드 조직 이미지를 복수의 패치들로 분할하는 전처리부;
    학습된 인공지능 모델을 이용하여, 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 상기 복수의 패치들과 상기 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 분류 결과를 생성하는 조직 분류부;
    상기 슬라이드 정보와 상기 슬라이드 조직 이미지, 상기 복수의 패치들, 상기 패치들에 대한 패치 정보, 상기 패치 분류 결과, 상기 슬라이드 조직 이미지 분류 결과를 저장하는 저장부; 및
    상기 복수의 패치들 각각의 패치 분류 결과와 상기 슬라이드 조직 이미지 분류 결과를 출력하는 출력부를 포함하되,
    상기 학습된 인공지능 모델은, 병변이 존재하는 경우 상기 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 상기 전처리부를 이용하여 복수의 패치들로 분할하고 상기 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고, 상기 복수의 패치들과 상기 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 이미지 분류 결과에 대한 학습을 진행하고,
    상기 학습용 슬라이드 조직 이미지는, 상기 병변이 존재하는 경우 상기 병변별로 다른 색깔로 상기 병변 부위를 단일의 폐곡선으로 표시하고,
    상기 재구성된 슬라이드 조직 이미지는 병변의 위치별로 고유의 색깔로 표시한 복수의 패치들을 결합하여 재구성되고,
    상기 입력부는, 병리의사에 의해 슬라이드 조직 이미지에 대응하는 슬라이드를 현미경으로 또는 슬라이드 조직 이미지를 화면을 통해 판독한 슬라이드 분석 결과인 병리진단을 입력하고,
    상기 출력부는, 상기 패치 분류 결과를 각 패치의 병변의 위치별로 고유의 색깔로 표시하고, 상기 슬라이드 조직 이미지 분류 결과를 문자나 숫자, 색깔 중 적어도 하나로 표시하고, 상기 병리의사에 의한 상기 슬라이드 판독 결과인 병리 진단과 함께, 상기 조직 분류부에 의한 상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과의 불일치 여부를 추가로 표시하는, 조직 병리 판독 지원 장치.
  2. 제1항에 있어서,
    상기 학습용 슬라이드 조직 이미지는 인위적인 개선 없이 슬라이드 스캐너에 의해 스캔된 슬라이드 조직 이미지를 그대로 사용하는, 조직 병리 판독 지원 장치.
  3. 제1항에 있어서,
    상기 학습된 인공지능 모델은 둘 이상이며, 상기 슬라이드 정보는 상기 슬라이드 조직 이미지의 장기를 포함하고,
    상기 조직 분류부는 상기 슬라이드 조직 이미지의 장기에 따라 둘 이상의 인공지능 모델들 중 하나를 선택하여 조직 이미지를 분류하는, 조직 병리 판독 지원 장치.
  4. 제1항에 있어서,
    상기 출력부는 상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과 중 하나가 양성인 경우 우선순위로 표시하는, 조직 병리 판독 지원장치.
  5. 제1항에 있어서,
    상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과의 불일치시 상기 병리진단에 의한 분류 결과가 잘못된 경우,
    상기 입력부를 이용하여 교정한 병리진단 및 작성된 진단 오류가 발생한 원인을 입력하는, 조직 병리 진단 장치.
  6. 제5항에 있어서,
    상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과의 불일치시 상기 슬라이드 조직 이미지 분류 결과가 잘못된 경우, 해당 슬라이드 조직 이미지에 주석을 포함하여 학습용 슬라이드 조직 이미지를 제작하고, 상기 인공지능 모델을 추가로 학습시키는, 조직 병리 진단 장치.
  7. 제1항에 있어서,
    하나의 검체(specimen) 내 여러 슬라이드가 존재할 경우, 상기 출력부는 관련 슬라이드 조직 이미지들을 함께 묶어서 볼 수 있도록 슬라이드 조직 이미지 뷰어 좌상단에 연관 슬라이드 리스트를 제공하는, 조직 병리 진단 장치.
  8. 슬라이드 정보와 슬라이드 조직 이미지를 입력하는 입력 단계;
    입력된 슬라이드 조직 이미지를 복수의 패치들로 분할하는 전처리 단계;
    인공지능 모델에 대해, 병변이 존재하는 경우 상기 병변 부위를 표시한 학습용 슬라이드 조직 이미지를 복수의 패치들로 분할하고 상기 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과에 대한 학습을 진행하고, 상기 복수의 패치들과 상기 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 이미지 분류 결과에 대한 학습을 진행하는 학습 단계;
    상기 학습된 인공지능 모델을 이용하여 복수의 패치들 각각의 분류를 추론하여 패치 분류 결과를 생성하고 상기 복수의 패치들과 상기 패치의 분류 결과들을 종합하여 재구성된 슬라이드 조직 이미지의 분류를 추론하여 슬라이드 조직 이미지 분류 결과를 생성하는 조직 분류 단계;
    상기 슬라이드 정보와 상기 슬라이드 조직 이미지, 상기 복수의 패치들, 상기 패치들에 대한 패치 정보, 상기 패치 분류 결과, 상기 슬라이드 조직 이미지 분류 결과를 저장하는 저장 단계; 및
    상기 복수의 패치들 각각의 패치 분류 결과와 상기 슬라이드 조직 이미지 분류 결과를 출력하는 출력 단계를 포함하고,
    상기 학습용 슬라이드 조직 이미지는, 상기 병변이 존재하는 경우 상기 병변별로 다른 색깔로 상기 병변 부위를 단일의 폐곡선으로 표시하고,
    상기 재구성된 슬라이드 조직 이미지는 병변의 위치별로 고유의 색깔로 표시한 복수의 패치들을 결합하여 재구성되고,
    상기 입력 단계에서, 병리의사에 의해 상기 슬라이드 조직 이미지에 대응하는 슬라이드를 현미경으로 또는 화면을 통한 슬라이드 조직 이미지를 분석한 슬라이드 판독 결과인 병리진단을 입력하고,
    상기 출력 단계에서, 상기 패치 분류 결과를 각 패치의 병변의 위치별로 고유의 색깔로 표시하고, 상기 슬라이드 조직 이미지 분류 결과를 문자나 숫자, 색깔 중 하나로 표시하고, 상기 병리의사에 의한 상기 슬라이드 판독 결과인 병리 진단과 함께, 상기 조직 분류 단계에서 상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과의 불일치 여부를 추가로 표시하는 조직 병리 판독 지원 방법.
  9. 제8항에 있어서,
    상기 학습용 슬라이드 조직 이미지는 인위적인 개선 없이 슬라이드 스캐너에 의해 스캔된 슬라이드 조직 이미지를 그대로 사용하는, 조직 병리 판독 지원 방법.
  10. 제8항에 있어서,
    상기 학습된 인공지능 모델은 둘 이상이며, 상기 슬라이드 정보는 상기 슬라이드 조직 이미지의 장기를 포함하고,
    상기 조직 이미지 분류 단계에서, 상기 슬라이드 조직 이미지의 장기에 따라 상기 둘 이상의 인공지능 모델들 중 하나를 선택하여 조직 이미지를 분류하는, 조직 병리 판독 지원 방법.
  11. 제8항에 있어서,
    상기 출력 단계에서 상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과 중 하나가 양성인 경우 우선순위로 표시하는, 조직 병리 판독 지원 방법.
  12. 제8항에 있어서,
    상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과의 불일치시 상기 병리진단에 의한 분류 결과가 잘못된 경우,
    상기 입력 단계에서 교정한 병리진단 및 작성된 진단 오류가 발생한 원인을 입력하는, 조직 병리 진단 방법.
  13. 제12항에 있어서,
    상기 슬라이드 조직 이미지 분류 결과와 상기 병리진단에 의한 분류 결과의 불일치시 상기 슬라이드 조직 이미지 분류 결과가 잘못된 경우, 해당 슬라이드 조직 이미지에 주석을 포함하여 학습용 슬라이드 조직 이미지를 제작하고, 상기 인공지능 모델을 추가로 학습시키는, 조직 병리 진단 방법.
  14. 제8항에 있어서,
    하나의 검체(specimen) 내 여러 슬라이드가 존재할 경우, 상기 출력 단계에서 관련 슬라이드 조직 이미지들을 함께 묶어서 볼 수 있도록 슬라이드 조직 이미지 뷰어 좌상단에 연관 슬라이드 리스트를 제공하는, 조직 병리 진단 방법.
KR1020220106723A 2022-08-25 2022-08-25 조직 병리 판독 지원 장치 및 그 방법 KR102622960B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220106723A KR102622960B1 (ko) 2022-08-25 2022-08-25 조직 병리 판독 지원 장치 및 그 방법
PCT/KR2023/012646 WO2024043751A1 (ko) 2022-08-25 2023-08-25 조직 병리 판독 지원 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220106723A KR102622960B1 (ko) 2022-08-25 2022-08-25 조직 병리 판독 지원 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102622960B1 true KR102622960B1 (ko) 2024-01-10

Family

ID=89511634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220106723A KR102622960B1 (ko) 2022-08-25 2022-08-25 조직 병리 판독 지원 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102622960B1 (ko)
WO (1) WO2024043751A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820271B1 (ko) * 2005-08-10 2008-04-08 캐논 가부시끼가이샤 Ｘ선 화상 촬영 장치 및 관리 방법
JP5857990B2 (ja) * 2013-03-14 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020046986A1 (en) * 2018-08-30 2020-03-05 Applied Materials, Inc. System for automatic tumor detection and classification
WO2021132633A1 (ja) * 2019-12-26 2021-07-01 公益財団法人がん研究会 Ａｉを用いた病理診断支援方法、及び支援装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Gabriele Campanella 외, Clinical-grade computational pathology using weakly supervised deep learning on whole slide images, Nature Medicine, 2019.07.15., Vol.25, pp.1301-1309.* *
Muhammed Talo, Convolutional Neural Networks for Multi-class Histopathology Image Classification, arXiv, 2019., pp.1-16. *
Shidan Wang 외, Pathology Image Analysis Using Segmentation Deep Learning Algorithms, The American Journal of Pathology, 2019.08.19., Vol.189, No.9, pp.1686-1698. *
Sobhan Hemati 외, CNN and Deep Sets for End-to-End Whole Slide Image Representation Learning, open review, 2021.04.01., pp.1-11. *

Also Published As

Publication number Publication date
WO2024043751A1 (ko) 2024-02-29

Similar Documents

Publication Publication Date Title
Bulten et al. Epithelium segmentation using deep learning in H&E-stained prostate specimens with immunohistochemistry as reference standard
Sakamoto et al. A narrative review of digital pathology and artificial intelligence: focusing on lung cancer
Silva-Rodríguez et al. Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection
EP4083907A1 (en) Pathological diagnosis assisting method using ai, and assisting device
Ghahremani et al. Deep learning-inferred multiplex immunofluorescence for immunohistochemical image quantification
JP7217893B2 (ja) 光学組織像の分析及び遠隔読影のためのシステム及び方法
Jose et al. Generative adversarial networks in digital pathology and histopathological image processing: a review
JP2022527240A (ja) 計算病理学のための説明可能なＡＩ（ｘＡＩ）プラットフォーム
Salman et al. Automated prostate cancer grading and diagnosis system using deep learning-based Yolo object detection algorithm
US11645753B2 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
Levy et al. A large-scale internal validation study of unsupervised virtual trichrome staining technologies on nonalcoholic steatohepatitis liver biopsies
Hu et al. A state-of-the-art survey of artificial neural networks for whole-slide image analysis: from popular convolutional neural networks to potential visual transformers
Zhang et al. Dive into the details of self-supervised learning for medical image analysis
IL301650A (en) A method for image processing of tissues and a system for image processing of tissues
Alabrak et al. Artificial intelligence role in subclassifying cytology of thyroid follicular neoplasm
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Fell et al. Detection of malignancy in whole slide images of endometrial cancer biopsies using artificial intelligence
KR102622960B1 (ko) 조직 병리 판독 지원 장치 및 그 방법
He et al. An image inpainting-based data augmentation method for improved sclerosed glomerular identification performance with the segmentation model EfficientNetB3-Unet
Basso et al. Machine learning in renal pathology
Rai Deep learning for necrosis and mitosis detection in canine soft tissue sarcoma whole slide images
Yang et al. Deep learning system for true-and pseudo-invasion in colorectal polyps
Ben Taieb Analyzing cancers in digitized histopathology images
Prabhakaran et al. Addressing persistent challenges in digital image analysis of cancerous tissues
US20240037740A1 (en) Method and system for automatic ihc marker-her2 score

Legal Events

Date Code Title Description
GRNT Written decision to grant