WO2025147161A1 - 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법 - Google Patents

인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법 Download PDF

Info

Publication number
WO2025147161A1
WO2025147161A1 PCT/KR2025/000166 KR2025000166W WO2025147161A1 WO 2025147161 A1 WO2025147161 A1 WO 2025147161A1 KR 2025000166 W KR2025000166 W KR 2025000166W WO 2025147161 A1 WO2025147161 A1 WO 2025147161A1
Authority
WO
WIPO (PCT)
Prior art keywords
frozen section
artificial intelligence
brain
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/000166
Other languages
English (en)
French (fr)
Inventor
김태정
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Catholic University of Korea
Original Assignee
Industry Academic Cooperation Foundation of Catholic University of Korea
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Catholic University of Korea filed Critical Industry Academic Cooperation Foundation of Catholic University of Korea
Publication of WO2025147161A1 publication Critical patent/WO2025147161A1/ko
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/42—Low-temperature sample treatment, e.g. cryofixation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Definitions

  • the present disclosure relates to an artificial intelligence-based brain frozen section examination and diagnosis device and method.
  • Frozen section examination is a method of pathological examination performed during surgery to determine the direction of the surgery or the extent of the surgery.
  • pathology specimens are made into pathology slides for pathological diagnosis through the process of fixation, dehydration, embedding, sectioning, and staining. It usually takes one day for the fixation, dehydration, and embedding steps to be completed.
  • frozen section examination has the advantage of being able to be performed during surgery, as it takes about 30 minutes to produce pathology slides after freezing, cutting, and staining without going through the fixation, dehydration, and embedding stages.
  • pathology slides produced in this way have many problems, such as the cells being clumped and the staining pattern being irregular, which is disadvantageous in histomorphology compared to slides that have undergone conventional fixation, dehydration, and embedding, and thus there is a high risk of misdiagnosis.
  • Such misdiagnosis can have a decisive impact on, for example, deciding on the direction or extent of surgery, leading to irreversible results, and therefore requires countermeasures.
  • the present disclosure aims to provide a device and method for providing brain frozen section examination and diagnostic information based on artificial intelligence in conjunction with digital pathology.
  • An AI-based brain frozen section examination diagnostic device comprises: a memory; and a processor including an AI engine for the brain frozen section examination and diagnosis, wherein the processor can obtain a first frozen section image of the brain, obtain a second frozen section image corresponding to the first frozen section image of the brain, and generate and provide a diagnostic result for the brain frozen section examination based on the first frozen section image and the second frozen section image using the AI engine.
  • the processor may generate a second frozen section image corresponding to the first frozen section image of the brain using the artificial intelligence engine.
  • the processor can generate the second frozen section image by converting the first frozen section image into a HE (Histogram Equalization) image.
  • HE Heistogram Equalization
  • the artificial intelligence engine may include a plurality of models required for preprocessing for learning.
  • the first model may be a preprocessing model for learning diagnostic content from a frozen section image.
  • the second model may be a preprocessing model for learning related to conversion from a frozen section image to the HE image.
  • the third model may be a model that learns by labeling HE converted images and diagnostic content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biochemistry (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법에 관한 것으로, 본 장치는 메모리; 및 상기 뇌 동결절편 검사 및 진단을 위한 인공지능 엔진을 포함한 프로세서를 포함하고, 상기 프로세서는, 상기 뇌의 제1 동결절편 이미지를 획득하고, 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 획득하고, 상기 인공지능 엔진을 이용하여 상기 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 뇌의 동결절편 검사에 대한 진단 결과를 생성하여 제공할 수 있다.

Description

인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법
본 개시는 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법에 관한 것이다.
동결절편 검사는 수술 도중 수술 방향을 결정하기 위해 또는 수술 범위를 결정하기 위해 시행하는 병리검사의 한 방법을 말한다.
일반적으로 병리검체는 고정, 탈수, 포매, 박절, 염색의 과정을 거쳐 병리진단을 하기 위한 병리 슬라이드로 제작되며, 통상적으로 고정, 탈수, 포매 단계까지 하루가 소요된다.
반면 동결절편검사는 고정, 탈수, 포매 단계를 거치지 않고 동결, 박절, 염색의 단계 후 병리 슬라이드로 제작되어 약 30분 정도 소요된다는 점에서 수술 도중 검사를 하는 것이 가능한 이점이 있다.
그러나 이렇게 제작된 병리 슬라이드는, 종래 고식적인 고정, 탈수, 포매를 거친 슬라이드에 비해, 세포가 뭉게지고 염색상이 불규칙하여 조직형태학적으로 불리한 점이 많아 오진 우려가 많은 문제점이 있었다.
이러한 오진은 예를 들어, 수술 방향이나 수술 범위 결정에 결정적인 영향을 주게 되어 돌이킬 수 없는 결과를 도출할 수 있어, 이에 대한 보완책 마련이 요구된다.
본 개시에서는 디지털 병리 연계하여 인공지능 기반으로 뇌 동결절편 검사 및 진단 정보를 제공하는 장치 및 방법을 제공하는 것을 일 과제로 한다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 인공지능 기반 뇌 동결절편 검사 진단 장치는, 메모리; 및 상기 뇌 동결절편 검사 및 진단을 위한 인공지능 엔진을 포함한 프로세서를 포함하고, 상기 프로세서는, 상기 뇌의 제1 동결절편 이미지를 획득하고, 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 획득하고, 상기 인공지능 엔진을 이용하여 상기 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 뇌의 동결절편 검사에 대한 진단 결과를 생성하여 제공할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 프로세서는, 상기 인공지능 엔진을 이용하여 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 생성할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 프로세서는, 상기 제1 동결절편 이미지를 HE(Histogram Equalization) 이미지로 변환하여 상기 제2 동결절편 이미지를 생성할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 인공지능 엔진은, 학습을 위한 전처리에 필요한 복수의 모델을 포함할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 제1 모델은 동결절편 이미지로부터 진단 내용 관련 학습을 위한 전처리 모델일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 제1 모델은 동결절편 이미지와 진단 내용을 라벨링(labeling)하여 학습하는 모델일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 제2 모델은 동결절편 이미지로부터 상기 HE 이미지로 변환 관련 학습을 위한 전처리 모델일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 제2 모델은 동결절편 이미지와 HE 이미지를 라벨링하여 학습하는 모델일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 제3 모델은 HE 변환 이미지로부터 진단 내용 관련 학습을 위한 전처리 모델일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 제3 모델은 HE 변환 이미지와 진단 내용을 라벨링하여 학습하는 모델일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 프로세서는, 상기 복수의 모델 중 적어도 둘 이상을 앙상블로 결정할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 프로세서는, 상기 각 모델의 앙상블 가중치를 변경 제어할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 프로세서는, 상기 동결절편 이미지에 이용되는 조직의 크기에 따라 가중치를 변경 제어할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 프로세서는, 상기 조직의 크기가 임계치 이상이면 동결절편 이미지의 가중치를 높게 설정하고, 상기 조직의 크기가 임계치 미만이면 HE 변환 이미지의 가중치를 낮게 설정할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 전자장치의 프로세서에 의해 수행되는, 인공지능 기반 뇌 동결절편 검사 진단 방법은, 상기 뇌의 제1 동결절편 이미지를 획득하는 단계; 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 획득하는 단계; 및 상기 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 뇌의 동결절편 검사에 대한 진단 결과를 생성하고 제공하는 단계를 포함할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 디지털 병리 연계하여 인공지능 기반으로 뇌 동결절편 검사 및 진단 정보를 제공하는 장치 및 방법을 통해 빠르고 정확하게 뇌 동결절편 검사 및 진단을 수행할 수 있는 이점이 있다.
도 1은 본 개시의 일실시예에 따른 인공지능 기반 뇌 동결절편 검사 진단 시스템의 개략도이다.
도 2는 도 1의 이미지획득장치의 구성 블록도이다.
도 3 내지 6은 도 2의 데이터처리부 또는 제어부의 구성 블록도이다.
도 7은 본 개시에 일 실시예에 따른 인공지능 기반 뇌 동결절편 검사 진단 방법을 설명하기 위해 도시한 순서도이다.
도 8은 도 7의 동결절편, 동결절편 이미지, 및 HE 변환 이미지의 일 예를 설명하기 위해 도시한 도면이다.
도 9 및 10은 본 개시에 다른 실시예에 따른 인공지능 기반 뇌 동결절편 검사 진단 방법을 설명하기 위해 도시한 순서도이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 장치'는 연산 처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버, 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(HMD: head-mounted device) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도 형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들 (weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN(Convolutional Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크(Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련 데이터로서 입력 데이터와 출력 데이터가 같이 제공됨으로써 문제(입력 데이터)의 해답(출력데이터)이 정해져 있는 지도학습(supervised learning), 및 출력 데이터 없이 입력데이터만 제공되어 문제(입력 데이터)의 해답(출력 데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태(State)에서 어떤 행동(Action)을 취할 때마다 외부 환경에서 보상(Reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱신경망(CNN; Convolutional Neural Network), 순환신경망(RNN; Recurrent Neural Network), 트랜스포머(Transformer), 생성적 대립 신경망(GAN; generative adversarial networks) 등으로 구분될 수 있다.
본 장치와 시스템은 인공지능 모델을 포함할 수 있다. 인공지능 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력(input)으로부터 예측하고자 하는 결과(output)를 추론할 수 있다.
프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크(Deep Neural Network)를 포함할 수 있다.
뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
전술한 바와 같이, 동결절편 검사는 예를 들어, 수술 도중 수술 방향을 결정하기 위하여 또는 수술 범위를 결정하기 위하여 시행하는 병리검사의 한 방법을 나타낸다.
관련하여, 본 명세서에서는 본 개시의 다양한 실시예들 중 적어도 하나에 따라 디지털 병리 연계 인공지능 기반 뇌 동결절편 검사 및 진단 시스템, 장치 및 방법을 개시한다.
본 개시에서는 인공지능 기반으로 동결절편 검사 및 진단을 위하여 예를 들어, 뇌 동결절편검사 판독 알고리즘, 뇌 동결절편 이미지의 고식적 고정 프로세스 (고정 탈수 포매 박절 염색) 가상 HE 이미지 변환 알고리즘, 상기 뇌 동결절편 가상 HE 변환 이미지 판독 알고리즘, 뇌동결절편 검사 판독 및 HE 변환 이미지 통합 진단 알고리즘 등을 개시한다.
따라서, 본 개시에 따르면, 사용자 예컨대, 의료기관은 뇌 동결절편 이미지의 HE 변환 이미지, 뇌동결절편 이미지 진단, 뇌동결절편 HE 변환 이미지 진단, 최종 종합 진단 결과 정보 등을 제공받을 수 있다.
본 개시는, 제1 동결절편 이미지와 제2 동결절편 이미지를 비교할 수 있다. 그리고 본 개시는 각각의 이미지에 대한 인공지능 기반 진단 내용 정보를 생성하여 제공할 수 있다. 이후, 상기 두 이미지의 인공지능 기반 분석 결과에 기초하여 최종 진단을 생성하여 제공할 수 있다. 이와 같이, 본 개시에 따르면, 진단 결과의 정확성을 높이고 빠르고 간편하게 동결절편 검사 및 진단을 수행할 수 있는 이점이 있다.
상기에서, 제1 동결절편 이미지는 오리지널(Original)(또는 로(raw)) 동결절편 이미지이다.
상기에서, 제2 동결절편 이미지는 인공지능 기반 제1 동결절편 이미지를 변환하여 생성하는 이미지를 나타낼 수 있다. 상기 제2 동결절편 이미지는 예를 들어, HE(Histogram Equalization) 이미지를 포함할 수 있다. 다만, 본 개시가 이에 한정되는 것은 아니다.
이하 첨부된 도면을 참조하여, 본 개시의 다양한 실시예들을 설명하면, 다음과 같다.
도 1은 본 개시의 일실시예에 따른 인공지능 기반 뇌 동결절편 검사 진단 시스템(1)의 개략도이다.
도 2는 도 1의 이미지획득장치(10)의 구성 블록도이다.
도 3 내지 6은 도 2의 데이터처리부(220) 또는 제어부(230)의 구성 블록도이다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 인공지능 기반 뇌 동결절편 검사 진단 시스템(1)은, 뇌의 동결절편에 대한 이미지(이하 ‘제1 동결절편 이미지)와 상기 제1 동결절편 이미지에 대응하도록 변환된 제2 동결절편 이미지를 기초로 하여 동결절편 검사의 진단 결과를 제공할 수 있다. 이 때, 상기 제2 동결절편 이미지는 HE 방식으로 변환된 이미지를 포함할 수 있다. 다만, 본 개시가 이에 한정되는 것은 아니다.
도 1을 참조하면, 본 개시의 다양한 실시예들 중 적어도 하나에 따른 인공지능 기반 뇌 동결절편 검사 진단 시스템(1)은, 이미지획득장치(10)와 단말기(30)를 포함하여 구성될 수 있다.
이 때, 본 개시의 다양한 실시예들 중 적어도 하나에 따른 인공지능 기반 뇌 동결절편 검사 진단 시스템(1)은, 서버(20)를 더 포함하여 구성될 수 있다. 다만, 상기 서버(20)는 필수 구성요소가 아닐 수도 있다.
서버(20)는 후술하는 이미지획득장치(10)의 기능 내지 구성요소 전부 또는 그 중 일부를 중복하여 담당하거나 대체할 수 있다.
이러한 서버(20)는, 클라우드(Cloud) 형태로 제공될 수도 있으며, 원격에 위치하여 신호 처리를 위하여 다양한 데이터처리모듈을 포함하여 구현될 수 있다.
이미지획득장치(10)는 동결절편 검사를 위해 사용자(즉, 대상 환자)로부터 채취한 예를 들어, 도 8의 (a)와 같은 조직이 동결되고, 동결절편 슬라이드(또는 병리 슬라이드)로 생성된 후에 디지털 병리를 거쳐 도 8의 (b)와 같은 동결절편 이미지, 즉 제1 동결절편 이미지를 획득할 수 있다.
이미지획득장치(10)는 대상 환자에 대하여 디지털 병리 과정 이후에 획득된 제1 동결절편 이미지로부터 다시 제2 동결절편 이미지를 획득할 수 있다.
이미지획득장치(10)는 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여, 대상 환자의 생체 조직에 대한 동결절편 검사 결과 또는 진단 결과를 생성하여 단말기(30) 또는 서버(20)를 거쳐 단말기(30)로 제공할 수 있다.
전술한 이미지획득장치(10)의 전부 또는 일부 기능은 서버(20)에 의해 담당될 수 있다.
이 경우, 서버(20)는 이미지획득장치(10)로부터 제1 동결절편 이미지가 업로드되면, 업로드된 제1 동결절편 이미지에 기초하여 제2 동결절편 이미지를 생성할 수 있다.
서버(20)는 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 대상 환자의 생체 조직에 대한 동결절편 검사 결과 또는 진단 결과를 생성하여 단말기(30) 또는/및 이미지획득장치(10)를 거쳐 단말기(30)로 제공할 수 있다.
단말기(30)는 이미지획득장치(10) 또는/및 서버(20)로 대상 환장의 뇌 조직에 대한 동결절편 검사를 의뢰하고, 전술한 바와 같이 동결절편 검사 결과를 획득하여 디스플레이, 스피커 등과 같은 출력장치(미도시)를 통해 관련 정보를 제공할 수 있다.
한편, 실시예에 따라, 단말기(30)는 필수 구성요소가 아닐 수 있다. 예를 들어, 단말기(30)는 이미지획득장치(10)에 의해 대체될 수 있다. 이 경우, 이미지획득장치(10)는 전술한 출력장치를 구비하여 관련 정보를 제공할 수 있는 것이 바람직하다.
상기에서, 출력장치에는 디스플레이, 스피커(이 때, 스피커는 반드시 단말기(30) 내장일 필요는 없으며, 단말기(30)와 연동되어 데이터를 출력할 수 있는 형태의 스피커이면 족한다) 등이 포함될 수 있다.
도 1에 도시된 각 구성요소 사이의 연결은, 유/무선 통신 방식이 참고될 수 있다. 설명의 편의상, 본 개시에서는 블루투스, BLE(BluetoothTM Low Energy) 지그비나 와이파이와 같은 무선 통신 방식을 이용하는 것을 일 예로 한다.
도 2에서는 본 개시의 다양한 실시예들 중 적어도 하나에 따른 이미지획득장치(10)의 구성요소가 도시되었다.
이 때, 이미지획득장치(10)는 예를 들어, 인공지능 기반 뇌 동결절편 검사 진단 장치로 볼 수 있다.
인공지능 기반 뇌 동결절편 검사 진단 장치(10)는, 메모리(240)와 프로세서를 포함하여 구성될 수 있다.
프로세서는 상기 뇌 동결절편 검사 및 진단을 위한 인공지능 엔진(AI engine)을 포함할 수 있다.
프로세서는 통신모듈(210), 데이터처리부(220), 제어부(230) 등을 포함하여, 뇌의 제1 동결절편 이미지를 획득하고, 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 획득하고, 상기 인공지능 엔진을 이용하여 상기 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 뇌의 동결절편 검사에 대한 진단 결과를 생성하고 제공할 수 있다.
통신모듈(110)은 무선 통신 인터페이스 환경을 제공하여, 인공지능 기반 뇌 동결절편 검사 진단 장치(10)가 서버(20) 또는/및 단말기(30)와 데이터를 주고받을 수 있도록 통신 환경을 지원할 수 있다. 이 경우, 통신모듈(110)은 LTE, LTE-A, 5G, 와이파이 통신 모듈일 수 있다.
데이터처리부(220)는 통신모듈(210)을 통해 획득하는 데이터를 제어부(240)의 제어를 받아 처리할 수 있다.
제어부(230)는 인공지능 기반 뇌 동결절편 검사 진단 장치(10)의 각 구성요소의 동작을 제어할 수 있다. 제어부(230)의 구체적인 동작은 후술한다.
메모리(240)는 다양한 정보를 미리 내장하거나 내장된 정보를 업데이트할 수 있다.
메모리(240)는 인공지능 기반 뇌 동결절편 검사 진단 장치(10)에서 획득하는 데이터나 단말기(30)나 서버(20)로부터 획득되는 데이터를 일시 저장할 수 있다.
메모리(240)는 필요에 따라 본 개시에 따른 동결절편 검사 및 진단을 위해 필요한 어플리케이션, 프로그램 등 소프트웨어나 관련 처리 엔진 등에 관한 정보가 저장할 수 있다. 상기 처리 엔진에는 예를 들어, 인공지능 학습 엔진이 포함될 수 있다. 이러한 엔진은 데이터처리부(220) 또는/및 제어부(230) 내에 구현될 수 있다.
도 2에서, 메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 2에서, 메모리(240)는 편의상 1개만 도시하였으나, 이에 한정되는 것은 아니며, 복수 개일 수 있다.
도 2에서, 메모리(240)는 편의상 인공지능 기반 뇌 동결절편 검사 진단 장치(10)에 내장된 형태로 도시하고 설명하였으나, 이에 한정되는 것은 아니다. 예컨대, 도 2에서, 메모리(240)는 외부 또는 원격(remote)에 위치한 DB(Database) 서버 형태로 구현될 수도 있다.
도 2에서 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩(single chip)으로 구현될 수도 있다.
도 2에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array (FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
이하 본 개시의 다른 실시예에 따른 프로세서의 동작에 대해 설명한다.
먼저, 도 3을 참조하면, 프로세서의 데이터처리부(220) 또는 제어부(230)는 예를 들어, 데이터전처리부(310), 인공지능학습엔진(320), 이미지비교부(330), 진단정보생성부(340) 등을 포함하여 구성될 수 있다.
비록 도 3에 도시된 구성요소들 중 일부는 데이터처리부(220)에 그리고 나머지는 제어부(230)에 포함될 수 있다.
데이터전처리부(310)는 입력되는 데이터를 전처리하여 인공지능학습엔진(320)에 이용할 수 있는 데이터를 생성 또는 추출할 수 있다.
인공지능학습엔진(320)은 데이터전처리부(310)에서 전처리된 데이터(예를 들어, 학습 데이터셋)를 이용하여 모델을 학습할 수 있다.
인공지능학습엔진(320)은 서버(20) 또는/및 단말기(30)로부터 피드백되는 데이터에 기초하여 학습한 모델을 업데이트(update)할 수도 있다. 이렇게 인공지능학습엔진(320)에서 업데이트된 모델은 메모리(240)에 전송되어 업데이트될 수 있다.
이미지비교부(330)는 입력되는 이미지들을 비교 분석할 수 있다.
이미지비교부(330)는 예를 들어, 입력되는 제1 동결절편 이미지와 제2 동결절편 이미지를 비교할 수 있다.
이러한 이미지비교부(330)는 예를 들어, 인공지능학습엔진(320)이나 후술하는 진단정보생성부(340)의 일 구성요소로 포함될 수도 있다.
진단정보생성부(340)는 인공지능학습엔진(320)에서 기학습된 모델을 이용하여 이미지비교부(330)의 비교 결과에 기초하여, 대상 환자의 뇌 생체조직에 대해 요청된 동결절편 검사에 대한 진단정보를 생성할 수 있다. 이렇게 생성된 진단정보는 단말기(30)로 출력될 수 있다.
다음으로, 도 4를 참조하면, 데이터처리부(220) 또는/및 제어부(230)는, 데이터전처리부(405)와 k개(여기서, k는 자연수)의 진단 모델을 포함하여 구성될 수 있다.
진단 모델은 진단 정보를 생성하기 위한 학습 모델을 나타낼 수 있다.
데이터전처리부(405)는 각 진단 모델에서 학습할 데이터를 전처리하여 분류할 수 있다. 이렇게 분류된 데이터는 해당 진단 모델로 입력되어 학습에 이용될 수 있다.
예를 들어, k가 3이라고 가정하면, 제1 진단 모델은, 동결절편 이미지와 진단 내용을 라벨링(labeling)하여 동절결편 기반 진단 학습 모델일 수 있다.
제2 진단 모델은, 뇌 동결절편 이미지로부터 뇌 동결절편 HE 변환 이미지를 획득하기 위하여, 뇌 동결절편 이미지와 HE 변환 이미지를 라벨링하여 학습하는 진단 학습 모델일 수 있다.
그리고 제3 진단 모델은, 뇌 동결절편 HE 변환 아미지와 진단 내용을 라벨링하여 동결절편 기반 진단 학습 모델일 수 있다.
프로세서는 k에 따라서 적어도 둘 이상의 진단 모델을 앙상블(Ensemble)로 결정할 수 있다. 예를 들어, 프로세서는 전술한 제1 진단 모델과 제3 진단 모델을 앙상블로 결정할 수 있다.
프로세서는 적어도 두 개의 진단 모델을 앙상블로 결정하는 경우에도, 앙상블로 결정된 각 진단 모델을 개별 학습하고, 이용할 수도 있다.
다음으로, 도 5를 참조하면, 데이터처리부(220) 또는/및 제어부(230)는, 동결절편 분류 모델(510)과 m개(여기서, m은 자연수)의 진단 모델을 포함하여 구성될 수 있다.
동결절편 분류 모델(510)에서는 장기에 따라 학습에 이용되는 진단 내용이 다를 수 있다.
동결절편 분류 모델(510)은 뇌와 관련하여 암 또는 양성과 같은 진단 내용을 학습할 수 있도록 분류할 수 있다. 다만, 이에 한정되는 것은 아니다.
따라서, 2(예를 들어, 뇌의 경우, m은 2)개의 진단 모델에는 암 진단 모델(520)과, 양성 진단 모델(530)이 포함될 수 있다.
이 때, 암 진단 모델(520)는 신경교종, 교모세포종, 비정형 뇌수막종, 뇌수막종, 상이세포종, 반응성 뇌교세포 증식 등과 같은 서브 진단 모델들을 포함할 수 있다.
각 진단 모델에서는 동결절편 분류 모델(510)에서 전처리되어 분류된 데이터를 수신하여 학습할 수 있다.
도 6을 참조하면, 데이터처리부(220) 또는/및 제어부(230)는, 동결절편 분류 모델(610)과 r개(여기서, r은 자연수)의 진단 모델을 포함하여 구성될 수 있다.
동결절편 분류 모델(610)에서는 장기에 따라 학습에 이용되는 진단 내용이 다를 수 있다.
동결절편 분류 모델(610)은 뇌 생체 조직의 크기별로 각 진단 모델에서 학습할 수 있도록 분류할 수 있다.
설명의 편의상, r은 3으로 가정하면, 진단 모델에는 제1 크기 진단 모델(620), 제2 크기 진단 모델(630), 및 제3 크기 진단 모델(640)이 포함될 수 있다.
각 진단 모델에서는 동결절편 분류 모델(610)에서 전처리되어 분류된 데이터를 수신하여 학습할 수 있다.
전술한 도 4 내지 6에서 동결절편 데이터를 전처리하여 분류하는 것은 결정된 또는 결정될 앙상블의 가중치를 변경 제어하기 위함일 수 있다. 다만, 이에 한정되는 것은 아니다.
본 개시와 관련하여, 신체기관의 종류에 따라서 각 진단 모델의 앙상블 가중치가 변경될 수 있다. 예를 들어, 신체기관이 뇌인 경우에는 도 4에서 제3 모델에 다른 모델에 비하여 더 높은 가중치가 설정될 수 있다.
본 개시와 관련하여, 뇌 생체 조직의 크기에 따라 가중치가 변경 제어될 수 있다. 비록 도 6에서는 3개의 크기로 예를 들었으나, 2개의 크기로 구분할 때, 동결절편 검사를 위한 뇌 생체 조직의 크기가 임계치 이상인 경우에는 동절결절, 즉 제1 동결절편 이미지에 더 높은 가중치를 설정하고, 그렇지 않은 경우, 즉 뇌 생체 조직의 크기가 임계치 미만인 경우에는 HE 변환 이미지 즉, 제2 동결절편 이미지에 더 낮은 가중치를 설정할 수 있다.
전술한 바와 같이, 본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 인공지능 엔진은, 학습을 위한 전처리에 필요한 복수의 모델을 포함할 수 있다.
이 때, 제1 모델은 동결절편 이미지로부터 진단 내용 관련 학습을 위한 전처리 모델일 수 있다. 상기 제1 모델은 동결절편 이미지와 진단 내용을 라벨링(labeling)하여 학습하는 모델일 수 있다.
그리고 제2 모델은 동결절편 이미지로부터 HE 이미지로 변환 관련 학습을 위한 전처리 모델일 수 있다. 상기 제2 모델은 동결절편 이미지와 HE 이미지를 라벨링하여 학습하는 모델일 수 있다.
또한, 제3 모델은 HE 변환 이미지로부터 진단 내용 관련 학습을 위한 전처리 모델일 수 있다. 상기 제3 모델은 HE 변환 이미지와 진단 내용을 라벨링하여 학습하는 모델일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 상기 프로세서는, 상기 복수의 모델 중 적어도 둘 이상을 앙상블로 결정할 수 있다.
이 때, 프로세서는, 상기 각 모델의 앙상블 가중치를 변경 제어할 수 있다.
도 7, 9 및 10은 본 개시에 따른 인공지능 기반 뇌 동결절편 검사 진단 방법을 설명하기 위해 도시한 순서도이다.
도 8은 도 7의 동결절편, 동결절편 이미지, 및 HE 변환 이미지의 일 예를 설명하기 위해 도시한 도면이다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 디지털 병리와 연계된 인공지능 기반 뇌 동결절편 검사 진단 장치(10)의 동작 방법은, 다음과 같을 수 있다.
S110 동작에서, 동결절편 검사를 위해 도 8의 (a)에 도시된 바와 같은 대상 환자의 뇌 생체 조직을 채취할 수 있다.
S120 동작에서, S110 동작에서 동결절편 검사를 위해 채취된 뇌 생체 조직은 동결될 수 있다.
S130 동작에서, S120 동작에서 동결된 대상 환자의 뇌 생체 조직은 병리 슬라이드에 옮겨지고 디지털 병리 동작이 수행될 수 있다.
S140 동작에서, 프로세서는 S130 동작에서 수행된 디지털 병리 결과에 기초하여 도 8의 (b)에 도시된 바와 같은 제1 동결절편 이미지를 획득할 수 있다.
S150 동작에서, 프로세서는 S140 동작에서 획득한 제1 동결절편 이미지를 인공지능 기반으로 HE 변환하여 도 8의 (c)에 도시된 바와 같은 제2 동결절편 이미지를 획득할 수 있다.
S160 동작에서, 프로세서는 각 이미지 기반 1차 진단 정보를 생성(또는 획득)할 수 있다.
S160 동작에서는 프로세서는 제1 동결절편 이미지 기반으로 생성된 1차 진단 정보와 제2 동결절편 이미지 기반으로 생성된 1차 진단 정보를 각각 획득할 수 있다.
S170 동작에서, 프로세서는 S160 동작에서 각 동결절편 이미지 기반으로 획득한 1차 진단 정보를 서로 병합하여 2차 진단 정보를 생성 및 단말기(30) 등으로 제공할 수 있다.
도 7을 정리하면, 본 개시의 다양한 실시예들 중 적어도 하나에 따른 디지털 병리 연계 인공지능 기반 뇌 동결절편 검사 진단 방법은, 뇌의 제1 동결절편 이미지를 획득하고, 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 획득하고, 상기 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 뇌의 동결절편 검사에 대한 진단 결과를 생성하고 제공하는 것이다.
다음으로, 도 9를 참조하면, S210 동작에서, 프로세서는 동결절편 검사 대상 신체 기관을 식별할 수 있다.
S220 동작에서, 프로세서는 식별된 동결절편 검사 대상 신체 기관에 따라 각 진단 모델의 앙상블 가중치를 결정할 수 있다.
S230 동작에서, 프로세서는 앙상블의 가중치의 변경이 필요한지 여부를 판단할 수 있다.
프로세서는 S230 동작 판단 결과 만약 앙상블 가중치의 변경이 필요하지 않은 것으로 판단되면, 이전 결정을 무시(ignore or discard)할 수 있다.
S240 동작에서, 프로세서는 S230 동작 판단 결과 만약 앙상블 가중치의 변경이 필요한 것으로 판단되면, 각 모델의 앙상블 가중치를 변경 제어할 수 있다.
마지막으로, 도 10을 참조하면, S310 동작에서, 프로세서는 동절결편 검사 대상 조직의 크기를 식별할 수 있다.
S320 동작에서, 프로세서는 식별된 동절결편 검사 대상 조직의 크기가 임계치 이상인지 판단할 수 있다.
프로세서는 S320 동작 판단 결과 만약 식별된 동절결편 검사 대상 조직의 크기가 임계치 이상으로 판단되면, 동절결편에 더 높은 가중치를 설정 부여할 수 있다(S330). 이 때, 동절결편이란 제1 동절결편 이미지를 나타낼 수 있다.
프로세서는 S320 동작 판단 결과 만약 식별된 동절결편 검사 대상 조직의 크기가 임계치 미만으로 판단되면, 동절결편이 아니라 HE 변환된 이미지(즉, 제2 동절결편 이미지)에 더 낮은 가중치를 설정 부여할 수 있다(S340).
프로세서는 전술한 내용 중에서 앙상블의 가중치를 변경 제어하거나 뇌 생체 조직의 크기에 따라 가중치를 변경 제어하는 등 어떠한 이벤트가 발생하는 경우에는 서버(20) 또는/및 단말기(30)로 해당 사실을 전달하여 노티(notification)할 수 있다.
프로세서는 대상 환자의 뇌 생체 조직에 대한 동절결편 검사 진단 결과를 서버(20) 또는/및 단말기(30)로 제공한 이후에, 단말기(30)로부터 포지티브 피드백(positive feedback)이나 네거티브 피드백(negative feedback)이 수신되는 경우, 수신된 피드백을 참고하여 전술한 진단 학습 모델을 업데이트할 수 있다.
프로세서는 예를 들어, 전술한 단말기(30)를 통한 의료기관의 네거티브 피드백이 미리 정한 횟수 이상이거나 연속적인 경우에는, 기학습한 진단 모델들 전부 또는 적어도 일부를 리셋(reset)하고 학습 과정을 다시 수행할 수 있다. 이 경우, 전처리 모델 역시 초기화 후 재셋팅될 수 있다.
프로세서는 메모리(240)에 앙상블 조합이나 앙상블 가중치에 따른 결과값의 상관관계를 도출하여, 미리 저장할 수 있다. 이렇게 저장된 상관관계는 추후 업데이트에 반영될 수 있다. 예를 들어, 어느 하나의 모델이 업데이트된 경우에는, 상관관계가 있는 다른 모델도 함께 업데이트되도록 할 수 있다. 이 경우, 상관관계에 따라 업데이트되는 모델의 경우에는 대상 모델에 비하여 업데이트 되는 정도가 낮을 수 있다.
프로세서는 대상 환자의 성별, 연령대, 동결절편 이전의 상황과 예측 정보, 동결절편 이후의 상황과 진단된 정보 등을 메모리(240)에 저장할 수 있다.
프로세서는 메모리(240)에 저장된 정보에 기초하여 새로운 대상 환자에 대한 모델 또는/및 앙상블의 가중치를 임의 조정할 수 있다.
본 개시는 전술한 둘 이상의 실시예들의 조합된 형태로도 디지털 병리 연계 인공지능 기반 뇌 동결절편 검사 및 진단과 관련 정보를 제공할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 인공지능 기반 뇌 동결절편 검사 진단 장치에 있어서,
    메모리; 및
    상기 뇌 동결절편 검사 및 진단을 위한 인공지능 엔진을 포함한 프로세서를 포함하고,
    상기 프로세서는,
    상기 뇌의 제1 동결절편 이미지를 획득하고, 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 획득하고, 상기 인공지능 엔진을 이용하여 상기 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 뇌의 동결절편 검사에 대한 진단 결과를 생성하여 제공하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  2. 청구항 1에 있어서,
    상기 프로세서는,
    상기 인공지능 엔진을 이용하여 상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 생성하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  3. 청구항 2에 있어서,
    상기 프로세서는,
    상기 제1 동결절편 이미지를 HE(Histogram Equalization) 이미지로 변환하여 상기 제2 동결절편 이미지를 생성하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  4. 청구항 3에 있어서,
    상기 인공지능 엔진은,
    학습을 위한 전처리에 필요한 복수의 모델을 포함하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  5. 청구항 4에 있어서,
    상기 제1 모델은 동결절편 이미지로부터 진단 내용 관련 학습을 위한 전처리 모델인,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  6. 청구항 5에 있어서,
    상기 제1 모델은 동결절편 이미지와 진단 내용을 라벨링(labeling)하여 학습하는 모델인,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  7. 청구항 6에 있어서,
    상기 제2 모델은 동결절편 이미지로부터 상기 HE 이미지로 변환 관련 학습을 위한 전처리 모델인,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  8. 청구항 7에 있어서,
    상기 제2 모델은 동결절편 이미지와 HE 이미지를 라벨링하여 학습하는 모델인,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  9. 청구항 8에 있어서,
    상기 제3 모델은 HE 변환 이미지로부터 진단 내용 관련 학습을 위한 전처리 모델인,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  10. 청구항 9에 있어서,
    상기 제3 모델은 HE 변환 이미지와 진단 내용을 라벨링하여 학습하는 모델인,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  11. 청구항 10에 있어서,
    상기 프로세서는,
    상기 복수의 모델 중 적어도 둘 이상을 앙상블로 결정하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  12. 청구항 11에 있어서,
    상기 프로세서는,
    상기 각 모델의 앙상블 가중치를 변경 제어하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  13. 청구항 12에 있어서,
    상기 프로세서는,
    상기 동결절편 이미지에 이용되는 조직의 크기에 따라 가중치를 변경 제어하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  14. 청구항 13에 있어서,
    상기 프로세서는,
    상기 조직의 크기가 임계치 이상이면 동결절편 이미지의 가중치를 높게 설정하고,
    상기 조직의 크기가 임계치 미만이면 HE 변환 이미지의 가중치를 낮게 설정하는,
    인공지능 기반 뇌 동결절편 검사 진단 장치.
  15. 전자장치의 프로세서에 의해 수행되는, 인공지능 기반 뇌 동결절편 검사 진단 방법에 있어서,
    상기 뇌의 제1 동결절편 이미지를 획득하는 단계;
    상기 뇌의 제1 동결절편 이미지에 대응하는 제2 동결절편 이미지를 획득하는 단계; 및
    상기 제1 동결절편 이미지와 제2 동결절편 이미지에 기초하여 뇌의 동결절편 검사에 대한 진단 결과를 생성하고 제공하는 단계를 포함하는,
    인공지능 기반 뇌 동결절편 검사 진단 방법.
PCT/KR2025/000166 2024-01-04 2025-01-03 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법 Pending WO2025147161A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2024-0001629 2024-01-04
KR1020240001629A KR20250106979A (ko) 2024-01-04 2024-01-04 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2025147161A1 true WO2025147161A1 (ko) 2025-07-10

Family

ID=96300573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/000166 Pending WO2025147161A1 (ko) 2024-01-04 2025-01-03 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20250106979A (ko)
WO (1) WO2025147161A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150707A1 (en) * 2019-11-18 2021-05-20 10X Genomics, Inc. Systems and methods for binary tissue classification

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100578034B1 (ko) 2003-09-23 2006-05-11 주식회사 정우인터내셔날 동결절편 염색을 위한 염료조성물 및 이를 이용한동결절편 염색방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150707A1 (en) * 2019-11-18 2021-05-20 10X Genomics, Inc. Systems and methods for binary tissue classification

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ABUNAJM, Saleh et al. Deep Learning Approach for Early Stage Lung Cancer Detection. arXiv:2302.02456v2. 15 February 2023, pp. 1-7. *
KOTEI EVANS, THIRUNAVUKARASU RAMKUMAR: "Ensemble Technique Coupled with Deep Transfer Learning Framework for Automatic Detection of Tuberculosis from Chest X-ray Radiographs", HEALTHCARE, MDPI AG, vol. 10, no. 11, 1 January 2022 (2022-01-01), pages 1 - 22, XP093333505, ISSN: 2227-9032, DOI: 10.3390/healthcare10112335 *
KULKARNI ADITYA, PARASNIS GURUPRASAD, BALASUBRAMANIAN HARISH, JAIN VANSH, CHOKSHI ANMOL, SONKUSARE REENA: "Advancing Diagnostic Precision: Leveraging Machine Learning Techniques for Accurate Detection of Covid-19, Pneumonia, and Tuberculosis in Chest X-Ray Images", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, ARXIV.ORG, 1 October 2023 (2023-10-01), XP093334962, Retrieved from the Internet <URL:https://arxiv.org/pdf/2310.06080> *
SHAKEEL P. MOHAMED; BURHANUDDIN M.A.; DESA MOHAMAD ISHAK: "Lung cancer detection from CT image using improved profuse clustering and deep learning instantaneously trained neural networks", MEASUREMENT., INSTITUTE OF MEASUREMENT AND CONTROL. LONDON, GB, vol. 145, 15 May 2019 (2019-05-15), GB , pages 702 - 712, XP085737581, ISSN: 0263-2241, DOI: 10.1016/j.measurement.2019.05.027 *

Also Published As

Publication number Publication date
KR20250106979A (ko) 2025-07-11

Similar Documents

Publication Publication Date Title
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2022055186A1 (ko) 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
WO2022131479A1 (ko) 병변 판독 방법
WO2021107471A1 (ko) 의료 데이터 검색 방법
Cömert et al. Computerized otoscopy image-based artificial intelligence model utilizing deep features provided by vision transformer, grid search optimization, and support vector machine for otitis media diagnosis
KR20240093349A (ko) 비전 데이터를 기반으로 금속 적층 제조 장비의 제조 공정을 모니터링 하는 전자 장치 및 그 방법
WO2025147160A1 (ko) 인공지능 기반 림프절 동결절편 검사 및 진단 장치 및 방법
WO2025147163A1 (ko) 인공지능 기반 췌장 동결절편 검사 및 진단 장치 및 방법
WO2025147158A1 (ko) 인공지능 기반 유방 동결절편 검사 및 진단 장치 및 방법
WO2025147155A1 (ko) 인공지능 기반 폐 동결절편 검사 및 진단 장치 및 방법
WO2025147156A1 (ko) 인공지능 기반 갑상선 동결절편 검사 및 진단 장치 및 방법
WO2025147157A1 (ko) 인공지능 기반 난소 동결절편 검사 및 진단 장치 및 방법
WO2026071516A1 (ko) 대규모 언어모델을 이용하여 의무 기록으로부터 바이오마커 검사 결과를 생성하기 위한 방법 및 장치
WO2025037772A1 (ko) 상담 데이터 기반 환자 상태 예측 llm 모델 구현 장치 및 그 제어 방법
WO2024101840A1 (ko) 인공지능 기반의 성분 분석 및 의학적 근거를 활용하여 식품의 의학적 효능을 산출하는 장치, 방법 및 프로그램
WO2022164133A1 (ko) 의료 영상의 병변 평가 방법
WO2024214993A1 (ko) 인공지능 기반 병리 슬라이드 봉입제 분주 최적화 장치 및 방법
WO2023282546A1 (ko) 인공 슬관절 해리 판독 방법 및 이를 위한 컴퓨팅 장치
WO2026100954A1 (ko) 인공지능 모델을 기반으로 두부 외상 환자의 두개 내 출혈 악화를 예측하기 위한 진단 보조 장치 및 방법
WO2025037853A1 (ko) 자동으로 중증도 분류 및 대응 처리 제어 방법, 장치 및 시스템
WO2024101875A1 (ko) 인공지능 기반의 임상시험 영상 자동 표준화 장치, 방법 및 프로그램
KR20250106979A (ko) 인공지능 기반 뇌 동결절편 검사 및 진단 장치 및 방법
WO2025254443A1 (ko) 앙상블 이미지 분류 모델에 기초하여 세포 유형을 분류하는 의료 진단 장치 및 이를 이용한 세포 유형 분류 방법
WO2024214994A1 (ko) 인공지능 기반 병리 슬라이드 건조 최적화 장치, 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25736315

Country of ref document: EP

Kind code of ref document: A1