KR102417602B1 - 인공 지능 모델 기반 종양 관리 장치 및 방법 - Google Patents

인공 지능 모델 기반 종양 관리 장치 및 방법 Download PDF

Info

Publication number
KR102417602B1
KR102417602B1 KR1020210169556A KR20210169556A KR102417602B1 KR 102417602 B1 KR102417602 B1 KR 102417602B1 KR 1020210169556 A KR1020210169556 A KR 1020210169556A KR 20210169556 A KR20210169556 A KR 20210169556A KR 102417602 B1 KR102417602 B1 KR 102417602B1
Authority
KR
South Korea
Prior art keywords
tumor
data
artificial intelligence
group
information
Prior art date
Application number
KR1020210169556A
Other languages
English (en)
Inventor
박성걸
차병래
백성은
박소라
임선화
Original Assignee
(주)플라스바이오
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)플라스바이오, 광주과학기술원 filed Critical (주)플라스바이오
Priority to KR1020210169556A priority Critical patent/KR102417602B1/ko
Application granted granted Critical
Publication of KR102417602B1 publication Critical patent/KR102417602B1/ko
Priority to PCT/KR2022/019271 priority patent/WO2023101444A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)

Abstract

본 개시는 자동투여장치가 인공지능 모델 기반으로 종양을 관리하는 방법 및 이를 수행하는 자동투여장치에 관한 것이다. 일 실시 예에 의하면, 자동투여장치가 인공지능모델 기반으로 종양을 관리하는 방법은 치료 대상이 되는 종양에 관한 종양 이미지를 획득하는 단계; 상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하는 단계; 상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하는 단계; 및 상기 결정된 약물 투여 정보를 출력하는 단계; 를 포함할 수 있다.

Description

인공 지능 모델 기반 종양 관리 장치 및 방법 {METHOD AND APPARATUS MANAGING TUMOR BASED ON ARTIFICIAL INTELLIGENCE MODEL}
본 개시는 인공 지능 모델 기반 종양을 관리하는 장치 및 이의 동작 방법에 관한 것이다. 보다 상세하게는 머신러닝을 활용하여 종양의 성숙도를 측정하고 이를 관리하는 장치 및 이의 동작 방법에 관한 것이다.
기존의 암 세포주 이식모델인 CDX 제작 방법은 숙련된 동물실험 연구원이 진행하고, 종양세포를 동물의 피하나 혈관 내 투여하여 종양의 크기나 부피를 확인하는 방식으로 진행된다.
또한 종래의 암 세포주 이식모델인 CDX 제작 방법은 버니어캘리퍼스나 이미지를 활용해 사이즈를 측정하고 있으며, 종양의 성숙도는 개체마다 차이가 있어 종양의 크기를 실험 물질 투여 시기를 정하는데, 주로 크기를 활용해 수기로 측정방법을 사용하므로 측정자에 따라 오차가 발생할 수 있는 한계가 있었다.
따라서, 종양의 크기를 정확하게 측정하고, 이를 기반으로 정확한 종양 치료 솔루션을 제공하기 위한 기술개발이 요구되고 있다.
한국등록특허 제2313661호
일 실시 예에 따르면, 종양을 분석하고 분석 결과에 기초하여 종양을 치료하는 자동 투여 장치 및 이의 동작 방법이 제공될 수 있다.
일 실시 예에 의하면, 인공 지능 모델을 기반으로 종양을 관리하는 자동투여장치 및 이의 동작 방법이 제공될 수 있다.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 실시 예에 따라, 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법에 있어서, 치료 대상이 되는 종양에 관한 종양 이미지를 획득하는 단계; 상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하는 단계; 상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하는 단계; 및 상기 결정된 약물 투여 정보를 출력하는 단계; 를 포함하는, 방법이 제공될 수 있다.
상술한 기술적 과제를 달성하기 위한 또 다른 실시 예에 따라, 인공 지능 모델 기반으로 종양을 관리하는 자동투여장치에 있어서, 디스플레이; 카메라; 상기 종양을 치료하기 위한 약물을 투여하는 로봇암; 및 미리 학습된 가중치 파일에 기초하여 상기 종양에 대한 이미지 데이터를 실시간으로 처리하는 엣지 컴퓨터; 를 포함하고, 상기 엣지 컴퓨터는 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하며, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 치료 대상이 되는 종양에 관한 종양 이미지를 획득하고, 상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하고, 상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하고, 상기 결정된 약물 투여 정보를 출력하는, 자동투여장치가 제공될 수 있다.
상술한 기술적 과제를 달성하기 위한 또 다른 실시 예에 의하면, 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법에 있어서, 치료 대상이 되는 종양에 관한 종양 이미지를 획득하는 단계; 상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하는 단계; 상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하는 단계; 및 상기 결정된 약물 투여 정보를 출력하는 단계; 를 포함하는, 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
본 개시의 일 실시 예에 의하면, 자동투여장치는 이미지 처리를 통해 종양의 성숙도, 종양의 크기, 치료 약물의 투여 시기를 최적화할 수 있다.
일 실시 예에 의하면, 종양의 성숙도를 실시간으로 확인하여 약물 투여 여부를 결정할 수 있다.
일 실시 예에 의하면, 차세대 항암치료제에 대한 실험의 신뢰도를 확보할 수 있다.
일 실시 예에 의하면 종양 투여 위치 및 투여 방법에 대한 데이터를 구축할 수 있다.
일 실시 예에 의하면 종양 인식 및 성숙도를 최적화할 수 있다.
일 실시 예에 의하면, 종양 인식 개선을 위한 최적화된 데이터셋을 구축할 수 있다.
일 실시 예에 의하면 신약후보물질의 유효 평가 시 임상 실패율을 줄일 수 있다.
일 실시 예에 의하면 실험시설의 추가적 비용 발생의 요인을 줄여 항암제 및 신약개발 기간과 비용을 효과적으로 줄일 수 있다.
일 실시 예에 의하면 다양한 암세포주 질환 모델에 적용할 수 있으며 다양한 실험에 적용할 수 있다.
도 1은 일 실시 예에 자동투여장치가 종양을 관리하는 개략적인 과정을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법의 흐름도이다.
도 3은 또 다른 실시 예에 따른 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법의 흐름도이다.
도 4는 일 실시 예에 따른 자동투여장치가 종양데이터셋을 구축하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 자동투여장치가 종양데이터셋을 구축하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 자동투여장치가 종양 데이터셋을 분석하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 자동투여장치가 이용하는 인공지능 모델을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 자동투여장치가 학습한 복수의 인공지능 모델들 중 하나의 모델을 선택하는 과정을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 자동투여장치가 종양 탐지를 위해 이용하는 인공지능 모델을 구현하는 과정을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 자동투여장치가 이용하는 인공 지능 모델의 학습에 사용된 학습 데이터의 정확도를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 자동투여장치의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시 예에 자동투여장치가 종양을 관리하는 개략적인 과정을 설명하기 위한 도면이다.
도 1의 그림 (102) 및 그림 (104)에는 자동투여장치(1000)가 치료 대상 종양을 옆에서 관측하는 실시 예와 자동투여장치(1000)가 치료 대상 종양을 상부에서 관측하는 실시 예가 도시된다. 일 실시 예에 의하면 자동투여장치(1000)는 머신러닝을 활용하여 암 세포의 성숙도를 학습함으로써 종양 모델의 표준 사이즈를 최적화할 수 있을 뿐만 아니라, 표준화된 종양 모델을 모델을 통하여 종양의 성숙도 및 크기를 정확하게 분석하고, 정확하게 분석된 결과에 기초하여 최적의 종양 치료 솔루션을 제공할 수 있다.
일 실시 예에 의하면, 자동투여장치(1000)는 로봇암(112), 엣지 컴퓨터(114), CCD 카메라(116), 마취 호흡구(118) 및 동물 보정 장치(122)를 포함할 수 있으나, 이에 한정되는 것은 아니며, 치료 대상 종양을 관리하기 위해 필요한 구성들을 더 많이 포함할 수도 있고, 더 적은 구성 요소로 마련될 수 있음은 물론이다.
일 실시 예에 의하면, 자동투여장치(1000)는 CCD 카메라를 이용하여 치료 대상 종양에 관한 종양 이미지를 획득할 수 있다. 보다 상세하게는 자동투여장치(1000)는 치료 대상 종양의 상부에서 종양을 촬영함으로써 획득되는 상부 종양 이미지 및 치료 대상 종양의 옆에서 대상 종양을 촬영함으로써 획득되는 측면 종양 이미지를 이용할 수 있다. 자동투여장치(1000)는 상부 종양 이미지 및 측면 종양 이미지에 삼각법을 적용함으로써 치료 대상 종양의 성숙도를 결정할 수 있다.
일 실시 예에 의하면, 자동투여장치(1000)는 종양 이미지가 획득되면, 미리 학습된 인공 지능 모델에 종양 이미지를 입력함으로써 치료 대상 종양에 관한 성숙도 정보를 획득할 수 있다. 예를 들어, 자동투여장치(1000)는 카메라를 통해 획득된 종양 이미지에 인공 지능 모델을 적용함으로써, 가중치를 통과함에 따른 성숙도 판정, 최적의 약물 투여 시기를 정의할 수 있다. 일 실시 예에 의하면 자동투여장치(1000)가 인공 지능 모델을 이용하여 획득하는 성숙도 정보는 치료 대상 종양의 크기, 종양의 모양 또는 종양의 색상 중 적어도 하나에 관한 종양 형태 정보를 포함할 수 있다.
본 개시에 따른 자동투여장치(1000)는 인공지능 모델 기반 자동투여 솔루션을 제공하기 때문에 종양 질환 모델 제작 방법 확립이 가능하며, 차세대 항암치료제에 대한 실험의 신뢰도 확보가 가능하고, 종양 자동투여 솔루션을 활용해 유방암 종양 모델 제작법을 확립할 수 있으며 종양 투여 위치 및 투여 방법에 대한 데이터를 구축할 수 있다.
또한, 자동투여장치(1000)는 종양 인식 및 성숙도를 최적화할 수 있는 인공 지능 모델을 학습시킬 수 있으며, 최적화된 성숙도를 이용하여 약물의 투여 시기를 결정할 수 있고, 종양 인식 개선을 위한 최적의 종양 데이터셋을 구축할 수 있으며, 비전머신러닝을 활용한 종양 질환 모델에 실험적으로 직접적 적용이 가능할 수 있다.
또한, 일 실시 예에 의하면 자동투여장치(1000)는 종래 국내 실험 동물 시설보다 경제적이고, 효율적인 미래지향적 동물 실험 장치 매뉴얼 및 동물실험 모델을 제공할 수 있으며, 차세대 항암제 연구의 유효성 평가나 기존 연구에 활용할 수 있다. 또한, 자동투여장치(1000)는 가장 많이 사용되는 암세포주 이식 모델이 경우, 종양 인식을 통해 종양의 생성 크기에 대한 부분을 확인해 실험 가능 여부를 확인할 수 있으며, 신약 후보 물질의 유효 평가시 임상 실패율을 줄일 수 있는 효과가 있다.
또한, 자동투여장치(1000)는 실험시설의 추가적 비용 발생의 요인을 줄이도록 함으로써 '항암제 및 신약 개발 기간'과 '비용의 획기적인 절감'이 가능하며, 10~15년의 기간이 소요되고 1상, 2상, 3상까지 가야 하는 신약개발 기간 및 비용 중 가장 많은 부분을 차지하는 다수의 전문 인력을 필요로 하지 않아, 전문인력 비용을 줄이면서 동시에 생산성 및 정확도를 유지할 수 있으므로, 신약 개발 비용을 획기적으로 감소시킬 수 있다.
도 2는 일 실시 예에 따른 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법의 흐름도이다.
S210에서, 자동투여장치(1000)는 치료 대상이 되는 종양에 관한 종양 이미지를 획득할 수 있다. 예를 들어, 자동투여장치(1000)는 카메라를 이용하여 치료 대상 종양을 다각도에서 촬영함으로써 복수의 종양 이미지들을 획득할 수 있다. 일 실시 예에 의하면 자동투여장치(1000)는 치료 대상 종양을 촬영함으로써 측면 종양 이미지 및 상부 종양 이미지를 획득하고, 획득된 측면 종양 이미지 및 상부 종양 이미지에 삼각법을 적용할 수 있다.
S220에서, 자동투여장치(1000)는 종양 이미지가 입력되면, 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 종양 이미지를 입력함으로써 인공 지능 모델로부터 성숙도 정보를 획득할 수 있다. 일 실시 에에 의하면, 자동투여장치(1000)는 종양 이미지가 입력되면 성숙도 정보를 출력하는 복수의 인공 지능 모델들을 학습시킬 수 있고, 복수의 학습된 인공지능 모델들 중 성능 평가 결과에 기초하여 선택된 적어도 하나의 인공 지능 모델을 이용함으로써 종양 이미지를 분석할 수 있다.
자동투여장치(1000)가 이용하는 인공 지능 모델은 기계 학습 알고리즘에 기초하여 학습될 수 있는 기계 학습 모델, 딥러닝 네트워크, 신경망 모델을 포함할 수 있다.
S230에서, 자동투여장치(1000)는 성숙도 정보에 기초하여 약물 투여 정보를 결정할 수 있다. 예를 들어, 자동투여장치(1000)는 인공 지능 모델로부터 획득된 성숙도 정보에 기초하여 치료 대상 종양에 적용할 약물의 종류, 약물 투여 시기, 약물 투여 주기, 약물 투여 방법 중 적어도 하나에 관한 약물 투여 정보를 결정할 수 있다. 일 실시 예에 의하면 성숙도 정보는 종양 형태 정보를 더 포함할 수 있다.
일 실시 예에 의하면, 자동투여장치(1000)는 성숙도 정보 및 종양 형태 정보에 기초하여, 종양을 치료하기 위한 약물 종류에 관한 약물 종류 정보를 결정하고, 상기 성숙도 정보 및 상기 종양 형태 정보에 기초하여 종양을 치료하기 위한 약물 투여 시점에 관한 약물 투여 시기 정보를 결정하며, 상기 성숙도 정보 및 상기 종양 형태 정보에 기초하여 종양을 치료하기 위한 약물 투여 용량에 관한 약물 투여 용량 정보를 결정할 수도 있다.
일 실시 예에 의하면, 자동투여장치(1000)가 결정하는 약물 투여 정보는 약물 종류 정보, 약물 투여 시기 정보, 약물 투여 용량에 관한 정보 중 적어도 하나를 포함할 수 있다.
S240에서, 자동투여장치(1000)는 S230에서 결정된 약물 투여 정보를 출력할 수 있다. 도 2에는 도시되지 않았지만, 자동투여장치(1000)는 약물 투여 정보에 기초하여 로봇암 제어 신호를 결정할 수도 있으며, 로봇암 제어 신호에 기초하여 로봇암을 제어할 수 있다. 또다른 예에 의하면, 자동투여장치(1000)는 약물 투여 정보를 자동투여장치(1000)와 연결된 다른 기타 전자 장치 또는 서버로 전송할 수도 있음은 물론이다.
도 3은 또 다른 실시 예에 따른 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법의 흐름도이다.
S310 내지 S340은 도 2에 도시된 S210 내지 S240에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S350에서, 자동투여장치(1000)는 출력된 약물 투여 정보에 기초하여, 소정의 약물 투여를 위한, 자동투여장치 내 로봇암 제어 신호를 결정할 수 있다. S360에서, 자동투여장치(1000)는 로봇암 제어 신호에 기초하여 자동투여장치내 로봇암을 제어할 수 있다. 자동투여장치(1000)는 인공 지능 모델 기반으로 획득된 성숙도 정보에 기초하여 약물 투여 정보를 결정하고, 약물 투여 정보에 따른 약물을 로봇암을 통해 직접 대상 종양에 투여할 수 있다.
도 4는 일 실시 예에 따른 자동투여장치가 종양데이터셋을 구축하는 과정을 설명하기 위한 도면이다.
그림 (410) 및 그림 (420)을 참조하면 자동투여장치가 종양 데이터셋을 구축하는 과정이 도시된다. 일 실시 예에 의하면, 자동투여장치는 종양 이미지를 획득하기에 앞서(예컨대 학습되고 선택된 인공 지능 모델에 적용될 종양 이미지를 획득하기 전) 인공 지능 모델 학습을 위한 종양 데이터셋을 구축할 수 있다.
예를 들어, 자동투여장치(1000)는 종양 데이터 및 종양에 관한 라벨링되지 않은 전체 종양 데이터 셋을 획득할 수 있다. 자동투여장치(1000)는 종양 데이터 및 라벨링되지 않은 전체 종양 데이터셋의 일부분(예컨대 3%~5%)의 종양 데이터 셋을 제1 그룹의 종양 데이터 셋 및 제2 그룹의 종양 데이터 셋으로 분류할 수 있다.
일 실시 예에 의하면, 자동투여장치(1000)는 제1 그룹의 종양 데이터 셋(3%~5%)에 대해 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역 표시와 라벨링된 데이터를 생성할 수 있다. 예를 들어, 자동투여장치(1000)는 그룹으로 분할된 제1 그룹의 종양 데이터 셋을 전문가들의 지식을 이용하여(예컨대 자동투여장치에 대한 전문가들의 사용자 입력에 기초하여) 종양 종류에 따른 n개의 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역 표시와 라벨링(예컨대 Class #1, Class #2,… Class #n)된 데이터로 작성할 수 있다.
도 5는 일 실시 예에 따른 자동투여장치가 종양데이터셋을 구축하는 과정을 설명하기 위한 도면이다.
그림 (510) 및 (520)에는 자동투여장치(1000)가 도 4의 과정에 이어 종양데이터셋을 구축하는 과정이 도시된다. 일 실시 예에 의하면, 자동투여장치(1000)는 기 설정된 제1 그룹의 종양 데이터에 기초하여, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 1차 검수할 수 있다.
또한, 자동투여 장치(1000)는 라벨링되지 않은 제2 그룹의 종양 데이터셋에 대해 준지도 학습(semi-supervised learning) 기법을 적용하여 종양 데이터를 n개의 그룹과 종양의 영역과 라벨링을 진행하게 된다. 이를 위해 자동 투여 장치(1000)는 상기 검수된, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터에 기초하여, 지도 학습을 수행함으로써 n개 클래스의 분류 학습을 진행할 수 있다. 자동투여장치(1000)는 1차적으로 제1 그룹의 종양 데이터셋에 기초한 지도 학습을 통한 n개 클래스 분류 정보를 이용함으로써, 비지도학습 알고리즘에 의한 제2 그룹의 종양 데이터 셋의 클래스 정보, 종양 영역 그리고 라벨링을 작성할 수 있다.
즉, 자동투여장치(1000)는 상기 n개 클래스의 분류 학습 결과에 따른 n개의 클래스 정보를 이용하여, 상기 라벨링되지 않은 제2 그룹의 종양 데이터 셋에 대해 비지도 학습 알고리즘을 적용함으로써 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역과 라벨링된 데이터를 생성하게 된다.
자동투여장치(1000)는 기 설정된 제2 그룹의 종양 데이터에 기초하여, 상기 제2 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 2차 검수할 수 있다. 예를 들어, 자동투여 장치(1000)는 전문가들에 의해 작성된 제2 그룹의 종양 데이터와 종양의 영역과 라벨링된 데이터를 무작위로 2차 검수를 진행할 수 있다. 본 개시에 따른 자동투여장치(1000)는 상기 제1 그룹의 종양 데이터 셋 및 상기 제2 그룹의 종양 데이터 셋을 포함한 전체 종양 데이터와 종양 영역 및 라벨링된 데이터를 종양 데이터셋으로 구축할 수 있다.
도 6은 일 실시 예에 따른 자동투여장치가 종양 데이터셋을 분석하는 과정을 설명하기 위한 도면이다.
도 6의 그림 (610)에는 자동투여장치(1000)가 종양 데이터셋을 분석하는 과정으로, 구축된 종양 데이터셋을 학습 데이터, 검증 데이터 및 테스트 데이터로 분류하는 과정이 도시된다. 예를 들어, 자동투여장치(1000)는 제1 그룹이 종양 데이터셋과 제2 그룹이 종양 데이터 셋을 통합한 전체의 종양 데이터와, 종양 영역, 그리고 라벨링 정보를 이용하여 데이터 셋을 다시 3개의 그룹인 학습 데이터, 검증 데이터 및 테스트 데이터로 분류할 수 있다.
일 실시 예에 의하면 자동투여장치(1000)는 학습 데이터에 기초하여 인공 지능 모델 학습을 위한 하이퍼 파라미터를 결정할 수 있으며, 학습 데이터 및 검증 데이터에 기초하여 인공 지능 모델을 재 학습시키거나, 테스트 데이터에 기초하여 학습된 인공 지능 모델의 성능을 평가하는데 사용할 수 있다.
도 7은 일 실시 예에 따른 자동투여장치가 이용하는 인공지능 모델을 설명하기 위한 도면이다.
그림 (710)을 참조하면 자동투여장치(1000)가 종양 탐지를 위한 인공 지능 모델로써, 비전머신러닝 학습 모델을 설계하는 과정이 개략적으로 도시된다. 일 실시 예에 의하면 자동투여장치(1000)는 종양 탐지를 위한 비전머신러닝 학습 모델의 후보군을 구성하고, 1차적으로 학습 모델의 후보군에 학습 데이터를 이용하여 하이퍼 파라미터를 설정함으로써 학습을 진행하게 되며, 후보군의 알고리즘의 수만큼 모델들을 구성하게 된다.
일 실시예에 의하면 자동투여장치(1000)는 종양 탐지를 위해, 도 6에서 분류된 학습 데이터에 기초하여 인공 지능 모델 학습을 위한 하이퍼 파라미터를 결정하며, 상기 결정된 하이퍼 파라미터에 기초하여 복수의 인공 지능 모델들(712)을 학습시킬 수 있다.
도 8은 일 실시 예에 따른 자동투여장치가 학습한 복수의 인공지능 모델들 중 하나의 모델을 선택하는 과정을 설명하기 위한 도면이다.
도 8의 그림 (810)을 참조하면, 자동투여장치(1000)는 1차 과정의 결과물인 복수의 학습 모델들(예컨대 복수의 인공 지능 모델들)을 검증 데이터를 이용하여 예측값을 산출한다. 일 실시 예에 의하면 자동투여장치(1000)는 산출된 예측 값과 검증 데이터의 레이블 값과의 차이를 이용하여, 학습된 복수의 인공 지능 모델들의 성능을 평가할 수 있다.
자동투여장치(1000)는 복수의 인공 지능 모델들에 대한 성능을 평가하고, 평가 결과에 기초하여 복수의 인공 지능 모델들 중 하나의 인공 지능 모델을 선택할 수 있다. 자동투여장치(1000)는 성능 평가 결과에 기초하여 가장 높은 성능을 나타내는 하나의 인공 지능 모델에, 종양 이미지를 적용함으로써, 정확하게 치료 대상 종양을 분석할 수 있다.
도 9는 일 실시 예에 따른 자동투여장치가 종양 탐지를 위해 이용하는 인공지능 모델을 구현하는 과정을 설명하기 위한 도면이다.
도 9의 그림 (910), 그림 (920) 및 그림 (930)을 참조하여 자동투여장치(1000)가 비전머신러닝 학습 모델을 구현하는 과정을 설명하기로 한다. 그림 (910)을 참조하면, 자동투여장치(1000)는 선택된 우수한 성능의 인공 지능 모델을 이용하여 학습 데이터 및 검증 데이터를 이용하여, 선택된 인공지능 모델의 재 학습을 진행한다.
그림 (920)을 참조하면, 자동투여장치(1000)는 테스트데이터에 기초하여 재학습된 인공 지능 모델의 성능을 재평가할 수 있다. 예를 들어, 자동투여장치(1000)는 재학습된 모델을 이용하여 학습 데이터와 모델을 가지고 예측 값과 테스트 데이터의 레이블 값과의 차이를 이용해 최종적으로 성능을 평가한다.
자동투여장치(1000)는 성능 재 평과 결과에 기초하여 재 학습된 인공 지능 모델의 성능 점수가 소정의 임계치 이상으로 식별되면, 구축된 종양 데이터 셋에 기초하여 재 학습된 인공 지능 모델을 학습시킬 수 있다. 그림 (930)을 참조하면 자동투여장치(1000)는 전체데이터 셋을 이용한 학습을 완료한 후에 최종 모델로 선택된 인공 지능 모델을 이용하여, 종양 분석 및 치료를 수행할 수 있다. 자동 투여 장치(1000)는 최종적으로 선택된 인공 지능 모델에, 새로 획득된 치료 대상이 되는 종양 이미지를 입력함으로써, 인공 지능 모델로부터 성숙도 정보를 획득하게 된다.
본 개시에 따른 자동투여장치(1000)가 인공 지능 모델로부터 획득하는 성숙도 정보는, 인공 지능 모델로부터 종양 이미지 내 종양의 크기, 종양의 모양 또는 종양의 색상 중 적어도 하나에 관한 종양 형태 정보를 더 포함할 수 있다.
도 10은 일 실시 예에 따른 자동투여장치가 이용하는 인공 지능 모델의 학습에 사용된 학습 데이터의 정확도를 설명하기 위한 도면이다.
도 10의 그림 (1010)을 참조하면 인공 지능 모델 학습에 사용되는 학습데이터 중 YOLO 학습 데이터에 기초하여 학습된 인공지능 모델의 인식 결과예가 도시된다.
도 11은 일 실시 예에 따른 자동투여장치의 블록도이다.
일 실시 예에 의하면 자동투여장치(1000)는 디스플레이(1210), 로봇암(1500), 엣지 컴퓨터(1800), 카메라(1610)를 포함할 수 있다. 그러나 도시된 구성 요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 자동투여장치(1000)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 자동투여장치(1000)가 구현될 수도 있다.
일 실시 예에 의하면 엣지 컴퓨터(1800)는 하나 이상의 인스트럭션을 저장하는 메모리(1700) 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서(1300)를 포함할 수 있다.
일 실시 예에 의하면, 디스플레이(1210)는 카메라에 의해 촬영된 치료 대상 종양 이미지를 표시할 수 있다. 예를 들어, 디스플레이(1210)는 소정의 각도로 촬영된 종양 이미지를 표시할 수 있을 뿐만 아니라, 인공 지능 모델로부터 획득된 성숙도 정보를 화면상에 표시할 수 있다. 또한, 디스플레이(1210)는 성숙도 정보에 기초하여 결정된 약물 투여 정보를 화면상에 표시할 수 있다.
로봇암(1500)은 프로세서의 제어에 의해, 치료 대상 종양에 약물을 투여할 수 있다. 로봇암(1500)는 대상 약물을 투여하기 위한 주입 모듈, 상기 주입 모듈이 체결되는 단부 모듈, 상기 단부 모듈 및 상기 주입 모듈을 구동하기 위한 기타 복수의 구동 모듈을 더 포함할 수 있다.
엣지 컴퓨터(1800)는 미리 학습된 가중치 파일에 기초하여 종양에 대한 이미지 데이터를 실시간으로 처리할 수 있다. 예를 들어, 본 개시에 따른 자동투여장치(1000)는 카메라를 통해 획득된 종양 이미지 데이터 처리의 실시간성을 위해 엣지 컴퓨팅 기술을 이용하여 이미지 데이터를 처리할 수 있을 뿐만 아니라, 자동투여장치(1000)내 전반적인 구성들의 기능을 제어할 수도 있다.
엣지 컴퓨터(1800)는 카메라를 통해 획득된 종양 이미지에 인공 지능 모델을 적용함으로써 성숙도를 판정하고, 최적의 약물 투여 시기(종양 크기, 모양, 색상)를 정할 수 있다. 또한, 엣지 컴퓨터(1800)는 치적의 약물 종류, 약물 투여 시기, 약물 투여 주기 또는 기타 약물 투여 방법을 결정할 수도 있다.
카메라(1610)는 엣지 컴퓨터(1800)의 제어에 의해 소정의 각도에서 치료 대상이 되는 종양을 촬영함으로써 복수의 종양 이미지를 획득할 수 있다. 또한, 카메라(1610)는 복수의 종양 이미지가 소정의 프레임 간격으로 배치되는 종양 영상을 획득할 수도 있다.
프로세서(1300)는 메모리(1700)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 치료 대상이 되는 종양에 관한 종양 이미지를 획득하고, 상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하고, 상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하고, 상기 결정된 약물 투여 정보를 출력할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 출력된 약물 투여 정보에 기초하여, 소정의 약물을 투여를 위한, 상기 자동투여장치 내 로봇암 제어 신호를 결정하고, 상기 결정된 로봇암 제어 신호에 기초하여 상기 자동투여장치 내 로봇암을 제어할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 종양 이미지를 획득하기에 앞서, 종양 데이터 및 라벨링되지 않은 전체 종양 데이터 셋을 획득하고, 상기 종양 데이터 및 상기 라벨링되지 않은 전체 종양 데이터셋의 일부분의 종양 데이터 셋을 제1 그룹의 종양 데이터 셋 및 제2 그룹의 종양 데이터 셋으로 분류하고, 상기 제1 그룹의 종양 데이터 셋에 대해, 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역 표시와 라벨링된 데이터를 생성하고, 기 설정된 제1 그룹의 종양 데이터에 기초하여, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 1차 검수하고, 상기 검수된, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터에 기초하여, 지도 학습을 수행함으로써 n개 클래스의 분류 학습을 진행하고, 상기 n개 클래스의 분류 학습 결과에 따른 n개의 클래스 정보를 이용하여, 상기 라벨링되지 않은 제2 그룹의 종양 데이터 셋에 대해 비지도 학습 알고리즘을 적용함으로써 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역과 라벨링된 데이터를 생성하고, 기 설정된 제2 그룹의 종양 데이터에 기초하여, 상기 제2 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 2차 검수하고, 상기 제1 그룹의 종양 데이터 셋 및 상기 제2 그룹의 종양 데이터 셋을 포함한 전체 종양 데이터와 종양 영역 및 라벨링된 데이터를 종양 데이터셋으로 구축할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 종양 이미지를 획득하기에 앞서, 상기 구축된 종양 데이터 셋을 학습 데이터, 검증 데이터 및 테스트 데이터로 분류할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 종양 이미지를 획득하기에 앞서, 상기 분류된 학습 데이터에 기초하여, 인공 지능 모델 학습을 위한 하이퍼 파라미터를 결정하고, 상기 결정된 하이퍼 파라미터에 기초하여 복수의 인공 지능 모델들을 학습시키고 상기 학습된 복수의 인공 지능 모델들의 성능을 평가하고, 상기 평가 결과에 기초하여 복수의 인공 지능 모델들 중 하나의 인공 지능 모델을 선택하고, 상기 선택된 인공 지능 모델로부터 상기 성숙도 정보를 획득할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 종양 이미지를 획득하기에 앞서, 상기 학습 데이터 및 상기 검증 데이터에 기초하여 상기 선택된 인공 지능 모델을 재 학습시키고, 상기 테스트 데이터에 기초하여 상기 재 학습된 인공 지능 모델의 성능을 재 평가하고, 상기 성능 재 평가 결과에 기초하여 상기 재 학습된 인공 지능 모델의 성능 점수가 소정의 임계치 이상으로 식별되면, 상기 구축된 종양 데이터 셋에 기초하여 상기 재 학습된 인공 지능 모델을 학습시키고, 상기 성숙도 정보를 획득하는 단계는, 상기 구축된 종양 데이터 셋에 기초하여, 학습된, 상기 재 학습된 인공 지능 모델로부터 상기 성숙도 정보를 획득할 수 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)는 자동투여장치(1000)가 획득한 종양에 대한 종양 이미지들, 인공 지능 모델들, 인공 지능 모델들에 대한 가중치 정보들, 종양 데이터 셋, 학습 데이터, 검증 데이터 및 테스트 데이터를 저장할 수 있다. 또한, 일 실시 예에 의하면 메모리(1700)는 종양을 치료하기 위해 결정한 약물 투여 정보를 저장할 수도 있음은 물론이다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
또한, 상기 일 실시 예에 다른 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 장치가 제공될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속한다.

Claims (15)

  1. 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법에 있어서,
    치료 대상이 되는 종양에 관한 종양 이미지를 획득하는 단계;
    상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하는 단계;
    상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하는 단계; 및
    상기 결정된 약물 투여 정보를 출력하는 단계; 를 포함하고,
    상기 종양 이미지를 획득하는 단계에 앞서
    종양 데이터 및 라벨링되지 않은 전체 종양 데이터 셋을 획득하는 단계;
    상기 종양 데이터 및 상기 라벨링되지 않은 전체 종양 데이터셋의 일부분의 종양 데이터 셋을 제1 그룹의 종양 데이터 셋 및 제2 그룹의 종양 데이터 셋으로 분류하는 단계;
    상기 제1 그룹의 종양 데이터 셋에 대해, 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역 표시와 라벨링된 데이터를 생성하는 단계;
    기 설정된 제1 그룹의 종양 데이터에 기초하여, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 1차 검수하는 단계;
    상기 검수된, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터에 기초하여, 지도 학습을 수행함으로써 n개 클래스의 분류 학습을 진행하는 단계;
    상기 n개 클래스의 분류 학습 결과에 따른 n개의 클래스 정보를 이용하여, 상기 라벨링되지 않은 제2 그룹의 종양 데이터 셋에 대해 비지도 학습 알고리즘을 적용함으로써 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역과 라벨링된 데이터를 생성하는 단계;
    기 설정된 제2 그룹의 종양 데이터에 기초하여, 상기 제2 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 2차 검수하는 단계; 및
    상기 제1 그룹의 종양 데이터 셋 및 상기 제2 그룹의 종양 데이터 셋을 포함한 전체 종양 데이터와 종양 영역 및 라벨링된 데이터를 종양 데이터셋으로 구축하는 단계; 를 포함하는, 방법.
  2. 제1항에 있어서, 상기 방법은
    상기 출력된 약물 투여 정보에 기초하여, 소정의 약물을 투여를 위한, 상기 자동투여장치 내 로봇암 제어 신호를 결정하는 단계; 및
    상기 결정된 로봇암 제어 신호에 기초하여 상기 자동투여장치 내 로봇암을 제어하는 단계; 를 포함하는, 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 방법은 상기 종양 이미지를 획득하는 단계에 앞서,
    상기 구축된 종양 데이터 셋을 학습 데이터, 검증 데이터 및 테스트 데이터로 분류하는 단계; 를 더 포함하는, 방법.
  5. 제4항에 있어서, 상기 방법은 상기 종양 이미지를 획득하는 단계에 앞서,
    상기 분류된 학습 데이터에 기초하여, 인공 지능 모델 학습을 위한 하이퍼 파라미터를 결정하는 단계;
    상기 결정된 하이퍼 파라미터에 기초하여 복수의 인공 지능 모델들을 학습시키는 단계;
    상기 학습된 복수의 인공 지능 모델들의 성능을 평가하는 단계; 및
    상기 평가 결과에 기초하여 복수의 인공 지능 모델들 중 하나의 인공 지능 모델을 선택하는 단계; 를 더 포함하고,
    상기 성숙도 정보를 획득하는 단계는 상기 선택된 인공 지능 모델로부터 상기 성숙도 정보를 획득하는 것을 특징으로 하는, 방법.
  6. 제5항에 있어서, 상기 방법은 상기 종양 이미지를 획득하는 단계에 앞서,
    상기 학습 데이터 및 상기 검증 데이터에 기초하여 상기 선택된 인공 지능 모델을 재 학습시키는 단계;
    상기 테스트 데이터에 기초하여 상기 재 학습된 인공 지능 모델의 성능을 재 평가하는 단계; 및
    상기 성능 재 평가 결과에 기초하여 상기 재 학습된 인공 지능 모델의 성능 점수가 소정의 임계치 이상으로 식별되면, 상기 구축된 종양 데이터 셋에 기초하여 상기 재 학습된 인공 지능 모델을 학습시키는 단계; 를 더 포함하고,
    상기 성숙도 정보를 획득하는 단계는, 상기 구축된 종양 데이터 셋에 기초하여, 학습된, 상기 재 학습된 인공 지능 모델로부터 상기 성숙도 정보를 획득하는 것을 특징으로 하는, 방법.
  7. 제1항에 있어서, 상기 성숙도 정보를 획득하는 단계는
    상기 인공 지능 모델로부터, 종양 이미지 내 종양의 크기, 종양의 모양 또는 상기 종양의 색상 중 적어도 하나에 관한 종양 형태 정보를 획득하는 단계; 를 더 포함하는, 방법.
  8. 제7항에 있어서, 상기 약물 투여 정보를 결정하는 단계는
    상기 성숙도 정보 및 상기 종양 형태 정보에 기초하여, 상기 종양을 치료하기 위한 약물 종류에 관한 약물 종류 정보를 결정하는 단계;
    상기 성숙도 정보 및 상기 종양 형태 정보에 기초하여 상기 종양을 치료하기 위한 약물 투여 시점에 관한 약물 투여 시기 정보를 결정하는 단계; 및
    상기 성숙도 정보 및 상기 종양 형태 정보에 기초하여, 상기 종양을 치료하기 위한 약물 투여 용량에 관한 약물 투여 용량 정보를 결정하는 단계; 를 포함하는, 방법.
  9. 인공 지능 모델 기반으로 종양을 관리하는 자동투여장치에 있어서,
    디스플레이;
    카메라;
    상기 종양을 치료하기 위한 약물을 투여하는 로봇암; 및
    미리 학습된 가중치 파일에 기초하여 상기 종양에 대한 이미지 데이터를 실시간으로 처리하는 엣지 컴퓨터; 를 포함하고,
    상기 엣지 컴퓨터는,
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하며,
    상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    치료 대상이 되는 종양에 관한 종양 이미지를 획득하고,
    상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하고,
    상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하고,
    상기 결정된 약물 투여 정보를 출력하고,
    상기 종양 이미지를 획득하기에 앞서,
    종양 데이터 및 라벨링되지 않은 전체 종양 데이터 셋을 획득하고,
    상기 종양 데이터 및 상기 라벨링되지 않은 전체 종양 데이터셋의 일부분의 종양 데이터 셋을 제1 그룹의 종양 데이터 셋 및 제2 그룹의 종양 데이터 셋으로 분류하고,
    상기 제1 그룹의 종양 데이터 셋에 대해, 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역 표시와 라벨링된 데이터를 생성하고,
    기 설정된 제1 그룹의 종양 데이터에 기초하여, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 1차 검수하고,
    상기 검수된, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터에 기초하여, 지도 학습을 수행함으로써 n개 클래스의 분류 학습을 진행하고,
    상기 n개 클래스의 분류 학습 결과에 따른 n개의 클래스 정보를 이용하여, 상기 라벨링되지 않은 제2 그룹의 종양 데이터 셋에 대해 비지도 학습 알고리즘을 적용함으로써 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역과 라벨링된 데이터를 생성하고,
    기 설정된 제2 그룹의 종양 데이터에 기초하여, 상기 제2 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 2차 검수하고,
    상기 제1 그룹의 종양 데이터 셋 및 상기 제2 그룹의 종양 데이터 셋을 포함한 전체 종양 데이터와 종양 영역 및 라벨링된 데이터를 종양 데이터셋으로 구축하는, 자동투여장치.
  10. 제9항에 있어서, 상기 적어도 하나의 프로세서는
    상기 출력된 약물 투여 정보에 기초하여, 소정의 약물을 투여를 위한, 상기 자동투여장치 내 로봇암 제어 신호를 결정하고,
    상기 결정된 로봇암 제어 신호에 기초하여 상기 자동투여장치 내 로봇암을 제어하는, 자동투여장치.
  11. 삭제
  12. 제9항에 있어서, 상기 적어도 하나의 프로세서는
    상기 종양 이미지를 획득하기에 앞서,
    상기 구축된 종양 데이터 셋을 학습 데이터, 검증 데이터 및 테스트 데이터로 분류하는 자동투여장치.
  13. 제12항에 있어서, 상기 적어도 하나의 프로세서는
    상기 종양 이미지를 획득하기에 앞서,
    상기 분류된 학습 데이터에 기초하여, 인공 지능 모델 학습을 위한 하이퍼 파라미터를 결정하고,
    상기 결정된 하이퍼 파라미터에 기초하여 복수의 인공 지능 모델들을 학습시키고
    상기 학습된 복수의 인공 지능 모델들의 성능을 평가하고,
    상기 평가 결과에 기초하여 복수의 인공 지능 모델들 중 하나의 인공 지능 모델을 선택하고,
    상기 선택된 인공 지능 모델로부터 상기 성숙도 정보를 획득하는 것을 특징으로 하는, 자동투여장치.
  14. 제13항에 있어서, 상기 적어도 하나의 프로세서는
    상기 종양 이미지를 획득하기에 앞서,
    상기 학습 데이터 및 상기 검증 데이터에 기초하여 상기 선택된 인공 지능 모델을 재 학습시키고,
    상기 테스트 데이터에 기초하여 상기 재 학습된 인공 지능 모델의 성능을 재 평가하고,
    상기 성능 재 평가 결과에 기초하여 상기 재 학습된 인공 지능 모델의 성능 점수가 소정의 임계치 이상으로 식별되면, 상기 구축된 종양 데이터 셋에 기초하여 상기 재 학습된 인공 지능 모델을 학습시키고,
    상기 성숙도 정보를 획득하는 단계는, 상기 구축된 종양 데이터 셋에 기초하여, 학습된, 상기 재 학습된 인공 지능 모델로부터 상기 성숙도 정보를 획득하는, 자동 투여 장치.
  15. 자동투여장치가 인공 지능 모델 기반으로 종양을 관리하는 방법에 있어서,
    치료 대상이 되는 종양에 관한 종양 이미지를 획득하는 단계;
    상기 종양 이미지가 입력되면, 상기 종양 이미지에 포함된 치료 대상이 되는 종양의 성숙도 정보를 출력하는 인공 지능 모델에, 상기 종양 이미지를 입력함으로써, 상기 인공 지능 모델로부터 성숙도 정보를 획득하는 단계;
    상기 성숙도 정보에 기초하여 약물 투여 정보를 결정하는 단계; 및
    상기 결정된 약물 투여 정보를 출력하는 단계; 를 포함하고,
    상기 종양 이미지를 획득하는 단계에 앞서
    종양 데이터 및 라벨링되지 않은 전체 종양 데이터 셋을 획득하는 단계;
    상기 종양 데이터 및 상기 라벨링되지 않은 전체 종양 데이터셋의 일부분의 종양 데이터 셋을 제1 그룹의 종양 데이터 셋 및 제2 그룹의 종양 데이터 셋으로 분류하는 단계;
    상기 제1 그룹의 종양 데이터 셋에 대해, 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역 표시와 라벨링된 데이터를 생성하는 단계;
    기 설정된 제1 그룹의 종양 데이터에 기초하여, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 1차 검수하는 단계;
    상기 검수된, 상기 제1 그룹의 종양 데이터 셋에 대한 라벨링된 데이터에 기초하여, 지도 학습을 수행함으로써 n개 클래스의 분류 학습을 진행하는 단계;
    상기 n개 클래스의 분류 학습 결과에 따른 n개의 클래스 정보를 이용하여, 상기 라벨링되지 않은 제2 그룹의 종양 데이터 셋에 대해 비지도 학습 알고리즘을 적용함으로써 종양 종류에 따른 n개 클래스로 종양 데이터와 종양 데이터에 해당하는 종양의 영역과 라벨링된 데이터를 생성하는 단계;
    기 설정된 제2 그룹의 종양 데이터에 기초하여, 상기 제2 그룹의 종양 데이터 셋에 대한 라벨링된 데이터를 2차 검수하는 단계; 및
    상기 제1 그룹의 종양 데이터 셋 및 상기 제2 그룹의 종양 데이터 셋을 포함한 전체 종양 데이터와 종양 영역 및 라벨링된 데이터를 종양 데이터셋으로 구축하는 단계를 포함하는, 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020210169556A 2021-11-30 2021-11-30 인공 지능 모델 기반 종양 관리 장치 및 방법 KR102417602B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210169556A KR102417602B1 (ko) 2021-11-30 2021-11-30 인공 지능 모델 기반 종양 관리 장치 및 방법
PCT/KR2022/019271 WO2023101444A1 (ko) 2021-11-30 2022-11-30 인공 지능 모델 기반 종양 관리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210169556A KR102417602B1 (ko) 2021-11-30 2021-11-30 인공 지능 모델 기반 종양 관리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102417602B1 true KR102417602B1 (ko) 2022-07-07

Family

ID=82398431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210169556A KR102417602B1 (ko) 2021-11-30 2021-11-30 인공 지능 모델 기반 종양 관리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102417602B1 (ko)
WO (1) WO2023101444A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023101444A1 (ko) * 2021-11-30 2023-06-08 (주)플라스바이오 인공 지능 모델 기반 종양 관리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111512A1 (ja) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用情報処理装置、および情報処理方法
KR20200004204A (ko) * 2018-07-03 2020-01-13 (주) 프로큐라티오 빅데이터분석기반 암진단장치 및 방법
KR102313661B1 (ko) 2020-12-30 2021-10-19 뉴로핏 주식회사 특성 정보를 고려한 의료 영상 분석 방법, 의료 영상 분석 장치 및 의료 영상 분석 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2954169A1 (en) * 2014-07-14 2016-01-21 Allegro Diagnostics Corp. Methods for evaluating lung cancer status
KR101818074B1 (ko) * 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
KR102417602B1 (ko) * 2021-11-30 2022-07-07 (주)플라스바이오 인공 지능 모델 기반 종양 관리 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111512A1 (ja) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用情報処理装置、および情報処理方法
KR20200004204A (ko) * 2018-07-03 2020-01-13 (주) 프로큐라티오 빅데이터분석기반 암진단장치 및 방법
KR102313661B1 (ko) 2020-12-30 2021-10-19 뉴로핏 주식회사 특성 정보를 고려한 의료 영상 분석 방법, 의료 영상 분석 장치 및 의료 영상 분석 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023101444A1 (ko) * 2021-11-30 2023-06-08 (주)플라스바이오 인공 지능 모델 기반 종양 관리 장치 및 방법

Also Published As

Publication number Publication date
WO2023101444A1 (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
US10748040B2 (en) System and method for automatic assessment of cancer
US20220237788A1 (en) Multiple instance learner for tissue image classification
US10706535B2 (en) Tissue staining quality determination
CN111127389B (zh) 用于医疗保健的可扩展人工智能模型生成系统和方法
US11443218B2 (en) Model guided deep learning approach towards prediction of physical system behavior
Makantasis et al. Deep convolutional neural networks for efficient vision based tunnel inspection
WO2020104252A1 (en) Verification of classification decisions in convolutional neural networks
KR102417602B1 (ko) 인공 지능 모델 기반 종양 관리 장치 및 방법
US20220277550A1 (en) Image processing device, system, and method
Mvoulana et al. Fine-tuning Convolutional Neural Networks: a comprehensive guide and benchmark analysis for Glaucoma Screening
KR102344378B1 (ko) 딥러닝 모델을 이용한 통증 평가 방법 및 분석 장치
Alissa Parkinson's Disease Diagnosis Using Deep Learning
US20230260106A1 (en) Detecting robustness of machine learning models in clinical workflows
Yang et al. Fine scale hippocampus morphology variation cross 552 healthy subjects from age 20 to 80
Misu Brain Tumor Detection Using Deep Learning Approaches
Arficho Artificial Intelligence and Deep Learning in the Early Detection of Colorectal Cancer
Gultekin Automated Real Time Visual Inspection System for Pharmaceutical Tablet Manufacturing
Chew Anomaly detection for vision-based inspection
Sångberg Automated Glioma Segmentation in MRI using Deep Convolutional Networks
Maitan Brain MRI tumor segmentation with vision transformers
Souto Maior Neto Unboxing the" Black Box": Learning Interpretable Deep Learning Features of Brain Aging
Sarshar et al. Advancing Brain MRI Images Classification: Integrating VGG16 and ResNet50 with a Multi-verse Optimization Method
Littbrand Image analysis of In-Process Control
Smith Bayesian hierarchical and joint modeling of the reversal learning task
Rorato Segmentazione accurata di filopodi delle cellule

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant