KR102594259B1 - 채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치 - Google Patents
채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치 Download PDFInfo
- Publication number
- KR102594259B1 KR102594259B1 KR1020220132184A KR20220132184A KR102594259B1 KR 102594259 B1 KR102594259 B1 KR 102594259B1 KR 1020220132184 A KR1020220132184 A KR 1020220132184A KR 20220132184 A KR20220132184 A KR 20220132184A KR 102594259 B1 KR102594259 B1 KR 102594259B1
- Authority
- KR
- South Korea
- Prior art keywords
- blood vessel
- bounding box
- medical
- binary
- blood
- Prior art date
Links
- 239000008280 blood Substances 0.000 title claims abstract description 111
- 210000004369 blood Anatomy 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 167
- 238000013136 deep learning model Methods 0.000 claims abstract description 55
- 210000003462 vein Anatomy 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000000245 forearm Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001990 intravenous administration Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Manipulator (AREA)
Abstract
본 개시의 일 실시예에 따른 채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치가 개시된다. 상기 방법은, 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계; 및 의료용 로봇의 작업 영역(workspace)을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스(bounding box)를 탐색하여, 채혈 후보를 결정하는 단계를 포함할 수 있다.
Description
본 개시는 의료 영상 처리 기술에 관한 것으로, 구체적으로 의료 영상에 존재하는 혈관의 목표 위치를 탐색하는 방법 및 장치에 관한 것이다.
채혈은 질병의 진단, 수혈 등을 위해서 혈관을 대상으로 수행되는 침습적 의료 행위를 의미한다. 채혈은 일반적으로 채혈 시행자가 피채혈자의 피부 표면에 가까운 정맥을 육안으로 확인하여 정맥을 목표로 바늘을 혈관에 천자하는 방식으로 수행된다. 즉, 채혈은 일반적으로 사람의 수작업으로 일일이 수행된다. 따라서, 채혈은 채혈 시행자의 숙련도에 따라 채혈 시간, 성공 여부 등이 천차만별로 달라질 수 밖에 없는 문제가 존재한다. 또한, 채혈은 채혈을 위한 침습 과정에서 사람의 접촉 등에 의한 감염이 발생할 가능성이 존재한다는 문제를 안고 있다.
이와 같은 채혈의 문제점을 해결하기 위해서, 최근 들어 채혈 과정을 자동화 하기 위한 장치의 개발이 이루어지고 있다. 채혈 장치는 채혈 준비부터 혈관 발견, 바늘 침습까지 채혈을 위해 진행되어야 하는 절차를 사람이 아닌 기기를 통해 안정적으로 수행하는 것을 목표로 한다. 이러한 목표를 달성하기 위해서는, 채혈의 대상이 되는 혈관 위치를 특정하는 것이 가장 중요하다.
한편, 의료 영상은 질병의 진단과 치료를 위해 인체의 여러 가지 장기들의 물리적인 상태를 이해할 수 있게 해주는 데이터이다. 의료 영상 기기들이 지속적으로 개발되어 오면서, 의료 영상은 X선(X-ray) 영상, 컴퓨터 단층 촬영(CT: computed tomography) 영상, 양전자 방출 단층 촬영(PET: positron emission tomography) 영상, 또는 자기 공명 영상(MRI: magnetic resonance imaging) 등으로 다양해지고 있다. 영상 분석 기술 및 인공지능 기술의 발달에 따라, 의료 영상은 의료 술기를 보조하기 위한 분석 자료로서 다양하게 활용되고 있다. 대표적으로, 의료 영상은 의료 술기가 효과적으로 수행될 수 있도록 영상에 촬영된 혈관 등과 같은 객체를 탐색하는 탐지 분야에서 활발히 활용되고 있다.
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 딥러닝을 기반으로 의료 영상을 분석하여 채혈에 적합한 혈관 위치를 탐색하고, 그 결과를 추천하는 방법 및 장치를 제공하고자 한다.
다만, 본 개시에서 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재를 근거로 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는, 채혈 후보를 탐색하기 위한 방법이 개시된다. 상기 방법은, 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계; 및 의료용 로봇의 작업 영역(workspace)을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스(bounding box)를 탐색하여, 채혈 후보를 결정하는 단계를 포함할 수 있다.
대안적으로, 상기 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계는, 상기 딥러닝 모델에 포함된 제 1 서브 모델을 사용하여, 상기 의료 영상에 존재하는 혈관에 대응되는 제 1 바이너리(binary)를 생성하는 단계; 및 상기 딥러닝 모델에 포함된 제 2 서브 모델을 사용하여, 상기 의료 영상에 존재하는 혈관에 대응되는 제 2 바이너리를 생성하는 단계를 포함할 수 있다. 이때, 상기 제 2 서브 모델은, 의료 영상을 이진화 하여 표재 정맥(superficial veins)을 검출하도록 사전 학습될 수 있다.
대안적으로, 상기 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계는, 상기 제 2 바이너리에 가중치를 적용하는 단계; 및 상기 가중치가 적용된 제 2 바이너리와 상기 제 1 바이너리를 조합하여, 상기 채혈 후보를 결정하는데 사용될 제 3 바이너리를 생성하는 단계를 더 포함할 수 있다.
대안적으로, 상기 의료용 로봇의 작업 영역을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스를 탐색하여, 채혈 후보를 결정하는 단계는, 상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관의 내부에 존재하면서 사전 결정된 크기 이상인 바운딩 박스를 탐색하는 단계; 및 상기 사전 결정된 크기 이상인 바운딩 박스를 채혈 후보로 결정하는 단계를 포함할 수 있다.
대안적으로, 상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관의 적어도 일부를 포함하면서 사전 결정된 크기 이상인 바운딩 박스를 탐색하는 단계는, 상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관을 회전시키면서 바운딩 박스를 탐색하는 단계; 및 상기 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상인 바운딩 박스를 선별하는 단계를 포함할 수 있다.
대안적으로, 상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관을 회전시키면서 바운딩 박스를 탐색하는 단계, 및 상기 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상인 바운딩 박스를 선별하는 단계는, 상기 선별되는 바운딩 박스의 개수가 제 1 기준치 이상이 될 때까지 반복 수행될 수 있다.
대안적으로, 상기 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계는, 상기 딥러닝 모델에 포함된 제 1 서브 모델을 사용하여, 상기 의료 영상에 존재하는 혈관에 대응되는 제 1 바이너리(binary)를 생성하는 단계; 및 상기 딥러닝 모델에 포함된 제 2 서브 모델을 사용하여, 상기 제 1 바이너리를 기초로 상기 채혈 후보를 결정하는데 사용될 제 3 바이너리를 생성하는 단계를 포함할 수 있다. 이때, 상기 제 2 서브 모델은, 이진화 된 의료 영상을 기초로 표재 정맥을 검출하도록 사전 학습된 것일 수 있다.
대안적으로, 상기 검출된 혈관을 회전하면서 탐색되는 바운딩 박스들 중 가장 큰 크기의 바운딩 박스를 선별하도록 사전 결정된 경우, 상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관을 회전시키면서 바운딩 박스를 탐색하는 단계, 및 상기 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상인 바운딩 박스를 선별하는 단계는, 픽셀 수가 제 2 기준치 이하인 바운딩 박스가 선별될 때까지 반복 수행될 수 있다.
대안적으로, 상기 방법은, 상기 의료 영상을 복수의 타일(tile)들로 구분하고, 상기 타일 별로 히스토그램 평활화(histogram equalization)를 수행하는 단계를 더 포함할 수 있다.
대안적으로, 상기 방법은, 상기 의료 영상에 존재하는 혈관이 강조되도록, 상기 의료 영상의 대비(contrast)를 조절하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 채혈 후보를 탐색하기 위한 동작들을 수행하도록 한다. 이때, 상기 동작들은, 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 동작; 및 의료용 로봇의 작업 영역을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스를 탐색하여, 채혈 후보를 결정하는 동작을 포함할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 채혈 후보를 탐색하는 컴퓨팅 장치가 개시된다. 상기 장치는, 적어도 하나의 코어(core)를 포함하는 프로세서; 상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory); 및 의료 영상을 획득하기 위한 네트워크부(network unit)를 포함할 수 있다. 이때, 상기 프로세서는, 사전 학습된 딥러닝 모델을 사용하여, 상기 의료 영상에 존재하는 혈관을 검출하고, 의료용 로봇의 작업 영역(workspace)을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스(bounding box)를 탐색하여, 채혈 후보를 결정할 수 있다.
본 개시는 딥러닝을 기반으로 의료 영상을 분석하여 채혈에 적합한 혈관 위치를 탐색하고, 그 결과를 추천하는 방법 및 장치를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 블록도이다.
도 3 및 도 4는 본 개시의 대안적 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 블록도이다.
도 5는 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정에서 도출된 이미지의 일 예이다.
도 6은 본 개시의 일 실시예에 따른 채혈 후보를 탐색하기 위한 방법을 나타낸 순서도이다.
도 7은 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 순서도이다.
도 2는 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 블록도이다.
도 3 및 도 4는 본 개시의 대안적 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 블록도이다.
도 5는 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정에서 도출된 이미지의 일 예이다.
도 6은 본 개시의 일 실시예에 따른 채혈 후보를 탐색하기 위한 방법을 나타낸 순서도이다.
도 7은 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.
본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.
본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는" 을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다" 는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.
본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상" 을 포함할 수 있는 것으로 해석되어야 한다.
본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제 1 구성요소 혹은 제 2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제 1 구성요소 혹은 제 2 구성요소로 구별될 수도 있다.
본 개시에서 사용되는 "획득" 이라는 용어는, 외부 장치 혹은 시스템과의 무선 통신 네트워크를 통해 데이터를 수신하는 것 뿐만 아니라, 온-디바이스(on-device) 형태로 데이터를 생성 혹은 수신하는 것을 지칭하는 것으로 이해될 수 있다.
한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)" 는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈" 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈" 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈" 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈" 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 딥러닝(deep learning) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 딥러닝 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.
본 개시에서 사용되는 "영상" 이라는 용어는 이산적 이미지 요소들로 구성된 다차원 데이터를 지칭할 수 있다. 다시 말해, "영상"은 사람의 눈으로 볼 수 있는 대상의 디지털 표현물을 지칭하는 용어로 이해될 수 있다. 예를 들어, "영상" 은 2차원 이미지에서 픽셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다. "영상"은 3차원 이미지에서 복셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다.
전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(100)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(100)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리할 수 있도록 하는 클라우드 시스템(cloud system)일 수도 있다. 그리고, 컴퓨팅 장치(100)는 의료 현장에서 수행되는 의료 행위 전반을 지원하거나 보조하는 의료용 로봇일 수도 있다. 이때, 의료용 로봇은 질병의 진단, 수혈 등을 위한 채혈 혹은 정맥 주사(IV: intravenous) 기능을 포함하는 정맥 천자용 로봇을 포함할 수 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 프로세서(processor)(110), 메모리(memory)(120), 및 네트워크부(network unit)(130)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(100)에 포함될 수도 있다.
본 개시의 일 실시예에 따른 프로세서(110)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(110)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(110)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(110)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(110)의 종류는 하나의 예시일 뿐이므로, 프로세서(110)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
프로세서(110)는 딥러닝 모델을 사용하여 의료 영상을 기초로 채혈에 적합한 혈관 영역을 탐색할 수 있다. 프로세서(110)는 의료 영상을 딥러닝 모델에 입력하여 의료 영상에 존재하는 혈관을 검출할 수 있다. 예를 들어, 프로세서(110)는 적외선 카메라를 통해 생성된 이미지를 딥러닝 모델에 입력하여 이미지에 표현된 전완부 혈관을 검출할 수 있다. 이때, 딥러닝 모델은 이미지를 기초로 객체를 검출하는 유-넷(U-net) 등과 같은 신경망을 포함할 수 있다. 한편, 딥러닝 모델의 검출이라는 기능적 표현은, 컴퓨터 비전(vision) 영역의 딥러닝 모델이 수행할 수 있는 태스크(task)인 탐지(detection), 분류(classification), 분할(segmentation) 등을 모두 포괄하는 개념일 수 있다.
프로세서(110)는 의료용 로봇의 작업 영역(workspace)을 고려하여 딥러닝 모델을 통해 검출된 혈관에서 채혈에 적합한 혈관 영역을 채혈 후보로 결정할 수 있다. 의료용 로봇의 구조 상 채혈을 위한 움직임이 제한적인 경우, 이러한 한계를 고려하지 않고 채혈 후보를 결정하게 되면, 프로세서(110)가 결정한 채혈 후보가 실제 채혈에 적합하다고 할지라도 의료용 로봇을 통해 채혈을 수행하지 못하는 문제가 발생할 수 있다. 따라서, 프로세서(110)는 의료 영상을 분석하는데 의료용 로봇의 동작 한계를 반영하여 채혈 후보를 결정할 수 있다. 예를 들어, 프로세서(110)는 의료용 로봇이 채혈을 수행하기 위한 동작 한계를 고려하여, 의료 영상에서 딥러닝 모델을 통해 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스(bounding box)를 탐색할 수 있다. 즉, 프로세서(110)는 의료용 로봇이 채혈 동작을 수행할 수 있는 작업 영역을 의료 영상을 분석하는데 반영하여, 작업 영역 하에서 바운딩 박스를 탐색할 수 있다. 이때, 바운딩 박스는 박스형 뿐만 아니라 타원형, 오각형, 사다리꼴 등과 같은 다양한 형태의 다각형으로 형성될 수 있다. 프로세서(110)는 의료 영상에서 탐색된 바운딩 박스를 기초로, 딥러닝 모델을 통해 검출된 혈관에서 채혈 후보를 결정할 수 있다.
한편, 프로세서(110)는 딥러닝 모델의 학습 및 추론 성능을 향상시키기 위해서 의료 영상에 대한 전처리를 수행할 수 있다. 프로세서(110)는 의료 영상을 딥러닝 모델로 입력하기 이전에 의료 영상에서 딥러닝 모델의 특징 추출에 불필요한 영역을 제거하거나, 의료 영상의 사이즈를 조절할 수 있다. 또한, 프로세서(110)는 의료 영상에서 혈관과 주변 영역의 시각적 구분이 용이하도록 의료 영상의 픽셀 값을 조절할 수 있다. 프로세서(110)는 상술한 바와 같은 전처리를 수행함으로써, 의료 영상에서 혈관을 검출하는 딥러닝 모델의 효율성 및 생산성을 높일 수 있다.
본 개시의 일 실시예에 따른 메모리(120)는 컴퓨팅 장치(100)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(130)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(120)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(120)의 종류는 하나의 예시일 뿐이므로, 메모리(120)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
메모리(120)는 프로세서(110)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(110)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화 하여 관리할 수 있다. 예를 들어, 메모리(120)는 후술할 네트워크부(130)를 통해 획득된 의료 영상을 저장할 수 있다. 메모리(120)는 딥러닝 모델이 의료 영상을 기초로 학습하도록 동작시키는 프로그램 코드, 딥러닝 모델이 의료 영상에 대한 특징 해석(혹은 추론)을 수행하도록 동작시키는 프로그램 코드 및 프로그램 코드가 실행됨에 따라 산출된 각종 데이터 등을 저장할 수 있다.
본 개시의 일 실시예에 따른 네트워크부(130)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(130)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(130)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.
네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(130)는 의료 영상 저장 전송 시스템, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버, 혹은 의료용 로봇 등과의 통신을 통해, 의료 영상을 수신할 수 있다. 네트워크부(130)는 전술한 시스템, 서버, 혹은 의료용 로봇 등과의 통신을 통해, 프로세서(110)의 연산을 통해 생성된 각종 데이터를 송신할 수 있다.
도 2는 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 블록도이다. 그리고, 도 5는 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정에서 도출된 이미지의 일 예이다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)의 프로세서(110)는 의료 영상(11)을 딥러닝 모델(200)에 입력하여 의료 영상(11)에서 혈관을 검출할 수 있다. 프로세서(110)는 딥러닝 모델(200)을 사용하여 의료 영상(11)을 이진화 함으로써, 의료 영상(11)에 존재하는 적어도 하나의 혈관을 검출할 수 있다. 프로세서(110)는 의료 영상(11)을 딥러닝 모델(200)에 입력하여 의료 영상(11)에 존재하는 적어도 하나의 혈관에 대응되는 바이너리(15)를 생성할 수 있다.
예를 들어, 컴퓨팅 장치(100)가 전완부의 혈관을 촬영한 적외선 영상을 의료 영상(11)으로 획득한 경우, 프로세서(110)는 적외선 영상을 딥러닝 모델(200)에 입력하여 적외선 영상에 존재하는 혈관이 적외선 영상 내 다른 영역과 구별되도록 이진화 하여 검출할 수 있다. 다시 말해, 딥러닝 모델(200)은 적외선 영상을 입력받아 특징을 해석함으로써, 적외선 영상에 존재하는 혈관 영역은 1, 적외선 영상에 존재하는 혈관 이외 나머지 영역은 0으로 분류하여, 혈관에 대응되는 바이너리(15)를 생성할 수 있다. 이때, 딥러닝 모델(200)은 적외선 영상에 존재하는 모든 혈관 영역을 GT(ground truth)로 표시한 라벨을 이용하여 학습 영상에서 모든 혈관 영역을 검출하도록 사전 학습될 수 있다. 학습 영상은 혈관을 촬영한 적외선 영상 등을 포함하는 의료 영상일 수 있다. 구체적으로, 학습 과정에서, 딥러닝 모델(200)은 학습 영상을 입력받아 영상에 존재하는 혈관 영역을 검출하고, 검출 영역과 나머지 영역이 구별되도록 이진화 하여 혈관 영역에 대응되는 바이너리를 생성할 수 있다. 그리고, 딥러닝 모델(200)은 생성된 바이너리와 라벨을 비교하고, 비교 결과를 기반으로 파라미터를 업데이트 하는 과정을 반복 수행할 수 있다. 상술한 예시는 지도 학습에 기반한 학습 과정이지만, 딥러닝 모델(200)은 지도 학습 이외에도 준지도 학습, 비지도 학습, 자기 지도 학습 등을 통해 학습을 수행할 수 있다.
프로세서(110)는 의료용 로봇의 동작 한계 각도 내에서, 바이너리(15)로 표현되는 혈관의 내부에 존재하면서 사전 결정된 크기 이상인 바운딩 박스(19)를 추출할 수 있다. 구체적으로, 프로세서(110)는 의료용 로봇의 동작 한계 각도 내에서 바이너리(15)로 표현되는 혈관을 회전시킬 수 있다. 프로세서(110)는 바이너리(15)로 표현되는 혈관을 회전하면서 혈관 내부에서 바운딩 박스들을 탐색할 수 있다. 프로세서(110)는 혈관을 회전하면서 탐색되는 바운딩 박스들 중에서 사전 결정된 크기 이상인 바운딩 박스(19)를 선별할 수 있다. 예를 들어, 의료용 로봇의 침습부가 채혈을 위해 수행하는 동작의 한계 각도가 -30도 내지 30도라고 한다면, 프로세서(110)는 -30도 내지 30도 범위 내에서 바이너리(15)로 표현되는 혈관을 회전시킬 수 있다. 그리고, 프로세서(110)는 -30도 내지 30도 범위 내 모든 각도에서 바이너리(15)를 회전시키면서 바이너리(15) 내에 존재하는 바운딩 박스들을 탐색할 수 있다. 프로세서(110)는 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상의 바운딩 박스(19)를 선별할 수 있다. 이때, 사전 결정된 크기는 의료용 로봇의 생산자 혹은 사용자가 채혈이라는 목적을 달성하기 위해 설정된 값일 수 있다. 즉, 채혈 후보를 결정하기 위한 바운딩 박스(19)를 선별하는 크기는, 굵고 긴 혈관이 채혈에 적합하다는 임상적 경험을 토대로 의료용 로봇의 생산자 혹은 사용자에 의해 사전 결정된 값일 수 있다. 채혈 후보를 결정하기 위한 바운딩 박스(19)를 선별하는 크기는 의료용 로봇 자체 혹은 클라이언트 단말 등과의 통신을 통해 인가된 외부 입력에 의해 수정 혹은 변경될 수 있다. 도 5의 (b)와 같이 적외선 영상에서 채혈 후보를 결정하기 위한 바운딩 박스(19)는 하얀색 박스(40)로 표현될 수 있으나, 이는 하나의 예시일 뿐이다. 따라서, 채혈 후보를 결정하기 위한 바운딩 박스(19)의 모양 및 색상은 의료용 로봇의 생산자 혹은 사용자의 기호에 맞춰 다양하게 구성될 수 있다.
프로세서(110)는 사전 결정된 크기 이상인 바운딩 박스(19)를 채혈 후보로 결정할 수 있다. 사전 결정된 크기 이상인 바운딩 박스(19)는 의료용 로봇의 생산자 혹은 사용자의 임상적 경험을 토대로 채혈에 적합한 혈관으로 판단되는 영역에 해당하므로, 프로세서(110)는 사전 결정된 크기 이상인 바운딩 박스(19)를 채혈 후보로 선정할 수 있다. 프로세서(110)는 사전 결정된 크기 이상인 바운딩 박스(19)의 개수가 기준치 이상이 될 때까지, 사전 결정된 크기 이상의 바운딩 박스(19)를 선별하기 위한 연산을 반복 수행할 수 있다. 이때, 기준치는 의료용 로봇의 생산자 혹은 사용자에 의해 사전 결정된 값으로, 의료용 로봇 자체 혹은 클라이언트 단말 등과의 통신을 통해 인가된 외부 입력에 의해 수정 혹은 변경될 수 있다. 예를 들어, 프로세서(110)는 사전 결정된 크기 이상인 바운딩 박스(19)의 개수가 5개 이상이 될 때까지, 의료용 로봇의 동작 한계 각도 내에서 바이너리(15)의 회전, 바운딩 박스 탐색 및 사전 결정된 크기 이상의 바운딩 박스 선별하는 전체 연산 과정을 반복 수행할 수 있다.
도 3 및 도 4는 본 개시의 대안적 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 블록도이다.
도 3을 참조하면, 본 개시의 대안적 실시예에 따른 컴퓨팅 장치(100)의 프로세서(110)는 의료 영상(21)을 딥러닝 모델(200)에 입력하여 의료 영상(21)에서 혈관을 검출할 수 있다. 이때, 딥러닝 모델(200)은 의료 영상(21)에 존재하는 적어도 하나의 혈관을 검출하기 위한 제 1 서브 모델(210) 및 의료 영상(21)에 존재하는 표재 정맥(superficial veins)을 검출하기 위한 제 2 서브 모델(220)을 포함할 수 있다. 구체적으로, 프로세서(110)는 제 1 서브 모델(210)을 사용하여 의료 영상(21)을 이진화 함으로써, 의료 영상(21)에 존재하는 적어도 하나의 혈관을 검출할 수 있다. 프로세서(110)는 의료 영상(21)을 제 1 서브 모델(210)에 입력하여 의료 영상(21)에 존재하는 적어도 하나의 혈관에 대응되는 제 1 바이너리(23)를 생성할 수 있다. 프로세서(110)는 제 2 서브 모델(220)을 사용하여 의료 영상(21)을 이진화 함으로써, 의료 영상(21)에 존재하는 표재 정맥을 검출할 수 있다. 프로세서(110)는 의료 영상(21)을 제 2 서브 모델(220)에 입력하여 의료 영상(21)에 존재하는 표재 정맥에 대응되는 제 2 바이너리(25)를 생성할 수 있다.
예를 들어, 컴퓨팅 장치(100)가 전완부의 혈관을 촬영한 적외선 영상을 의료 영상(21)으로 획득한 경우, 프로세서(110)는 적외선 영상을 제 1 서브 모델(210)에 입력하여 적외선 영상에 존재하는 혈관이 적외선 영상 내 다른 영역과 구별되도록 이진화 하여 검출할 수 있다. 다시 말해, 제 1 서브 모델(210)은 적외선 영상을 입력받아 특징을 해석함으로써, 적외선 영상에 존재하는 혈관 영역은 1, 적외선 영상에 존재하는 혈관 이외 나머지 영역은 0으로 분류하여, 혈관에 대응되는 제 1 바이너리(23)를 생성할 수 있다. 또한, 프로세서(110)는 적외선 영상을 제 2 서브 모델(220)에 입력하여 적외선 영상에 존재하는 표재 정맥이 적외선 영상 내 다른 영역과 구별되도록 이진화 하여 검출할 수 있다. 다시 말해, 제 2 서브 모델(220)은 적외선 영상을 입력받아 특징을 해석함으로써, 적외선 영상에 존재하는 표재 정맥 영역은 1, 적외선 영상에 존재하는 표재 정맥 이외 나머지 영역은 0으로 분류하여, 표재 정맥에 대응되는 제 2 바이너리(25)를 생성할 수 있다.
한편, 이때, 제 1 서브 모델(210)은 적외선 영상에 존재하는 모든 혈관 영역을 GT(ground truth)로 표시한 라벨을 이용하여 학습 영상에서 모든 혈관 영역을 검출하도록 사전 학습될 수 있다. 학습 영상은 혈관을 촬영한 적외선 영상 등을 포함하는 의료 영상일 수 있다. 구체적으로, 학습 과정에서, 제 1 서브 모델(210)은 학습 영상을 입력받아 영상에 존재하는 혈관 영역을 검출하고, 검출 영역과 나머지 영역이 구별되도록 이진화 하여 혈관 영역에 대응되는 바이너리를 생성할 수 있다. 그리고, 제 1 서브 모델(210)은 생성된 바이너리와 라벨을 비교하고, 비교 결과를 기반으로 파라미터를 업데이트 하는 과정을 반복 수행할 수 있다. 상술한 예시는 지도 학습에 기반한 학습 과정이지만, 제 1 서브 모델(210)은 지도 학습 이외에도 준지도 학습, 비지도 학습, 자기 지도 학습 등을 통해 학습을 수행할 수 있다.
또한, 제 2 서브 모델(220)은 의료 영상(21)을 이진화 하여 표재 정맥을 검출하도록 사전 학습될 수 있다. 제 2 서브 모델(220)은 요골정맥, 요측피정맥, 척측피정맥 등과 같은 표재 정맥을 GT(ground truth)로 표시한 라벨을 이용하여 학습 영상에서 표재 정맥을 검출하도록 사전 학습될 수 있다. 학습 영상은 혈관을 촬영한 적외선 영상 등을 포함하는 의료 영상일 수 있다. 구체적으로, 학습 과정에서, 제 2 서브 모델(220)은 학습 영상을 입력받아 표재 정맥을 검출하고, 표재 정맥과 영상의 나머지 영역이 구별되도록 이진화 하여 표재 정맥에 대응되는 바이너리를 생성할 수 있다. 그리고, 제 2 서브 모델(220)은 생성된 바이너리와 라벨을 비교하고, 비교 결과를 기반으로 파라미터를 업데이트 하는 과정을 반복 수행할 수 있다. 상술한 예시는 지도 학습에 기반한 학습 과정이지만, 제 2 서브 모델(220)은 지도 학습 이외에도 준지도 학습, 비지도 학습, 자기 지도 학습 등을 통해 학습을 수행할 수 있다.
프로세서(110)는 제 1 서브 모델(210)의 출력인 제 1 바이너리(23)와 제 2 서브 모델(220)의 출력인 제 2 바이너리(25)를 조합하여, 채혈 후보를 결정하는데 사용될 제 3 바이너리(27)를 생성할 수 있다. 구체적으로, 프로세서(110)는 의료 영상(21)에 존재하는 표재 정맥에 대응되는 제 2 바이너리(25)에 가중치를 적용할 수 있다. 이때, 적용은 제 2 바이너리(25)에 가중치를 곱하거나 더하는 등의 연산을 수행하는 작업으로 이해될 수 있다. 그리고, 프로세서(110)는 의료 영상(21)에 존재하는 적어도 하나의 혈관에 대응되는 제 1 바이너리(23)와 가중치가 적용된 제 2 바이너리를 조합하여, 의료 영상(21)에 존재하는 혈관에 대응되는 제 3 바이너리(27)를 생성할 수 있다. 이때, 조합은 제 1 바이너리(23)와 가중치가 적용된 제 2 바이너리를 병합하기 위한 연산을 수행하는 작업으로 이해될 수 있다.
예를 들어, 컴퓨팅 장치(100)가 전완부의 혈관을 촬영한 적외선 영상을 의료 영상(21)으로 획득한 경우, 프로세서(110)는 적외선 영상에서 표재 정맥 영역을 나타내는 제 2 바이너리(25)의 픽셀 값에 가중치를 곱할 수 있다. 프로세서(110)는 가중치가 곱해진 제 2 바이너리의 픽셀 값과 적외선 영상에서 적어도 하나의 혈관 영역을 나타내는 제 1 바이너리(23)의 픽셀 값을 곱하여, 채혈 후보를 결정하는데 사용될 제 3 바이너리(27)을 생성할 수 있다. 제 3 바이너리(27)는 적외선 영상에서 존재하는 전체 혈관을 표현하면서도, 전체 혈관 중에서 표재 정맥을 보다 도드라지게 표현하는 데이터일 수 있다. 도 3의 (a)와 같이 적외선 영상에서 혈관 영역을 나타내는 제 3 바이너리(27)는 하얀색, 제 3 바이너리(27)를 제외한 나머지 영역은 검은색으로 표현될 수 있다.
프로세서(110)는 제 1 바이너리(23)와 제 2 바이너리(25)를 조합하기 위해, 추가적인 딥러닝 모델을 사용할 수도 있다. 구체적으로, 프로세서(110)는 제 1 바이너리(23)를 포함하는 영상과 제 2 바이너리(25)를 포함하는 영상을 추가 모델에 입력하여 제 3 바이너리(27)를 생성할 수 있다. 이때, 추가 모델은 임상적 기준을 근거로 채혈 대상에 적합한 것으로 판단된 혈관 영역을 GT(ground truth)로 표시한 라벨을 이용하여 학습 영상에서 채혈 후보 영역을 검출하도록 사전 학습될 수 있다. 학습 영상은 혈관을 촬영한 적외선 영상 등을 포함하는 의료 영상으로서, 혈관 영역 혹은 표재 정맥 영역과 나머지 영역이 구별되도록 이진화 된 영상일 수 있다.
상술한 바와 같은 과정을 통해 생성된 제 3 바이너리(27)를 채혈 후보를 결정하는데 사용하는 경우, 프로세서(110)는 제 1 바이너리(11)만을 채혈 후보를 결정하는데 사용할 때보다 채혈에 적합한 후보를 효과적으로 도출할 수 있다. 표재 정맥은 피부에 가까운 정맥으로서, 채혈의 메인 목표가 되는 혈관 중 하나에 해당한다. 따라서, 의료 영상(21)에 존재하는 모든 혈관을 표현하면서 동시에 표재 정맥이 강조된 제 3 바이너리(27)를 사용하게 되면, 프로세서(110)는 채혈에 적합하지 않은 혈관을 최대한 배제하면서 표재 정맥과 같은 채혈에 적합한 혈관을 중심으로 의료 영상(21)을 분석하여 채혈 후보를 선정할 수 있다.
도 4를 참조하면, 본 개시의 대안적 실시예에 따른 컴퓨팅 장치(100)의 프로세서(110)는 제 2 서브 모델(220)을 사용하여 의료 영상(31)에서 추출된 혈관 바이너리를 기초로 표재 정맥을 검출할 수도 있다. 프로세서(110)는 제 1 서브 모델(210)의 출력인 제 1 바이너리(33)를 제 2 서브 모델(220)에 입력하여 채혈 후보를 결정하는데 사용될 제 3 바이너리(39)를 생성할 수도 있다. 이때, 제 1 바이너리(33)는 의료 영상(31)을 제 1 서브 모델(210)에 입력하여 생성된 데이터로서, 의료 영상(31)에 존재하는 적어도 하나의 혈관에 대응될 수 있다.
예를 들어, 컴퓨팅 장치(100)가 전완부의 혈관을 촬영한 적외선 영상을 의료 영상(31)으로 획득한 경우, 프로세서(110)는 적외선 영상을 제 1 서브 모델(210)에 입력하여 적외선 영상에 존재하는 혈관이 적외선 영상 내 다른 영역과 구별되도록 이진화 하여 검출할 수 있다. 다시 말해, 제 1 서브 모델(210)은 적외선 영상을 입력받아 특징을 해석함으로써, 적외선 영상에 존재하는 혈관 영역은 1, 적외선 영상에 존재하는 혈관 이외 나머지 영역은 0으로 분류하여, 혈관에 대응되는 제 1 바이너리(33)를 생성할 수 있다. 그리고, 프로세서(110)는 제 1 바이너리(33)를 포함하는 적외선 영상을 제 2 서브 모델(220)에 입력하여 적외선 영상에 존재하는 표재 정맥이 적외선 영상 내 다른 영역과 구별되도록 이진화 하여 검출할 수 있다. 다시 말해, 제 2 서브 모델(220)은 혈관 영역은 1, 나머지 영역은 0으로 이진화 된 적외선 영상을 입력받아 특징을 해석함으로써, 적외선 영상에 존재하는 표재 정맥 영역은 1, 적외선 영상에 존재하는 표재 정맥 이외 나머지 영역은 0으로 분류하여, 표재 정맥에 대응되는 제 3 바이너리(39)를 생성할 수 있다. 이때, 제 2 서브 모델(220)의 출력으로 생성된 제 3 바이너리(39)는 채혈 후보를 결정하는데 사용될 수 있다.
제 2 서브 모델(220)은 이진화 된 의료 영상을 기초로 표재 정맥을 검출하도록 사전 학습될 수 있다. 제 2 서브 모델(220)은 혈관 영역은 1, 나머지 영역은 0으로 이진화 된 영상에서 표재 정맥을 GT(ground truth)로 표시한 라벨을 이용하여 학습 영상에서 표재 정맥을 검출하도록 사전 학습될 수 있다. 학습 영상은 혈관을 촬영한 적외선 영상 등을 포함하는 의료 영상으로서, 타겟 영역과 나머지 영역이 구별되도록 이진화 된 영상일 수 있다. 구체적으로, 학습 과정에서, 제 2 서브 모델(220)은 학습 영상을 입력받아 표재 정맥을 검출하고, 표재 정맥과 영상의 나머지 영역이 구별되도록 이진화 하여 표재 정맥에 대응되는 바이너리를 생성할 수 있다. 그리고, 제 2 서브 모델(220)은 생성된 바이너리와 라벨을 비교하고, 비교 결과를 기반으로 파라미터를 업데이트 하는 과정을 반복 수행할 수 있다. 상술한 예시는 지도 학습에 기반한 학습 과정이지만, 제 2 서브 모델(220)은 지도 학습 이외에도 준지도 학습, 비지도 학습, 자기 지도 학습 등을 통해 학습을 수행할 수 있다.
상술한 바와 같은 과정을 통해 생성된 제 3 바이너리(37)를 채혈 후보를 결정하는데 사용하는 경우, 프로세서(110)는 딥러닝 모델을 사용하여 손쉽게 표재 정맥을 도출할 수 있다. 표재 정맥은 피부에 가까운 정맥으로서, 채혈의 메인 목표가 되는 혈관 중 하나에 해당한다. 따라서, 의료 영상(31)에 존재하는 모든 혈관 중에서 표재 정맥이 강조된 제 3 바이너리(37)를 사용하게 되면, 프로세서(110)는 표재 정맥과 같은 채혈에 적합한 혈관을 중심으로 의료 영상(31)을 분석하여 채혈 후보를 선정할 수 있다.
한편, 도 3 및 도 4에서 제 3 바이너리(27, 37)에 기반한 바운딩 박스(29, 39) 추출 및 사전 결정된 크기 이상인 바운딩 박스(29, 39)에 기반한 채혈 후보 결정은 상술한 도 2의 바운딩 박스(19) 추출 및 채혈 후보 결정에 대응되므로, 이하에서는 설명을 생략하도록 한다.
도 6은 본 개시의 일 실시예에 따른 채혈 후보를 탐색하기 위한 방법을 나타낸 순서도이다.
도 6을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출할 수 있다(S110). 예를 들어, 컴퓨팅 장치(100)는 딥러닝 모델에 포함된 제 1 서브 모델을 사용하여, 의료 영상에 존재하는 혈관에 대응되는 제 1 바이너리를 생성할 수 있다. 제 1 서브 모델은 의료 영상을 입력받아 의료 영상에 존재하는 모든 혈관에 대한 이진 분할을 수행함으로써, 의료 영상에 존재하는 혈관을 나타내는 제 1 바이너리를 출력할 수 있다. 딥러닝 모델에 포함된 제 2 서브 모델을 사용하여, 의료 영상에 존재하는 혈관에 대응되는 제 2 바이너리를 생성할 수 있다. 제 1 서브 모델은 의료 영상을 입력받아 의료 영상에 존재하는 표재 정맥에 대한 이진 분할을 수행함으로써, 의료 영상에 존재하는 표재 정맥을 나타내는 제 2 바이너리를 출력할 수 있다. 컴퓨팅 장치(100)는 제 2 바이너리에 가중치를 적용하고, 가중치가 적용된 제 2 바이너리와 제 1 바이너리를 조합하여 제 3 바이너리를 생성할 수 있다.
컴퓨팅 장치(100)는 의료용 로봇의 작업 영역을 기준으로, S110 단계를 통해 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스를 탐색하여, 채혈 후보를 결정할 수 있다(S120). 컴퓨팅 장치(100)는 의료용 로봇의 동작 한계 각도 내에서, S110 단계를 통해 검출된 혈관의 내부에 존재하면서 사전 결정된 크기 이상인 바운딩 박스를 탐색할 수 있다. 그리고, 컴퓨팅 장치(100)는 사전 결정된 크기 이상인 바운딩 박스를 채혈 후보로 결정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 의료용 로봇의 동작 한계 각도 내에서, S110 단계에서 검출된 혈관을 나타내는 제 3 바이너리를 회전시키면서 바운딩 박스를 탐색할 수 있다. 컴퓨팅 장치(100)는 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상인 바운딩 박스를 선별할 수 있다. 컴퓨팅 장치(100)는 사전 결정된 크기 이상인 바운딩 박스의 개수가 제 1 기준치 이상이 될 때까지 S120 단계를 반복 수행할 수 있다.
또한, S110 단계에서 검출된 혈관을 나타내는 제 3 바이너리를 회전시키면서 탐색되는 바운딩 박스들 중 가장 큰 크기의 바운딩 박스를 선별하도록 사전 결정된 경우, 컴퓨팅 장치(100)는 픽셀 수가 제 2 기준치 이하인 바운딩 박스가 선별될 때까지 S120 단계를 반복 수행할 수 있다. 제 3 바이너리 내에 존재하는 바운딩 박스들 중에 가장 큰 크기의 바운딩 박스를 선별하였음에도 실제 채혈에 사용하기 어려운 크기의 바운딩 박스가 선별될 확률이 존재하므로, 컴퓨팅 장치(100)는 픽셀 수가 제 2 기준치 이하인 바운딩 박스가 선별될 때까지 S120 단계를 반복 수행할 수 있다. 이때, 제 2 기준치는 의료용 로봇의 생산자 혹은 사용자가 채혈이라는 목적을 달성하기 위해 설정된 값일 수 있다. 즉, 제 2 기준치는, 굵고 긴 혈관이 채혈에 적합하다는 임상적 경험을 토대로 의료용 로봇의 생산자 혹은 사용자에 의해 사전 결정된 값일 수 있다. 제 2 기준치는 의료용 로봇 자체 혹은 클라이언트 단말 등과의 통신을 통해 인가된 외부 입력에 의해 수정 혹은 변경될 수 있다.
도 7은 본 개시의 일 실시예에 따른 채혈 후보를 탐색하는 과정을 나타낸 순서도이다.
도 7을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 의료 영상을 획득할 수 있다(S210). 예를 들어, 컴퓨팅 장치(100)는 의료 영상 저장 전송 시스템과의 클라우드 통신을 통해 혈관을 촬영한 의료 영상을 수신할 수 있다. 컴퓨팅 장치(100)는 의료용 로봇의 일 구성으로 포함되어, 카메라를 통해 혈관을 촬영한 의료 영상을 생성할 수도 있다. 이때, 카메라는 적외선 카메라, 초음파 카메라, RGB 카메라 등을 모두 포함할 수 있다.
컴퓨팅 장치(100)는 S210 단계를 통해 획득한 의료 영상에서 일부 영역을 제거할 수도 있고, S210 단계를 통해 획득한 의료 영상의 사이즈를 조정할 수도 있다(S220). 예를 들어, S210 단계를 통해 1920x1200의 적외선 이미지를 획득한 경우, 컴퓨팅 장치(100)는 적외선 이미지에서 혈관 검출에 불필요한 노이즈가 존재하는 영역을 제거하여 1600x1200으로 이미지 크기를 조절할 수 있다. 그리고, 컴퓨팅 장치(100)는 노이즈 영역을 제거하여 1600x1200으로 크기가 조절된 이미지를 딥러닝 모델의 입력 사양(specification)에 따라 현재 비율에 맞춰 400x300으로 축소할 수 있다.
컴퓨팅 장치(100)는 S220 단계를 통해 처리된 의료 영상에 대한 히스토그램 평활화(histogram equalization)를 수행할 수 있다(S230). 구체적으로, 컴퓨팅 장치(100)는 의료 영상을 복수의 타일(tile)들로 구분하고, 타일 별로 히스토그램 평활화를 수행할 수 있다. 그리고, 컴퓨팅 장치(100)는 의료 영상에 존재하는 혈관이 강조되도록, 의료 영상의 대비(contrast)를 조절할 수 있다. 이와 같은 평활화를 통해 의료 영상에 존재하는 혈관이 나머지 영역보다 시각적으로 도드라지게 표현될 수 있도록 의료 영상을 처리할 수 있다.
컴퓨팅 장치(100)는 S220 단계 내지 S230 단계를 통해 처리된 의료 영상을 딥러닝 모델에 입력하여 혈관 바이너리를 생성할 수 있다(S240). 컴퓨팅 장치(100)는 의료 영상을 딥러닝 모델에 입력하여, 의료 영상에서 혈관 영역과 나머지 영역이 구별되도록 이진화 하여 혈관을 검출할 수 있다. 그리고, 컴퓨팅 장치(100)는 혈관 바이너리를 기초로 채혈 후보를 선별하는 연산을 수행할 수 있다.
컴퓨팅 장치(100)는 S240 단계를 통해 생성된 혈관 바이너리를 의료용 로봇의 동작 한계 각도 내에서 회전시킬 수 있다(S250). 그리고, 컴퓨팅 장치(100)는 혈관 바이너리를 회전시키면서 혈관 바이너리에 인접하는 바운딩 박스를 탐색할 수 있다(S260). 이때, 바운딩 박스는 혈관 바이너리의 일부 영역으로서, 채혈 후보가 될 수 있는 혈관 영역으로 이해될 수 있다. 그리고, 컴퓨팅 장치(100)는 탐색된 바운딩 박스들 중에서 소정의 크기 이상인 바운딩 박스를 채혈 후보로 선별할 수 있다. 예를 들어, 의료용 로봇의 침습부 구조 상 바늘의 인입 각도가 제한적인 경우, 인입 각도를 고려하지 않은 채 채혈 후보를 결정하면 의료용 로봇이 채혈 동작을 수행할 수 없게 된다. 따라서, 컴퓨팅 장치(100)는 의료용 로봇의 구조에 따른 바늘의 인입 각도 내에서 혈관 바이너리를 회전시키면서 혈관 바이너리 내에서 바운딩 박스를 탐색하여, 채혈 후보가 될 수 있는 혈관 영역들을 추출할 수 있다. 컴퓨팅 장치(100)는 탐색된 바운딩 박스들 중에서 채혈에 적합한 크기 이상의 바운딩 박스를 선별할 수 있다. 이때, 채혈에 적합한 크기는 의료용 로봇의 생산자 혹은 사용자의 임상적 경험을 근거로 사전 설정된 값일 수 있다.
컴퓨팅 장치(100)는 S250 단계를 통해 탐색된 바운딩 박스들 중 선별된 박스의 개수 혹은 픽셀 수를 기준으로, 바운딩 박스를 선별하는 연산 과정을 재수행 할지 여부를 판단할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 소정의 크기 이상인 바운딩 박스의 개수가 제 1 기준치(e.g. 5개) 이상인지 여부를 판단할 수 있다(S271). 제 1 기준치이상인 경우, 컴퓨팅 장치(100)는 소정의 크기 이상인 바운딩 박스로 선별된 박스들을 채혈 후보로 결정할 수 있다(S280). 제 1 기준치 미만인 경우, 컴퓨팅 장치(100)는 바운딩 박스를 선별하기 위한 S250 단계 및 S260 단계를 재수행 할 수 있다. 한편, 혈관 바이너리를 회전시키면서 탐색되는 바운딩 박스들 중 가장 큰 바운딩 박스를 선별하는 것으로 사전 결정된 경우, 컴퓨팅 장치(100)는 가장 큰 바운딩 박스로 선별된 박스의 픽셀 수가 제 2 기준치(e.g. 20픽셀) 이하인지 여부를 판단할 수 있다(S272). 제 2 기준치 이하인 경우, 컴퓨팅 장치(100)는 픽셀 수가 제 2 기준치 이하인 박스를 선별하기 전까지 선별된 바운딩 박스를 채혈 후보로 결정할 수 있다(S280). 제 2 기준치를 초과하는 경우, 컴퓨팅 장치(100)는 바운딩 박스를 선별하기 위한 S250 단계 및 S260 단계를 재수행 할 수 있다. 혈관 바이너리를 회전시키면서 탐색되는 바운딩 박스들 중 가장 큰 바운딩 박스를 선별하는 것으로 사전 결정된 경우, 상술한 S271 단계 및 S272 단계는 병렬적으로 수행될 수도 있고, 선별적으로 수행될 수도 있다.
바운딩 박스를 선별하기 위한 S250 단계 및 S260 단계가 재수행 되는 것으로 결정되면, 컴퓨팅 장치(100)는 혈관 바이너리 내에서 특정 영역을 재외하고 재탐색 및 선별을 수행할 수 있다(S273). 이전에 탐색된 영역을 재탐색 과정에 포함시키는 경우, 탐색 영역이 중복되어 불필요한 연산을 수행할 가능성이 존재한다. 따라서, 컴퓨팅 장치(100)는 이전에 탐색된 혈관 바이너리 내 영역에서 전후좌우로 인접한 일정한 픽셀 수 만큼은 탐색에서 제외하고, S250 단계 및 S260 단계를 재수행 할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 바운딩 박스 재탐색 및 선별을 위해 이전 탐색 영역의 전후 10픽셀까지 재탐색 영역에서 제외할 수 있다. 상술한 수치는 하나의 예시일 뿐이므로, 본 개시는 이에 제한되지 않는다.
앞서 설명된 본 개시의 다양한 실시예는 추가 실시예와 결합될 수 있고, 상술한 상세한 설명에 비추어 당업자가 이해 가능한 범주에서 변경될 수 있다. 본 개시의 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해되어야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 따라서, 본 개시의 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
Claims (12)
- 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 채혈 후보를 탐색하기 위한 방법으로서,
사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계; 및
의료용 로봇의 작업 영역(workspace)을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스(bounding box)를 탐색하여, 채혈 후보를 결정하는 단계;
를 포함하고,
상기 의료용 로봇의 작업 영역을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스를 탐색하여, 채혈 후보를 결정하는 단계는,
상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관의 내부에 존재하면서 사전 결정된 크기 이상인 바운딩 박스를 탐색하는 단계; 및
상기 사전 결정된 크기 이상인 바운딩 박스를 채혈 후보로 결정하는 단계;
를 포함하는,
방법.
- 제 1 항에 있어서,
상기 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계는,
상기 딥러닝 모델에 포함된 제 1 서브 모델을 사용하여, 상기 의료 영상에 존재하는 혈관에 대응되는 제 1 바이너리(binary)를 생성하는 단계; 및
상기 딥러닝 모델에 포함된 제 2 서브 모델을 사용하여, 상기 의료 영상에 존재하는 혈관에 대응되는 제 2 바이너리를 생성하는 단계;
를 포함하되,
상기 제 2 서브 모델은,
의료 영상을 이진화 하여 표재 정맥(superficial veins)을 검출하도록 사전 학습된 것인,
방법.
- 제 2 항에 있어서,
상기 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계는,
상기 제 2 바이너리에 가중치를 적용하는 단계; 및
상기 가중치가 적용된 제 2 바이너리와 상기 제 1 바이너리를 조합하여, 상기 채혈 후보를 결정하는데 사용될 제 3 바이너리를 생성하는 단계;
를 더 포함하는,
방법.
- 삭제
- 제 1 항에 있어서,
상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관의 적어도 일부를 포함하면서 사전 결정된 크기 이상인 바운딩 박스를 탐색하는 단계는,
상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관을 회전시키면서 바운딩 박스를 탐색하는 단계; 및
상기 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상인 바운딩 박스를 선별하는 단계;
를 포함하는,
방법.
- 제 5 항에 있어서,
상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관을 회전시키면서 바운딩 박스를 탐색하는 단계, 및 상기 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상인 바운딩 박스를 선별하는 단계는,
상기 선별되는 바운딩 박스의 개수가 제 1 기준치 이상이 될 때까지 반복 수행되는,
방법.
- 제 1 항에 있어서,
상기 사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 단계는,
상기 딥러닝 모델에 포함된 제 1 서브 모델을 사용하여, 상기 의료 영상에 존재하는 혈관에 대응되는 제 1 바이너리(binary)를 생성하는 단계; 및
상기 딥러닝 모델에 포함된 제 2 서브 모델을 사용하여, 상기 제 1 바이너리를 기초로 상기 채혈 후보를 결정하는데 사용될 제 3 바이너리를 생성하는 단계;
를 포함하되,
상기 제 2 서브 모델은,
이진화 된 의료 영상을 기초로 표재 정맥(superficial veins)을 검출하도록 사전 학습된 것인,
방법.
- 제 1 항에 있어서,
상기 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 가장 큰 크기의 바운딩 박스를 선별하도록 사전 결정된 경우,
상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관을 회전시키면서 바운딩 박스를 탐색하는 단계, 및 상기 검출된 혈관을 회전시키면서 탐색되는 바운딩 박스들 중 사전 결정된 크기 이상인 바운딩 박스를 선별하는 단계는,
픽셀 수가 제 2 기준치 이하인 바운딩 박스가 선별될 때까지 반복 수행되는,
방법.
- 제 1 항에 있어서,
상기 의료 영상을 복수의 타일(tile)들로 구분하고, 상기 타일 별로 히스토그램 평활화(histogram equalization)를 수행하는 단계;
를 더 포함하는,
방법.
- 제 1 항에 있어서,
상기 의료 영상에 존재하는 혈관이 강조되도록, 상기 의료 영상의 대비(contrast)를 조절하는 단계;
를 더 포함하는,
방법.
- 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 채혈 후보를 탐색하기 위한 동작들을 수행하도록 하며,
상기 동작들은,
사전 학습된 딥러닝 모델을 사용하여, 의료 영상에 존재하는 혈관을 검출하는 동작; 및
의료용 로봇의 작업 영역(workspace)을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스(bounding box)를 탐색하여, 채혈 후보를 결정하는 동작;
을 포함하고,
상기 의료용 로봇의 작업 영역을 기준으로, 상기 검출된 혈관의 적어도 일부를 포함하는 바운딩 박스를 탐색하여, 채혈 후보를 결정하는 동작은,
상기 의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관의 내부에 존재하면서 사전 결정된 크기 이상인 바운딩 박스를 탐색하는 동작; 및
상기 사전 결정된 크기 이상인 바운딩 박스를 채혈 후보로 결정하는 동작;
을 포함하는,
컴퓨터 프로그램.
- 채혈 후보를 탐색하기 위한 컴퓨팅 장치로서,
적어도 하나의 코어(core)를 포함하는 프로세서;
상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory); 및
의료 영상을 획득하기 위한 네트워크부(network unit);
를 포함하고,
상기 프로세서는,
사전 학습된 딥러닝 모델을 사용하여, 상기 의료 영상에 존재하는 혈관을 검출하고,
의료용 로봇의 동작 한계 각도 내에서, 상기 검출된 혈관의 내부에 존재하면서 사전 결정된 크기 이상인 바운딩 박스를 탐색하며,
상기 사전 결정된 크기 이상인 바운딩 박스를 채혈 후보로 결정하는,
장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220132184A KR102594259B1 (ko) | 2022-10-14 | 2022-10-14 | 채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치 |
| PCT/KR2023/015694 WO2024080773A1 (ko) | 2022-10-14 | 2023-10-12 | 채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220132184A KR102594259B1 (ko) | 2022-10-14 | 2022-10-14 | 채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102594259B1 true KR102594259B1 (ko) | 2023-10-26 |
Family
ID=88508791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220132184A KR102594259B1 (ko) | 2022-10-14 | 2022-10-14 | 채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102594259B1 (ko) |
| WO (1) | WO2024080773A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200021714A (ko) | 2018-08-21 | 2020-03-02 | 주식회사 디딤 | 의료 영상 분석 방법 및 장치 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102143940B1 (ko) * | 2018-04-03 | 2020-08-13 | 고려대학교 산학협력단 | 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법 |
| CN109003280B (zh) * | 2018-07-06 | 2021-09-21 | 华南理工大学 | 一种双通道血管内超声影像的血管中内膜分割方法 |
| KR102176196B1 (ko) * | 2019-07-09 | 2020-11-09 | (주)메디센텍 | 표재정맥 실시간 탐지 장치 및 방법 |
| US11367189B2 (en) * | 2019-10-18 | 2022-06-21 | Carnegie Mellon University | Method for object detection using hierarchical deep learning |
-
2022
- 2022-10-14 KR KR1020220132184A patent/KR102594259B1/ko active IP Right Grant
-
2023
- 2023-10-12 WO PCT/KR2023/015694 patent/WO2024080773A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200021714A (ko) | 2018-08-21 | 2020-03-02 | 주식회사 디딤 | 의료 영상 분석 방법 및 장치 |
Non-Patent Citations (3)
| Title |
|---|
| Alvin I. Chen 외, Deep learning robotic guidance for autonomous vascular access, Nature machine intelligence, 2020.02.14., Vol.2, pp.104-115.* * |
| Max L Balter 외, System Design and Development of a Robotic Device for Automated Venipuncture and Diagnostic Blood Cell Analysis, Rep U S, 2016.12.01., pp.514-520. * |
| Xu Cao 외, VeniBot: Towards Autonomous Venipuncture with Automatic Puncture Area and Angle Regression from NIR Images, arXiv, 2021.05.27., pp.1-7. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024080773A1 (ko) | 2024-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khamparia et al. | Internet of health things-driven deep learning system for detection and classification of cervical cells using transfer learning | |
| US10706333B2 (en) | Medical image analysis method, medical image analysis system and storage medium | |
| CN110490850B (zh) | 一种肿块区域检测方法、装置和医学图像处理设备 | |
| Hassan et al. | Retinal fundus vasculature multilevel segmentation using whale optimization algorithm | |
| US11790492B1 (en) | Method of and system for customized image denoising with model interpretations | |
| Li et al. | Superpixel-guided label softening for medical image segmentation | |
| US10762629B1 (en) | Segmenting medical images | |
| CN113469981B (zh) | 图像处理方法、装置及存储介质 | |
| CN112396606B (zh) | 一种基于用户交互的医学图像分割方法、系统和装置 | |
| Chitsaz et al. | Medical image segmentation using a multi-agent system approach. | |
| Shrivastava et al. | A comprehensive analysis of machine learning techniques in biomedical image processing using convolutional neural network | |
| CN115222713A (zh) | 一种冠状动脉钙化积分的计算方法、装置及存储介质 | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| Ganesan et al. | Internet of medical things with cloud-based e-health services for brain tumour detection model using deep convolution neural network | |
| CN116884623A (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| KR102594259B1 (ko) | 채혈 후보를 탐색하기 위한 방법, 프로그램 및 장치 | |
| Bhuvaneswari et al. | Contrast enhancement of retinal images using green plan masking and whale optimization algorithm | |
| Jamazi et al. | Mutated Aquila Optimizer for assisting brain tumor segmentation | |
| Sharma et al. | Solving image processing critical problems using machine learning | |
| KR102472550B1 (ko) | 병변 탐지 방법, 프로그램 및 장치 | |
| CN112884706B (zh) | 一种基于神经网络模型的图像评估系统和相关产品 | |
| Escorcia-Gutierrez et al. | A feature selection strategy to optimize retinal vasculature segmentation | |
| Rasi et al. | YOLO Based Deep Learning Model for Segmenting the Color Images | |
| KR102442591B1 (ko) | 라벨 생성 방법, 프로그램 및 장치 | |
| KR102613718B1 (ko) | 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |