KR102588866B1 - 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 - Google Patents
의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 Download PDFInfo
- Publication number
- KR102588866B1 KR102588866B1 KR1020220169995A KR20220169995A KR102588866B1 KR 102588866 B1 KR102588866 B1 KR 102588866B1 KR 1020220169995 A KR1020220169995 A KR 1020220169995A KR 20220169995 A KR20220169995 A KR 20220169995A KR 102588866 B1 KR102588866 B1 KR 102588866B1
- Authority
- KR
- South Korea
- Prior art keywords
- medical
- data
- medical system
- reference value
- artificial intelligence
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 title claims description 10
- 230000008859 change Effects 0.000 claims abstract description 57
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 54
- 238000002604 ultrasonography Methods 0.000 claims description 38
- 239000000523 sample Substances 0.000 claims description 25
- 210000004204 blood vessel Anatomy 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000002059 diagnostic imaging Methods 0.000 claims description 2
- 239000008280 blood Substances 0.000 description 15
- 210000004369 blood Anatomy 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000010241 blood sampling Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000001990 intravenous administration Methods 0.000 description 2
- 238000010253 intravenous injection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/150007—Details
- A61B5/150053—Details for enhanced collection of blood or interstitial fluid at the sample site, e.g. by applying compression, heat, vibration, ultrasound, suction or vacuum to tissue; for reduction of pain or discomfort; Skin piercing elements, e.g. blades, needles, lancets or canulas, with adjustable piercing speed
- A61B5/150061—Means for enhancing collection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/58—Testing, adjusting or calibrating the diagnostic device
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Hematology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Vascular Medicine (AREA)
- Pain & Pain Management (AREA)
- Dermatology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
Abstract
본 개시의 일 실시예에 따른 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 의료 시스템 제어 방법은, 설정된 제어 조건에 따라 동작하는 의료 시스템으로부터 멀티모달(multi-modal) 데이터를 획득하는 단계, 제1 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 시스템의 상기 제어 조건을 변경하기 위한 조건 변경 데이터를 생성하는 단계 및 상기 조건 변경 데이터를 기초로 상기 의료 시스템을 제어하는 단계를 포함하는 것을 특징으로 한다.
Description
본 개시는 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치에 관한 것으로서, 구체적으로 멀티모달 데이터 및 인공지능 모델을 이용한 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치에 관한 것이다.
의료 시스템은 다양한 의료 기기, 장치들을 포함하며, 각 기기로부터 다양한 종류의 의료 데이터가 생성된다. 예를 들어 의료 영상을 촬영하는 장치는 2차원 또는 3차원의 이미지를 생성한다.
또는 의료 기기가 의료 행위를 보조하기 위한 동작을 수행할 때, 의료 기기의 움직임, 의료 기기가 수행하는 일련의 동작들이 데이터로 생성되며, 이때 대상자가 되는 환자의 반응 등 주관적인 데이터도 생성된다.
의료 시스템에서 생성된 이러한 의료 데이터들은 인공지능 모델에 입력되어 병변을 탐지하거나, 의료 기기를 동작시키도록 역할을 수행한다.
구체적으로, 의료 영상을 기반으로 학습된 인공지능 모델은 피부과에서 피부의 상태와 증상의 종류를 파악하거나, 영상 의학과에서 CT나 X-ray 이미지에서 결절이나 종양을 찾아낼 수 있다. 또는 병리학 분야에서는 조직 슬라이드에서 종양이 나타난 위치를 파악한다.
다른 분야로서, 인공지능 모델은 의사의 실제 수술 과정을 trial & error를 통해 학습하여, 의사가 원격으로 로봇을 제어하도록 한다. 또는 봉합이나 매듭작업(knot-tying)과 같은 반복적인 작업에 로봇을 활용하기 위해 학습될 수도 있다.
일반적인 인공지능 모델은 이미지 등 특정 타입의 데이터에 특화된 경우가 많다. 그러나 실제 의료 환경에서는 여러 타입의 데이터가 복합된 경우가 대부분이므로, 다양한 차원의 데이터를 고려한 모델이 요구된다. 또한 복합적인 데이터를 사용하는 경우, 각 데이터의 적합도에 차이가 있을 수 있다. 이러한 적합도 차이로 인해 의료 동작의 신뢰도가 영향을 받을 수 있으므로, 신뢰도 높은 의료 동작을 위해서 데이터의 적합도를 판단하는 과정이 수반될 필요가 있다.
본 개시는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 의료 시스템에서 생성되는 다양한 차원의 멀티모달 데이터를 기초로, 의료 시스템의 제어 조건을 변경하는 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치에 관한 것이다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 의료 시스템 제어 방법이 개시된다. 상기 방법은 설정된 제어 조건에 따라 동작하는 의료 시스템으로부터 멀티모달(multi-modal) 데이터를 획득하는 단계, 제1 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 시스템의 상기 제어 조건을 변경하기 위한 조건 변경 데이터를 생성하는 단계 및 상기 조건 변경 데이터를 기초로 상기 의료 시스템을 제어하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 멀티모달 데이터의 적합도를 계산하는 단계 및 상기 적합도가 기준값 미만인 경우 상기 조건 변경 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 적합도가 상기 기준값 이상인 경우 상기 의료 시스템을 이용하여 미리 설정된 의료 동작을 수행하는 단계를 더 포함하는 것을 특징으로 한다.
대안적으로, 상기 의료 동작을 수행하는 단계는, 제2 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 동작에 대한 신뢰도를 계산하는 단계, 상기 신뢰도가 기준값 이상인 경우 상기 의료 동작을 수행하는 단계 및 상기 신뢰도가 상기 기준값 미만인 경우 상기 조건 변경 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 의료 시스템은 초음파 프로브를 포함하고, 상기 멀티모달 데이터는 초음파 영상을 포함하는 것을 특징으로 한다.
대안적으로, 상기 조건 변경 데이터는 상기 초음파 프로브의 위치 및 상기 초음파 프로브와 신체 간 접촉압력 중 적어도 하나를 변경하는 것을 특징으로 한다.
대안적으로, 상기 제2 인공지능 모델은 상기 멀티모달 데이터에 포함된 상기 초음파 프로브와 신체 간 접촉압력을 기초로, 상기 초음파 영상의 혈관 영역의 특징을 추론하도록 학습된 모델인 것을 특징으로 한다.
대안적으로, 상기 의료 시스템은 정맥 천자 장치를 포함하고, 상기 멀티모달 데이터는 적외선 영상 또는 초음파 영상을 포함하는 것을 특징으로 한다.
대안적으로, 상기 생성하는 단계는, 상기 정맥 천자 장치에 포함된 신체 압박부의 신체 압박 정도 및 상기 정맥 천자 장치의 위치 중 적어도 하나를 변경하도록 상기 조건 변경 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 의료 시스템 제어 장치가 개시된다. 상기 장치는, 의료 시스템으로부터 획득한 멀티모달(multi-modal) 데이터를 저장하는 메모리 및 상기 멀티모달 데이터의 적합도를 계산하고, 상기 적합도가 기준값 미만인 경우 제1 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 시스템의 제어 조건을 변경하기 위한 조건 변경 데이터를 생성하고, 상기 적합도가 상기 기준값 이상인 경우 상기 의료 시스템을 이용하여 미리 설정된 의료 동작을 수행하도록 하는 프로세서를 포함하는 것을 특징으로 한다.
대안적으로, 상기 의료 시스템은, 의료 영상 획득 장치 또는 정맥 천자 장치를 포함하는 것을 특징으로 한다.
대안적으로, 상기 멀티모달 데이터는, 의료 영상을 포함하고, 상기 의료 영상의 획득 시점, 상기 의료 영상 획득 장치 또는 상기 정맥 천자 장치에 포함된 센서로부터 획득한 센싱값, 상기 의료 영상 획득 장치 또는 상기 정맥 천자 장치에 포함된 모터의 엔코더값, 상기 의료 영상 획득 장치 또는 상기 정맥 천자 장치에 포함된 초음파 프로브의 위치, 변위, 동작 시간 중 적어도 하나를 더 포함하는 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 하기 위한 동작들을 수행하도록 한다. 이때, 상기 동작들은, 설정된 제어 조건에 따라 동작하는 의료 시스템으로부터 멀티모달(multi-modal) 데이터를 획득하는 동작, 상기 멀티모달 데이터의 적합도를 계산하는 동작 및 상기 적합도가 기준값 미만인 경우 제1 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 시스템의 상기 제어 조건을 변경하기 위한 조건 변경 데이터를 생성하고, 상기 적합도가 상기 기준값 이상인 경우 상기 의료 시스템을 이용하여 미리 설정된 의료 동작을 수행하도록 하는 동작을 포함하는 것을 특징으로 한다.
전술한 본 개시의 과제 해결 수단에 의하면, 본 개시는 의료 영상뿐만 아니라 의료 시스템에서 생성되는 다양한 차원의 데이터를 인공지능 모델에 입력하므로 추론의 정확도를 높일 수 있다.
또한 전술한 본 개시의 과제 해결 수단에 의하면, 본 개시는 일정 수준의 적합도를 갖는 멀티모달 데이터를 획득한 경우에만 의료 시스템의 동작이 수행되므로, 의료 시스템의 정밀도가 향상될 수 있다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 의료 시스템 제어 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 의료 시스템 제어 방법을 나타내는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 제1 인공지능 모델의 학습 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 조건 제어가 적용된 의료 시스템 제어 방법을 나타내는 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 의료 시스템 제어 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 의료 시스템 제어 방법을 나타내는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 제1 인공지능 모델의 학습 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 조건 제어가 적용된 의료 시스템 제어 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.
본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.
본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.
본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상"을 포함할 수 있는 것으로 해석되어야 한다.
본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제1 구성요소 혹은 제2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제1 구성요소 혹은 제2 구성요소로 구별될 수도 있다.
한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)"는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈", 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈", 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈", 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈", 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.
본 개시에서 사용되는 "영상"이라는 용어는 이산적 이미지 요소들로 구성된 다차원 데이터를 지칭할 수 있다. 다시 말해, "영상"은 사람의 눈으로 볼 수 있는 대상의 디지털 표현물을 지칭하는 용어로 이해될 수 있다. 예를 들어, "영상"은 2차원 이미지에서 픽셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다. "영상"은 3차원 이미지에서 복셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다.
전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(100)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(100)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리할 수 있도록 하는 클라우드 시스템(cloud system)일 수도 있다. 그리고, 컴퓨팅 장치(100)는 의료 현장에서 수행되는 의료 행위 전반을 지원하거나 보조하는 의료용 로봇일 수도 있다. 이때, 의료용 로봇은 질병의 진단, 수혈 등을 위한 채혈 혹은 정맥 주사(IV: intravenous) 기능을 포함하는 정맥 천자 장치를 포함할 수 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 프로세서(processor)(110), 메모리(memory)(120), 및 네트워크부(network unit)(130)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(100)에 포함될 수도 있다.
본 개시의 일 실시예에 따른 프로세서(110)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(110)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(110)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(110)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(110)의 종류는 하나의 예시일 뿐이므로, 프로세서(110)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
본 개시에 따르면 프로세서(110)는 의료 시스템으로부터 생성된 멀티모달(multi-modal) 데이터를 기초로, 의료 시스템을 제어하기 위한 조건 변경 데이터를 생성할 수 있다. 프로세서(110)는 제1 인공지능 모델을 학습시키고, 학습된 제1 인공지능 모델을 이용하여 조건 변경 데이터를 생성할 수 있다. 프로세서(110)는 양질의 멀티모달 데이터를 획득하기 위해, 멀티모달 데이터의 적합도를 계산하고, 기준값 미만의 적합도를 갖는 경우 의료 시스템의 제어 조건을 변경하여 다시 멀티모달 데이터를 획득할 수 있다.
또한, 프로세서(110)는 적합도가 기준값 이상인 멀티모달 데이터를 이용하여 의료 시스템에서 의료 동작을 수행하게 할 수 있다. 이 경우 프로세서(110)는 학습된 제2 인공지능 모델에 멀티모달 데이터를 입력하여 의료 동작의 신뢰도를 출력할 수 있다. 의료 동작의 신뢰도가 기준값 이상인 경우, 프로세서(110)는 의료 시스템에서 의료 동작을 수행하게 하고, 의료 동작의 신뢰도가 기준값 미만인 경우, 멀티모달 데이터를 이용하여 조건 변경 데이터를 생성할 수 있다.
프로세서(110)는 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 제1 인공지능 모델 및 제2 인공지능 모델을 학습시킬 수 있다. 또는 별다른 지도없이 데이터 인식을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 데이터 인식을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 제1 인공지능 모델 및 제2 인공지능 모델을 학습시킬 수 있다. 또는 학습에 따른 데이터 인식의 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 제1 인공지능 모델 및 제2 인공지능 모델을 학습시킬 수 있다.
제1 인공지능 모델 및 제2 인공지능 모델은 적어도 하나의 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)과 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
본 개시의 일 실시예에 따른 메모리(120)는 컴퓨팅 장치(100)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(130)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(120)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(120)의 종류는 하나의 예시일 뿐이므로, 메모리(120)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
메모리(120)는 프로세서(110)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(110)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화하여 관리할 수 있다. 또한 메모리(120)는 프로세서(110)가 학습 데이터를 생성하도록 동작시키는 프로그램 코드를 저장할 수 있다.
메모리(120)는 의료 시스템으로부터 생성된 멀티모달 데이터를 저장하고, 이를 기초로 생성된 조건 변경 데이터를 저장할 수 있다.
본 개시의 일 실시예에 따른 네트워크부(130)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(130)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(130)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.
네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(130)는 의료 영상 저장 전송 시스템, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버, 혹은 의료용 로봇 등과의 통신을 통해, 멀티모달 데이터를 수신할 수 있다. 네트워크부(130)는 전술한 시스템, 서버, 혹은 의료용 로봇 등과의 통신을 통해, 프로세서(110)의 연산을 통해 생성된 각종 데이터를 송신할 수 있다.
도 2는 본 개시의 일 실시예에 따른 의료 시스템 제어 장치의 블록도이다.
도 2를 참조하면, 도 1의 컴퓨팅 장치는 의료 시스템 제어 장치(200) 및 의료 시스템(300)의 제2 인공지능 모델(310)을 포함하는 구성일 수 있다. 도 2에서 의료 시스템 제어 장치(200)의 제1 인공지능 모델(220)과 의료 시스템(300)의 제2 인공지능 모델(310)이 구분되어 도시되었으나, 각 모델은 하나의 모델로 통합될 수 있다.
의료 시스템 제어 장치(200)는 의료 시스템(300)으로부터 다양한 차원의 데이터를 포함하는 멀티모달 데이터를 수신하고, 이를 기초로 조건 변경 데이터(230)를 생성할 수 있다. 의료 시스템 제어 장치(200)는 멀티모달 데이터(210)를 학습이 완료된 제1 인공지능 모델(220)에 입력하여 조건 변경 데이터(230)를 생성할 수 있다.
멀티모달 데이터(210)는 의료 영상을 포함할 수 있으며, 의료 영상은 2차원 이미지 또는 2차원의 이미지가 복수로 스택된 3차원의 이미지일 수 있다.
멀티모달 데이터(210)는 의료 시스템(300)에 포함된 다양한 센서들로부터 획득된 센싱값을 포함할 수 있다. 예를 들어 센싱값은 초음파 센서, 레이저 센서 등의 거리 측정 센서, 압력 센서, 자이로 센서, 가속도 센서 등 다양한 센서로부터 획득될 수 있다.
멀티모달 데이터(210)는 의료 시스템(300)에 포함된 다양한 모터에 대한 제어 파라미터를 포함할 수 있다. 예를 들어 의료 시스템(300)이 의료용 로봇을 포함하는 경우, 제어 파라미터는 로봇의 각 축에 대한 모터의 엔코더 값을 포함할 수 있다. 한편 멀티모달 데이터(210)는 의료 시스템(300)에서 획득한 로우 데이터뿐만 아니라, 로우 데이터를 이용하여 분석된 값을 포함할 수 있다.
제1 인공지능 모델(220)은 다양한 차원의 멀티모달 데이터(210)를 입력받아 조건 변경 데이터(230)를 추론할 수 있다. 예를 들어 멀티모달 데이터(210)에 포함된 각 데이터는 특성 차원이 다르므로, 제1 인공지능 모델(220)은 멀티모달 데이터(210)를 특성 차원이 같은 데이터로 통합할 수 있다. 또는 제1 인공지능 모델(220)은 멀티모달 데이터(210)에 포함된 각 데이터에 대응되는 각각의 모델을 포함할 수 있다. 제1 인공지능 모델(220)의 각 모델은 멀티모달 데이터(210)의 각 데이터에 대해 개별적으로 추론하고, 제1 인공지능 모델(220)은 각 추론값을 통합할 수 있다. 이때 제1 인공지능 모델(220)은 각 추론값에 서로 다른 가중치를 부여할 수 있다. 제1 인공지능 모델(220)의 추론 방법은 이에 제한되지 않는다.
제1 인공지능 모델(220)의 학습 방법에 대해서는 도4를 통해 후술한다.
의료 시스템 제어 장치(200)는 의료 시스템(300)의 제어 조건을 변경하기 위한 조건 변경 데이터(230)를 생성할 수 있다. 조건 변경 데이터(230)는 의료 시스템(300)에 포함된 다양한 구성들의 제어 조건을 변경하기 위한 정보를 포함한다. 예를 들어, 조건 변경 데이터(230)는 의료 시스템(300)의 센서 또는 모터의 동작을 제어할 수 있다.
의료 시스템 제어 장치(200)는 의료 시스템(300)에서 생성된 멀티모달 데이터(210)를 이용하여, 의료 시스템(300)을 제어하기 위한 조건 변경 데이터(230)를 생성할 수 있다. 즉 의료 시스템 제어 장치(200)는 의료 시스템(300)에 대한 피드백을 제공할 수 있다. 이에 따라 의료 시스템(300)에서 생성되는 각종 데이터 및 의료 시스템(300)의 동작의 품질과 정확도를 향상시킬 수 있다.
한 실시예로서, 의료 시스템(300)은 의료 영상 획득 장치를 포함할 수 있다. 예를 들어 의료 영상 획득 장치가 초음파 영상을 획득하는 경우, 의료 시스템(300)은 초음파 프로브, 신체 부위까지의 거리를 측정하는 센서를 포함할 수 있다. 이 경우 멀티모달 데이터(210)는 초음파 이미지, 초음파 프로브와 신체 간 거리, 초음파 프로브와 신체 간 접촉압력, 초음파 프로브의 변위, 위치, 초음파 이미지가 출력되는 시점 등을 포함할 수 있다. 또한 멀티모달 데이터(210)는 의료 시스템(300)에서 측정된 거리를 기초로 생성된 측정 부위(예를 들어, 상완)의 굴곡 정보를 포함할 수 있다.
의료 시스템 제어 장치(200)는 접촉압력이 기준범위에 속하도록 의료 시스템(300)을 제어하는 조건 변경 데이터(230)를 생성할 수 있다. 이렇게 생성된 조건 변경 데이터(230)를 기초로, 의료 시스템(300)은 혈관이 눌리지 않는 범위에서 초음파 프로브를 위치시킬 수 있다.
한 실시예로서, 의료 시스템(300)은 신체부위를 압박하기 위한 신체 압박부를 더 포함할 수 있다. 신체 압박부는 예를 들어, 상완을 압박할 수 있다. 신체 압박부는 커프를 포함할 수 있다. 신체 압박부는 초음파 프로브, 침습 혈관 고정부 및 국소 혈관 압박부 등의 구성과 함께 신체부위를 압박하기 위한 동작을 수행할 수 있다.
멀티모달 데이터(210)는 초음파 이미지, 신체 압박부의 신체 압박 정도, 압박 시간, 초음파 이미지 획득 시간 등을 포함할 수 있다. 의료 시스템 제어 장치(200)는 초음파 이미지의 혈관 영역의 특징을 분석하고, 혈관 영역의 특징 및 초음파 프로브의 제어 파라미터 등을 기초로 초음파 이미지에서 동맥, 정맥 등 혈관을 검출할 수 있다. 의료 시스템 제어 장치(200)는 초음파 이미지 상에서 혈관 검출이 용이하도록 의료 시스템(300)을 제어하는 조건 변경 데이터(230)를 생성할 수 있다. 이렇게 생성된 조건 변경 데이터(230)를 기초로, 의료 시스템(300)은 혈관이 눌리지 않는 범위에서 혈관 검출이 가능한 최적의 초음파 영상을 획득할 수 있다.
한 실시예로서, 의료 시스템(300)은 정맥 천자 장치를 포함할 수 있다. 이하에서는 정맥 천자 장치를 채혈 장치로 예로 들어 설명하나, 정맥 주사 장치에도 유사하게 적용될 수 있다. 정맥 천자 장치는 채혈을 위한 주사부, 주사부를 구동하는 구동부, 모터부, 센서부, 탐색부 등을 포함할 수 있다. 이 경우 멀티모달 데이터(210)는 탐색부를 통해 획득한 채혈 부위에 대한 이미지, 주사부와 신체 간 거리, 모터부의 엔코더 값, 센서부의 센싱값, 정맥 천자 장치의 위치 등을 포함할 수 있다. 채혈 부위에 대한 이미지는 초음파 이미지 또는 적외선 이미지일 수 있다. 정맥 천자 장치의 위치는 주사부, 구동부, 모터부, 센서부, 탐색부 중 적어도 하나의 구성의 물리적인 위치를 의미할 수 있다. 예를 들어 주사부에 포함된 바늘 또는 바늘 구동부의 위치, 탐색부에 포함된 초음파 프로브의 위치 등을 의미할 수 있다.
의료 시스템 제어 장치(200)는 이미지를 기초로 채혈 대상이 될 혈관 영역을 결정하고, 혈관 영역에 채혈 장치를 위치시키도록 조건 변경 데이터(230)를 생성할 수 있다. 이렇게 생성된 조건 변경 데이터(230)를 기초로, 의료 시스템(300)은 최적의 위치에서 안전하게 채혈 동작을 수행할 수 있다.
의료 시스템(300)은 학습된 제2 인공지능 모델(310)을 이용하여, 멀티모달 데이터(210)를 기초로 의료 동작을 수행할 수 있다. 이때 제2 인공지능 모델(310)은 의료 동작에 대한 신뢰도를 출력할 수 있다. 의료 시스템(300)은 신뢰도를 미리 설정된 기준값과 비교하여 비교 결과에 따라 의료 동작을 수행하거나, 조건 변경 데이터(230)를 다시 획득할 수 있다.
의료 동작은 의료 영상으로부터 혈관을 검출하거나, 채혈 동작을 수행하거나, 의료 영상에 포함된 병변을 진단하는 등의 동작을 포함할 수 있다.
한 실시예로서, 제2 인공지능 모델(310)은 멀티모달 데이터에 포함된 초음파 프로브의 제어 파라미터, 초음파 프로브와 신체 간 접촉압력 등을 기초로 초음파 프로브와 신체 간 초음파 이미지의 혈관 영역의 특징을 추론할 수 있다.
도 3은 본 개시의 일 실시예에 따른 의료 시스템 제어 방법을 나타내는 흐름도이다.
도 3을 참조하면, 의료 시스템의 제어 조건이 설정될 수 있다(S110). 예를 들어 의료 시스템(300)은 의료 영상 획득 장치 또는 정맥 천자 장치를 포함할 수 있다.
의료 시스템 제어 장치(200)는 의료 시스템으로부터 멀티모달 데이터를 획득할 수 있다(S120). 예를 들어 의료 시스템(300)은 초음파 프로프를 포함할 수 있고, 멀티모달 데이터(210)는 초음파 이미지를 포함할 수 있다.
의료 시스템 제어 장치(200)는 제1 인공지능 모델을 이용하여, 멀티모달 데이터를 기초로 의료 시스템의 설정된 제어 조건을 변경하기 위한 조건 변경 데이터를 생성할 수 있다(S130).
예를 들어, 의료 시스템(300)이 초음파 의료 영상 획득 장치를 포함하는 경우 의료 시스템 제어 장치(200)는 초음파 프로브의 위치 및 초음파 프로브와 신체 간 접촉압력 중 적어도 하나를 변경하도록 조건 변경 데이터를 생성할 수 있다.
예를 들어 의료 시스템(300)이 정맥 천자 장치를 포함하는 경우, 의료 시스템 제어 장치(200)는 정맥 천자 장치에 포함된 신체 압박부의 신체 압박 정도 및 정맥 천자 장치의 위치 중 적어도 하나를 변경하도록 조건 변경 데이터를 생성할 수 있다. 정맥 천자 장치의 위치는 주사부, 구동부, 모터부, 센서부, 탐색부 중 적어도 하나의 구성의 물리적인 위치를 의미할 수 있다.
한편, 멀티모달 데이터(210)의 적합도에 따라 S130 단계의 수행 여부가 결정될 수 있다. 이에 대해서는 도 5를 통해 후술한다.
조건 변경 데이터를 기초로 의료 시스템의 제어 조건이 변경될 수 있다(S140).
도 4는 본 개시의 일 실시예에 따른 제1 인공지능 모델의 학습 방법을 나타내는 흐름도이다.
도 4를 참조하면, 의료 시스템 제어 장치(200)는 의료 시스템으로부터 멀티모달 데이터를 획득할 수 있다(S210).
의료 시스템 제어 장치(200)는 의료 시스템의 동작에 대한 판단 결과를 기초로 라벨 데이터를 획득할 수 있다(S220). 의료 시스템 제어 장치(200)는 외부 장치(서버 등)와 통신하여 의료진에 의해 생성(supervised learning)된 라벨 데이터를 획득하거나, 의료진의 명령을 기초로 생성(semi-supervised learning)할 수 있다. 혹은 의료 시스템 제어 장치(200) 내부에서 스스로 라벨 데이터를 생성(unsupervised learning)할 수 있다.
예를 들어, 의료 시스템은 멀티모달 데이터를 획득하면서 미리 설정된 동작을 수행할 수 있으며, 해당 동작에 대한 결과가 정량적으로 판단될 수 있다.
한 실시예로서, 의료 시스템은 의료 영상을 촬영하는 동작을 수행할 수 있다. 이때 의료진은 촬영된 의료 영상의 품질을 정량적으로 판단할 수 있다. 또는 의료 영상을 촬영하는 상황에서 환자의 상태가 모니터링될 수 있다. 의료 시스템 제어 장치(200)는 이러한 결과를 기초로 라벨 데이터를 획득할 수 있다.
한 실시예로서, 의료 시스템(300)은 환자에 대한 채혈 동작을 수행할 수 있다. 이때 의료 시스템(300)은 채혈을 위해 환자의 신체부위를 압박하고, 니들을 삽입할 수 있다. 이때 의료 시스템 제어 장치(200)는 환자가 느끼는 압박의 정도, 채혈이 원활하게 이루어지는 정도, 채혈 경로의 안전성 등을 기초로 라벨 데이터를 획득할 수 있다.
한편 의료 시스템의 동작은 이에 제한되지 않으며, 의료 영상을 기반으로 병변을 탐지하거나, 정맥 주사(intravenous injection)를 삽입하는 등의 동작을 수행할 수 있다.
의료 시스템 제어 장치(200)는 멀티모달 데이터 및 라벨 데이터를 기초로 제1 인공지능 모델을 학습시킬 수 있다(S230).
도 5는 본 개시의 일 실시예에 따른 조건 제어가 적용된 의료 시스템 제어 방법을 나타내는 흐름도이다.
도 5를 참조하면, 컴퓨팅 장치는 의료 시스템으로부터 멀티모달 데이터를 획득할 수 있다(S310).
컴퓨팅 장치는 획득한 멀티모달 데이터의 적합도를 계산할 수 있다(S320). 본 명세서에서 적합도란, 의료 시스템이 멀티모달 데이터(210)를 기초로 미리 설정된 동작을 수행할 수 있을만큼 멀티모달 데이터(210)의 품질 또는 양이 확보되는 것을 의미한다. 예를 들어 의료 시스템(300)이 이미지 기반의 병변 탐지를 수행하는 경우, 멀티모달 데이터(210)의 적합도는 이미지의 품질을 의미할 수 있다. 예를 들어 의료 시스템(300)이 채혈 동작을 수행하는 경우, 멀티모달 데이터(210)의 적합도는 이미지로부터 혈관 검출이 용이한지를 나타내는 판단 기준을 의미할 수 있다.
한 실시예로서, 컴퓨팅 장치는 멀티모달 데이터의 적합도를 판단하기 위한 별도의 연산 모델을 포함할 수 있다. 연산 모델은 룰 베이스의 수학적 알고리즘 또는 인공지능 모델로 구현될 수 있으나, 이에 제한되지 않는다.
컴퓨팅 장치는 적합도가 기준값 이상인지 판단한다(S330). 이때, 의료 시스템 제어 장치(200)는 하나의 멀티모달 데이터에 대해서 적합도를 판단할 수 있고, 일정 기간동안 누적된 복수의 멀티모달 데이터(210)에 대해 적합도를 판단할 수 있다. 즉 의료 시스템 제어 장치(200)는 기준값 이상의 적합도를 갖는 멀티모달 데이터(210)가 일정 기간동안 입력되는 경우에 적합도가 기준값 이상이라고 판단할 수 있다.
적합도가 기준값 이상인 경우, 컴퓨팅 장치는 멀티모달 데이터를 기초로 의료 동작의 신뢰도를 계산할 수 있다(S340). 예를 들어 컴퓨팅 장치는 제2 인공지능 모델을 이용하여 의료 동작의 신뢰도를 추론할 수 있다.
컴퓨팅 장치는 의료 동작의 신뢰도가 미리 설정된 기준값 이상인지 판단한다(S350). 신뢰도가 기준값 이상인 경우, 컴퓨팅 장치는의료 시스템이 미리 설정된 동작을 수행하도록 할 수 있다(S360). 예를 들어 미리 설정된 동작은 의료 영상 촬영 동작, 채혈 동작, 의료 영상에서 병변을 탐지하는 동작, 의료용 로봇을 제어하는 동작 및 의료용 로봇을 기초로 신체 기관을 관찰하는 동작 중 적어도 어느 하나를 포함할 수 있다.
S330 단계에서 멀티모달 데이터의 적합도가 기준값 미만인 경우 또는 S350 단계에서 의료 동작의 신뢰도가 기준값 미만인 경우, 컴퓨팅 장치는 멀티모달 데이터를 기초로 의료 시스템에 대한 조건 변경 데이터를 생성할 수 있다(S370). 예를 들어 컴퓨팅 장치는 멀티모달 데이터 및 제1 인공지능 모델을 이용하여 조건 변경 데이터를 생성할 수 있다. 이때, 조건 변경 데이터(230)는 적합도가 더 높은 멀티모달 데이터(210)를 획득하도록 의료 시스템(300)을 제어하는 방향으로 생성될 수 있다. 컴퓨팅 장치는 조건 변경 데이터를 기초로 의료 시스템의 제어 조건을 변경할 수 있다(S380).
한편, S330 단계에서 멀티모달 데이터의 적합도가 기준값 미만인 경우 S370 단계 및 S380 단계를 통해 의료 시스템 내 멀티모달 데이터를 생성하고 획득하는 구성 요소들과 관련된 제어 조건을 변경할 수 있다. 예시적으로, 의료용 로봇에 포함된 신체 압박부의 제어 관련 파라미터, 의료 영상 획득 장치에 포함된 초음파 프로브의 제어 관련 파라미터 등을 변경하도록 조건 변경 데이터를 생성할 수 있다.
또한, S350 단계에서 의료 동작의 신뢰도가 기준값 미만인 경우 S370 단계 및 S380 단계를 통해 의료 시스템 내에서 의료 동작을 수행하는 구성 요소들과 관련된 제어 조건을 변경할 수 있다. 예시적으로, 의료용 로봇의 채혈 동작 관련 파라미터, 의료 영상으로부터 혈관 검출 알고리즘에 적용되는 파라미터, 의료 영상으로부터 병변 진단 알고리즘에 적용되는 파라미터 등을 변경하도록 조건 변경 데이터를 생성할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
100: 컴퓨팅 장치
110: 프로세서
120: 메모리
130: 네트워크부
200: 의료 시스템 제어 장치
210: 멀티모달(multi-modal) 데이터
220: 제1 인공지능 모델
230: 조건 변경 데이터
300: 의료 시스템
310: 제2 인공지능 모델
110: 프로세서
120: 메모리
130: 네트워크부
200: 의료 시스템 제어 장치
210: 멀티모달(multi-modal) 데이터
220: 제1 인공지능 모델
230: 조건 변경 데이터
300: 의료 시스템
310: 제2 인공지능 모델
Claims (13)
- 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 의료 시스템 제어 방법으로서,
설정된 제어 조건에 따라 동작하는 의료 시스템으로부터 멀티모달(multi-modal) 데이터를 획득하는 단계;
상기 멀티모달 데이터의 적합도를 계산하는 단계;
상기 적합도가 기준값 미만인 경우 제1 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 시스템의 상기 제어 조건을 변경하기 위한 조건 변경 데이터를 생성하는 단계; 및
상기 적합도가 상기 기준값 이상인 경우 상기 조건 변경 데이터를 기초로 상기 의료 시스템을 이용하여 미리 설정된 의료 동작을 수행하는 단계;
를 포함하고,
상기 의료 동작을 수행하는 단계는,
제2 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 동작에 대한 신뢰도를 계산하는 단계;
상기 신뢰도가 기준값 이상인 경우 상기 의료 동작을 수행하는 단계; 및
상기 신뢰도가 상기 기준값 미만인 경우 상기 조건 변경 데이터를 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 의료 시스템은 초음파 프로브를 포함하고,
상기 멀티모달 데이터는 초음파 영상을 포함하는 것을 특징으로 하는 방법. - 제5항에 있어서,
상기 조건 변경 데이터는,
상기 초음파 프로브의 위치 및 상기 초음파 프로브와 신체 간 접촉압력 중 적어도 하나를 변경하는 것을 특징으로 하는 방법. - 제6항에 있어서,
상기 제2 인공지능 모델은
상기 멀티모달 데이터에 포함된 상기 초음파 프로브와 신체 간 접촉압력을 기초로, 상기 초음파 영상의 혈관 영역의 특징을 추론하도록 학습된 모델인 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 의료 시스템은 정맥 천자 장치를 포함하고,
상기 멀티모달 데이터는 적외선 영상 또는 초음파 영상을 포함하는 것을 특징으로 하는 방법. - 제8항에 있어서,
상기 생성하는 단계는,
상기 정맥 천자 장치에 포함된 신체 압박부의 신체 압박 정도 및 상기 정맥 천자 장치의 위치 중 적어도 하나를 변경하도록 상기 조건 변경 데이터를 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 의료 시스템 제어 장치로서,
의료 시스템으로부터 획득한 멀티모달(multi-modal) 데이터를 저장하는 메모리; 및
상기 멀티모달 데이터의 적합도를 계산하고, 상기 적합도가 기준값 미만인 경우 제1 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 시스템의 제어 조건을 변경하기 위한 조건 변경 데이터를 생성하고, 상기 적합도가 상기 기준값 이상인 경우 상기 의료 시스템을 이용하여 미리 설정된 의료 동작을 수행하도록 하는 프로세서;
를 포함하고,
상기 프로세서는,
제2 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 동작에 대한 신뢰도를 계산하고, 상기 신뢰도가 기준값 이상인 경우 상기 의료 동작을 수행하고, 상기 신뢰도가 상기 기준값 미만인 경우 상기 조건 변경 데이터를 생성하는 것을 특징으로 하는 장치. - 제10항에 있어서,
상기 의료 시스템은,
의료 영상 획득 장치 또는 정맥 천자 장치를 포함하는 것을 특징으로 하는 장치. - 제11항에 있어서,
상기 멀티모달 데이터는,
의료 영상을 포함하고,
상기 의료 영상의 획득 시점, 상기 의료 영상 획득 장치 또는 상기 정맥 천자 장치에 포함된 센서로부터 획득한 센싱값, 상기 의료 영상 획득 장치 또는 상기 정맥 천자 장치에 포함된 모터의 엔코더값, 상기 의료 영상 획득 장치 또는 상기 정맥 천자 장치에 포함된 초음파 프로브의 위치, 변위, 동작 시간 중 적어도 하나를 더 포함하는 것을 특징으로 하는 장치. - 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 하기 위한 동작들을 수행하도록 하며,
상기 동작들은,
설정된 제어 조건에 따라 동작하는 의료 시스템으로부터 멀티모달(multi-modal) 데이터를 획득하는 동작;
상기 멀티모달 데이터의 적합도를 계산하는 동작; 및
상기 적합도가 기준값 미만인 경우 제1 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 시스템의 상기 제어 조건을 변경하기 위한 조건 변경 데이터를 생성하고, 상기 적합도가 상기 기준값 이상인 경우 상기 의료 시스템을 이용하여 미리 설정된 의료 동작을 수행하도록 하는 동작;
을 포함하고,
상기 미리 설정된 의료 동작을 수행하도록 하는 동작은,
제2 인공지능 모델을 이용하여 상기 멀티모달 데이터를 기초로 상기 의료 동작에 대한 신뢰도를 계산하는 동작;
상기 신뢰도가 기준값 이상인 경우 상기 의료 동작을 수행하는 동작; 및
상기 신뢰도가 상기 기준값 미만인 경우 상기 조건 변경 데이터를 생성하는 동작;
을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220169995A KR102588866B1 (ko) | 2022-12-07 | 2022-12-07 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
| PCT/KR2023/018089 WO2024122907A1 (ko) | 2022-12-07 | 2023-11-10 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220169995A KR102588866B1 (ko) | 2022-12-07 | 2022-12-07 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102588866B1 true KR102588866B1 (ko) | 2023-10-16 |
Family
ID=88506181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220169995A KR102588866B1 (ko) | 2022-12-07 | 2022-12-07 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102588866B1 (ko) |
| WO (1) | WO2024122907A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024122907A1 (ko) * | 2022-12-07 | 2024-06-13 | 주식회사 에어스 메디컬 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017159027A (ja) * | 2016-03-07 | 2017-09-14 | 東芝メディカルシステムズ株式会社 | 超音波診断装置及び超音波診断支援装置 |
| KR20210010321A (ko) * | 2019-07-16 | 2021-01-27 | 쥐이 프리시즌 헬스케어 엘엘씨 | 초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하기 위한 방법들 및 시스템들 |
| KR102243830B1 (ko) | 2018-02-22 | 2021-04-23 | 고려대학교 산학협력단 | 통합 의료 진단 서비스 제공 시스템 및 그 방법 |
| JP2021166578A (ja) * | 2020-04-09 | 2021-10-21 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置及び超音波診断システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102089747B1 (ko) * | 2017-12-22 | 2020-03-16 | 계명대학교 산학협력단 | 사용자로부터의 입력신호에 따라 자동으로 제어되는 수술등 시스템 및 그 제어방법 |
| KR102588866B1 (ko) * | 2022-12-07 | 2023-10-16 | 주식회사 에어스메디컬 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
-
2022
- 2022-12-07 KR KR1020220169995A patent/KR102588866B1/ko active IP Right Grant
-
2023
- 2023-11-10 WO PCT/KR2023/018089 patent/WO2024122907A1/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017159027A (ja) * | 2016-03-07 | 2017-09-14 | 東芝メディカルシステムズ株式会社 | 超音波診断装置及び超音波診断支援装置 |
| KR102243830B1 (ko) | 2018-02-22 | 2021-04-23 | 고려대학교 산학협력단 | 통합 의료 진단 서비스 제공 시스템 및 그 방법 |
| KR20210010321A (ko) * | 2019-07-16 | 2021-01-27 | 쥐이 프리시즌 헬스케어 엘엘씨 | 초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하기 위한 방법들 및 시스템들 |
| JP2021166578A (ja) * | 2020-04-09 | 2021-10-21 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置及び超音波診断システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024122907A1 (ko) * | 2022-12-07 | 2024-06-13 | 주식회사 에어스 메디컬 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024122907A1 (ko) | 2024-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3142033B1 (en) | Physiology-driven decision support for therapy planning | |
| Mendizabal-Ruiz et al. | Segmentation of the luminal border in intravascular ultrasound B-mode images using a probabilistic approach | |
| JP2022522960A (ja) | 動脈画像領域及びそれらの特徴を分類するシステム及び方法 | |
| JP2020500377A (ja) | ディープラーニング医療システムおよび画像収集のための方法 | |
| US11464477B2 (en) | Blood vessel obstruction diagnosis method, apparatus and system | |
| KR102588866B1 (ko) | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 | |
| Leroy et al. | Communicative reinforcement learning agents for landmark detection in brain images | |
| US20220284577A1 (en) | Fundus image processing device and non-transitory computer-readable storage medium storing computer-readable instructions | |
| WO2022071264A1 (ja) | プログラム、モデル生成方法、情報処理装置及び情報処理方法 | |
| KR102478344B1 (ko) | 의료용 로봇의 제어를 모니터링 하기 위한 방법, 프로그램 및 장치 | |
| KR102557389B1 (ko) | 초음파 영상장치 및 그 제어 방법 | |
| JP7439990B2 (ja) | 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法 | |
| KR102488568B1 (ko) | 신체의 목적 타겟 위치 결정 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램 | |
| KR102641346B1 (ko) | 혈관 검출 방법 및 이를 수행하는 컴퓨터 프로그램 | |
| JP2023512004A (ja) | 超音波ガイダンス方法及びシステム | |
| WO2022071265A1 (ja) | プログラム、情報処理装置及び情報処理方法 | |
| EP4080449A1 (en) | Medical image quality assessment | |
| KR20210056884A (ko) | 의료 영상 출력 장치 및 이를 이용한 의료 영상 출력 방법 | |
| KR102607805B1 (ko) | 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램 | |
| JP7328489B2 (ja) | 眼科画像処理装置、および眼科撮影装置 | |
| CN113907866A (zh) | 用于确定导管的位置的系统和方法 | |
| CN114650777A (zh) | 医学图像显示设备和使用其显示医学图像的方法 | |
| CN112446499A (zh) | 改进用于自动量化冠状动脉疾病的机器学习模型的性能 | |
| JP2021104140A (ja) | 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム | |
| KR102464887B1 (ko) | 의료 영상의 메타데이터 예측 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |