KR20220135817A - 인공지능 기반 실시간 음향 시뮬레이션 방법 및 이를 이용한 초음파 치료 시스템 - Google Patents
인공지능 기반 실시간 음향 시뮬레이션 방법 및 이를 이용한 초음파 치료 시스템 Download PDFInfo
- Publication number
- KR20220135817A KR20220135817A KR1020210041991A KR20210041991A KR20220135817A KR 20220135817 A KR20220135817 A KR 20220135817A KR 1020210041991 A KR1020210041991 A KR 1020210041991A KR 20210041991 A KR20210041991 A KR 20210041991A KR 20220135817 A KR20220135817 A KR 20220135817A
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- ultrasound
- acoustic simulation
- real
- simulation image
- Prior art date
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 163
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000009210 therapy by ultrasound Methods 0.000 title claims description 16
- 238000002604 ultrasonography Methods 0.000 claims abstract description 87
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000002591 computed tomography Methods 0.000 claims description 19
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000004936 stimulating effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
- A61N7/02—Localised ultrasound hyperthermia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
- A61N2007/0004—Applications of ultrasound therapy
- A61N2007/0021—Neural system treatment
- A61N2007/0026—Stimulation of nerve tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
- A61N2007/0082—Scanning transducers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
- A61N2007/0086—Beam steering
- A61N2007/0091—Beam steering with moving parts, e.g. transducers, lenses, reflectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
- A61N2007/0086—Beam steering
- A61N2007/0095—Beam steering by modifying an excitation signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- High Energy & Nuclear Physics (AREA)
- Theoretical Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- Business, Economics & Management (AREA)
- Otolaryngology (AREA)
- Pulmonology (AREA)
- Plasma & Fusion (AREA)
- General Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Urology & Nephrology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
본 발명의 일 실시예에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법은, 치료 부위를 촬영한 의료 영상 데이터를 획득하는 단계; 상기 의료 영상 데이터에 기초하여 초음파 트랜스듀서의 출력과 관련된 초음파 파라미터를 결정하는 단계; 상기 초음파 파라미터를 수치 모델에 입력하여, 상기 초음파 트랜스듀서의 특정 위치에 대한 수치 모델 기반 음향 시뮬레이션 영상을 생성하는 단계; 상기 의료 영상 데이터 및 상기 수치 모델 기반 음향 시뮬레이션 영상을 이용하여 인공지능 모델을 학습시키는 단계; 학습된 인공지능 모델을 이용하여, 상기 초음파 트랜스듀서의 임의의 위치에 대한 인공지능 모델 기반 음향 시뮬레이션 영상을 생성하는 단계; 및 상기 초음파 트랜스듀서의 위치 변화에 따른 실시간 음향 시뮬레이션 영상을 출력하는 단계를 포함한다. 실시예에 따르면 학습되지 아니한 임의의 위치에 대응하는 시뮬레이션 결과를 실시간으로 확인할 수 있어 보다 신속하고 정밀한 치료가 가능하다.
Description
본 발명은 기계학습 가능한 인공지능 모델을 이용하여 초음파 트랜스듀서의 위치 변화에 따른 음향 시뮬레이션 결과를 실시간으로 출력하는 방법 및 상기 방법을 적용한 초음파 치료 시스템에 관한 것이다.
종래에는 환자의 통증을 완화시키거나 특정 신체 부위의 신경 세포를 자극하는 치료 방법을 수행하기 위해 환자의 신체에 전극을 삽입하는 등의 방법이 이용되었으나, 이와 같은 방식은 물리적인 침습 과정에서 신체가 손상될 우려가 있었다.
최근에는 물리적인 침습 과정 없이도 환부를 자극할 수 있는 초음파 자극 치료법이 널리 이용되고 있는데, 출력 초음파의 강도에 따라 고강도 집속초음파(High-intensity Focused Ultrasound; HIFU)와 저강도 집속초음파(Low-intensity Focused Ultrasound; LIFU)로 분류될 수 있다. 고강도 집속초음파는 암세포, 종양, 병변 등과 같은 생체조직을 열적, 기계적으로 제거하는 직접적인 치료에 이용되는 반면, 저강도 집속초음파는 뇌신경을 자극하여 알츠하이머, 우울증 등 뇌질환 치료에 이용되거나 근신경을 자극하여 활성화시키는 등 재활치료에 적극 활용되고 있다. 이러한 집속초음파 치료 기술은 침습 과정을 최소화하여 감염이나 후유증 등의 부작용을 줄일 수 있어 각광 받고 있다.
집속초음파는 피부, 골격 등 생체조직을 통과하여 목표 부위를 자극하거나 제거하게 되는데, 각 부분의 두께나 형태, 출력되는 초음파의 주파수 등 다양한 요인에 따라 진행 경로가 바뀔 수 있다. 뇌 수술과 같은 고도의 정밀도를 요구하는 수술에서는 경로에 조금만 차이가 생겨도 심각한 부작용으로 이어질 가능성이 높기 때문에, 환자의 두개골 형상, 두께, 초음파 파라미터 등의 요소를 기초로 초음파의 진행 경로 및 초점 위치를 정확하게 시뮬레이션 하는 선행 작업이 필요하다.
기존의 음향 시뮬레이션은 대부분 직접적인 연산 결과를 출력하는 수치 모델(numerical model)을 이용하여 주어진 환경요소와 입력된 초음파 파라미터에 대해 초음파의 진행 경로 및 초점 위치 등의 시뮬레이션 결과를 얻는 방식이었다. 예컨대, 환자의 신체 부위를 촬영한 CT 영상 또는 MRI 영상과 초음파 파라미터(트랜스듀서의 출력과 관련된 요소들)를 입력하면, 컴퓨터 프로세서가 일련의 프로그램을 통해 초음파 시뮬레이션 결과를 예측하여 이미지의 형태로 출력하게 된다.
이러한 수치 모델에 기반한 음향 시뮬레이션 방법은, 컴퓨터의 성능 발달로 인해 비교적 정확한 시뮬레이션 결과를 얻을 수 있다는 장점이 있으나, 정해진 하나의 트랜스듀서 위치에 대하여 시뮬레이션 결과를 얻기 위해 30초 내지 10분의 시간이 소요되며, 시뮬레이션이 수행되지 않은 위치에 대해서는 결과를 알 수 없기 때문에 가능한 많은 위치에 대해 개별적인 시뮬레이션을 수행해야 한다는 단점이 있다.
이에 본 발명은 학습된 인공지능 모델을 이용하여 초음파 트랜스듀서의 임의의 위치에 대한 실시간 음향 시뮬레이션 결과를 얻는 방법을 제공하는 것을 목적으로 한다.
나아가, 인공지능 기반 실시간 음향 시뮬레이션 영상을 이용하여 정밀 초음파 치료가 가능한 집속초음파 치료 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법은, 프로세서에 의해 실행되며, 치료 부위를 촬영한 의료 영상 데이터를 획득하는 단계; 상기 의료 영상 데이터에 기초하여 초음파 트랜스듀서의 출력과 관련된 초음파 파라미터를 결정하는 단계; 상기 초음파 파라미터를 수치 모델에 입력하여, 상기 초음파 트랜스듀서의 특정 위치에 대한 수치 모델 기반 음향 시뮬레이션 영상을 생성하는 단계; 상기 의료 영상 데이터 및 상기 수치 모델 기반 음향 시뮬레이션 영상을 이용하여 인공지능 모델을 학습시키는 단계; 학습된 인공지능 모델을 이용하여, 상기 초음파 트랜스듀서의 임의의 위치에 대한 인공지능 모델 기반 음향 시뮬레이션 영상을 생성하는 단계; 및 상기 초음파 트랜스듀서의 위치 변화에 따른 실시간 음향 시뮬레이션 영상을 출력하는 단계를 포함한다.
일 실시예에 따르면, 상기 인공지능 모델을 학습시키는 단계는, 상기 의료 영상 데이터 및 상기 수치 모델 기반 음향 시뮬레이션 영상을 학습 데이터로서 입력하는 단계; 생성자를 이용하여, 상기 초음파 트랜스듀서의 특정 위치에 대응하는 음향 시뮬레이션 영상을 생성하는 단계; 판별자를 이용하여, 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상을 비교하여 오차 데이터를 획득하는 단계; 및 상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 인공지능 모델은, 학습 단계를 반복함으로써 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상 간의 오차를 줄이도록 학습될 수 있다.
일 실시예에 따르면, 상기 생성자는, 상기 의료 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층; 및 상기 특징맵에 기초하여 상기 의료 영상 데이터에 대응하는 음향 시뮬레이션 영상을 생성하기 위한 적어도 하나의 전치합성곱층을 포함할 수 있다.
일 실시예에 따르면, 상기 판별자는, 상기 생성자에 의해 생성된 음향 시뮬레이션 영상을 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층을 포함할 수 있다.
일 실시예에 따르면, 상기 인공지능 모델은 학습된 비선형 매핑을 통해 상기 의료 영상 데이터에 대응하는 음향 시뮬레이션 영상을 생성할 수 있다.
일 실시예에 따르면, 상기 의료 영상 데이터는, 컴퓨터단층촬영(CT) 영상 또는 자기공명영상촬영(MRI) 영상을 포함할 수 있다.
일 실시예에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반 초음파 치료 시스템은, 치료 부위를 촬영한 의료 영상 데이터를 입력 받는 입력부; 상기 치료 부위에 초음파를 출력하기 위한 초음파 출력부; 상기 초음파 출력부의 위치 정보를 실시간으로 획득하기 위한 위치 추적부; 인공지능 기반 실시간 음향 시뮬레이션 방법을 이용하여, 상기 초음파 출력부의 위치 변화에 따른 실시간 음향 시뮬레이션 영상을 생성하기 위한 처리부; 및 상기 실시간 음향 시뮬레이션 영상을 표시하기 위한 표시부를 포함
일 실시예에 따르면, 상기 초음파 출력부는, 대상 조직을 열적 또는 기계적으로 제거할 수 있는 고강도 집속초음파, 또는 대상 조직을 손상시키지 않고 자극하기 위한 저강도 집속초음파를 출력하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법은, 프로세서에 의해 실행되며, 치료 부위를 촬영한 의료 영상 데이터 및 초음파 트랜스듀서의 기준 위치 정보를 획득하는 단계; 초음파 트랜스듀서의 위치 변화에 대응하여 음향 시뮬레이션 영상을 생성하도록 학습된 인공지능 모델을 이용하여, 초음파 트랜스듀서의 임의의 위치에 대한 음향 시뮬레이션 영상을 생성하는 단계; 및 상기 음향 시뮬레이션 영상을 출력하는 단계를 포함한다.
일 실시예에 따르면, 상기 인공지능 모델은, 의료 영상 데이터 및 수치 모델 기반 음향 시뮬레이션 영상을 학습 데이터로서 입력 받는 단계; 생성자를 이용하여, 상기 초음파 트랜스듀서의 특정 위치에 대응하는 음향 시뮬레이션 영상을 생성하는 단계; 판별자를 이용하여, 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상을 비교하여 오차 데이터를 획득하는 단계; 및 상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 단계를 반복하여, 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상 간의 오차를 줄이도록 학습될 수 있다.
본 발명의 일 실시예에 따르면, 의료 영상 데이터(CT 영상, MRI 영상 등)와 수치 모델 기반 시뮬레이션 결과를 입력하여 인공지능 모델을 학습시키고, 학습된 인공지능 모델을 이용하여 이전에 시뮬레이션을 수행하지 않았던 임의의 트랜스듀서 위치에 대해서도 음향 시뮬레이션 결과를 획득할 수 있다. 직접적인 연산을 통해 초음파 출력 결과를 예측하는 기존의 방식은 가능한 많은 트랜스듀서 위치에 대해 시뮬레이션을 수행할 필요가 있고, 각 위치마다 수 분 이상의 시간이 소요되므로 실시간 시뮬레이션은 불가능하였다. 이에 비해, 본 발명의 방법에 따르면, 인공지능 모델을 이용하여 기존의 학습 데이터에 포함되지 않은 위치(즉, 연산 기반 시뮬레이션이 수행되지 않은 위치)에 대해서도 매우 빠른 속도의 실시간 음향 시뮬레이션이 가능하다. 이를 활용하면, 의료진은 초음파 트랜스듀서의 움직임에 따른 시뮬레이션 영상을 실시간으로 확인할 수 있어 보다 정밀하고 신속한 치료가 가능하다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 도면의 일부 구성요소들에 대한 표현이 과장되거나 생략될 수 있다.
도 1은 일 실시예에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법을 설명하기 위한 순서도이다.
도 2는 인공지능 기반 시뮬레이션에서 이용되는 의료 영상 데이터의 종류를 나타낸 것이다.
도 3은 수치 모델을 이용하여 입력 CT 영상으로부터 음향 시뮬레이션 결과를 획득하는 과정을 나타낸 것이다.
도 4는 인공지능 모델을 이용하여 입력 CT 영상으로부터 음향 시뮬레이션 결과를 획득하는 과정을 나타낸 것이다.
도 5는 일 실시예에 따른 음향 시뮬레이션 결과를 3차원 이미지로 나타낸 것이다.
도 6은 일 실시예에 따른 음향 시뮬레이션 결과를 얻기 위한 인공지능 모델을 학습시키는 과정을 나타낸 것이다.
도 7은 초음파 트랜스듀서가 위치할 수 있는 범위와 수치 모델을 이용하여 시뮬레이션을 수행하는 지점들을 나타낸 것이다.
도 8은 학습 반복 회수의 증가에 따라 인공지능 모델의 음향 시뮬레이션 결과가 수치 모델 기반 시뮬레이션 결과에 가까워지는 것을 나타낸 것이다.
도 9a 및 9b는 초음파 트랜스듀서의 위치 변화에 따른 음향 시뮬레이션 결과와 오차를 나타낸 것이다.
도 10a 및 10b는 초음파 트랜스듀서의 위치 변화에 따른 인공지능 기반 음향 시뮬레이션 결과를 3차원 이미지로 나타낸 것이다.
도 11은 일 실시예에 따른 인공지능 기반 초음파 치료 시스템의 구조를 나타낸 것이다.
도 1은 일 실시예에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법을 설명하기 위한 순서도이다.
도 2는 인공지능 기반 시뮬레이션에서 이용되는 의료 영상 데이터의 종류를 나타낸 것이다.
도 3은 수치 모델을 이용하여 입력 CT 영상으로부터 음향 시뮬레이션 결과를 획득하는 과정을 나타낸 것이다.
도 4는 인공지능 모델을 이용하여 입력 CT 영상으로부터 음향 시뮬레이션 결과를 획득하는 과정을 나타낸 것이다.
도 5는 일 실시예에 따른 음향 시뮬레이션 결과를 3차원 이미지로 나타낸 것이다.
도 6은 일 실시예에 따른 음향 시뮬레이션 결과를 얻기 위한 인공지능 모델을 학습시키는 과정을 나타낸 것이다.
도 7은 초음파 트랜스듀서가 위치할 수 있는 범위와 수치 모델을 이용하여 시뮬레이션을 수행하는 지점들을 나타낸 것이다.
도 8은 학습 반복 회수의 증가에 따라 인공지능 모델의 음향 시뮬레이션 결과가 수치 모델 기반 시뮬레이션 결과에 가까워지는 것을 나타낸 것이다.
도 9a 및 9b는 초음파 트랜스듀서의 위치 변화에 따른 음향 시뮬레이션 결과와 오차를 나타낸 것이다.
도 10a 및 10b는 초음파 트랜스듀서의 위치 변화에 따른 인공지능 기반 음향 시뮬레이션 결과를 3차원 이미지로 나타낸 것이다.
도 11은 일 실시예에 따른 인공지능 기반 초음파 치료 시스템의 구조를 나타낸 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명한다.
인공지능 기반 실시간 음향 시뮬레이션 방법
도 1은 일 실시예에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법을 설명하기 위한 순서도이다.
도 1을 참조하면, 먼저 환자의 치료 부위를 촬영한 의료 영상 데이터를 획득하는 단계(S100)가 수행된다. 의료 영상 데이터는 초음파 파라미터를 결정하거나 음향 시뮬레이션 영상을 생성하기 위해 이용되며, 인공지능 모델을 학습시키기 위해 이용될 수 있다. 도 2는 예시적인 의료 영상 데이터의 종류를 나타낸다. 도시된 것처럼, 의료 영상 데이터는 컴퓨터단층촬영(CT) 영상 또는 자기공명영상촬영(MRI) 영상 등을 포함한다. 일 실시예에 따르면, 획득한 영상 데이터에 대해 전처리를 수행하는 단계가 더 포함될 수 있고, 전처리 과정에는 각 이미지의 관심영역과 백그라운드를 구분하고 학습에 불필요한 백그라운드를 제거하는 프로세스가 포함된다.
이어서, 상기 의료 영상 데이터에 기초하여 초음파 트랜스듀서의 출력과 관련된 초음파 파라미터를 결정하는 단계(S200)가 수행된다. 본 단계에서는, CT 영상이나 MRI 영상으로부터 알 수 있는 두개골 형태, 두께 등의 정보에 기초하여 트랜스듀서로부터 출력될 초음파의 주파수, 파형, 강도 등 다양한 변수를 결정하게 된다.
이어서, 수치 모델(numerical model)에 상기 결정된 초음파 파라미터를 입력하여, 초음파 트랜스듀서의 특정 위치에 대한 수치 모델 기반 음향 시뮬레이션 영상을 생성하는 단계(S300)가 수행된다. 수치 모델은 입력값에 대해 정해진 연산을 수행하여 대응하는 결과값을 출력하도록 구성되며, 본 명세서에서는 입력된 의료 영상 및 결정된 초음파 파라미터(트랜스듀서의 출력과 관련된 요소들) 정보에 기초하여 초음파의 진행 경로, 초점 위치 등의 시뮬레이션 결과를 출력하는 시스템을 의미한다.
도 3은 수치 모델을 이용하여 입력 CT 영상으로부터 음향 시뮬레이션 결과를 획득하는 과정을 나타낸 것이다. 도시된 것처럼, 특정 위치에 배치된 초음파 트랜스듀서(transducer)와 두개골(skull) 형상이 표시된 CT 영상(ICT)을 수치 모델에 입력하면, 해당 위치의 트랜스듀서로부터 특정 파라미터의 초음파를 출력하였을 때 초음파의 진행 경로, 음향압력의 세기, 초점 위치 등의 예측 결과가 이미지로 출력된다. 이와 같은 방식으로 획득한 이미지를 '수치 모델 기반 음향 시뮬레이션 영상(SN)'이라고 칭한다. 전술한 바와 같이, 수치 모델에 기반한 시뮬레이션은 하나의 트랜스듀서 위치 당 30초 내지 10분 정도의 비교적 긴 시간이 소요된다.
이어서, 의료 영상 데이터 및 수치 모델 기반 음향 시뮬레이션 영상을 이용하여 인공지능 모델을 학습시키는 단계(S400)가 수행된다. 기계학습(Machine Learning)이란 컴퓨터가 사물이나 데이터를 군집화하거나 분류하는데 사용되는 기술로서 서포트벡터머신(SVM), 인공신경망(Neural Networks) 등이 대표적이다. 본 발명에서는 생성자와 판별자가 경쟁적으로 학습하여 성능을 향상시킬 수 있는 적대적 인공신경망 모델(GAN)을 채용하였다.
일 실시예에 따른 인공지능 모델은, 입력된 영상으로부터 특징을 추출하고 학습된 비선형 매핑을 통해 입력 영상에 대응하는 음향 시뮬레이션 영상을 생성하고, 생성된 시뮬레이션 영상을 수치 모델에 기반한 실제 시뮬레이션 영상과 비교하여 보다 정밀한 결과를 출력하도록 학습될 수 있다.
도 4는 인공지능 모델을 이용하여 입력 CT 영상으로부터 음향 시뮬레이션 결과를 획득하는 과정을 나타낸 것이다. 수치 모델과 마찬가지로, 특정 위치에 배치된 초음파 트랜스듀서와 두개골 형상이 표시된 CT 영상(ICT)을 인공지능 모델에 입력하면, 해당 위치의 트랜스듀서로부터 특정 파라미터의 초음파를 출력하였을 때 초음파의 진행 경로, 음향압력의 세기, 초점 위치 등의 예측 결과가 이미지로 출력된다. 이와 같은 방식으로 획득한 이미지를 '인공지능 모델 기반 음향 시뮬레이션 영상(SAI)'이라고 칭한다. 수치 모델과 마찬가지로 음향 시뮬레이션 결과를 예측하여 출력하지만, 직접적인 연산이 아닌 학습에 기반한 비선형 매핑을 통해 대응 이미지를 생성하는 방식이므로, 수치 모델에 비해 소요되는 시간이 현저히 짧아 실시간 시뮬레이션이 가능해진다.
도 5는 일 실시예에 따른 인공지능 모델에 기반한 음향 시뮬레이션 결과를 3차원 이미지로 나타낸 것이다. 도시된 것처럼 트랜스듀서(transducer)로부터 출력되는 초음파가 두개골(skull)을 지나면서 바뀌게 되는 진행 경로, 초점 위치, 각 위치에서의 음압 강도 등의 정보가 컬러로 표시된다.
도 6은 일 실시예에 따른 인공지능 모델을 학습시키는 과정을 나타낸 것이다. 도 6을 참조하면, 인공지능 모델의 학습 과정은, (i)의료 영상 데이터(ICT) 및 수치 모델 기반 음향 시뮬레이션 영상(SN)을 학습 데이터로서 입력하는 단계; (ii)생성자(generator)를 이용하여 초음파 트랜스듀서의 특정 위치에 대응하는 음향 시뮬레이션 영상(SAI)을 생성하는 단계; (iii)판별자(discriminator)를 이용하여 상기 생성자에 의해 생성된 음향 시뮬레이션 영상(SAI)과 수치 모델 기반 음향 시뮬레이션 영상(SN)을 비교하여 오차 데이터를 획득하는 단계; (iv)상기 오차 데이터를 이용하여 생성자를 학습시키는 단계를 포함한다. 이러한 인공지능 모델은 상기 학습 단계를 반복함으로써 성능이 향상되며, 생성자에 의해 생성된 음향 시뮬레이션 영상(SAI)과 수치 모델 기반 음향 시뮬레이션 영상(SN) 간의 오차는 줄어들게 된다.
일 실시예에 따르면, 생성자는 적어도 하나의 합성곱층과 적어도 하나의 전치합성곱층을 포함하는 복수의 레이어로 구성될 수 있다. 합성곱층은 의료 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력한다. 구체적으로, 필터를 일정 간격(stride)으로 움직이면서 입력 데이터에 곱하여 이미지 영역의 특징을 강조하는 특징 맵(feature map)을 출력한다. 합성곱층을 통과할수록 이미지의 너비, 높이, 깊이는 점점 줄어들면서 채널의 수가 많아진다. 필터의 값들은 가중치 파라미터들로 구성되며, 필터의 값들은 초기에 랜덤하게 설정되었다가 학습 단계에서 오차 역전파(출력층의 결과의 오차를 입력층 방향으로 전달하여 가중치 파라미터를 업데이트 하는 것)를 통해 최적화되도록 업데이트 된다.
전치합성곱층은 상기 합성곱층에 의해 추출된 특징맵을 목표하는 출력 이미지로 합성하고 사이즈를 복원(upsampling)하는 과정을 학습하는 층이다. 필터를 일정 간격으로 움직이면서 입력 데이터에 곱하여 특징맵을 출력하며, 합성곱층과 반대로 입출력 크기를 전치한다. 다시 말해, 전치합성곱층을 통과할수록 이미지의 너비, 높이, 깊이는 점점 증가하고 채널의 수가 줄어든다. 합성곱층의 역기능을 수행하며 추출된 특징에 기초하여 새로운 이미지(예컨대, 음향 시뮬레이션 영상)를 생성한다.
일 실시예에 따르면, 생성자의 합성곱층 또는 전치합성곱층은 특징맵의 데이터 분포를 정규화하기 위한 배치정규화 및 각 출력값의 범위를 결정하기 위한 활성화 함수와 함께 사용될 수 있다. 배치정규화는 학습 과정에서 합성곱 또는 전치합성곱의 필터 값(가중치)들이 학습 데이터에만 최적화되고 테스트 데이터에 적합하지 않게 되는 과적합(overfitting) 문제를 완화시키고 학습 과정을 안정화시키는 역할을 한다. 특징 맵의 데이터의 분포를 안정화시키기 위해 평균과 표준편차를 통해 특징 맵들을 정규화한다(모델이 전달되는 배치만큼씩). 학습을 마친 후 실제로 입력된 테스트 데이터 또한 학습 과정 동안 저장된 평균과 표준편차로 동일하게 정규화되기 때문에 학습 데이터와 분포가 다른 데이터에 대해서도 보다 안정적으로 출력 영상을 생성한다.
활성화 함수는 합성곱층 또는 전치합성곱층과 결합하여 각 층으로부터 다른 층으로 전달될 출력값의 범위를 결정하고 어떤 값을 전달할 것인지 임계치를 설정한다. 또한 딥러닝 모델에 비선형성(nonlinearity)를 추가하며 비선형성의 추가에 따라 딥러닝 모델의 층이 깊어지면서 오차의 미분 값이 0이 되어 가중치 파라미터들이 업데이트되지 않는 Gradient vanishing 효과를 완화할 수 있다. 활성화 함수는, 예컨대 입력된 데이터가 0보다 작거나 같으면 0값, 크면 그대로의 값을 가지도록 하는 ReLu 활성화 함수, ReLu 활성화 함수와 비슷한 역할을 하나 입력되는 값이 0보다 작아도 완전히 0이 되지 않도록 0.1값을 곱해 0보다 크면 값을 유지하는 LeakyReLu 활성화 함수, 입력 데이터가 -1과 1 사이의 값을 가지도록 하는 Tanh 활성화 함수, 입력 데이터가 0과 1 사이의 값을 가지도록 하는 Sigmoid 활성화 함수 등이 사용될 수 있다.
판별자는 상기 생성자에 의해 생성된 음향 시뮬레이션 영상을 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층을 포함할 수 있다. 판별자의 각 합성곱층은 생성자와는 달리, 생성된 음향 시뮬레이션 영상을 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하도록 구성된다. 생성자와 마찬가지로, 각 합성곱층은 특징맵의 데이터 분포를 정규화하기 위한 배치정규화 및 각 출력값의 범위를 결정하기 위한 활성화 함수와 함께 사용될 수 있다.
일 실시예에 따르면, 생성자는 적어도 하나의 잔여블록층(residual block layer)을 포함할 수 있는데, 모델의 층이 깊어질수록 최적화되기 힘들어지므로 모델의 학습 난이도를 낮추는 역할을 한다. 잔여블록층은 이미지의 너비와 높이가 작아지되 채널 방향으로 넓어지게 하는 합성곱층(Encoder)과 이미지의 너비와 높이 및 채널이 원본과 동일하게 복원하는 전치합성곱층(Decoder) 사이에서 반복된다. 하나의 잔여블록은 합성곱-배치정규화-ReLu활성화-합성곱-배치정규화 단계로 구성되며, 여기서 합성곱은 필터와 간격(stride) 값의 조정을 통해 입력 이미지와 동일한 너비, 높이, 깊이 및 채널의 크기를 갖는 이미지를 출력한다. 즉 입력 데이터의 특징을 추출하거나 복원하는 것이 아닌 데이터의 정보 손실을 최소화하여 다음 층에 전달하는 것을 목적으로 한다. 예컨대, 잔여블록은 입력 x 값을 잔여블록의 출력에 더해주는 형태를 갖는데, 이는 입력 데이터 x에 대한 출력 H(x)가 아닌 입력 x와 출력 H(x)의 차인 F(x)를 학습하도록 유도한다. 이에 따라 앞서 학습된 입력 데이터 x는 그대로 출력으로 가져와 더해줌으로써 잔여 정보인 F(x)만 학습할 수 있는 형태가 되어 모델의 학습 과정을 간소화할 수 있다.
생성자는 판별자로부터 출력되는 시뮬레이션 영상 간의 오차를 통해 학습된다. 즉, 생성자가 생성한 시뮬레이션 영상 SAI와 수치 모델에 기반하여 생성된 시뮬레이션 영상 SN을 비교하고, 비교 결과를 생성자에 다시 입력하여 다음에는 수치 모델 기반 시뮬레이션 영상과 더 유사한 결과물을 출력하도록 생성자의 성능을 향상시킬 수 있다.
이처럼 적대적 생성 신경망(GAN) 모델에서는, 생성자가 비선형 매핑을 통해 이미지를 합성하고, 판별자는 생성된 이미지와 비교 대상 이미지를 구분하며, 이들이 경쟁적인 학습을 거듭할수록 보다 정교한 이미지(즉, 비교 대상 이미지에 가까운 합성 이미지)을 생성할 수 있게 된다.
다시 도 1을 참조하면, 학습된 인공지능 모델을 이용하여 초음파 트랜스듀서의 임의의 위치에 대한 인공지능 모델 기반 음향 시뮬레이션 영상을 생성하는 단계(S500)가 수행된다. 여기서 임의의 위치란 수치 모델 기반 시뮬레이션이 행해지지 않은 모든 트랜스듀서의 위치를 의미한다. 즉, 일부 정해진 위치에 대하여 수행된 시뮬레이션 결과를 바탕으로 인공지능 모델을 학습시킨 결과, 학습되지 아니한 모든 위치에 대해서도 대응되는 시뮬레이션 영상을 실시간으로 출력할 수 있게 된다.
도 7은 초음파 트랜스듀서가 위치할 수 있는 범위와 수치 모델을 이용하여 시뮬레이션을 수행하는 지점들을 나타낸 것이다. 파란색 영역은 초음파 치료를 위해 트랜스듀서가 움직일 수 있는 전체 범위를 나타낸 것이며, 하얀색 점들은 수치 모델을 이용하여 실제로 초음파 시뮬레이션을 수행한 지점(트랜스듀서 중심 위치)를 의미한다. 빨간색 화살표로 표시한 지점은 수치 모델 기반 시뮬레이션이 행해지지 않은 위치로서, 학습된 인공지능 모델을 이용하면 이러한 미연산 위치(uncalculated position)에 대해서도 음향 시뮬레이션 결과를 알 수 있다.
도 8은 학습 반복 회수의 증가에 따라 인공지능 모델의 음향 시뮬레이션 결과가 수치 모델 기반 시뮬레이션 결과에 가까워지는 것을 나타낸 것이다. 위에서부터 차례로 학습을 100회, 200회, 360회 반복하였을 때의 시뮬레이션 결과를 나타낸다. 도시된 것처럼, 학습 회수가 적을 때에는(Epoch 100) 실제 연산에 기초한 시뮬레이션(Simulation) 결과와 인공지능 모델로 생성한 시뮬레이션(AI estimation) 결과의 차이가 크게 나타나지만, 회수가 증가할수록(Epoch 360) 생성된 시뮬레이션 영상이 실제 연산에 기초한 시뮬레이션 영상에 가까워진다. 이처럼 일정 회수 이상 학습을 반복하게 되면 두 영상 간의 차이(Diff)가 거의 없어진다는 것을 알 수 있다.
도 9a 및 9b는 초음파 트랜스듀서의 위치 변화에 따른 음향 시뮬레이션 결과와 오차를 나타낸 것이다. 두 결과 모두 충분한 학습을 거친 인공지능 모델을 적용하였다. 도 9a, 9b에 도시된 것처럼 트랜스듀서의 위치가 바뀐 경우에도 수치 모델 기반 시뮬레이션 결과(Simulation)와 인공지능 모델 기반 시뮬레이션 결과(AI estimation)의 차이가 거의 없음을 확인할 수 있다.
도 10a 및 10b는 초음파 트랜스듀서의 위치 변화에 따른 인공지능 기반 음향 시뮬레이션 결과를 3차원 이미지로 나타낸 것이다. 트랜스듀서의 위치가 A에서 B로 변화함에 따라 초음파의 진행 경로, 초점 위치, 각 위치에서의 음향 압력 세기 등 시뮬레이션 결과 상이하게 측정된다. 실험 결과, 트랜스듀서의 위치 변화에 따라 실시간으로 음향 시뮬레이션 결과가 출력되었다.
이상에서 설명한 인공지능 기반 실시간 음향 시뮬레이션 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 실시예들에 따르면, 학습된 인공지능 모델을 이용하여 이전에 시뮬레이션을 수행하지 않았던 임의의 트랜스듀서 위치에 대해서도 음향 시뮬레이션 결과를 획득할 수 있다. 직접적인 연산을 통해 시뮬레이션 하는 기존의 방식은 가능한 많은 트랜스듀서 위치에 대해 시뮬레이션을 수행할 필요가 있고, 각 위치마다 수 분 이상의 시간이 소요되므로 실시간 시뮬레이션은 불가능하였다. 이에 비해, 실시예의 방법에 따르면, 인공지능 모델을 이용하여 기존의 학습 데이터에 포함되지 않은 위치(즉, 연산 기반 시뮬레이션이 수행되지 않은 위치)에 대해서도 매우 빠른 속도의 실시간 음향 시뮬레이션이 가능하다.
인공지능 기반 초음파 치료 시스템
도 11은 일 실시예에 따른 인공지능 기반 초음파 치료 시스템의 구조를 나타낸 것이다.
도 11을 참조하면, 일 실시예에 따른 인공지능 기반 초음파 치료 시스템(10)은, 치료 부위를 촬영한 의료 영상 데이터를 입력 받는 입력부(100, 치료 부위에 초음파를 출력하기 위한 초음파 출력부(200), 초음파 출력부(200)의 위치 정보를 실시간으로 획득하기 위한 위치 추적부(300), 인공지능 모델을 이용하여 상기 초음파 출력부(200)의 위치 변화에 따른 실시간 음향 시뮬레이션 영상을 생성하기 위한 처리부(400), 및 상기 실시간 음향 시뮬레이션 영상을 표시하기 위한 표시부(500)를 포함한다.
입력부(100)는 CT 영상 또는 MRI 영상을 입력 받고, 입력된 영상에 대해 추가적인 전처리를 수행할 수 있다. 전처리 과정에는 마스크를 통한 영상 내 관심영역과 백그라운드의 구분 및 백그라운드의 제거가 포함될 수 있다.
초음파 출력부(200)는 설정된 초음파 파라미터에 따라 초음파를 출력하는 구성요소로서, 교류 에너지를 기계적 진동으로 변환하는 단일 또는 복수의 초음파 트랜스듀서를 포함하며, 음향압력, 파형, 주파수 등 설정된 값에 따라 초음파를 발생 출력시킨다. 출력된 초음파는 중첩을 일으켜 초음파 빔을 형성하고, 목표 초점 위치에 집속하여 대상 조직을 제거하거나 자극한다. 일 실시예에 따르면, 초음파 출력부(200)는 대상 조직을 열적 또는 기계적으로 제거할 수 있는 고강도 집속초음파(HIFU) 또는 대상 조직을 손상시키지 않고 자극하기 위한 저강도 집속초음파(LIFU)를 출력하도록 구성된다.
위치 추적부(300)는 초음파 출력부(200)에 장착되거나 내장된 가속도계, 자이로스코프 등의 구성요소를 이용하여 초음파 출력부(200)의 위치 변화를 감지하고, 실시간 위치 정보를 처리부(400)에 전달한다.
처리부(400)는 전술한 실시예들 중 하나에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법을 실행하기 위한 적어도 하나의 프로세서로 구성되며, 위치 추적부(300)로부터 전달 받은 초음파 출력부(200)의 위치 정보를 이용하여 트랜스듀서 위치에 대응하는 음향 시뮬레이션 영상을 생성한다.
표시부(500)는 생성된 음향 시뮬레이션 영상을 디스플레이에 표시하여 시술자가 대상 조직을 관찰하면서 초음파 치료를 행할 수 있도록 한다.
이상에서 설명한 초음파 치료 시스템의 구성에 의하면, 인공지능 모델을 이용하여 기존의 학습 데이터에 포함되지 않은 위치(즉, 연산 기반 시뮬레이션이 수행되지 않은 위치)에 대해서도 실시간 음향 시뮬레이션 결과를 얻을 수 있다. 이를 통해, 의료진은 초음파 트랜스듀서의 움직임에 따른 시뮬레이션 영상을 실시간으로 확인할 수 있어 보다 신속하고 정밀한 치료가 가능하다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (13)
- 프로세서에 의해 실행되는 인공지능 기반 실시간 음향 시뮬레이션 방법으로서,
치료 부위를 촬영한 의료 영상 데이터를 획득하는 단계;
상기 의료 영상 데이터에 기초하여 초음파 트랜스듀서의 출력과 관련된 초음파 파라미터를 결정하는 단계;
상기 초음파 파라미터를 수치 모델에 입력하여, 상기 초음파 트랜스듀서의 특정 위치에 대한 수치 모델 기반 음향 시뮬레이션 영상을 생성하는 단계;
상기 의료 영상 데이터 및 상기 수치 모델 기반 음향 시뮬레이션 영상을 이용하여 인공지능 모델을 학습시키는 단계;
학습된 인공지능 모델을 이용하여, 상기 초음파 트랜스듀서의 임의의 위치에 대한 인공지능 모델 기반 음향 시뮬레이션 영상을 생성하는 단계; 및
상기 초음파 트랜스듀서의 위치 변화에 따른 실시간 음향 시뮬레이션 영상을 출력하는 단계를 포함하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제1항에 있어서,
상기 인공지능 모델을 학습시키는 단계는,
상기 의료 영상 데이터 및 상기 수치 모델 기반 음향 시뮬레이션 영상을 학습 데이터로서 입력하는 단계;
생성자를 이용하여, 상기 초음파 트랜스듀서의 특정 위치에 대응하는 음향 시뮬레이션 영상을 생성하는 단계;
판별자를 이용하여, 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상을 비교하여 오차 데이터를 획득하는 단계; 및
상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 단계를 포함하는 것을 특징으로 하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제2항에 있어서,
상기 인공지능 모델은, 학습 단계를 반복함으로써 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상 간의 오차를 줄이도록 학습되는 것을 특징으로 하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제2항에 있어서,
상기 생성자는,
상기 의료 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층; 및
상기 특징맵에 기초하여 상기 의료 영상 데이터에 대응하는 음향 시뮬레이션 영상을 생성하기 위한 적어도 하나의 전치합성곱층을 포함하는 것을 특징으로 하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제2항에 있어서,
상기 판별자는,
상기 생성자에 의해 생성된 음향 시뮬레이션 영상을 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층을 포함하는 것을 특징으로 하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제1항에 있어서,
상기 인공지능 모델은 학습된 비선형 매핑을 통해 상기 의료 영상 데이터에 대응하는 음향 시뮬레이션 영상을 생성하는 것을 특징으로 하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제1항에 있어서,
상기 의료 영상 데이터는, 컴퓨터단층촬영(CT) 영상 또는 자기공명영상촬영(MRI) 영상을 포함하는 것을 특징으로 하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제1항 내지 제7항 중 어느 한 항에 따른 인공지능 기반 실시간 음향 시뮬레이션 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
- 치료 부위를 촬영한 의료 영상 데이터를 입력 받는 입력부;
상기 치료 부위에 초음파를 출력하기 위한 초음파 출력부;
상기 초음파 출력부의 위치 정보를 실시간으로 획득하기 위한 위치 추적부;
제1항 내지 제7항 중 어느 한 항에 따른 방법을 이용하여, 상기 초음파 출력부의 위치 변화에 따른 실시간 음향 시뮬레이션 영상을 생성하기 위한 처리부; 및
상기 실시간 음향 시뮬레이션 영상을 표시하기 위한 표시부를 포함하는, 인공지능 기반 초음파 치료 시스템.
- 제9항에 있어서,
상기 초음파 출력부는, 대상 조직을 열적 또는 기계적으로 제거할 수 있는 고강도 집속초음파, 또는 대상 조직을 손상시키지 않고 자극하기 위한 저강도 집속초음파를 출력하도록 구성되는 것을 특징으로 하는, 인공지능 기반 초음파 치료 시스템.
- 프로세서에 의해 실행되는 인공지능 기반 실시간 음향 시뮬레이션 방법으로서,
치료 부위를 촬영한 의료 영상 데이터 및 초음파 트랜스듀서의 기준 위치 정보를 획득하는 단계;
초음파 트랜스듀서의 위치 변화에 대응하여 음향 시뮬레이션 영상을 생성하도록 학습된 인공지능 모델을 이용하여, 초음파 트랜스듀서의 임의의 위치에 대한 음향 시뮬레이션 영상을 생성하는 단계; 및
상기 음향 시뮬레이션 영상을 출력하는 단계를 포함하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 제11항에 있어서,
상기 인공지능 모델은,
의료 영상 데이터 및 수치 모델 기반 음향 시뮬레이션 영상을 학습 데이터로서 입력 받는 단계;
생성자를 이용하여, 상기 초음파 트랜스듀서의 특정 위치에 대응하는 음향 시뮬레이션 영상을 생성하는 단계;
판별자를 이용하여, 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상을 비교하여 오차 데이터를 획득하는 단계; 및
상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 단계를 반복하여, 상기 생성자에 의해 생성된 음향 시뮬레이션 영상과 상기 수치 모델 기반 음향 시뮬레이션 영상 간의 오차를 줄이도록 학습되는 것을 특징으로 하는, 인공지능 기반 실시간 음향 시뮬레이션 방법.
- 치료 부위를 촬영한 의료 영상 데이터를 입력 받는 입력부;
상기 치료 부위에 초음파를 출력하기 위한 초음파 출력부;
상기 초음파 출력부의 위치 정보를 실시간으로 획득하기 위한 위치 추적부;
제11항 또는 제12항에 따른 방법을 이용하여, 상기 초음파 출력부의 위치 변화에 따른 실시간 음향 시뮬레이션 영상을 생성하기 위한 처리부; 및
상기 실시간 음향 시뮬레이션 영상을 표시하기 위한 표시부를 포함하는, 인공지능 기반 초음파 치료 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210041991A KR102633843B1 (ko) | 2021-03-31 | 2021-03-31 | 인공지능 기반 실시간 음향 시뮬레이션 방법 및 시스템 |
| US17/710,026 US20220319001A1 (en) | 2021-03-31 | 2022-03-31 | Real-time acoustic simulation method based on artificial intelligence, and ultrasound treatment system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210041991A KR102633843B1 (ko) | 2021-03-31 | 2021-03-31 | 인공지능 기반 실시간 음향 시뮬레이션 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220135817A true KR20220135817A (ko) | 2022-10-07 |
| KR102633843B1 KR102633843B1 (ko) | 2024-02-07 |
Family
ID=83450434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210041991A KR102633843B1 (ko) | 2021-03-31 | 2021-03-31 | 인공지능 기반 실시간 음향 시뮬레이션 방법 및 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220319001A1 (ko) |
| KR (1) | KR102633843B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030037A (zh) * | 2023-02-23 | 2023-04-28 | 西南石油大学 | 一种基于自监督学习的超声图像模拟方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200021398A (ko) * | 2019-07-16 | 2020-02-28 | (주)제이엘케이인스펙션 | 영상 처리 장치 및 방법 |
| KR20200092447A (ko) * | 2019-01-04 | 2020-08-04 | 에스케이 주식회사 | 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 |
| KR20210002197A (ko) * | 2019-06-27 | 2021-01-07 | 고려대학교 산학협력단 | 인공 지능 모델에 기반한 자궁 양수량 자동 측정 방법 |
-
2021
- 2021-03-31 KR KR1020210041991A patent/KR102633843B1/ko active IP Right Grant
-
2022
- 2022-03-31 US US17/710,026 patent/US20220319001A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200092447A (ko) * | 2019-01-04 | 2020-08-04 | 에스케이 주식회사 | 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 |
| KR20210002197A (ko) * | 2019-06-27 | 2021-01-07 | 고려대학교 산학협력단 | 인공 지능 모델에 기반한 자궁 양수량 자동 측정 방법 |
| KR20200021398A (ko) * | 2019-07-16 | 2020-02-28 | (주)제이엘케이인스펙션 | 영상 처리 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102633843B1 (ko) | 2024-02-07 |
| US20220319001A1 (en) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114681813B (zh) | 放射治疗自动计划系统、自动计划方法及存储介质 | |
| US11848092B2 (en) | Radiotherapy feedback device | |
| US20220292737A1 (en) | Method for converting mri to ct image based on artificial intelligence, and ultrasound treatment device using the same | |
| JP6800975B2 (ja) | 医療画像を患者と関連付けるためのシステム及び方法 | |
| EP3651116A1 (en) | Autonomous segmentation of three-dimensional nervous system structures from medical images | |
| CN110337312B (zh) | 基于刺激场建模的最佳脑深部刺激电极的选择与放置 | |
| CN113966204B (zh) | 为医疗介入自动规划轨迹的方法 | |
| KR102504022B1 (ko) | 뇌 mri 영상으로부터 생성된 ct 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치 | |
| CN111260650A (zh) | 一种脊柱ct序列图像分割方法与系统 | |
| CN114341936A (zh) | 用于医学成像中的图像裁剪和解剖结构分割的系统和方法 | |
| JPWO2012008500A1 (ja) | 信号処理装置、信号処理プログラム及び信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR102633843B1 (ko) | 인공지능 기반 실시간 음향 시뮬레이션 방법 및 시스템 | |
| KR20080025055A (ko) | 고속의 변형 가능한 포인트에 기초한 영상화에 관한 포인트하위선택 | |
| KR102275098B1 (ko) | 세기변조 방사선 치료계획 예측 시스템 및 방법 | |
| Rasoulian et al. | Probabilistic registration of an unbiased statistical shape model to ultrasound images of the spine | |
| KR101968671B1 (ko) | 지능형 자동 방사선 치료계획 수립방법 및 시스템 | |
| Demarcy | Segmentation and study of anatomical variability of the cochlea from medical images | |
| Liu et al. | Evaluation of synthetically generated CT for use in transcranial focused ultrasound procedures | |
| López Diez et al. | Deep reinforcement learning for detection of inner ear abnormal anatomy in computed tomography | |
| Oulbacha et al. | MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms | |
| KR20230093921A (ko) | 초음파 변환기 위치 설정 장치, 초음파 변환기 위치 설정 프로그램 및 초음파 변환기 위치 설정 인공 지능 구현 방법 | |
| CN106687962B (zh) | 用于仿真大脑刺激的方法、对应的计算机程序和设备 | |
| CN114870261B (zh) | 一种基于经纬度概念的头皮靶点定位方法、系统及装置 | |
| Kiss et al. | Computer Aided Detection of Colonic Polyps via Geometric Feature Classification. | |
| Wang et al. | Machine Learning-Based Techniques for Medical Image Registration and Segmentation and a Technique for Patient-Customized Placement of Cochlear Implant Electrode Arrays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |