KR20230068060A - Method and apparatus for processing a medical image based on AI Inference - Google Patents
Method and apparatus for processing a medical image based on AI Inference Download PDFInfo
- Publication number
- KR20230068060A KR20230068060A KR1020210153969A KR20210153969A KR20230068060A KR 20230068060 A KR20230068060 A KR 20230068060A KR 1020210153969 A KR1020210153969 A KR 1020210153969A KR 20210153969 A KR20210153969 A KR 20210153969A KR 20230068060 A KR20230068060 A KR 20230068060A
- Authority
- KR
- South Korea
- Prior art keywords
- inference
- medical image
- model
- image processing
- result data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Abstract
본 발명은 의료기기와의 연동을 통해 의료영상이 입력됨에 따라 복수의 AI 추론 모델 중 적어도 하나 이상을 선택하며, 상기 선택한 AI 추론 모델을 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 AI 추론부와, 상기 입력된 의료영상에 상기 AI 추론 결과 데이터를 매칭시켜 데이터베이스에 저장하고, 뷰어 단말로부터 영상 요청이 수신됨에 따라 상기 AI 추론 결과 데이터가 매칭된 의료영상을 상기 뷰어 단말에 전송하여 상기 뷰어 단말의 디스플레이에 표시시키는 의료영상 관리부를 포함하는 AI 추론 기반의 의료 영상 처리 장치를 제공할 수 있다.The present invention selects at least one or more of a plurality of AI inference models as a medical image is input through linkage with a medical device, and analyzes the input medical image using the selected AI inference model to apply to a body part. An AI inference unit that generates AI inference result data on whether or not there is a lesion on the disease, matches the AI inference result data to the input medical image, stores the result data in a database, and when an image request is received from the viewer terminal, the AI inference result data It is possible to provide an AI inference-based medical image processing device including a medical image management unit that transmits a matched medical image to the viewer terminal and displays it on a display of the viewer terminal.
Description
본 발명은 의료영상의 인공 지능 분석에 관한 것이다.The present invention relates to artificial intelligence analysis of medical images.
PACS(Picture Archiving Communication System)는 의료영상의 저장전송 시스템으로서, 영상 진단장치를 통하여 획득된 영상정보를 디지털 상태로 획득 및 저장하고, 그 판독과 진료기록을 함께 전송하고 검색할 수 있는 기능을 통합적으로 제공하는 시스템을 가리킨다.PACS (Picture Archiving Communication System) is a medical image storage and transmission system that integrates functions that acquire and store image information obtained through an image diagnosis device in a digital state, and transmit and retrieve the reading and medical records together. refers to the system provided by
특히, PACS는 X-Ray, CT, MRI, PET 및 SPECT 등에 의해 촬영된 모든 방사선 검사 결과를 디지털 이미지로 변환, 촬영과 동시에 대용량 기억장치에 저장시켜 영상의학과 전문가가 모니터를 통해 판독할 수 있도록 함으로써 환자의 상태를 찍은 필름을 의사가 수초 만에 컴퓨터 영상으로 띄워 진료에 이용할 수 있도록 한다.In particular, PACS converts all radiological examination results taken by X-Ray, CT, MRI, PET, and SPECT into digital images, and stores them in a mass storage device at the same time as they are taken so that radiologists can read them through the monitor. A film taken of a patient's condition can be uploaded to a computer image by a doctor in a matter of seconds and used for treatment.
이에 따라, PACS는 의료 기관 내 모든 의료영상을 통합·관리하여 진단의 정확성 및 효율성을 높여주고, 환자의 대기 시간 단축 및 의료 기관간 이전을 간편하게 해줄 수 있으며, 기존 시스템에서 사용하던 필름 대신 디지털 파일로 저장함에 따라 보관 및 관리가 용이하다는 장점이 있다. 또한, 환자의 현재와 과거 영상을 자유롭게 조회하여 판독에 활용할 수 있도록 하며 화질보정 등을 통해 판독의 질을 강화하는 효과도 있다.Accordingly, PACS increases the accuracy and efficiency of diagnosis by integrating and managing all medical images in a medical institution, reduces waiting time for patients and simplifies transfer between medical institutions, and provides digital files instead of film used in the existing system. It has the advantage of being easy to store and manage. In addition, the patient's current and past images can be freely inquired and used for reading, and there is an effect of strengthening the quality of reading through image quality correction.
한편, 최근들어 딥러닝, 인공지능 등과 같은 기술이 발전됨에 따라 병변에 대한 정확한 예측과 진단을 위하여 의료영상을 실시간 인공지능 모델로 분석하여 빠르고 정확하게 처리를 하고자 하는 다양한 형태 AI 추론 모델들이 개발되고 있다.On the other hand, with the recent development of technologies such as deep learning and artificial intelligence, various forms of AI inference models are being developed to analyze medical images with real-time artificial intelligence models for accurate prediction and diagnosis of lesions and to process them quickly and accurately. .
본 발명은 의료영상이 입력됨에 따라 복수의 AI 추론 모델 중 어느 하나를 이용하여 분석을 수행하여 AI 추론 결과 데이터를 생성한 후 이를 의료영상에 매칭시켜 저장하며, 사용자의 요청에 의거하여 AI 추론 결과 데이터가 매칭된 의료영상을 서비스해줄 수 있는 AI 추론 기반의 의료 영상 처리 장치 및 방법을 제공한다.According to the present invention, as a medical image is input, analysis is performed using any one of a plurality of AI inference models to generate AI inference result data, which is then matched to a medical image and stored, and AI inference result based on a user's request. An AI inference-based medical image processing device and method capable of providing data-matched medical images are provided.
상기한 해결하고자 하는 과제를 달성하기 위해서, 본 발명의 실시예에 따른 AI 추론 기반의 의료 영상 처리 장치는 의료기기와의 연동을 통해 의료영상이 입력됨에 따라 복수의 AI 추론 모델 중 적어도 하나 이상을 선택하며, 상기 선택한 AI 추론 모델을 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 AI 추론부와, 상기 입력된 의료영상에 상기 AI 추론 결과 데이터를 매칭시켜 데이터베이스에 저장하고, 뷰어 단말로부터 영상 요청이 수신됨에 따라 상기 AI 추론 결과 데이터가 매칭된 의료영상을 상기 뷰어 단말에 전송하여 상기 뷰어 단말의 디스플레이에 표시시키는 의료영상 관리부를 포함할 수 있다.In order to achieve the above object, an AI inference-based medical image processing apparatus according to an embodiment of the present invention selects at least one or more of a plurality of AI inference models as a medical image is input through interworking with a medical device. and an AI inference unit that analyzes the input medical image using the selected AI inference model and generates AI inference result data on whether a body part has a lesion, and the AI inference on the input medical image. A medical image management unit that matches result data and stores them in a database, and transmits a medical image matched with the AI inference result data to the viewer terminal when an image request is received from the viewer terminal and displays it on a display of the viewer terminal. can
본 발명의 실시예에 따르면, 상기 의료 영상 처리 장치는 AI 추론 모델을 기반으로 의료영상에 대한 AI 추론 서비스를 제공하는 복수의 AI 서비스 제공 업체측 기기와 연동하며, 상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기에 상기 선택한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 요청하여 수신하는 외부 연동부를 더 포함하며, 상기 AI 추론부는 상기 수신한 설정 파일 및 가중치 파라미터를 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성할 수 있다.According to an embodiment of the present invention, the medical image processing device interworks with a plurality of AI service provider devices that provide AI inference services for medical images based on an AI inference model, and based on the selected AI inference model. An external linkage unit requesting and receiving a setting file and weight parameters for the selected AI inference model from an AI service provider device providing AI inference service, wherein the AI inference unit transmits the received setting file and weight parameters It is possible to generate AI inference result data on whether there is a lesion on a body part by analyzing the input medical image.
본 발명의 실시예에 따르면, 상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기는 상기 AI 서비스 제공 업체측의 개인키를 이용하여 상기 설정 파일과 가중치 파라미터를 암호화한 후 이를 상기 의료 영상 처리 장치에 제공하며, 상기 외부 연동부는 상기 AI 서비스 제공 업체측의 공개키를 이용하여 암호화된 상기 설정 파일과 가중치 파일을 복호화시킬 수 있다.According to an embodiment of the present invention, the device of the AI service provider providing the AI inference service based on the selected AI inference model encrypts the setting file and weight parameters using the private key of the AI service provider. After providing this to the medical image processing device, the external interlocking unit may decrypt the encrypted setting file and weight file using the public key of the AI service provider.
본 발명의 실시예에 따르면, 상기 의료 영상 처리 장치는 상기 외부 연동부를 통해 수신한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 기반으로 인공 지능 실행 가속을 위한 가속화 모델과 가중치 파라미터에 대한 데이터 가중치를 산출하며, 상기 의료영상을 상기 가속화 모델에 사용 가능한 형태로 변환한 후 이를 토대로 실행 모델을 생성하는 실행 모델 생성부를 더 포함하며, 상기 AI 추론부는 상기 실행 모델을 토대로 상기 의료영상에 대한 AI 추론 결과 데이터를 생성할 수 있다.According to an embodiment of the present invention, the medical image processing device sets data weights for an acceleration model for accelerating artificial intelligence execution and weight parameters based on a setting file and weight parameters for an AI inference model received through the external interlocking unit. The AI inference unit further includes an AI inference result for the medical image based on the execution model data can be generated.
본 발명의 실시예에 따르면, 상기 의료 영상 처리 장치는 상기 복수의 AI 서비스 제공 업체측 기기 각각으로부터 자신이 서비스하는 AI 추론 모델, 상기 AI 추론 모델에 대한 설정 파일 및 가중치 파라미터를 제공받으며, 상기 제공받은 설정 파일과 가중치 파라미터를 이용하여 인공 지능 실행 가속을 위한 실행 모델을 각각 생성하며, 상기 생성한 실행 모델 각각을 복수의 AI 서비스 업체 각각의 식별자와 매칭시켜 AI 모델 데이터베이스에 저장하는 AI 모델 등록부를 더 포함하며, 상기 AI 추론부는 상기 AI 추론 모델로 상기 AI 모델 데이터베이스에 저장된 실행 모델을 선택할 수 있다.According to an embodiment of the present invention, the medical image processing device receives an AI inference model that it serves from each of the plurality of AI service provider-side devices, a setting file for the AI inference model, and weight parameters, and the provided An AI model register that generates execution models for artificial intelligence execution acceleration using the received setting file and weight parameters, matches each of the generated execution models with identifiers of multiple AI service providers, and stores them in the AI model database. The AI inference unit may select an execution model stored in the AI model database as the AI inference model.
본 발명의 실시예에 따르면, 상기 AI 추론부는 외부 기기로부터 AI 추론 모델 선택 정보를 수신하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택하거나, 상기 의료영상 내 속성값을 이용하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택할 수 있다.According to an embodiment of the present invention, the AI inference unit receives AI inference model selection information from an external device and selects one of the plurality of AI inference models, or uses attribute values in the medical image to infer the plurality of AIs. You can choose any one of the models.
본 발명의 실시예에 따르면, 상기 의료 영상 처리 장치는 DICOM 양식을 갖는 상기 의료영상을 DIOCM 프로토콜을 통해 수신하며, 상기 의료영상이 비DICOM 영상일 경우 상기 비DICOM 영상을 소정의 플러그인을 이용하여 상기 비DICOM 영상을 DICOM 영상으로 변환하는 전처리부와 연동되어 상기 전처리부로부터 DICOM 영상을 수신할 수 있다.According to an embodiment of the present invention, the medical image processing device receives the medical image having a DICOM format through a DIOCM protocol, and if the medical image is a non-DICOM image, the non-DICOM image is processed using a predetermined plug-in. A DICOM image may be received from the pre-processing unit in conjunction with a pre-processing unit that converts a non-DICOM image into a DICOM image.
상기한 해결하고자 하는 과제를 달성하기 위해서, 본 발명의 실시예에 따른 AI 추론 기반의 의료 영상 처리 방법은 의료 영상 처리 장치에서 의료기기와의 연동을 통해 의료영상을 수신하는 단계와, 상기 의료 영상 처리 장치에서 복수의 AI 추론 모델 중 적어도 하나 이상을 선택하는 단계와, 상기 의료 영상 처리 장치에서 상기 선택한 AI 추론 모델을 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 단계와, 상기 의료 영상 처리 장치에서 상기 입력된 의료영상에 상기 AI 추론 결과 데이터를 매칭시켜 데이터베이스에 저장하는 단계와, 상기 의료 영상 처리 장치에서 뷰어 단말로부터 영상 요청이 수신되면, 상기 AI 추론 결과 데이터가 매칭된 의료영상을 상기 뷰어 단말에 전송하여 상기 뷰어 단말의 디스플레이에 표시시키는 단계를 포함하는 의료영상 관리부를 포함할 수 있다.In order to achieve the above object, an AI inference-based medical image processing method according to an embodiment of the present invention includes the steps of receiving a medical image through interworking with a medical device in a medical image processing device, and processing the medical image. Selecting at least one of a plurality of AI inference models in a device, and analyzing the input medical image using the selected AI inference model in the medical image processing device to determine whether or not a body part has a lesion. Generating AI inference result data, matching the AI inference result data to the input medical image in the medical image processing device and storing the result data in a database, and receiving an image request from a viewer terminal in the medical image processing device. Then, a medical image management unit may include transmitting a medical image matched with the AI inference result data to the viewer terminal and displaying the medical image on a display of the viewer terminal.
본 발명의 실시예에 따르면, 상기 의료 영상 처리 장치는 AI 추론 모델을 기반으로 의료영상에 대한 AI 추론 서비스를 제공하는 복수의 AI 서비스 제공 업체측 기기와 연동하며, 상기 AI 추론 결과 데이터를 생성하는 단계는 상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기에 상기 선택한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 요청하여 수신하는 단계와, 상기 수신한 설정 파일 및 가중치 파라미터를 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the medical image processing device interworks with a plurality of AI service provider devices that provide AI inference services for medical images based on an AI inference model, and generates the AI inference result data. The step includes requesting and receiving a configuration file and weight parameters for the selected AI inference model from an AI service provider device providing an AI inference service based on the selected AI inference model, and receiving the received configuration file and weight parameters. The method may include performing an analysis on the input medical image using parameters to generate AI inference result data on whether a body part has a lesion or not.
본 발명의 실시예에 따르면, 상기 수신하는 단계는 상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기에서 상기 AI 서비스 제공 업체측의 개인키를 이용하여 암호화된 상기 설정 파일과 가중치 파라미터를 수신하며, 상기 AI 추론 결과 데이터를 생성하는 단계는 상기 의료 영상 처리 장치에서 상기 AI 서비스 제공 업체측의 공개키를 이용하여 암호화된 상기 설정 파일과 가중치 파일을 복호화킨 후 이를 토대로 상기 AI 추론 결과 데이터를 생성할 수 있다.According to an embodiment of the present invention, the receiving step may include the setting encrypted using a private key of the AI service provider in a device of an AI service provider providing an AI inference service based on the selected AI inference model. In the step of receiving a file and weight parameters and generating AI inference result data, the medical image processing device decrypts the encrypted setting file and weight file using the public key of the AI service provider, and then based on this The AI inference result data may be generated.
본 발명의 실시예에 따르면, 상기 의료 영상 처리 방법은 상기 수신한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 기반으로 인공 지능 실행 가속을 위한 가속화 모델과 가중치 파라미터에 대한 데이터 가중치를 산출하는 단계와, 상기 의료영상을 상기 가속화 모델에 사용 가능한 형태로 변환한 후 이를 토대로 실행 모델을 생성하는 단계를 더 포함하며, 상기 AI 추론 결과 데이터를 생성하는 단계는 상기 실행 모델을 AI 추론 모델로 설정하여 상기 의료영상에 대한 AI 추론 결과 데이터를 생성할 수 있다.According to an embodiment of the present invention, the medical image processing method includes calculating data weights for an acceleration model for accelerating artificial intelligence execution and weight parameters based on a setting file and weight parameters for the received AI inference model; The step of converting the medical image into a form usable for the acceleration model and then generating an execution model based thereon, wherein the step of generating the AI inference result data sets the execution model as an AI inference model, AI inference result data for medical images can be created.
본 발명의 실시예에 따르면, 상기 의료 영상 처리 방법은 복수의 AI 서비스 제공 업체측 기기 각각으로부터 자신이 서비스하는 AI 추론 모델, 상기 AI 추론 모델에 대한 설정 파일 및 가중치 파라미터를 제공받는 단계와, 상기 제공받은 설정 파일과 가중치 파라미터를 이용하여 인공 지능 실행 가속을 위한 실행 모델을 각각 생성하는 단계와, 상기 생성한 실행 모델 각각을 복수의 AI 서비스 업체 각각의 식별자와 매칭시켜 AI 모델 데이터베이스에 저장하는 단계를 더 포함하며, 상기 선택하는 단계는 상기 AI 추론 모델로 상기 AI 모델 데이터베이스에 저장된 실행 모델을 선택할 수 있다.According to an embodiment of the present invention, the medical image processing method includes the steps of receiving an AI inference model serviced by the device from each of a plurality of AI service provider side devices, a setting file for the AI inference model, and weight parameters; Creating execution models for artificial intelligence execution acceleration using provided setting files and weight parameters, and matching each of the generated execution models with identifiers of a plurality of AI service providers and storing them in an AI model database. Further, the selecting may select an execution model stored in the AI model database as the AI inference model.
본 발명의 실시예에 따르면, 상기 선택하는 단계는 외부 기기로부터 AI 추론 모델 선택 정보를 수신하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택하거나, 상기 의료영상 내 속성값을 이용하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택할 수 있다.According to an embodiment of the present invention, the selecting may include selecting one of the plurality of AI inference models by receiving AI inference model selection information from an external device, or using attribute values in the medical image to select the plurality of AI inference models. Any one of the inference models can be selected.
본 발명의 실시예에 따르면, 상기 의료영상을 수신하는 단계는 상기 의료영상이 비DICOM 영상일 경우 상기 비DICOM 영상을 소정의 플러그인을 이용하여 상기 비DICOM 영상을 DICOM 영상으로 변환시킨 후 이를 수신할 수 있다.According to an embodiment of the present invention, the receiving of the medical image may include converting the non-DICOM image into a DICOM image using a predetermined plug-in when the medical image is a non-DICOM image, and then receiving the non-DICOM image. can
전술한 본 발명의 실시예에 따르면, 의료영상이 입력됨에 따라 복수의 AI 추론 모델 중 어느 하나를 이용하여 분석을 수행하여 AI 추론 결과 데이터를 생성한 후 이를 의료영상에 매칭시켜 저장하며, 사용자의 요청에 의거하여 AI 추론 결과 데이터가 매칭된 의료영상을 서비스해줌으로써, 다양한 형태의 의료 관련 AI 서비스가 가능하다.According to the above-described embodiment of the present invention, as a medical image is input, analysis is performed using any one of a plurality of AI inference models to generate AI inference result data, which is matched to the medical image and stored, and user By providing medical images matched with AI inference result data upon request, various types of medical-related AI services are possible.
도 1은 본 발명의 실시예에 따른 인공 지능 추론 기반의 의료 영상 처리 시스템의 전체적인 구성을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 의료 영상 처리 장치의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 의료영상에 대한 AI 추론 결과 데이터를 제공하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 의료영상에 대한 AI 추론 결과 데이터를 서비스하는 과정을 도시한 흐름도이다.
도 5는 본 발명의 또 다른 실시예에 따른 의료영상에 대한 AI 추론 결과 데이터를 서비스하는 과정을 도시한 흐름도이다.1 is a diagram showing the overall configuration of a medical image processing system based on artificial intelligence inference according to an embodiment of the present invention.
2 is a block diagram showing the detailed configuration of a medical image processing apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a process of providing AI inference result data for a medical image according to an embodiment of the present invention.
4 is a flowchart illustrating a process of servicing AI inference result data for a medical image according to another embodiment of the present invention.
5 is a flowchart illustrating a process of servicing AI inference result data for medical images according to another embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The detailed descriptions that follow are provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이여서는 안 된다.In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification. Terminology used in the detailed description is merely for describing the embodiments of the present invention and should in no way be limiting.
이하 첨부된 도면을 참조하여 AI(Artificial Intelligence) 추론 기반의 의료 영상 처리 시스템 및 방법에 대해 설명하기로 한다.Hereinafter, a medical image processing system and method based on AI (Artificial Intelligence) inference will be described with reference to the accompanying drawings.
설명에 앞서, 본 발명의 실시예에서 이용되는 AI 추론 모델은 인공 지능 학습을 통해 생성되는 것으로서, 머신러닝, 딥러닝 등 인공지능 수행에 필요한 학습 데이터를 수집하며, 수집한 학습 데이터로부터 특징을 추출하기 위해 학습 데이터 차원 별로 가중치 값을 산출하고, 산출된 가중치 값들을 누산하여 데이터 패턴을 학습한 후 이를 토대로 생성될 수 있다. 즉, AI 추론 모델은 학습 결과로 가중치 파라미터 및 인공 지능 모델로 구성될 수 있다.Prior to description, the AI inference model used in the embodiments of the present invention is generated through artificial intelligence learning, collects learning data necessary for performing artificial intelligence such as machine learning and deep learning, and extracts features from the collected learning data. In order to do this, weight values are calculated for each learning data dimension, and after learning data patterns by accumulating the calculated weight values, it can be generated based on this. That is, the AI inference model may be composed of weight parameters and an artificial intelligence model as a learning result.
도 1은 본 발명의 실시예에 따른 인공 지능 추론 기반의 의료 영상 처리 시스템의 전체적인 구성을 도시한 도면이며, 도 2는 본 발명의 실시예에 따른 의료 영상 처리 장치의 세부 구성을 도시한 블록도이다.1 is a diagram showing the overall configuration of a medical image processing system based on artificial intelligence inference according to an embodiment of the present invention, and FIG. 2 is a block diagram showing the detailed configuration of a medical image processing apparatus according to an embodiment of the present invention. am.
도 1에 도시된 바와 같이, 인공 지능 추론 기반의 의료 영상 처리 시스템은 의료영상을 생성하는 의료기기(10) 및 의료기기(10)에 의해 생성된 의료영상을 수신한 후 이를 임의의 AI 추론 모델을 통해 판단하여 AI 추론 결과 데이터를 생성하여 데이터베이스(22)에 저장하는 의료 영상 처리 장치(20) 및 뷰어 단말(30) 등을 포함할 수 있다.As shown in FIG. 1, the artificial intelligence inference-based medical image processing system receives a
의료기기(10), 의료 영상 처리 장치(20) 및 뷰어 단말(40)은 유선 또는 무선 네트워크(미도시됨)를 통해 상호 연결되어 데이터를 송수신할 수 있다.The
본 발명의 실시예에서, 의료기기(10)는 X-ray, 초음파, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET(Positron Emission Tomography), MRA(Magnetic Resonance Angiography) 등의 DICOM 양식(Modality)을 갖는 의료영상을 생성하거나 비DICOM 양식을 갖는 의료영상을 생성할 수 있다.In an embodiment of the present invention, the
비DICOM 양식을 갖는 의료영상을 생성하는 의료기기(10)의 예로는 OT, ES, SC 등의 장비이거나 치과 관련 장비 등을 들 수 있다.Examples of the
비DICOM 양식을 갖는 의료영상의 경우 의료 영상 처리 장치(20)와 연동되는 전처리부(15)에 의해 DICOM 영상으로 변환된 후 의료 영상 처리 장치(20)에 제공될 수 있다. 구체적으로, 전처리부(15)는 비DIOCM 영상이 수신됨에 따라 소정의 변환용 플러그인을 이용하여 비DICOM 영상을 DIOCM 영상으로 변환시킨 후 이를 DICOM 프로토콜을 이용하여 의료 영상 처리 장치(20)에 전송할 수 있다.In the case of a medical image having a non-DICOM format, it may be converted into a DICOM image by the
한편, 전처리부(15)는 DIOCM 영상이 수신됨에 따라 DICOM 프로토콜에 의거하여 DICOM 영상을 의료 영상 처리 장치(20)에 전송할 수 있다.Meanwhile, as the DIOCM image is received, the
의료 영상 처리 장치(20)는, 도 2에 도시된 바와 같이, 복수의 AI 추론 모델 중 어느 하나를 선택하며, 선택한 AI 추론 모델을 이용하여 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 AI 추론부(200)를 포함할 수 있다. 이 경우, AI 추론부(200)는 의료영상과 AI 추론 결과 데이터를 데이터베이스(22)에 저장하여 관리할 수 있다. As shown in FIG. 2 , the medical
또한, 의료 영상 처리 장치(20)는 외부의 요청, 예컨대 사용자 조회 요청이 수신됨에 따라 의료영상과 AI 추론 결과 데이터를 조회 요청한 뷰어 단말(30)에 전송하여 뷰어 단말(30)의 디스플레이(미도시됨)에 표시시킬 수 있는 의료 영상 관리부(210)를 더 포함할 수 있다. 여기에서, AI 추론부(200) 및 의료 영상 관리부(210)는 PACS(Picture Archiving Communication System) 서버에 의해 구현될 수 있다.In addition, upon receiving an external request, for example, a user search request, the medical
상술한 바와 같이 복수의 AI 추론 모델을 기반으로 어느 하나의 AI 추론 모델을 선택하기 위해서 본 발명의 실시예에 따른 의료 영상 처리 장치(20)는 AI 추론 모델을 기반으로 의료영상에 대한 AI 추론 서비스를 제공하는 복수의 AI 서비스 제공 업체측 기기(40)와 연동하며, 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기(40)로부터 AI 추론 모델의 설정 파일과 AI 추론 모델에 적용될 가중치 파라미터를 요청하여 수신하는 외부 연동부(220)를 더 포함할 수 있다. 이 경우, 외부 연동부(220)는 수신한 설정 파일과 가중치 파라미터를 AI 추론부(200)에 제공할 수 있다.As described above, in order to select one AI inference model based on a plurality of AI inference models, the medical
이에 따라, 의료 영상 처리 장치(20)의 AI 추론부(200)는 설정 파일에 의거하여 DICOM 양식을 갖는 의료영상을 AI 추론 모델에 적용될 수 있는 형태의 이미지로 변환한 후 변환한 이미지와 가중치 파라미터를 이용하여 의료영상에 대한 분석을 수행하며, 분석을 통해 AI 추론 결과 데이터를 생성할 수 있다.Accordingly, the
한편, 본 발명의 실시예에 따른 의료 영상 처리 장치(20)의 외부 연동부(220)는 AI 서비스 제공 업체의 공개키를 관리할 수 있다. 이 경우, AI 서비스 제공 업체측 기기(40)는 설정 파일과 가중치 파라미터를 AI 서비스 제공 업체의 개인키를 이용하여 암호화한 후 이를 의료 영상 처리 장치(20)에 제공할 수 있다. 이에 따라, 의료 영상 처리 장치(20)의 외부 연동부(220)는 공개키를 이용하여 암호화된 설정 파일과 가중치 파라미터를 복호화시켜 설정 파일 및 가중치 파라미터를 획득할 수 있다.Meanwhile, the
한편, 본 발명의 실시예에 따른 의료 영상 처리 장치(20)는 실행 모델 생성부(230)를 통해 AI 추론 모델에 대한 실행 모델을 생성할 수 있다. 이 경우, AI 추론부(200)는 실행 모델 생성부(230)에 의해 생성된 실행 모델을 AI 추론 모델로 설정하여 의료영상에 대한 AI 추론 결과 데이터를 생성할 수 있다.Meanwhile, the medical
실행 모델 생성부(230)에 의해 실행 모델을 생성하는 과정에 대해 설명하면 아래와 같다.A process of generating an execution model by the execution
본 발명의 실시예에 따른 의료 영상 처리 장치(20)의 실행 모델 생성부(230)는 가중치 파라미터와 AI 추론 모델에 대한 설정 파일을 기반으로 인공 지능 실행 가속을 위한 AI 추론 모델(이하, '가속화 모델' 이라고 함)과 가중치 파라미터에 대한 데이터 가중치를 산출하며, 의료영상을 가속화 모델에서 이용 가능한 형태, 즉 커스텀 레이어로 변환한 후 커스텀 레이어를 기반으로 연산 함수와 모듈 위치 조정 및 연산 방식 수행 과정을 통해 최적화하여 가속화 모델에 대한 실행 모델을 생성할 수 있다.The execution
또한, 실행 모델 생성부(230)는 설정 파일과 가중치 파라미터를 토대로 가중치 파라미터에 대한 데이터 가중치를 산출하며, AI 추론 모델에서 학습 기능과 실행 기능을 분리한 후 학습 기능을 제거하는 방식으로 데이터 가중치와 실행 모델을 생성할 수 있다.In addition, the execution
이렇게 생성된 실행 모델은 AI 추론부(200)에 제공될 수 있다.The generated execution model may be provided to the
이에 따라, AI 추론부(200)는 실행 모델에 대응되는 실행 환경을 구현한 후 의료영상에 대한 분석을 수행하여 AI 추론 결과 데이터를 생성할 수 있다.Accordingly, the
또한, AI 추론부(200)는 AI 추론 결과 데이터를 생성하는 속도를 가속화시키기 위해 실행 모델의 실행단계별 소요 메모리 할당량의 최적값을 산출하고, 병렬처리를 포함하는 실행 단계별 완료 여부를 파악하여, 완료된 단계에서 다시 사용하지 않는 데이터를 삭제한 메모리 영역을 재사용하여 메모리 최적화를 구현할 수 있다. In addition, the
즉, AI 추론부(200)는 많은 연산 처리 과정 하나하나의 완료 여부를 파악하고, 데이터 처리가 완료된 단계에서 불필요한 데이터를 모두 삭제한다. 이때 각 단계에서 결과값으로 산출된 데이터만 남기고 결과값 산출에 이용된 데이터들은 다시는 사용되지 않는 불필요한 데이터로 간주되어 삭제될 수 있다. That is, the
또한, AI 추론부(200)는 처리 완료된 단계에서 불필요한 데이터를 삭제한 후 생성된 스페어 메모리 영역을 재사용하도록 함으로써 실행 모델의 메모리를 최적화시킬 수 있다.In addition, the
한편, 본 발명의 실시예에 따른 의료 영상 처리 장치(20)는 외부의 AI 서비스 제공 업체측 기기(40)로부터 AI 추론 모델 등록 요청을 처리하기 위한 AI 모델 등록부(240)를 더 포함할 수 있다.Meanwhile, the medical
AI 모델 등록부(240)는 AI 서비스 제공 업체측 기기(40)로부터 자신이 서비스하는 AI 추론 모델, AI 추론 모델에 대한 설정 파일, 가중치 파라미터 등을 이용한 AI 추론 모델 등록 요청을 수신하며, 수신한 AI 추론 모델, AI 추론 모델에 대한 설정 파일, 가중치 파라미터 등을 실행 모델 생성부(230)에 제공한 후 이에 대한 응답으로 AI 추론 모델에 대한 실행 모델을 제공받을 수 있다.The AI
또한, AI 모델 등록부(240)는 실행 모델 생성부(230)로부터 제공받은 실행 모델을 AI 서비스 제공 업체의 식별자에 매칭시켜 AI 모델 데이터베이스(24)에 저장하여 관리할 수 있다.In addition, the AI
또한, AI 모델 등록부(240)는 AI 추론부(200)가 임의의 실행 모델을 통해 AI 추론 데이터를 생성하는 과정에서 생성된 실행 모델에 대한 실행 환경을 구현하기 위한 설정 정보 등을 AI 서비스 제공 업체의 식별자에 매칭시켜 AI 모델 데이터베이스(24)에 저장할 수 있다.In addition, the AI
이런 경우, AI 추론부(200)는 선택한 AI 추론 모델을 서비스하는 AI 서비스 제공 업체의 식별자에 대한 실행 모델 및 설정 정보 등을 AI 모델 데이터베이스(24)에서 검색한 후 이를 토대로 AI 추론 결과 데이터를 생성할 수 있다.In this case, the
한편, 본 발명의 실시예에서 AI 추론 모델의 선택은 의료영상 내 속성값, 예컨대 촬영 부위, 검사 정보 등을 토대로 자동으로 선택되거나 뷰어 단말(30) 요청, 의사 요청 또는 병원측 요청에 의거하여 이루어질 수 있다.On the other hand, in an embodiment of the present invention, selection of an AI inference model is automatically selected based on attribute values in a medical image, for example, a photographed region, examination information, etc., or based on a request from the
상술한 바와 같은 구성을 갖는 의료 영상 처리 장치(20)가 AI 추론 결과 데이터를 생성하는 과정에 대해 도 3 내지 도 5를 참조하여 설명하기로 한다.A process of generating AI inference result data by the medical
도 3은 본 발명의 일 실시예에 따른 의료영상에 대한 AI 추론 결과 데이터를 제공하는 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of providing AI inference result data for a medical image according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 의료기기(10)로부터 의료영상이 수신(S300)됨에 따라 의료 영상 처리 장치(20)는 의료영상의 속성값, 뷰어 단말(30)의 요청, 의사 요청 또는 병원측 요청에 의거하여 의료영상에 적용될 AI 추론 모델을 선택한다(S302).As shown in FIG. 3 , as a medical image is received from the medical device 10 (S300), the medical
그런 다음, 의료 영상 처리 장치(20)는 선택한 AI 추론 모델에 의료영상을 적용하여 AI 추론 결과 데이터를 생성한 후 의료영상에 AI 추론 결과 데이터를 매칭시켜 데이터베이스(22)에 저장한다(S304).Then, the medical
이후, 사용자의 요청, 예컨대 뷰어 단말(30)로부터 의료영상 요청이 수신(S306)되면, 의료 영상 처리 장치(20)는 데이터베이스(22)에 저장된 의료영상과 이에 매칭된 AI 추론 결과 데이터를 뷰어 단말(30)에 전송하여 뷰어 단말(30)의 디스플레이 상에 표시시킨다(S308).Subsequently, when a user's request, for example, a medical image request is received from the viewer terminal 30 (S306), the medical
도 4는 본 발명의 다른 실시예에 따른 의료영상에 대한 AI 추론 결과 데이터를 서비스하는 과정을 도시한 흐름도이다.4 is a flowchart illustrating a process of servicing AI inference result data for a medical image according to another embodiment of the present invention.
도 4에 도시된 바와 같이, 의료기기(10)로부터 의료영상이 수신(S400)됨에 따라 의료 영상 처리 장치(20)는 의료영상의 속성값, 뷰어 단말(30)의 요청, 의사 요청 또는 병원측 요청에 의거하여 의료영상에 적용될 AI 추론 모델을 선택한다(S402).As shown in FIG. 4 , as a medical image is received from the medical device 10 (S400), the medical
그런 다음, 의료 영상 처리 장치(20)는 선택한 AI 추론 모델을 서비스하는 AI 서비스 제공 업체측 기기(40)에 설정 파일과 가중치 파라미터를 요청하여 수신한다(S404).Then, the medical
그리고나서, 의료 영상 처리 장치(20)는 설정 파일과 가중치 파라미터를 기반으로 AI 추론 모델에 대한 실행 모델을 생성한다(S406). 구체적으로, 의료 영상 처리 장치(20)는 설정 파일과 가중치 파라미터를 이용하여 인공 지능 실행 가속을 위한 가속화 모델과 가중치 파라미터에 대한 데이터 가중치를 산출하며, 의료영상을 가속화 모델에서 이용 가능한 형태, 즉 커스텀 레이어로 변환한 후 커스텀 레이어를 기반으로 연산 함수와 모듈 위치 조정 및 연산 방식 수행 과정을 통해 최적화하여 가속화 모델에 대한 실행 모델을 생성할 수 있다.Then, the medical
그런 다음, 의료 영상 처리 장치(20)는 실행 모델로 의료영상에 대한 분석을 실시하여 의료영상에 대한 AI 추론 결과 데이터를 생성한 후 의료영상에 AI 추론 결과 데이터를 매칭시켜 데이터베이스(22)에 저장한다(S408).Then, the medical
이후, 사용자의 요청, 예컨대 뷰어 단말(30)로부터 의료영상 요청이 수신(S410)되면, 의료 영상 처리 장치(20)는 데이터베이스(22)에 저장된 의료영상과 이에 매칭된 AI 추론 결과 데이터를 뷰어 단말(30)에 전송하여 뷰어 단말(30)의 디스플레이 상에 표시시킨다(S412).Subsequently, when a user's request, for example, a request for a medical image is received from the viewer terminal 30 (S410), the medical
도 5는 본 발명의 또 다른 실시예에 따른 의료영상에 대한 AI 추론 결과 데이터를 서비스하는 과정을 도시한 흐름도이다.5 is a flowchart illustrating a process of servicing AI inference result data for medical images according to another embodiment of the present invention.
도 5에 도시된 바와 같이, 의료 영상 처리 장치(20)는 AI 서비스 제공 업체측 기기(40)로부터 자신이 서비스하는 AI 추론 모델, AI 추론 모델에 대한 설정 파일 및 가중치 파라미터 등을 이용하여 AI 추론 모델 등록 요청을 수신한다(S500).As shown in FIG. 5 , the medical
이후, 의료 영상 처리 장치(20)는 AI 추론 모델, AI 추론 모델에 대한 설정 파일 및 가중치 파라미터 등을 이용하여 실행 모델을 생성(S502)한 후 이를 AI 서비스 제공 업체의 식별자에 매칭시켜 AI 모델 데이터베이스(24)에 저장한다(S504).Thereafter, the medical
상술한 단계들을 복수의 AI 서비스 제공 업체측 기기(40)와 수행하여 복수의 AI 서비스 제공 업체 각각 식별자에 매칭된 서로 다른 실행 모델로 구성된 AI 모델 데이터베이스(24)를 구축할 수 있다. The above steps may be performed with a plurality of AI service
이후, 의료영상이 수신됨에 따라 의료기기(10)로부터 의료영상이 수신(S506)됨에 따라 의료 영상 처리 장치(20)는 의료영상의 속성값, 뷰어 단말(30)의 요청, 의사 요청 또는 병원측 요청에 의거하여 의료영상에 적용될 AI 추론 모델의 종류를 선택하고, 선택한 AI 추론 모델의 종류에 대응되는 실행 모델을 AI 모델 데이터베이스(24)에서 검색한다(S508).Then, as the medical image is received from the
그런 다음, 의료 영상 처리 장치(20)는 검색한 실행 모델에 대한 실행 환경을 구현하기 위한 설정 정보를 셋팅하고(S510), 셋팅한 설정 정보에 의거하여 구현된 실행 환경에서 실행 모델을 실행시켜 의료영상에 대한 AI 추론 결과 데이터를 생성한 후 의료영상에 AI 추론 결과 데이터를 매칭시켜 데이터베이스(22)에 저장한다(S512).Then, the medical
이와 더불어, 의료 영상 처리 장치(20)는 실행 환경을 구현하기 위한 셋팅한 설정 정보를 AI 모델 데이터베이스(24)에 저장한다(S514). 구체적으로, 의료 영상 처리 장치(20)는 설정 정보를 검색한 실행 모델의 AI 서비스 제공 업체의 식별자에 매칭시켜 AI 모델 데이터베이스(24)에 저장할 수 있다.In addition, the medical
이후, 사용자의 요청, 예컨대 뷰어 단말(30)로부터 의료영상 요청이 수신(S516)되면, 의료 영상 처리 장치(20)는 데이터베이스(22)에 저장된 의료영상과 이에 매칭된 AI 추론 결과 데이터를 뷰어 단말(30)에 전송하여 뷰어 단말(30)의 디스플레이 상에 표시시킨다(S518).Subsequently, when a user's request, for example, a request for a medical image is received from the viewer terminal 30 (S516), the medical
상술한 바와 같은 단계들을 통해 복수의 AI 서비스 제공 업체측 기기(40)에 의해 서비스되는 AI 추론 모델에 대한 실행 모델, 설정 정보 등으로 구성된 AI 모델 데이터베이스(24)가 구축될 수 있다. 이에 따라, 의료 영상 처리 장치(20)는 검색한 실행 모델에 설정 정보가 존재하는지를 판단하고, 설정 정보가 존재할 경우 설정 정보를 이용하여 실행 환경을 구현할 수도 있다.Through the steps described above, an
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments expressed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas that are equivalent or within the scope of equivalents should be construed as being included in the scope of the present invention.
10 : 의료기기
15 : 전처리부
20 : 의료 영상 처리 장치
30 : 뷰어 단말
40 : AI 서비스 제공 업체측 기기
200 : AI 추론부
210 : 의료 영상 관리부
220 : 외부 연동부
230 : 실행 모델 생성부
240 : AI 모델 등록부10: Medical device
15: pre-processing unit
20: medical image processing device
30: viewer terminal
40: AI service provider side device
200: AI reasoning unit
210: medical image management unit
220: external interlocking unit
230: execution model generation unit
240: AI model register
Claims (14)
상기 입력된 의료영상에 상기 AI 추론 결과 데이터를 매칭시켜 데이터베이스에 저장하고, 뷰어 단말로부터 영상 요청이 수신됨에 따라 상기 AI 추론 결과 데이터가 매칭된 의료영상을 상기 뷰어 단말에 전송하여 상기 뷰어 단말의 디스플레이에 표시시키는 의료영상 관리부를 포함하는 AI 추론 기반의 의료 영상 처리 장치.
As a medical image is input through interworking with a medical device, at least one of a plurality of AI inference models is selected, and the input medical image is analyzed using the selected AI inference model to determine whether a body part has a lesion or not. An AI reasoning unit that generates AI reasoning result data for;
The AI inference result data is matched with the input medical image and stored in a database, and when an image request is received from the viewer terminal, the medical image matched with the AI inference result data is transmitted to the viewer terminal to display the viewer terminal. An AI inference-based medical image processing device including a medical image management unit for displaying on.
상기 의료 영상 처리 장치는,
AI 추론 모델을 기반으로 의료영상에 대한 AI 추론 서비스를 제공하는 복수의 AI 서비스 제공 업체측 기기와 연동하며, 상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기에 상기 선택한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 요청하여 수신하는 외부 연동부를 더 포함하며,
상기 AI 추론부는,
상기 수신한 설정 파일 및 가중치 파라미터를 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 AI 추론 기반의 의료 영상 처리 장치.
According to claim 1,
The medical image processing device,
It works with multiple AI service provider devices that provide AI inference services for medical images based on the AI inference model, and reminds the AI service provider device that provides AI inference services based on the selected AI inference model. Further comprising an external interlocking unit that requests and receives a setting file and weight parameters for the selected AI inference model,
The AI reasoning unit,
An AI inference-based medical image processing device that analyzes the input medical image using the received setting file and weight parameters to generate AI inference result data on whether a body part has a lesion.
상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기는 상기 AI 서비스 제공 업체측의 개인키를 이용하여 상기 설정 파일과 가중치 파라미터를 암호화한 후 이를 상기 의료 영상 처리 장치에 제공하며,
상기 외부 연동부는,
상기 AI 서비스 제공 업체측의 공개키를 이용하여 암호화된 상기 설정 파일과 가중치 파일을 복호화시키는 AI 추론 기반의 의료 영상 처리 장치.
According to claim 2,
The device of the AI service provider that provides the AI inference service based on the selected AI inference model encrypts the setting file and weight parameters using the private key of the AI service provider and sends them to the medical image processing device. provide,
The external interlocking unit,
An AI inference-based medical image processing device for decrypting the encrypted setting file and weight file using a public key of the AI service provider.
상기 의료 영상 처리 장치는,
상기 외부 연동부를 통해 수신한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 기반으로 인공 지능 실행 가속을 위한 가속화 모델과 가중치 파라미터에 대한 데이터 가중치를 산출하며, 상기 의료영상을 상기 가속화 모델에 사용 가능한 형태로 변환한 후 이를 토대로 실행 모델을 생성하는 실행 모델 생성부를 더 포함하며,
상기 AI 추론부는,
상기 실행 모델을 토대로 상기 의료영상에 대한 AI 추론 결과 데이터를 생성하는 AI 추론 기반의 의료 영상 처리 장치.
According to claim 2,
The medical image processing device,
An acceleration model for accelerating artificial intelligence execution and data weights for weight parameters are calculated based on the setting file and weight parameters for the AI inference model received through the external interlocking unit, and the medical image can be used for the acceleration model. Further comprising an execution model generation unit for generating an execution model based on the conversion to
The AI reasoning unit,
An AI inference-based medical image processing device that generates AI inference result data for the medical image based on the execution model.
상기 의료 영상 처리 장치는,
복수의 AI 서비스 제공 업체측 기기 각각으로부터 자신이 서비스하는 AI 추론 모델, 상기 AI 추론 모델에 대한 설정 파일 및 가중치 파라미터를 제공받으며, 상기 제공받은 설정 파일과 가중치 파라미터를 이용하여 인공 지능 실행 가속을 위한 실행 모델을 각각 생성하며, 상기 생성한 실행 모델 각각을 복수의 AI 서비스 업체 각각의 식별자와 매칭시켜 AI 모델 데이터베이스에 저장하는 AI 모델 등록부를 더 포함하며,
상기 AI 추론부는,
상기 AI 추론 모델로 상기 AI 모델 데이터베이스에 저장된 실행 모델을 선택하는 AI 추론 기반의 의료 영상 처리 장치.
According to claim 1,
The medical image processing device,
Receives an AI inference model that it serves, a setting file for the AI inference model, and weight parameters from each of the devices of a plurality of AI service providers, and uses the provided setting file and weight parameters to accelerate artificial intelligence execution. Further comprising an AI model register for generating each execution model, matching each of the generated execution models with an identifier of each of a plurality of AI service providers, and storing them in an AI model database,
The AI reasoning unit,
An AI inference-based medical image processing device that selects an execution model stored in the AI model database as the AI inference model.
상기 AI 추론부는,
외부 기기로부터 AI 추론 모델 선택 정보를 수신하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택하거나, 상기 의료영상 내 속성값을 이용하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택하는 AI 추론 기반의 의료 영상 처리 장치.
According to claim 1,
The AI reasoning unit,
AI inference-based medical care that selects one of the plurality of AI inference models by receiving AI inference model selection information from an external device or selects one of the plurality of AI inference models using attribute values in the medical image image processing device.
상기 의료 영상 처리 장치는,
DICOM 양식을 갖는 상기 의료영상을 DIOCM 프로토콜을 통해 수신하며,
상기 의료영상이 비DICOM 영상일 경우 상기 비DICOM 영상을 소정의 플러그인을 이용하여 상기 비DICOM 영상을 DICOM 영상으로 변환하는 전처리부와 연동되어 상기 전처리부로부터 DICOM 영상을 수신하는 AI 추론 기반의 의료 영상 처리 장치.
According to claim 1,
The medical image processing device,
Receiving the medical image having a DICOM format through a DIOCM protocol,
If the medical image is a non-DICOM image, the non-DICOM image is interlocked with a pre-processing unit that converts the non-DICOM image into a DICOM image using a predetermined plug-in and receives the DICOM image from the pre-processing unit based on AI reasoning. processing unit.
상기 의료 영상 처리 장치에서 복수의 AI 추론 모델 중 적어도 하나 이상을 선택하는 단계와,
상기 의료 영상 처리 장치에서 상기 선택한 AI 추론 모델을 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 단계와,
상기 의료 영상 처리 장치에서 상기 입력된 의료영상에 상기 AI 추론 결과 데이터를 매칭시켜 데이터베이스에 저장하는 단계와,
상기 의료 영상 처리 장치에서 뷰어 단말로부터 영상 요청이 수신되면, 상기 AI 추론 결과 데이터가 매칭된 의료영상을 상기 뷰어 단말에 전송하여 상기 뷰어 단말의 디스플레이에 표시시키는 단계를 포함하는 의료영상 관리부를 포함하는 AI 추론 기반의 의료 영상 처리 방법.
Receiving a medical image through interworking with a medical device in a medical image processing device;
selecting at least one of a plurality of AI inference models in the medical image processing device;
generating AI inference result data on whether a body part has a lesion by analyzing the input medical image using the selected AI inference model in the medical image processing device;
matching the AI inference result data to the input medical image in the medical image processing device and storing the result data in a database;
When the medical image processing device receives an image request from a viewer terminal, a medical image management unit including a step of transmitting a medical image matched with the AI inference result data to the viewer terminal and displaying it on a display of the viewer terminal. A medical image processing method based on AI inference.
상기 의료 영상 처리 장치는,
AI 추론 모델을 기반으로 의료영상에 대한 AI 추론 서비스를 제공하는 복수의 AI 서비스 제공 업체측 기기와 연동하며,
상기 AI 추론 결과 데이터를 생성하는 단계는,
상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기에 상기 선택한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 요청하여 수신하는 단계와,
상기 수신한 설정 파일 및 가중치 파라미터를 이용하여 상기 입력된 의료영상에 대한 분석을 수행하여 신체 부위에 대한 병변 여부에 대한 AI 추론 결과 데이터를 생성하는 단계를 포함하는 AI 추론 기반의 의료 영상 처리 방법.
According to claim 8,
The medical image processing device,
Interlocks with multiple AI service provider devices that provide AI inference services for medical images based on AI inference models,
The step of generating the AI inference result data,
Requesting and receiving a setting file and weight parameters for the selected AI inference model from an AI service provider device providing an AI inference service based on the selected AI inference model;
An AI inference-based medical image processing method comprising performing an analysis on the input medical image using the received setting file and weight parameters to generate AI inference result data on whether a body part has a lesion.
상기 수신하는 단계는,
상기 선택한 AI 추론 모델을 기반으로 AI 추론 서비스를 제공하는 AI 서비스 제공 업체측 기기에서 상기 AI 서비스 제공 업체측의 개인키를 이용하여 암호화된 상기 설정 파일과 가중치 파라미터를 수신하며,
상기 AI 추론 결과 데이터를 생성하는 단계는,
상기 의료 영상 처리 장치에서 상기 AI 서비스 제공 업체측의 공개키를 이용하여 암호화된 상기 설정 파일과 가중치 파일을 복호화킨 후 이를 토대로 상기 AI 추론 결과 데이터를 생성하는 AI 추론 기반의 의료 영상 처리 방법.
According to claim 9,
In the receiving step,
Receiving the setting file and weight parameters encrypted using the private key of the AI service provider in a device of an AI service provider providing an AI inference service based on the selected AI inference model;
The step of generating the AI inference result data,
The AI inference-based medical image processing method of decrypting the encrypted setting file and weight file using the public key of the AI service provider in the medical image processing device and generating the AI inference result data based thereon.
상기 의료 영상 처리 방법은,
상기 수신한 AI 추론 모델에 대한 설정 파일과 가중치 파라미터를 기반으로 인공 지능 실행 가속을 위한 가속화 모델과 가중치 파라미터에 대한 데이터 가중치를 산출하는 단계와,
상기 의료영상을 상기 가속화 모델에 사용 가능한 형태로 변환한 후 이를 토대로 실행 모델을 생성하는 단계를 더 포함하며,
상기 AI 추론 결과 데이터를 생성하는 단계는,
상기 실행 모델을 AI 추론 모델로 설정하여 상기 의료영상에 대한 AI 추론 결과 데이터를 생성하는 AI 추론 기반의 의료 영상 처리 방법.
According to claim 9,
The medical image processing method,
Calculating data weights for an acceleration model for accelerating artificial intelligence execution and weight parameters based on the setting file and weight parameters for the received AI inference model;
Converting the medical image into a form usable for the acceleration model and then generating an execution model based thereon;
The step of generating the AI inference result data,
An AI inference-based medical image processing method of generating AI inference result data for the medical image by setting the execution model as an AI inference model.
상기 의료 영상 처리 방법은,
복수의 AI 서비스 제공 업체측 기기 각각으로부터 자신이 서비스하는 AI 추론 모델, 상기 AI 추론 모델에 대한 설정 파일 및 가중치 파라미터를 제공받는 단계와,
상기 제공받은 설정 파일과 가중치 파라미터를 이용하여 인공 지능 실행 가속을 위한 실행 모델을 각각 생성하는 단계와,
상기 생성한 실행 모델 각각을 복수의 AI 서비스 업체 각각의 식별자와 매칭시켜 AI 모델 데이터베이스에 저장하는 단계를 더 포함하며,
상기 선택하는 단계는,
상기 AI 추론 모델로 상기 AI 모델 데이터베이스에 저장된 실행 모델을 선택하는 AI 추론 기반의 의료 영상 처리 방법.
According to claim 8,
The medical image processing method,
Receiving from each of a plurality of AI service provider-side devices an AI inference model that they serve, a setting file for the AI inference model, and weight parameters;
generating an execution model for artificial intelligence execution acceleration using the provided setting file and weight parameters;
Further comprising matching each of the generated execution models with an identifier of each of a plurality of AI service providers and storing them in an AI model database,
The selection step is
An AI inference-based medical image processing method for selecting an execution model stored in the AI model database as the AI inference model.
상기 선택하는 단계는,
외부 기기로부터 AI 추론 모델 선택 정보를 수신하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택하거나, 상기 의료영상 내 속성값을 이용하여 상기 복수의 AI 추론 모델 중 어느 하나를 선택하는 AI 추론 기반의 의료 영상 처리 방법.
According to claim 8,
The selection step is
AI inference-based medical care that selects one of the plurality of AI inference models by receiving AI inference model selection information from an external device or selects one of the plurality of AI inference models using attribute values in the medical image Image processing method.
상기 의료영상을 수신하는 단계는,
상기 의료영상이 비DICOM 영상일 경우 상기 비DICOM 영상을 소정의 플러그인을 이용하여 상기 비DICOM 영상을 DICOM 영상으로 변환시킨 후 이를 수신하는 AI 추론 기반의 의료 영상 처리 방법.According to claim 8,
Receiving the medical image,
If the medical image is a non-DICOM image, the AI inference-based medical image processing method converts the non-DICOM image into a DICOM image using a predetermined plug-in and receives the non-DICOM image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210153969A KR20230068060A (en) | 2021-11-10 | 2021-11-10 | Method and apparatus for processing a medical image based on AI Inference |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210153969A KR20230068060A (en) | 2021-11-10 | 2021-11-10 | Method and apparatus for processing a medical image based on AI Inference |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230068060A true KR20230068060A (en) | 2023-05-17 |
Family
ID=86547604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210153969A KR20230068060A (en) | 2021-11-10 | 2021-11-10 | Method and apparatus for processing a medical image based on AI Inference |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230068060A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160103578A (en) | 2015-02-24 | 2016-09-02 | 원광대학교산학협력단 | Cloud based Lung/Bone Disease Automated Diagnosis System and Method |
-
2021
- 2021-11-10 KR KR1020210153969A patent/KR20230068060A/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160103578A (en) | 2015-02-24 | 2016-09-02 | 원광대학교산학협력단 | Cloud based Lung/Bone Disease Automated Diagnosis System and Method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10198816B2 (en) | Medical evaluation machine learning workflows and processes | |
KR101898575B1 (en) | Method for predicting future state of progressive lesion and apparatus using the same | |
US8165426B2 (en) | Workflow-based management of medical image data | |
US10817753B2 (en) | Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device | |
JP6268624B1 (en) | Data management system | |
JP2018133080A (en) | Block chain data management system, program, and data structure | |
US20060026040A1 (en) | System and method for providing remote analysis of medical data | |
CN107978362B (en) | Query with data distribution in hospital networks | |
KR20130053587A (en) | Medical device and medical image displaying method using the same | |
CN111883235A (en) | Method and system for acquiring digital film and report based on medical image | |
CN1684086B (en) | Apparatus that prepares information relating to image data | |
US20180068067A1 (en) | Spine labeling automation | |
KR101176448B1 (en) | Apparatus for managing medical image data using reference coordinates and method thereof | |
JP6591147B2 (en) | Medical image management system and medical image observation apparatus | |
US10146907B2 (en) | Network system and method for controlling a computer tomograph | |
US20200273551A1 (en) | Enabling the centralization of medical derived data for artificial intelligence implementations | |
KR20130082655A (en) | Medical image display system and method for portable terminal | |
KR20230068060A (en) | Method and apparatus for processing a medical image based on AI Inference | |
JP5305728B2 (en) | Medical file management system and medical file management apparatus | |
JP6559927B2 (en) | Medical information management apparatus and medical information management system | |
US20040103169A1 (en) | Medical system architecture and method for exchanging messages | |
KR20190088371A (en) | Method for generating future image of progressive lesion and apparatus using the same | |
US20180068434A1 (en) | Hybrid cloud-based measurement automation in medical imagery | |
US20060116902A1 (en) | Method and apparatus for workflow | |
KR102224463B1 (en) | Method for medical imaging information communication between hospitals and system for it |