KR102097742B1 - System for Searching medical image using artificial intelligence and Driving method thereof - Google Patents
System for Searching medical image using artificial intelligence and Driving method thereof Download PDFInfo
- Publication number
- KR102097742B1 KR102097742B1 KR1020190093116A KR20190093116A KR102097742B1 KR 102097742 B1 KR102097742 B1 KR 102097742B1 KR 1020190093116 A KR1020190093116 A KR 1020190093116A KR 20190093116 A KR20190093116 A KR 20190093116A KR 102097742 B1 KR102097742 B1 KR 102097742B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- feature map
- medical image
- image
- search
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 21
- 238000003745 diagnosis Methods 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 12
- 206010008118 cerebral infarction Diseases 0.000 description 10
- 208000026106 cerebrovascular disease Diseases 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010845 search algorithm Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 201000008827 tuberculosis Diseases 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
본 발명은 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법에 관한 것으로 보다 상세하게는 의료 영상 데이터의 특징맵을 이용하는 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법에 관한 것이다. The present invention relates to an artificial intelligence based medical image search system and a driving method thereof, and more particularly, to an artificial intelligence based medical image search system using the feature map of medical image data and a driving method thereof.
구글의 이미지 검색이나 네이버 이미지 검색과 같은 영상 검색 엔진은 기존의 영상 자체에 할당된 태그 값이나 카테고리값을 기반으로 데이터베이스화한 다음 이를 바탕으로 검색하는 방식을 사용한다.Video search engines, such as Google's image search and Naver image search, use a method of database based on tag values or category values assigned to existing images themselves and then searching based on them.
한편, 현대의학에서 효과적인 질병의 진단 및 환자의 치료를 위해 의료영상은 매우 중요한 도구이다. 또한 영상기술의 발달은 더욱 정교한 의료영상 데이터를 획득 가능하게 하고 있다. 이러한 정교함의 대가로 데이터의 양은 점차 방대해지고 있어 의료영상 데이터를 인간의 시각에 의존하여 분석하는 데 어려움이 많다. 따라서 임상의사결정 지원 시스템 및 컴퓨터 보조 진단 기술에서 의료영상의 자동 분석 및 대량의 의료영상 검색이 빈번하게 필요한 실정이다. On the other hand, in modern medicine, medical imaging is a very important tool for effective disease diagnosis and patient treatment. In addition, the development of imaging technology makes it possible to acquire more sophisticated medical imaging data. In exchange for this sophistication, the amount of data is gradually increasing, making it difficult to analyze medical image data depending on human vision. Therefore, in the clinical decision support system and computer-assisted diagnostic technology, automatic analysis of medical images and large-scale medical image search are frequently required.
일례로, 한국 공개특허 제10-2017-0017614호(2017.02.15)의 '의료 영상 기반의 질환 진단 정보 산출 방법 및 장치'에서는, 분석 대상 객체가 촬영된 관심 영역을 검출하고, 변동계수를 산출하고, 변동계수 이미지를 작성하고 이를 기준 샘플과 비교하는 단계를 포함하고, CT, MRI 및 초음파 영상 촬영 장치 등을 통해 획득된 의료 영상을 활용하여 환자의 질환 정도를 진단하는 효과를 언급한다. 하지만, 이 종래 기술은 의료 영상들의 비교 방법을 이용하므로 여전히 진단 장치의 근본적인 진단 오류를 방지할 수 있는 방안이 요구되고 있다.For example, in Korean Patent Application Publication No. 10-2017-0017614 (2017.02.15), a method and apparatus for calculating disease diagnosis information based on a medical image, detect a region of interest in which an object to be analyzed is photographed, and calculate a coefficient of variation And, it includes the steps of creating a coefficient of variation image and comparing it with a reference sample, and refers to the effect of diagnosing a patient's disease degree by using medical images obtained through CT, MRI, and ultrasound imaging devices. However, since this prior art uses a method of comparing medical images, there is still a need for a method capable of preventing fundamental diagnosis errors of a diagnostic device.
또한, 한국 공개특허 제10-2017-0047423호(2017.05.08)의 'CAD 기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템'에서는, 딥러닝 알고리즘을 적용하여 결핵 여부를 판단하는 진단부를 포함하고, CAD 기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템에 의해 진단 효율성이 향상된다는 점을 강조한다. 하지만, 이 종래 기술은 딥러닝 알고리즘을 이용할 뿐 딥러닝 알고리즘에 의한 의료 진단에서의 오진이나 한계를 여전히 내포하고 있는 단점이 있다.In addition, in Korean Patent Publication No. 10-2017-0047423 (2017.05.08), 'Automatic Tuberculosis Diagnosis Prediction System for CAD-based Digital X-rays' includes a diagnostic unit that determines whether tuberculosis is applied by applying a deep learning algorithm, and is based on CAD. It is emphasized that the diagnostic efficiency is improved by digital X-ray's automatic TB diagnosis prediction system. However, this prior art uses a deep learning algorithm, but has a drawback that still contains errors or limitations in medical diagnosis by the deep learning algorithm.
한편, 알파고와 같은 인공지능 기술이 발달하면서 인공지능 기반의 검색 엔진에 대한 개발 및 사용이 증가하고 있다. 기존의 인공지능 기술 기반의 검색 엔진 알고리즘들은 의료 영상이 아닌 자연 영상을 기준으로 제작된다.Meanwhile, with the development of artificial intelligence technologies such as AlphaGo, the development and use of artificial intelligence-based search engines are increasing. Search engine algorithms based on existing artificial intelligence technology are produced based on natural images, not medical images.
의료 영상의 검색 엔진의 경우에 과거 자연영상 검색 알고리즘과 같이 의료 영상 데이터에 할당된 태그값을 기반으로 진행하는 단순 검색 알고리즘에 의해 검색이 진행된다. In the case of a search engine for medical images, the search is performed by a simple search algorithm based on tag values assigned to medical image data, such as the past natural image search algorithm.
따라서 의료 영상에 있어 검색의 정확도와 속도를 확보하기 위한 의료영상에 특화된 인공지능 검색 알고리즘의 필요성이 대두되고 있다.Therefore, the necessity of an artificial intelligence search algorithm specialized for medical images is emerging to secure the accuracy and speed of search in medical images.
본 발명은 이 같은 기술적 배경에서 도출된 것으로, 기존의 일반적인 태그, 데이터베이스 탐색 알고리즘에서 탈피하여 의료 영상에 특화된 인공지능 검색 알고리즘을 제공할 수 있는 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법을 제공함에 그 목적이 있다. The present invention is derived from such a technical background, and provides an artificial intelligence-based medical image search system and a driving method capable of providing an artificial intelligence search algorithm specialized for medical images, away from the existing general tag and database search algorithms. Has its purpose.
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다. The present invention for achieving the above object includes the following configuration.
즉 본 발명의 일 실시예에 따른 인공지능 기반의 의료영상 검색 시스템은 환자 신체의 적어도 일부를 촬영한 의료 영상 데이터를 입력받는 데이터 입력부, 상기 데이터 입력부로 입력받은 의료 영상 데이터에 전처리를 수행하는 전처리부, 상기 전처리부에서 전처리가 수행된 의료 영상 데이터의 특징맵을 추출하는 특징맵 추출부 및 상기 추출된 특징맵을 기 저장된 영상 데이터들의 특징맵과 비교하고, 기저장된 영상 데이터들 중 상기 추출된 특징맵과의 일치도가 기준치 이상인 영상 데이터를 검색하여 검색결과를 출력하는 영상 검색부를 포함하는 것을 특징으로 한다.That is, the artificial intelligence-based medical image search system according to an embodiment of the present invention includes a data input unit that receives medical image data captured at least a part of a patient's body, and pre-processes the medical image data received by the data input unit. The feature map extractor extracts a feature map of medical image data pre-processed by the pre-processor and compares the extracted feature map with feature maps of pre-stored image data, and extracts the pre-stored image data. And an image search unit that searches for image data having a degree of matching with the feature map that is greater than or equal to a reference value and outputs a search result.
한편, 인공지능 기반의 의료영상 검색 시스템의 구동방법은 데이터 입력부가 환자 신체의 적어도 일부를 촬영한 의료 영상 데이터를 입력받는 단계, 전처리부가 상기 데이터 입력부로 입력받은 의료 영상 데이터에 전처리를 수행하는 단계, 특징맵 추출부가 상기 전처리부에서 전처리가 수행된 의료 영상 데이터의 특징맵을 추출하는 단계 및 영상 검색부가 상기 추출된 특징맵을 기 저장된 영상 데이터들의 특징맵과 비교하고, 기저장된 영상 데이터들 중 상기 추출된 특징맵과의 일치도가 기준치 이상인 영상 데이터를 검색하여 검색결과를 출력하는 단계를 포함하는 것을 특징으로 한다.On the other hand, the driving method of the artificial intelligence-based medical image retrieval system is a data input unit receiving medical image data captured at least a part of the patient's body, and a pre-processing unit performing pre-processing on the medical image data received by the data input unit. The feature map extracting unit extracts a feature map of the medical image data preprocessed by the preprocessing unit, and the image search unit compares the extracted feature map with feature maps of pre-stored image data, and among the pre-stored image data And searching image data having a degree of matching with the extracted feature map that is greater than or equal to a reference value and outputting a search result.
본 발명에 따르면, 영상 자체가 가지는 특징맵을 통해 영상을 찾음으로써, 단순히 영상 쿼리문의 키워드로 영상을 검색하던 기존 방식보다 검색의 정확도를 높이고, 검색 속도를 향상시킬 수 있는 효과가 도출된다. According to the present invention, by finding an image through a feature map of the image itself, an effect capable of increasing the accuracy of the search and improving the search speed is derived than the existing method of simply searching the image with the keyword of the image query.
도 1 은 본 발명의 일 실시예에 따른 인공지능 기반의 의료영상 검색 시스템의 구성을 도시한 블록도,
도 2 는 본 발명의 일 실시예에 따른 인공지능 기반의 의료영상 검색 시스템의 구동방법을 도시한 흐름도이다. 1 is a block diagram showing the configuration of an artificial intelligence based medical image search system according to an embodiment of the present invention,
2 is a flowchart illustrating a method of driving an AI-based medical image search system according to an embodiment of the present invention.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted as meanings generally understood by a person having ordinary knowledge in the technical field to which the present invention belongs, unless defined otherwise. It should not be interpreted as a meaning, or an excessively reduced meaning.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명의 일 실시예에 따른 인공지능 기반의 의료영상 검색 시스템의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of an artificial intelligence-based medical image search system according to an embodiment of the present invention.
도 1 에서 알 수 있듯이, 본 발명의 일 실시예에 따른 인공지능 기반의 의료영상 검색 시스템은 데이터 입력부(100), 전처리부(110), 특징맵 추출부(120), 영상 검색부(130), 데이터베이스(140)를 포함한다. As can be seen in Figure 1, the AI-based medical image search system according to an embodiment of the present invention includes a data input unit 100, a
데이터 입력부(100)는 환자 신체의 적어도 일부를 촬영한 의료 영상 데이터를 입력받는다. The data input unit 100 receives medical image data taken of at least a part of the patient's body.
데이터 입력부(100)는 적어도 하나의 의료기기로부터 환자 신체의 적어도 일부를 촬영한 의료 영상 데이터를 입력받는다. 의료 기기는 환자의 환부 신호를 측정하여 전기 신호화하여 출력하고 출력된 전기 신호를 영상으로 변환하는 장치로서, 초음파 검사기, MRI 장치, CT 등을 포함한다. The data input unit 100 receives medical image data obtained by capturing at least a part of a patient's body from at least one medical device. A medical device is a device that measures and outputs an electrical signal by measuring a patient's affected part signal, and converts the output electrical signal into an image, and includes an ultrasound scanner, an MRI device, and a CT.
일예로 영상의 종류에는 X-ray, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), US(Ultrasound), PET(Positron Emission Tomography) 등이 있고, 신체의 적어도 일부는 뇌(Brain), 흉부(Chest), 복부(Abdomen), 폐, 심혈관, 뼈, 안구등 매우 다양한 부위가 있다. 각 신체 부위별로 영상의 종류가 다양하기 때문에 매우 많은 카테고리가 존재할 수 있다. For example, the types of images include X-ray, CT (Computed Tomography), Magnetic Resonance Imaging (MRI), US (Ultrasound), PET (Positron Emission Tomography), etc., and at least a part of the body includes a brain and a chest ( Chest, abdomen, lungs, cardiovascular, bone, eyeball, etc. Since there are many types of images for each body part, there can be many categories.
데이터 입력부(100)는 부가적으로 입력되는 의료 영상 데이터를 신체 부위별로 또는 촬영 기법 별로 카테고리화하여 관리하는 것이 가능하다. The data input unit 100 may categorize and manage additionally input medical image data for each body part or for each imaging technique.
출력된 전기 신호는 연속된 형태로 영상화되어 실시간으로 데이터 입력부(100)에 전송될 수 있다. 즉, 데이터 입력부(100)는 의료 영상 촬영기기로부터 연속된 형태의 영상을 순차적으로 실시간 입력받을 수 있다.The output electrical signal may be imaged in a continuous form and transmitted to the data input unit 100 in real time. That is, the data input unit 100 may sequentially receive real-time images from a medical imaging apparatus.
일 양상에 있어서 데이터 입력부(100)는 바이너리 파일로 변환된 영상 데이터를 메시지 큐(Massage Queue) 방식을 사용하여 DMA(Meory to Memory)로 전송받는다. 이에 따라 시스템 하드웨어에 부하를 덜어주도록 설계하는 것이 가능하다. In one aspect, the data input unit 100 receives image data converted to a binary file in a message to memory (DMA) using a message queue method. Accordingly, it is possible to design to offload the system hardware.
일 실시예에 있어서 의료 영상 데이터 입력부(100)로 입력된 바이너리 파일은 인공지능 기반의 의료영상 검색 시스템상에서 영상 데이터로 변환되어 사용가능한 상태로 변경될 수 있다. In one embodiment, the binary file input to the medical image data input unit 100 may be converted into image data and usable in an AI-based medical image search system.
전처리부(110)는 데이터 입력부(100)로 입력받은 의료 영상 데이터에 전처리를 수행한다. The
일 양상에 있어서 전처리부(110)는 입력된 영상 데이터들의 해상도를 일정하게 조정하고, 상기 영상 데이터의 강도(intensity)값을 분석하며, 히스토그램화하여 히스토그램화된 결과를 바탕으로 특정 영역을 강조하여 강도가 약한 부분과 강한 부분을 분리하여 상기 영상 데이터의 강도(intensity)값의 차이 분포를 명확히한다. In one aspect, the
데이터 입력부(100)로 입력받은 영상 데이터는 메모리 상에 존재하기 때문에 별도의 처리 없이 바로 사용이 가능하다. Since the image data received by the data input unit 100 is present in the memory, it can be used immediately without additional processing.
일 실시예에 있어서 전처리부(110)는 데이터 입력부(100)로 입력된 의료 영상 데이터에서 메타 데이터와 영상 데이터를 분리한 후 인공지능 시스템의 성능을 극대화하기 위한 전처리 과정을 수행한다. 이같이 영상 데이터와 메타데이터를 분리하여 메타데이터를 태그화하여 데이터베이스로 저장관리함으로써 대량의 의료 영상 데이터를 체계적으로 관리하는 것이 가능하다. In one embodiment, the
일 실시예에 있어서, 데이터 입력부(100)로 입력되는 영상 데이터들은 각각 상이한 해상도를 가진다. 따라서 입력된 영상 데이터들의 해상도를 일정하게 조정하여 표준화하는 작업이 필요하다. In one embodiment, image data input to the data input unit 100 has different resolutions. Therefore, it is necessary to constantly adjust the resolution of the input image data and standardize it.
일 실시예에 있어서 저해상도 영상의 특징맵(Feature Map)에 고해상도 영상의 특징맵(Feature Map)의 가장 비슷한 영역에 매핑하여 가장 유사한 고해상도 정보로 전환시켜주는 과정을 수행하여 해상도를 표준화 하는 것이 가능하다. In one embodiment, it is possible to standardize the resolution by performing a process of mapping the feature map of the low-resolution image to the most similar area of the feature map of the high-resolution image and converting it to the most similar high-resolution information. .
그리고 영상 데이터의 강도(intensity)값을 분석하여 히스토그램화하고, 이를 바탕으로 특정 영역을 강조하여 약한 부분과 강한 부분을 분리한다. 그리고 영상 데이터의 강도(intensity)값의 차이 분포를 명확히하는 작업을 진행한다. Then, the intensity value of the image data is analyzed to make a histogram, and based on this, a specific area is emphasized to separate the weak and strong parts. Then, the process of clarifying the distribution of differences in intensity values of image data is performed.
빛의 밝기는 이미지를 분류하는데 있어서 큰 장애가 되는 노이즈 요소다. 그림자가 생기면 해당 위치의 픽셀이 갖는 색에 해당하는 코드가 바뀌기 때문이다.즉, 같은 신체 부위를 촬영한 영상이라고 하더라고 빛을 받아 밝은 톤의 이미지와 그림자가 진 어두운 톤의 이미지는 컴퓨터가 볼 때 전혀 다른 픽셀 값을 갖는 이미지가 되는 것이다. 이렇게 조명에 의한 간섭을 최소화하는 기법을 강도 평준화(Intensity normalization)라 한다. The brightness of light is a noise factor that is a major obstacle in classifying images. This is because when the shadow is generated, the code corresponding to the color of the pixel at the corresponding position changes, that is, it is said to be an image of the same body part. It is an image with completely different pixel values. This technique of minimizing interference by illumination is called intensity normalization.
일 실시예에 있어서 빛의 강도가 가장 약한 곳과 가장 강한 곳의 가우시안 가중치 평균값(Gaussian weighted average)을 사용하여 노이즈를 제거할 수 있다. 이 후에 영상 데이터에 특정 수치의 가우시안 필터를 적용하여 해당 환자만 가지는 개별 케이스 특징을 소멸시키는 작업과정을 거칠 수 있다. In one embodiment, noise may be removed using a Gaussian weighted average of the weakest and strongest light intensity. Thereafter, a specific numerical Gaussian filter may be applied to the image data to undergo a process of erasing the characteristics of the individual cases of the patient.
특징맵 추출부(120)는 딥러닝 기반의 추출 알고리즘을 통해 영상의 특징점들이 포함된 특징맵 영상을 확보한다. The feature map extraction unit 120 obtains a feature map image including feature points of the image through a deep learning-based extraction algorithm.
이때 딥러닝 추출 알고리즘은 Auto-Encoder기반의 추출알고리즘과 딥러닝 알고리즘들에서 사용하는 Resnet, Densenet, Mobilenet기반의 신경망들을 조합한 것일 수 있다. 그러나 이에 한정되는 것은 아니다. 특징맵 추출부(120)는 신경망의 특정 계층에서 특징맵 영상을 확보한다. In this case, the deep learning extraction algorithm may be a combination of auto-encoder-based extraction algorithms and Resnet, Densenet, and Mobilenet-based neural networks used in deep learning algorithms. However, it is not limited thereto. The feature map extraction unit 120 secures a feature map image at a specific layer of the neural network.
일예로 Auto-Encoder 기반의 생성기와 함께 생성적 적대 신경망(GAN, Generative Adversarial Network)을 이용하여 저화질의 영상을 고화질의 영상으로 개선시킬 수 있다. As an example, a low-quality image can be improved to a high-quality image by using a Generative Adversarial Network (GAN) together with an auto-encoder-based generator.
Auto-Encoder는 처음 데이터와 encoding-decoding을 거친 결과의 에러(error)가 최소화되도록 neural 네트워크를 학습시키는 것으로 다차원의 입력 데이터를 저차원 부호로 바꾸고 다시 저차원 부호를 처음 입력한 다차원 데이터로 바꾸면서 특징점을 찾아내는 방식이다. 이는 레이블이 없는 비지도 학습 방법이다. Auto-Encoder trains the neural network to minimize the error of the first data and the result of encoding-decoding. It converts the multi-dimensional input data into low-dimensional code and then converts the low-dimensional code into multi-dimensional data that was first input. It is a way to find. This is an unlabeled unsupervised learning method.
생성적 적대 신경망(GAN, Generative Adversarial Network)은 두가지 인공지능 네트워크를 포함한다. 데이터를 생성하는 생성자(Generator)와 생성자에서 생성한 데이터가 실제와 일치하는지를 판별하는 판별자(Discriminator)를 포함한다. The Generative Adversarial Network (GAN) includes two artificial intelligence networks. It includes a generator that generates data and a discriminator that determines whether the data generated by the generator matches the actual one.
즉, 랜덤 노이즈로부터 페이크(fake) 이미지를 생성하고 이를 실제 이미지와 비교하면서 학습하는 과정을 통해 저화질의 영상을 고화질 영상으로 개선시킬 수 있다. That is, a low-quality image can be improved to a high-definition image through a process of generating a fake image from random noise and comparing it with a real image to learn.
또한, 영상인식 분야의 신경망 레스넷(ResNet)이나 덴스넷(DenseNet)의 구조는 고유의 설계철학과 섬세한 조율을 통해 만들어졌다. In addition, the structure of ResNet or DenseNet, a neural network in the field of image recognition, was created through a unique design philosophy and delicate coordination.
신경망 레스넷(ResNet)이나 덴스넷(DenseNet)은 ‘건너뛰기 연결(skip connection)’연결 방식으로 연결된다. 기존 망에서의 내부 연결은 인접한 구성요소들끼리만 연결됐던 데 반해 레스넷(ResNet)이나 덴스넷(DenseNet) 신경망은 인접한 구성요소들 간의 연결뿐 아니라 여러 단계를 건너뛰어 연결하는 방식을 사용함으로써 성능을 향상시킬 수 있다.Neural networks ResNet or DenseNet are connected by a 'skip connection' connection method. While the internal connection in the existing network was only connected between adjacent components, the ResNet or DenseNet neural network uses a method that skips several steps as well as the connection between adjacent components to improve performance. Can be improved.
일 실시예에 있어서, 특징맵은 영상에서 신경망이 특징적인 부분이라고 판단되는 곳은 큰 값을 가지고 그렇지 않은 부분은 0에 가까운 값을 가지도록 하여 이를 색상으로 표시한 상태인 영상이다. 이에 따라 영상에서 중요부분을 제외한 나머지 부분은 검정색으로 제거된 영상으로부터 특징맵 영상을 확보할 수 있다. In one embodiment, the feature map is an image in which a location where a neural network is determined to be a characteristic portion of the image has a large value, and a portion where the neural network is determined has a value close to 0, and is displayed in color. Accordingly, the feature map image can be secured from the image in which the rest of the image is removed in black except for the important portion.
특징맵 추출부(120)에서 확보된 특징맵 영상은 데이터베이스(140)에 해당 카테고리에 대한 특징맵으로 저장된다. 그리고 후처리 과정을 통해 기 구축된 데이터베이스 정보와의 일치도를 평가하는데 사용된다. The feature map image secured by the feature map extraction unit 120 is stored in the
영상 검색부(130)는 특징맵 추출부(120)에서 추출된 특징맵 영상을 이용하여 영상간 일치도를 판단한다.
영상 검색부(130)가 영상 간 일치도를 판단하는 것은 특징맵 추출부(120)를 통해 특징이 활성화된 부분만 추출하여 해당 부분을 Otsu Thresholding과 같은 영상처리 알고리즘을 이용하여 비교하는 것으로 판단할 수 있다. The
일예로 영상 검색부(130)는 Otsu Thresholding과 같은 이진화(binarization) 기법으로 이미지에서 정보를 얻어내기 위해서는 이미지가 담고 있는 개체들을 분리시킨다. For example, the
이진화는 이미지의 그레이값에 따라서 픽셀을 0과 1(또는 255)로 바꾸는 작업을 수행한다. 따라서 이진화 과정을 거치면서 이미지가 담고 있는 객체를 배경에서 분리할 수 있다. 그런데 이때 그레이값을 팍셀을 분리해야하는 과제가 있다. Binarization converts pixels to 0 and 1 (or 255) according to the gray value of the image. Therefore, the object contained in the image can be separated from the background through the binarization process. However, at this time, there is a problem of separating the axel from the gray value.
이미지를 이진화하기 위한 임계값(threshold value)의 설정에 대한 여러가지 알고리즘이 알러져 있는데, 일 실시예에 있어서는 그 중에서 통계적인 방법을 이용한 Otsu의 알고리즘에 의해 임계값 설정의 기준을 결정할 수 있다. Various algorithms for setting a threshold value for binarizing an image are known, and in one embodiment, a criterion for setting a threshold can be determined by an algorithm of Otsu using a statistical method.
이때 Otsu 알고리즘을 쓰면 2개의 히스토그램에서 중간 값을 잡아주므로, 임계값을 보다 정확하게 잡을 수 있다.At this time, if the Otsu algorithm is used, the middle value is obtained from the two histograms, so that the threshold can be more accurately determined.
영상 검색부(130)는 Clustering 기반의 머신러닝 알고리즘으로 특징들의 군집성을 판단하여 일치성을 점수로 산출한다. 그리고 점수가 설정 점수 이상인 영상 데이터를 추출한다. The
일 실시예에 있어서 영상 데이터를 군집화(Clustering)하는 것은 신체 부위별 혹은 환자 병변 또는 성별이나 나이, 촬영 기법등 다양한 기준에 의해 군집화 하는 것이 가능하다. 그러나 이에 한정되는 것은 아니고 다양하게 변형가능하다. In one embodiment, clustering image data may be clustered by various criteria such as body parts or patient lesions, or sex, age, and imaging techniques. However, the present invention is not limited thereto, and various modifications are possible.
이를 통해 영상 검색부(130)는 기존에 구축해둔 관련 데이터베이스에서 해당 정보를 매칭시켜 가장 유사한 영상을 추출할 수 있다.Through this, the
이 후에 추가적인 양상에 따르면 결과 출력부는 영상 검색부에서 확보한 유사도 높은 해당 영상과 비슷한 영상군을 화면에 출력할 수 있다. Thereafter, according to an additional aspect, the result output unit may output a group of images similar to the corresponding similar image obtained from the image search unit on the screen.
영상 검색부(130)는 특징맵 추출부(120)에서 추출된 영상 데이터의 특징맵(Feature Map)과 먼저 학습용으로 가능하다고 판단되어 데이터베이스화된 영상의 특징맵(Feature Map)을 비교하여 유사도 점수가 일정 수치 이상인 영상 데이터를 검색한다. The
이때 검색 결과로 추출하기 위한 기준이 되는 유사도 점수는 임의로 설정가능하다. 정확도를 높이기 위해서는 유사도 점수를 높은 값으로 설정하고, 다소 정확도가 떨어지더라도 검색 결과에 따른 데이터량을 증가시키기 위해서는 유사도 점수를 낮은 값으로 설정할 수 있다. At this time, the similarity score, which is a criterion for extraction as a search result, can be arbitrarily set. The similarity score can be set to a high value to increase accuracy, and the similarity score can be set to a low value to increase the amount of data according to the search result even if the accuracy is somewhat lower.
이에 의해 신체 부위별로 학습 데이터가 충분한 부위에 대한 영상 데이터의 유사도 차이 범위를 작은 값으로 설정할 수 있다. 예를들면 유사도가 90%이상인 경우에만 학습 데이터로 적합하게 판단하고, 학습 데이터의 양이 부족한 신체 부위의 의료 영상 데이터의 경우에는 유사도를 80%로 조절하여 학습 데이터 양을 확보하도록 할 수 있다. Accordingly, a similarity difference range of image data for a region having sufficient learning data for each body region may be set to a small value. For example, it can be appropriately judged as learning data only when the similarity is 90% or more, and in the case of medical image data of a body part where the amount of learning data is insufficient, the similarity can be adjusted to 80% to secure the amount of learning data.
딥러닝은 많은 기계 학습방법 중 인공신경망이라는 방법론에서 발전한 기술이다. 딥러닝도 다양한 방식의 테크닉으로 나뉜다. 이미지 데이터의 분석에 특화된 컨볼루션 신경망(Convolution Neural Network, CNN)이 있다.Deep learning is a technique developed from a methodology called artificial neural network among many machine learning methods. Deep learning is also divided into various techniques. There is a Convolution Neural Network (CNN) specialized in the analysis of image data.
일 실시예에 있어서, 컨볼루션 신경망(CNN)은 역전파(Backpropagation) 과정을 이용하여 학습시키는 피드포워드(Feedforward) 심층신경망의 한 종류로서 Hubel과 Torsten이 발견한 고양이 뇌의 시각처리 구조에서 영감을 받아서 설계되었다. In one embodiment, the convolutional neural network (CNN) is a type of feedforward deep neural network that is trained using a backpropagation process, inspired by the visual processing structure of the cat brain discovered by Hubel and Torsten. It was designed to receive.
Convolutional 신경망은 망막의 지역수용부위에 대한 필터링, 가중치들 및 바이어스의 공유, 그리고 Pooling 이라는 세가지 개념을 도입하여 설계된다. 통상적으로 Convolutional 신경망은 Convolution 층, Pooling 층 및 Fully-connected 층을 이용하여 설계한다. The convolutional neural network is designed by introducing three concepts: filtering for the region of the retina, sharing of weights and bias, and pooling. Typically, a convolutional neural network is designed using a convolution layer, a pooling layer, and a fully-connected layer.
신경망의 학습은 피드포워드 과정을 통하여 첫 번째 숨은층부터 출력층까지의 모든 뉴런들의 입력과 출력을 단계적으로 계산한 후, 최종 출력단의 오차, δL=∂C / ∂zL를 계산하고 (여기서 C는 비용함수, z는 출력 뉴런의 입력, L은 최종 뉴런층), 역전파 과정을 통하여 최종 출력단의 오차를 출력단에서 입력단으로 역순으로 전파시키면서 각 숨은층의 오차를 단계적으로 계산하며, 계산된 오차값들을 이용하여 각 숨은층의 특성들, 즉 가중치들과 바이어스 값들을 추정하는 과정을 포함한다. For neural network learning, input and output of all neurons from the first hidden layer to the output layer are calculated step-by-step through the feedforward process, and then the error of the final output stage, δL = ∂C / ∂zL, is calculated. Function, z is the input of the output neuron, L is the final neuron layer), and the error of the final output stage is propagated in reverse order from the output stage to the input stage through the reverse propagation process, and the error of each hidden layer is calculated step by step. And estimating the characteristics of each hidden layer, i.e., weights and bias values.
입력층에서 숨은층으로의 연결을 특징맵 (Feature Map)이라 부른다. 일 실시예에 따른 인공지능 학습용 의료 영상 데이터 검색 시스템은 특징맵간 영상 유사도가 기준치 이상인 의료 영상 데이터를 검색하여 결과로 제공해준다. The connection from the input layer to the hidden layer is called a feature map. The artificial intelligence learning medical image data retrieval system according to an embodiment retrieves and provides medical image data having a similarity between the feature maps of a reference value or higher.
인공지능 기술을 기반으로하는 의료 영상 검색 시스템은 의료 진단영역에서 더 확실한 진단을 내릴 수 있는 기반 자료를 제공해줄 수 있는 효과가 있다. The medical image retrieval system based on artificial intelligence technology has an effect of providing the base data for making a more reliable diagnosis in the medical diagnosis field.
예를 들어, 종래의 의료기기의 경우, 뇌경색 환자의 두부 MRI(Magnetic Resonance Imaging) 영상에서 다양한 병변의 패턴을 보고 치료를 위한 발병 유형을 유추하거나 진단 결과를 얻는 과정은 발생하는 병변 패턴의 다양성으로 인해 실제로 불가능하였다. For example, in the case of a conventional medical device, the process of inferring the type of outbreak for treatment or obtaining a diagnosis result by viewing various lesion patterns on the head MRI (Magnetic Resonance Imaging) image of a patient with cerebral infarction is a variety of lesion patterns that occur. It was actually impossible.
하지만, 인공지능 기반 의료기기의 경우, 뇌경색 관련 의료 빅데이터를 활용하여 인공 신경망(Artificial Neural Network)에 뇌경색 패턴을 학습시킴으로서 학습 데이터를 기반으로 뇌경색의 유형 분류가 가능하도록 할 수 있다.However, in the case of artificial intelligence-based medical devices, it is possible to classify the type of cerebral infarction based on the training data by learning the cerebral infarction pattern in an artificial neural network using medical big data related to cerebral infarction.
이 경우에 영상 검색부(130)는 환자의 의료 영상 데이터와 유사한 다른 환자의 뇌경색 관련 의료 영상 데이터를 검색, 추출하여 화면 제공해줄 수 있다. In this case, the
일 실시예에 따른 의료 영상 검색 시스템은 특정 환자의 의료 영상 데이터의 특징맵에 근거하여 그와 유사한 의료 영상 데이터를 추출하여 제공해줌으로써 직접 진단까지 수행하거나, 의사가 진단을 하는데 유용한 참고자료를 제공해주는 수단으로서의 역할이 모두 가능한 것이다. The medical image search system according to an embodiment extracts and provides similar medical image data based on the feature map of the medical image data of a specific patient to perform diagnosis directly, or provides a useful reference for a doctor to diagnose. The role as a means is all possible.
데이터베이스(140)는 검색결과부터 유사도 판단에 사용한 특징맵 영상의 보관까지 시스템 관리 및 구동에 필요한 다양한 정보들을 저장한다. 즉 데이터베이스(140)는 일 실시예에 따른 의료 영상 검색 시스템의 전반적인 동작을 제어하고 구동시키는 데 필요한 프로그램 및 파일을 저장한다. The
또한, 인공지능을 위해 딥러닝 방식으로 이전에 학습한 학습 영상 데이터들을 저장하고, 학습 영상 데이터들의 특징맵을 저장한다. In addition, for artificial intelligence, deep learning methods store previously learned learning image data, and feature maps of the learning image data are stored.
일 실시예에 있어서 데이터베이스(140)는 사용자가 옵션 선택한 사항에 기반하여 파이썬(Python)언어 기반의 npz 또는 pkl 파일로 시스템에서 미리 규약한 계층구조의 경로에 분배, 분류, 저장한다. In one embodiment, the
데이터베이스(140)에 저장되는 의료 영상 데이터와 영상의 특징맵 정보의 관리를 위해 데이터베이스구조로 구현된다. It is implemented in a database structure for management of medical image data and feature map information stored in the
일예로 사용자가 옵션 선택하는 사항에 따라 학습된 의료 영상 데이터에 대한 태그정보, 특징맵과, 학습 의료 영상 자체 파일이 함께 매칭되어 저장되는 것이 가능하다. For example, it is possible to match and store tag information, feature maps, and learning medical image files of the medical image data according to the user's option selection.
일 실시예에 있어서 데이터베이스(140)는 추가적으로 의료 영상 데이터에서 분리된 태그 값을 따로 저장하고 관리함으로써 데이터관리의 효율성을 향상시킬 수 있고 시스템의 모니터링 효과도 볼 수 있다는 장점이 있다.In one embodiment, the
또한 일 실시예에 있어서 데이터베이스(140)는 의료 영상 데이터와 특징맵 일치도가 기준치 이상인 영상 데이터의 검색 결과를 저장한다. 데이터베이스(140)는 유사도 판단에 사용한 특징 영상 데이터 정보를 더 저장할 수 있다. 그러나 이에 한정되지 않고, 다양한 용도로 시스템을 관리 및 구동시키기 위해 필요한 정보들을 저장하는 기능을 담당한다.In addition, in one embodiment, the
도 2 는 본 발명의 일 실시예에 따른 인공지능 기반의 의료영상 검색 시스템의 구동방법을 도시한 흐름도이다. 2 is a flowchart illustrating a method of driving an AI-based medical image search system according to an embodiment of the present invention.
먼저, 인공지능 기반의 의료영상 검색 시스템의 구동방법은 데이터 입력부가 환자 신체의 적어도 일부를 촬영한 의료 영상 데이터를 입력받는다(S200).First, in the driving method of the AI-based medical image search system, the data input unit receives medical image data obtained by photographing at least a part of the patient's body (S200).
데이터를 입력받는 단계는 적어도 하나의 의료기기로부터 환자 신체의 적어도 일부를 촬영한 의료 영상 데이터를 입력받는다. In the step of receiving data, medical image data obtained by capturing at least a part of a patient's body is received from at least one medical device.
이때 의료 기기는 환자의 환부 신호를 측정하여 전기 신호화하여 출력하고 출력된 전기 신호를 영상으로 변환하는 장치로서, 초음파 검사기, MRI 장치, CT 등을 포함한다. 출력된 전기 신호는 연속된 형태로 영상화되어 실시간으로 입력될 수 있다. At this time, the medical device is a device that measures a patient's affected area signal, converts it into an electrical signal, and converts the output electrical signal into an image, and includes an ultrasound scanner, an MRI device, and a CT. The output electrical signal may be imaged in a continuous form and input in real time.
또한 일 양상에 있어서 데이터를 입력받는 단계는 바이너리 파일로 변환된 영상 데이터를 메시지 큐(Massage Queue) 방식을 사용하여 DMA(Meory to Memory)로 전송받는다. 이에 따라 시스템 하드웨어에 부하를 덜어주도록 설계하는 것이 가능하다. In addition, in one aspect, the step of receiving data receives image data converted to a binary file as a message to memory (DMA) using a message queue method. Accordingly, it is possible to design to offload the system hardware.
그리고 전처리부가 상기 데이터 입력부로 입력받은 의료 영상 데이터에 전처리를 수행한다(S210).Then, the pre-processing unit performs pre-processing on the medical image data received through the data input unit (S210).
일 양상에 있어서, 전처리하는 단계는 입력된 영상 데이터들의 해상도를 일정하게 조정하고, 영상 데이터의 강도(intensity)값을 분석하며, 히스토그램화하여 히스토그램화된 결과를 바탕으로 특정 영역을 강조하여 강도가 약한 부분과 강한 부분을 분리하여 상기 영상 데이터의 강도(intensity)값의 차이 분포를 명확히하는 것을 특징으로 한다.In one aspect, the pre-processing step is to adjust the resolution of the input image data constantly, analyze the intensity (intensity) value of the image data, and histogram to highlight a specific area based on the histogramized results to increase the intensity. It is characterized by separating a weak part and a strong part to clarify the distribution of the difference between the intensity values of the image data.
일 실시예에 있어서, 데이터 입력부로 입력되는 영상 데이터들은 각각 상이한 해상도를 가진다. 따라서 입력된 영상 데이터들의 해상도를 일정하게 조정하여 표준화하는 작업이 필요하다.In one embodiment, image data input to the data input unit has different resolutions. Therefore, it is necessary to constantly adjust the resolution of the input image data and standardize it.
그리고 영상 데이터의 강도(intensity)값을 분석하여 히스토그램화하고, 이를 바탕으로 특정 영역을 강조하여 약한 부분과 강한 부분을 분리한다. 그리고 영상 데이터의 강도(intensity)값의 차이 분포를 명확히하는 작업을 진행한다.Then, the intensity value of the image data is analyzed to make a histogram, and based on this, a specific area is emphasized to separate the weak and strong parts. Then, the process of clarifying the distribution of differences in intensity values of image data is performed.
빛의 밝기는 이미지를 분류하는데 있어서 큰 장애가 되는 노이즈 요소다. 그림자가 생기면 해당 위치의 픽셀이 갖는 색에 해당하는 코드가 바뀌기 때문이다.즉, 같은 신체 부위를 촬영한 영상이라고 하더라고 빛을 받아 밝은 톤의 이미지와 그림자가 진 어두운 톤의 이미지는 컴퓨터가 볼 때 전혀 다른 픽셀 값을 갖는 이미지가 되는 것이다. 이렇게 조명에 의한 간섭을 최소화하는 기법을 강도 평준화(Intensity normalization)라 한다. The brightness of light is a noise factor that is a major obstacle in classifying images. This is because when the shadow is generated, the code corresponding to the color of the pixel at the corresponding position changes, that is, it is said to be an image of the same body part. It is an image with completely different pixel values. This technique of minimizing interference by illumination is called intensity normalization.
일 실시예에 있어서 빛의 강도가 가장 약한 곳과 가장 강한 곳의 가우시안 가중치 평균값(Gaussian weighted average)을 사용하여 이러한 노이즈를 제거할 수 있다. 이 후에 영상 데이터에 특정 수치의 가우시안 필터를 적용하여 해당 환자만 가지는 개별 케이스 특징을 소멸시키는 작업과정을 수행할 수도 있다.In one embodiment, the noise may be removed using a Gaussian weighted average of the weakest and strongest light intensity. Thereafter, a gaussian filter of a specific value may be applied to the image data to perform an operation process of extinguishing the characteristics of the individual cases of the patient.
이 후에 특징맵 추출부가 전처리부에서 전처리가 수행된 의료 영상 데이터의 특징맵을 추출한다(S220).Thereafter, the feature map extracting unit extracts a feature map of the medical image data that has been preprocessed by the preprocessing unit (S220).
일 양상에 있어서, 특징맵을 추출하는 단계는 컨볼루션 신경망(Convolution Neural Network, CNN)에 의해 영상의 특징맵을 추출하는 것을 특징으로 한다.In one aspect, the step of extracting the feature map is characterized in that the feature map of the image is extracted by a convolutional neural network (CNN).
딥러닝 추출 알고리즘은 Auto-Encoder 기반의 추출알고리즘과 딥러닝 알고리즘들에서 보편적으로 사용하는 Resnet, Densenet, Mobilenet기반의 신경망들을 조합한 것일 수 있다. 특징맵 추출부는 신경망의 특정 계층에서 특징맵 영상을 확보한다. The deep learning extraction algorithm may be a combination of auto-encoder based extraction algorithms and Resnet, Densenet, and Mobilenet based neural networks commonly used in deep learning algorithms. The feature map extractor obtains a feature map image at a specific layer of the neural network.
일예로 Auto-Encoder 기반의 생성기와 함께 생성적 적대 신경망(GAN, Generative Adversarial Network)을 이용하여 저화질의 영상을 고화질의 영상으로 개선시킬 수 있다. As an example, a low-quality image can be improved to a high-quality image by using a Generative Adversarial Network (GAN) together with an auto-encoder-based generator.
Auto-Encoder는 처음 데이터와 encoding-decoding을 거친 결과의 에러(error)가 최소화되도록 neural 네트워크를 학습시키는 것으로 다차원의 입력 데이터를 저차원 부호로 바꾸고 다시 저차원 부호를 처음 입력한 다차원 데이터로 바꾸면서 특징점을 찾아내는 방식이다. 이는 레이블이 없는 비지도 학습 방법이다. Auto-Encoder trains the neural network to minimize the error of the first data and the result of encoding-decoding. It converts the multi-dimensional input data into low-dimensional code and then converts the low-dimensional code into multi-dimensional data that was first input. It is a way to find. This is an unlabeled unsupervised learning method.
생성적 적대 신경망(GAN, Generative Adversarial Network)은 두가지 인공지능 네트워크를 포함한다. 데이터를 생성하는 생성자(Generator)와 생성자에서 생성한 데이터가 실제와 일치하는지를 판별하는 판별자(Discriminator)를 포함한다. The Generative Adversarial Network (GAN) includes two artificial intelligence networks. It includes a generator that generates data and a discriminator that determines whether the data generated by the generator matches the actual one.
즉, 랜덤 노이즈로부터페이크(fake) 이미지를 생성하고 이를 실제 이미지와 비교하면서 학습하는 과정을 통해 저화질의 영상을 고화질 영상으로 개선시킬 수 있다. That is, a low-quality image can be improved to a high-definition image through a process of generating a fake image from random noise and comparing it with a real image to learn.
신경망 레스넷(ResNet)이나 덴스넷(DenseNet)은 ‘건너뛰기 연결(skip connection)’연결 방식으로 연결된다. 기존 망에서의 내부 연결은 인접한 구성요소들끼리만 연결됐던 데 반해 레스넷(ResNet)이나 덴스넷(DenseNet) 신경망은 인접한 구성요소들 간의 연결뿐 아니라 여러 단계를 건너뛰어 연결하는 방식을 사용함으로써 성능을 향상시킬 수 있다.Neural networks ResNet or DenseNet are connected by a 'skip connection' connection method. While the internal connection in the existing network was only connected between adjacent components, the ResNet or DenseNet neural network uses a method that skips several steps as well as the connection between adjacent components to improve performance. Can be improved.
일 실시예에 있어서, 특징맵은 영상에서 신경망이 특징적인 부분이라고 판단되는 곳은 큰 값을 가지고 그렇지 않은 부분은 0에 가까운 값을 가지도록 하여 이를 색상으로 표시한 상태인 영상이다. 이에 따라 영상에서 중요부분을 제외한 나머지 부분은 검정색으로 제거된 영상으로부터 특징맵 영상을 확보할 수 있다. In one embodiment, the feature map is an image in which a location where a neural network is determined to be a characteristic portion of the image has a large value, and a portion where the neural network is determined has a value close to 0, and is displayed in color. Accordingly, the feature map image can be secured from the image in which the rest of the image is removed in black except for the important portion.
그리고 영상 검색부가 추출된 특징맵을 기 저장된 영상 데이터들의 특징맵과 비교하고(S230), 기저장된 영상 데이터들 중 추출된 특징맵과의 일치도가 기준치 이상인 영상 데이터를 검색하여(S240) 검색결과를 출력한다(S250).Then, the image search unit compares the extracted feature map with the feature maps of pre-stored image data (S230), and searches for image data having a degree of matching with the extracted feature maps among the pre-stored image data (S240). Output (S250).
이때, 검색결과를 출력하는 단계는, 클러스터 기법(Clustering) 기반의 머신러닝 알고리즘으로 특징맵들의 군집성을 판단함으로써 일치도를 파악하는 것을 특징으로 한다.At this time, the step of outputting the search result is characterized in that the degree of consistency is determined by determining the clustering of the feature maps using a clustering-based machine learning algorithm.
일 실시예에 있어서 영상 데이터를 군집화(Clustering)하는 것은 신체 부위별 혹은 환자 병변 또는 성별이나 나이, 촬영 기법등 다양한 기준에 의해 군집화 하는 것이 가능하다. 그러나 이에 한정되는 것은 아니고 다양한 변형예들을 포괄하도록 해석된다. In one embodiment, clustering image data may be clustered by various criteria such as body parts or patient lesions, or sex, age, and imaging techniques. However, it is not limited thereto, and is interpreted to cover various modifications.
이를 통해 영상 검색부는 기존에 구축해둔 관련 데이터베이스에서 해당 정보를 매칭시켜 가장 유사한 영상 데이터를 추출할 수 있다.Through this, the image search unit can extract the most similar image data by matching the information in the related database that has been established.
영상 검색부는 특징맵 추출부에서 추출된 영상 데이터의 특징맵(Feature Map)과 먼저 학습용으로 가능하다고 판단되어 데이터베이스화된 영상의 특징맵(Feature Map)을 비교하여 유사도 점수가 일정 수치 이상인 영상 데이터를 검색한다. The image retrieval unit compares the feature map of the image data extracted from the feature map extractor with the feature map of the databased image that is judged to be available for learning first, and then compares the image data with a similarity score of a certain value or more Search.
이때 검색 결과로 추출하기 위한 기준이 되는 유사도 점수는 임의로 설정가능하다. 정확도를 높이기 위해서는 유사도 점수를 높은 값으로 설정하고, 다소 정확도가 떨어지더라도 검색 결과에 따른 데이터량을 증가시키기 위해서는 유사도 점수를 낮은 값으로 설정할 수 있다. At this time, the similarity score, which is a criterion for extraction as a search result, can be arbitrarily set. The similarity score can be set to a high value to increase accuracy, and the similarity score can be set to a low value to increase the amount of data according to the search result even if the accuracy is somewhat lower.
이에 의해 신체 부위별로 학습 데이터가 충분한 부위에 대한 영상 데이터의 유사도 차이 범위를 작은 값으로 설정할 수 있다. 예를 들면 유사도가 90%이상인 경우에만 학습 데이터로 적합하게 판단하고, 학습 데이터의 양이 부족한 신체 부위의 의료 영상 데이터의 경우에는 유사도를 80%로 조절하여 학습 데이터 양을 확보하도록 할 수 있다. Accordingly, a similarity difference range of image data for a region having sufficient learning data for each body region may be set to a small value. For example, it is appropriately judged as learning data only when the similarity is 90% or more, and in the case of medical image data of a body part where the amount of learning data is insufficient, the similarity can be adjusted to 80% to secure the amount of learning data.
예를들어 Convolutional 신경망에서 입력층에서 숨은층으로의 연결을 특징맵 (Feature Map)이라 부른다. 일 실시예에 따른 인공지능 학습용 의료 영상 데이터 검색 시스템은 특징맵간 영상 유사도가 기준치 이상인 의료 영상 데이터를 검색하여 결과로 제공해준다. For example, the connection from the input layer to the hidden layer in a convolutional neural network is called a feature map. The artificial intelligence learning medical image data retrieval system according to an embodiment retrieves and provides medical image data having a similarity between the feature maps of a reference value or higher.
인공지능 기술을 기반으로하는 의료 영상 검색 시스템은 의료 진단영역에서 더 확실한 진단을 내릴 수 있는 기반 자료를 제공해줄 수 있는 효과가 있다. The medical image retrieval system based on artificial intelligence technology has an effect of providing the base data for making a more reliable diagnosis in the medical diagnosis field.
예를 들어, 종래의 의료기기의 경우, 뇌경색 환자의 두부 MRI(Magnetic Resonance Imaging) 영상에서 다양한 병변의 패턴을 보고 치료를 위한 발병 유형을 유추하거나 진단 결과를 얻는 과정은 발생하는 병변 패턴의 다양성으로 인해 실제로 불가능하였다. For example, in the case of a conventional medical device, the process of inferring the type of outbreak for treatment or obtaining a diagnosis result by viewing various lesion patterns on the head MRI (Magnetic Resonance Imaging) image of a patient with cerebral infarction is a variety of lesion patterns that occur. It was actually impossible.
하지만, 인공지능 기반 의료기기의 경우, 뇌경색 관련 의료 빅데이터를 활용하여 인공 신경망(Artificial Neural Network)에 뇌경색 패턴을 학습시킴으로서 학습 데이터를 기반으로 뇌경색의 유형 분류가 가능하도록 할 수 있다.However, in the case of artificial intelligence-based medical devices, it is possible to classify the type of cerebral infarction based on the training data by learning the cerebral infarction pattern in an artificial neural network using medical big data related to cerebral infarction.
이 경우에 영상 검색부는 환자의 의료 영상 데이터와 유사한 다른 환자의 뇌경색 관련 의료 영상 데이터를 검색, 추출하여 화면 제공해줄 수 있다. In this case, the image search unit may search and extract medical image data related to cerebral infarction of another patient similar to the medical image data of the patient and provide the screen.
일 실시예에 따른 의료 영상 검색 시스템은 특정 환자의 의료 영상 데이터의 특징맵에 근거하여 그와 유사한 의료 영상 데이터를 추출하여 제공해줌으로써 직접 진단까지 수행하거나, 의사가 진단을 하는데 유용한 참고자료를 제공해주는 수단으로서의 역할이 모두 가능한 것이다. The medical image search system according to an embodiment extracts and provides similar medical image data based on the feature map of the medical image data of a specific patient to perform diagnosis directly, or provides a useful reference for a doctor to diagnose. The role as a means is all possible.
이 후에, 데이터베이스는 검색결과부터 유사도 판단에 사용한 특징맵 영상의 보관까지 시스템 관리 및 구동에 필요한 다양한 정보들을 저장한다. 즉 데이터베이스는 일 실시예에 따른 의료 영상 검색 시스템의 전반적인 동작을 제어하고 구동시키는 데 필요한 프로그램 및 파일을 저장한다. After this, the database stores various information necessary for system management and operation, from the search results to the storage of the feature map images used to determine similarity. That is, the database stores programs and files necessary for controlling and driving the overall operation of the medical image search system according to an embodiment.
또한, 데이터베이스는 인공지능을 위해 딥러닝 방식으로 이전에 학습한 학습 영상 데이터들을 저장하고, 학습 영상 데이터들의 특징맵을 저장한다. In addition, the database stores learning image data previously learned in a deep learning method for artificial intelligence, and stores a feature map of the learning image data.
일 실시예에 있어서 데이터베이스는 사용자가 옵션 선택한 사항에 기반하여 파이썬(Python)언어 기반의 npz 또는 pkl 파일로 시스템에서 미리 규약한 계층구조의 경로에 분배, 분류, 저장한다. 데이터베이스는 저장되는 의료 영상 데이터와 영상의 특징맵 정보의 관리를 위해 데이터베이스구조로 구현된다. In one embodiment, the database is distributed, classified, and stored in a pre-conventional hierarchical path in a system as a npz or pkl file based on a Python language based on a user's option selection. The database is implemented in a database structure for management of stored medical image data and image feature map information.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The above-described method may be implemented as an application or in the form of program instructions that can be executed through various computer components to be recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, or the like alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium are specially designed and configured for the present invention, and may be known and usable by those skilled in the computer software field.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments, those skilled in the art understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. Will be able to.
100 : 데이터 입력부 110 : 전처리부
120 : 특징맵 추출부 130 : 영상 검색부
140 : 데이터베이스100: data input unit 110: pre-processing unit
120: feature map extraction unit 130: image search unit
140: database
Claims (10)
상기 데이터 입력부로 입력받은 의료 영상 데이터에 전처리를 수행하는 전처리부;
상기 전처리부에서 전처리가 수행된 의료 영상 데이터의 특징맵을 추출하는 특징맵 추출부; 및
상기 추출된 특징맵을 기 저장된 영상 데이터들의 특징맵과 비교하고, 기저장된 영상 데이터들 중 상기 추출된 특징맵과의 일치도가 기준치 이상인 영상 데이터를 검색하여 검색결과를 출력하는 영상 검색부;를 포함하는 것을 특징으로 하고,
상기 특징맵 추출부는 컨볼루션 신경망(Convolution Neural Network, CNN)에 의해 영상의 특징맵을 추출하며,
상기 영상 검색부는 상기 특징맵 추출부에서 추출된 영상 데이터의 특징맵(Feature Map)과 학습용으로 가능하다고 판단되어 데이터베이스화된 영상의 특징맵(Feature Map)을 비교하여 유사도 점수가 일정 수치 이상인 영상 데이터를 검색하되, 검색 결과로 추출하기 위한 기준이 되는 유사도 점수는 임의로 설정 가능한 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템.
A data input unit that receives medical image data captured at least a part of the patient's body;
A pre-processing unit which performs pre-processing on the medical image data received by the data input unit;
A feature map extracting unit for extracting a feature map of the medical image data preprocessed by the preprocessing unit; And
It includes; an image search unit for comparing the extracted feature map with feature maps of pre-stored image data, and searching for image data having a degree of matching with the extracted feature map that is greater than or equal to a reference value among pre-stored image data, and outputting a search result. Characterized by,
The feature map extractor extracts a feature map of the image by a convolutional neural network (CNN),
The image search unit compares the feature map of the image data extracted from the feature map extraction unit with the feature map of the database image determined to be available for learning, and the image data having a similarity score equal to or greater than a certain value Search for, the artificial intelligence-based medical image search system, characterized in that the similarity score can be arbitrarily set as a basis for extraction as a search result.
상기 영상 검색부는,
클러스터 기법(Clustering) 기반의 머신러닝 알고리즘으로 상기 특징맵들의 군집성을 판단함으로써 일치도를 파악하는 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템.
According to claim 1,
The image search unit,
An artificial intelligence-based medical image search system characterized by grasping consistency by determining the clustering of the feature maps using a clustering-based machine learning algorithm.
바이너리 파일로 변환된 의료 영상 데이터를 메세지큐(Message Queue) 방식으로 입력받는 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템.
According to claim 1, The data input unit,
AI-based medical image retrieval system, characterized in that the medical image data converted to a binary file is received by a message queue method.
상기 전처리부는,
입력된 영상 데이터들의 해상도를 일정하게 조정하고, 상기 영상 데이터의 강도(intensity)값을 분석하며, 히스토그램화하여 상기 히스토그램화된 결과를 바탕으로 특정 영역을 강조하여 강도가 약한 부분과 강한 부분을 분리하여 상기 영상 데이터의 강도(intensity)값의 차이 분포를 명확히하는 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템.
According to claim 1,
The pre-processing unit,
The resolution of the input image data is constantly adjusted, the intensity value of the image data is analyzed, and a histogram is used to highlight a specific region based on the histogram to separate the weak and strong portions. The artificial intelligence-based medical image retrieval system, characterized in that to clarify the difference distribution of the intensity (intensity) value of the image data.
데이터 입력부가 환자 신체의 적어도 일부를 촬영한 의료 영상 데이터를 입력받는 단계;
전처리부가 상기 데이터 입력부로 입력받은 의료 영상 데이터에 전처리를 수행하는 단계;
특징맵 추출부가 상기 전처리부에서 전처리가 수행된 의료 영상 데이터의 특징맵을 추출하는 단계; 및
영상 검색부가 상기 추출된 특징맵을 기 저장된 영상 데이터들의 특징맵과 비교하고, 기저장된 영상 데이터들 중 상기 추출된 특징맵과의 일치도가 기준치 이상인 영상 데이터를 검색하여 검색결과를 출력하는 단계;를 포함하고,
상기 특징맵을 추출하는 단계는 컨볼루션 신경망(Convolution Neural Network, CNN)에 의해 영상의 특징맵을 추출하며,
상기 검색결과를 출력하는 단계는 상기 특징맵 추출부에서 추출된 영상 데이터의 특징맵(Feature Map)과 학습용으로 가능하다고 판단되어 데이터베이스화된 영상의 특징맵(Feature Map)을 비교하여 유사도 점수가 일정 수치 이상인 영상 데이터를 검색하되, 검색 결과로 추출하기 위한 기준이 되는 유사도 점수는 임의로 설정 가능한 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템의 구동방법.
In the driving method of the artificial intelligence-based medical image search system,
Receiving, by the data input unit, medical image data of at least a part of the patient's body;
A pre-processing unit performing pre-processing on the medical image data received through the data input unit;
A feature map extracting unit extracting a feature map of medical image data pre-processed by the pre-processing unit; And
An image search unit comparing the extracted feature map with feature maps of pre-stored image data, and searching for image data having a degree of matching with the extracted feature map of the pre-stored image data having a reference value or higher and outputting a search result; Including,
The step of extracting the feature map extracts the feature map of the image by a convolutional neural network (CNN),
In the step of outputting the search result, it is determined that the feature map of the image data extracted from the feature map extraction unit is possible for learning, and the similarity score is constant by comparing the feature map of the databaseized image. A method of driving an artificial intelligence-based medical image search system, wherein image similarity scores that are more than numerical values are searched, and the similarity score that is a reference for extraction as a search result can be arbitrarily set.
상기 검색결과를 출력하는 단계는,
클러스터 기법(Clustering) 기반의 머신러닝 알고리즘으로 상기 특징맵들의 군집성을 판단함으로써 일치도를 파악하는 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템의 구동방법.
The method of claim 6,
The step of outputting the search result,
A method of driving an artificial intelligence-based medical image retrieval system, characterized by determining the degree of congruence by determining the clustering of the feature maps using a clustering-based machine learning algorithm.
상기 데이터를 입력받는 단계는,
바이너리 파일로 변환된 의료 영상 데이터를 메세지큐(Message Queue) 방식으로 입력받는 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템의 구동방법.
The method of claim 6,
The step of receiving the data,
A method of driving an artificial intelligence-based medical image search system, characterized in that the medical image data converted to a binary file is received by a message queue method.
상기 전처리하는 단계는,
입력된 영상 데이터들의 해상도를 일정하게 조정하고, 상기 영상 데이터의 강도(intensity)값을 분석하며, 히스토그램화하여 상기 히스토그램화된 결과를 바탕으로 특정 영역을 강조하여 강도가 약한 부분과 강한 부분을 분리하여 상기 영상 데이터의 강도(intensity)값의 차이 분포를 명확히하는 것을 특징으로 하는 인공지능 기반의 의료영상 검색 시스템의 구동방법.
The method of claim 6,
The pre-processing step,
The resolution of the input image data is constantly adjusted, the intensity value of the image data is analyzed, and a histogram is used to highlight a specific region based on the histogram to separate the weak and strong portions. A method of driving an artificial intelligence-based medical image retrieval system, characterized in that the difference distribution of intensity values of the image data is clarified.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190093116A KR102097742B1 (en) | 2019-07-31 | 2019-07-31 | System for Searching medical image using artificial intelligence and Driving method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190093116A KR102097742B1 (en) | 2019-07-31 | 2019-07-31 | System for Searching medical image using artificial intelligence and Driving method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102097742B1 true KR102097742B1 (en) | 2020-04-06 |
Family
ID=70282160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190093116A KR102097742B1 (en) | 2019-07-31 | 2019-07-31 | System for Searching medical image using artificial intelligence and Driving method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102097742B1 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102161853B1 (en) * | 2020-05-28 | 2020-10-05 | 주식회사 에프앤디파트너스 | Methods for processing and searching medical images and apparatuses using the same |
CN112085687A (en) * | 2020-09-10 | 2020-12-15 | 浙江大学 | Method for converting T1 to STIR image based on detail enhancement |
CN112612913A (en) * | 2020-12-28 | 2021-04-06 | 厦门市美亚柏科信息股份有限公司 | Image searching method and system |
KR20210067855A (en) * | 2019-11-29 | 2021-06-08 | 주식회사 뷰노 | Method to search medical data |
KR20210157795A (en) * | 2020-06-22 | 2021-12-29 | 주식회사 뷰노 | Method to train model |
WO2022065925A1 (en) * | 2020-09-25 | 2022-03-31 | 서울대학교병원 | Method and apparatus for assisting diagnosis of cardioembolic stroke by using chest radiographic images |
KR102399792B1 (en) * | 2022-01-27 | 2022-05-23 | 주식회사 휴런 | PRE-PROCESSING APPARATUS BASED ON AI(Artificial Intelligence) USING HOUNSFIELD UNIT(HU) NORMALIZATION AND DENOISING, AND METHOD |
CN114913353A (en) * | 2022-05-10 | 2022-08-16 | 蚂蚁区块链科技(上海)有限公司 | Image comparison and image infringement detection method and device |
KR102511579B1 (en) * | 2022-03-22 | 2023-03-21 | 주식회사 지나웍스 | Apparatus, system, method and program for providing telemedicine service using a medical treatment kit |
WO2023113437A1 (en) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | Semantic segmentation device and method using memory |
WO2023113272A1 (en) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | Method for providing information on endodontic treatment and device for providing information on endodontic treatment using same |
KR102550465B1 (en) * | 2023-02-28 | 2023-07-03 | 주식회사 인포인 | Artificial intelligence-based virtual patient management system |
CN117951330A (en) * | 2024-03-27 | 2024-04-30 | 吉林大学 | Medical data retrieval method based on artificial intelligence |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140018748A (en) * | 2012-08-03 | 2014-02-13 | 삼성전자주식회사 | Apparatus and method for lesion analysis in medical images |
KR20140082385A (en) * | 2012-12-24 | 2014-07-02 | 계명대학교 산학협력단 | medical image retrieval method based on image clustering |
KR20170017614A (en) | 2015-08-07 | 2017-02-15 | 원광대학교산학협력단 | Method and apparatus for computing diagnosis of sickness based on ct or mri image |
KR20170047423A (en) | 2015-10-22 | 2017-05-08 | 한국디지털병원수출사업협동조합 | Automatic diagnosis system of digital xray based on cad |
KR20170107778A (en) * | 2016-03-16 | 2017-09-26 | 동국대학교 산학협력단 | The method and system for diagnosing skin disease |
KR101811028B1 (en) | 2017-08-25 | 2017-12-20 | (주)제이엘케이인스펙션 | Method and system for clinical efficacy evaluation of artificial intelligence based medical device |
KR101818074B1 (en) | 2017-07-20 | 2018-01-12 | (주)제이엘케이인스펙션 | Artificial intelligence based medical auto diagnosis auxiliary method and system therefor |
KR101825719B1 (en) * | 2017-08-21 | 2018-02-06 | (주)제이엘케이인스펙션 | Brain image processing method and matching method and apparatus between clinical brain image and standard brain image using the same |
KR20180040287A (en) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | System for interpreting medical images through machine learnings |
-
2019
- 2019-07-31 KR KR1020190093116A patent/KR102097742B1/en active IP Right Grant
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140018748A (en) * | 2012-08-03 | 2014-02-13 | 삼성전자주식회사 | Apparatus and method for lesion analysis in medical images |
KR20140082385A (en) * | 2012-12-24 | 2014-07-02 | 계명대학교 산학협력단 | medical image retrieval method based on image clustering |
KR20170017614A (en) | 2015-08-07 | 2017-02-15 | 원광대학교산학협력단 | Method and apparatus for computing diagnosis of sickness based on ct or mri image |
KR20170047423A (en) | 2015-10-22 | 2017-05-08 | 한국디지털병원수출사업협동조합 | Automatic diagnosis system of digital xray based on cad |
KR20170107778A (en) * | 2016-03-16 | 2017-09-26 | 동국대학교 산학협력단 | The method and system for diagnosing skin disease |
KR20180040287A (en) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | System for interpreting medical images through machine learnings |
KR101818074B1 (en) | 2017-07-20 | 2018-01-12 | (주)제이엘케이인스펙션 | Artificial intelligence based medical auto diagnosis auxiliary method and system therefor |
KR101825719B1 (en) * | 2017-08-21 | 2018-02-06 | (주)제이엘케이인스펙션 | Brain image processing method and matching method and apparatus between clinical brain image and standard brain image using the same |
KR101811028B1 (en) | 2017-08-25 | 2017-12-20 | (주)제이엘케이인스펙션 | Method and system for clinical efficacy evaluation of artificial intelligence based medical device |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102534088B1 (en) * | 2019-11-29 | 2023-05-18 | 주식회사 뷰노 | Method to search medical data |
KR20210067855A (en) * | 2019-11-29 | 2021-06-08 | 주식회사 뷰노 | Method to search medical data |
KR102161853B1 (en) * | 2020-05-28 | 2020-10-05 | 주식회사 에프앤디파트너스 | Methods for processing and searching medical images and apparatuses using the same |
KR20210157795A (en) * | 2020-06-22 | 2021-12-29 | 주식회사 뷰노 | Method to train model |
KR102449240B1 (en) | 2020-06-22 | 2022-09-29 | 주식회사 뷰노 | Method to train model |
CN112085687A (en) * | 2020-09-10 | 2020-12-15 | 浙江大学 | Method for converting T1 to STIR image based on detail enhancement |
CN112085687B (en) * | 2020-09-10 | 2023-12-01 | 浙江大学 | Method for converting T1 to STIR image based on detail enhancement |
WO2022065925A1 (en) * | 2020-09-25 | 2022-03-31 | 서울대학교병원 | Method and apparatus for assisting diagnosis of cardioembolic stroke by using chest radiographic images |
KR20220041612A (en) | 2020-09-25 | 2022-04-01 | 서울대학교병원 | Diagnostic aids method and device for cardioembolic stroke using chest radiographs |
CN112612913A (en) * | 2020-12-28 | 2021-04-06 | 厦门市美亚柏科信息股份有限公司 | Image searching method and system |
WO2023113437A1 (en) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | Semantic segmentation device and method using memory |
WO2023113272A1 (en) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | Method for providing information on endodontic treatment and device for providing information on endodontic treatment using same |
KR102399792B1 (en) * | 2022-01-27 | 2022-05-23 | 주식회사 휴런 | PRE-PROCESSING APPARATUS BASED ON AI(Artificial Intelligence) USING HOUNSFIELD UNIT(HU) NORMALIZATION AND DENOISING, AND METHOD |
KR102511579B1 (en) * | 2022-03-22 | 2023-03-21 | 주식회사 지나웍스 | Apparatus, system, method and program for providing telemedicine service using a medical treatment kit |
CN114913353A (en) * | 2022-05-10 | 2022-08-16 | 蚂蚁区块链科技(上海)有限公司 | Image comparison and image infringement detection method and device |
KR102550465B1 (en) * | 2023-02-28 | 2023-07-03 | 주식회사 인포인 | Artificial intelligence-based virtual patient management system |
CN117951330A (en) * | 2024-03-27 | 2024-04-30 | 吉林大学 | Medical data retrieval method based on artificial intelligence |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102097742B1 (en) | System for Searching medical image using artificial intelligence and Driving method thereof | |
Zeng et al. | Automated diabetic retinopathy detection based on binocular siamese-like convolutional neural network | |
Veena et al. | A novel optic disc and optic cup segmentation technique to diagnose glaucoma using deep learning convolutional neural network over retinal fundus images | |
KR102097740B1 (en) | System for Classifying and standardizing of Medical images automatically using Artificial intelligence | |
Deepak et al. | Automatic assessment of macular edema from color retinal images | |
CN112381178B (en) | Medical image classification method based on multi-loss feature learning | |
US20240331156A1 (en) | Method and System for Automatic Multiple Lesion Annotation of Medical Images with Hybrid Deep-Learning Networks | |
Viji et al. | An efficient technique to segment the tumor and abnormality detection in the brain MRI images using KNN classifier | |
McEvoy et al. | Deep transfer learning can be used for the detection of hip joints in pelvis radiographs and the classification of their hip dysplasia status | |
Gopalakrishnan et al. | Itl-cnn: Integrated transfer learning-based convolution neural network for ultrasound pcos image classification | |
Alkhatib et al. | Merged 1D-2D deep convolutional neural networks for nerve detection in ultrasound images | |
Al Jannat et al. | Detection of multiple sclerosis using deep learning | |
CN108230341B (en) | Eyeground image blood vessel segmentation method based on layered matting algorithm | |
Wisaeng et al. | Brain tumor segmentation using fuzzy otsu threshold morphological algorithm | |
Dixit et al. | Multi-feature based automatic facial expression recognition using deep convolutional neural network | |
KR102559805B1 (en) | Medical Image Conversion Method and Device based on Artificial Intelligence having Improved Versatility | |
Kanse et al. | HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection | |
Elizabeth et al. | Computer‐aided diagnosis system for the detection of bronchiectasis in chest computed tomography images | |
Hatamizadeh | An Artificial Intelligence Framework for the Automated Segmentation and Quantitative Analysis of Retinal Vasculature | |
Wijerathna et al. | Brain Tumor Detection Using Image Processing | |
Tawfeeq et al. | Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap. | |
Okashi et al. | Brain tumor detection based on multiple features | |
Yin et al. | Hybrid regional feature cutting network for thyroid ultrasound images classification | |
Lin et al. | Automatic segmentation of glands in infrared meibomian gland image | |
Balakrishnan et al. | Binarized Spiking Neural Networks Optimized with Color Harmony Algorithm for Liver Cancer Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |