KR102063492B1 - 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템 - Google Patents

기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템 Download PDF

Info

Publication number
KR102063492B1
KR102063492B1 KR1020180152862A KR20180152862A KR102063492B1 KR 102063492 B1 KR102063492 B1 KR 102063492B1 KR 1020180152862 A KR1020180152862 A KR 1020180152862A KR 20180152862 A KR20180152862 A KR 20180152862A KR 102063492 B1 KR102063492 B1 KR 102063492B1
Authority
KR
South Korea
Prior art keywords
learning
noise
filter
filtering
machine learning
Prior art date
Application number
KR1020180152862A
Other languages
English (en)
Inventor
이정원
박예슬
유동연
임창남
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020180152862A priority Critical patent/KR102063492B1/ko
Priority to US16/654,563 priority patent/US11580446B2/en
Application granted granted Critical
Publication of KR102063492B1 publication Critical patent/KR102063492B1/ko

Links

Images

Classifications

    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 기계학습에 방해가 되는 노이즈를 학습 목적에 따라 선택적으로 필터링할 수 있는 방법 및 그 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템은 기계학습 목적에 따른 학습 노이즈의 정의사항을 수신하는 학습 노이즈 정의부; 상기 학습 노이즈를 필터링하기 위한 필터를 생성하는 필터 생성부; 및 상기 생성된 필터를 이용하여 기계학습에 방해가 되는 학습 노이즈를 제거하는 필터링부를 포함할 수 있다.

Description

기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템{The Method and System for Filtering the Obstacle Data in Machine Learning of Medical Images}
본 발명은 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 기계학습에 방해가 되는 노이즈를 학습 목적에 따라 선택적으로 필터링할 수 있는 방법 및 그 시스템에 관한 것이다.
최근, 기계학습 및 심층학습 기술을 적용하는 많은 연구에서 새로운 알고리즘들이 개발되고, 캡슐 내시경 영상 등 의료 영상에 적용하려는 시도가 이루어지고 있다. 캡슐 내시경의 경우, 학습의 주된 목적은 주로 다양한 종류의 병변을 찾거나 위장관의 위치를 추적하기 위함이다.
캡슐 내시경 검사는 10시간 이상의 긴 시간 동안 장 내부를 촬영함으로써 이루어진다. 그러나 캡슐 내시경 영상에는 학습에 방해가 되는 노이즈 영상이 많이 포함되어 있어서, 노이즈 영상을 여과한 뒤에 학습하지 않으면 학습의 성능 저하와 학습에 소요되는 시간의 증가 문제를 발생시킨다.
나아가, 캡슐 내시경 영상을 이용한 학습에선 학습의 목적이 되는 양성 영상(Positive Data)이 그 이외의 음성 영상(Negative Data)보다 훨씬 적어서 불균형한 데이터 셋 문제가 발생한다.
따라서, 학습의 목적이 되는 양성 데이터(Positive Data)와 음성 데이터(Negative Data)의 비율차를 줄여서 더 효과적인 학습이 가능하도록 하는 알고리즘이 필요한 실정이다.
최근 개발되고 있는 노이즈 필터링에 관한 방법들은 거품 낀 이미지 등 노이즈 자체만을 제거하는 방법으로 한정하고 있을 뿐, 기계학습을 수행하기 위해 학습의 목적에 따라 노이즈를 선택적으로 제거하는 방법은 없는 실정이다.
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템을 제공하기 위함이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 학습 노이즈 정의부, 필터 생성부, 필터링부를 포함하는 시스템을 이용하여 기계학습용 의료 영상 데이터의 노이즈를 필터링하는 방법은, 상기 학습 노이즈 정의부가, 기계학습 목적에 따른 학습 노이즈의 정의사항을 수신하는 단계; 상기 필터 생성부가, 상기 학습 노이즈를 필터링하기 위한 필터를 생성하는 단계; 및 상기 필터링부가, 상기 생성된 필터를 이용하여 기계학습에 방해가 되는 학습 노이즈를 제거하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 상기 학습 노이즈는 기계학습 목적에 무관하게 학습에 방해가 되는 절대적 학습 노이즈와 기계학습 목적의 종류에 따라 학습에 방해가 될 수 있는 상대적 학습 노이즈를 포함할 수 있다.
본 발명의 일 실시예에 따라 상기 필터 생성부가 필터를 생성하는 단계는, 영상처리기반의 필터 및 학습기반의 필터 중 적어도 어느 하나의 필터를 이용하여 학습 노이즈 필터를 생성할 수 있다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 노이즈를 필터링하는 방법은 레이블링부가 상기 기계학습용 의료 영상 데이터에 대하여 기계학습을 기반으로 레이블링을 수행하는 단계를 더 포함하고, 상기 레이블링은 학습 노이즈의 종류를 분류하기 위한 것일 수 있다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템은 기계학습 목적에 따른 학습 노이즈의 정의사항을 수신하는 학습 노이즈 정의부; 상기 학습 노이즈를 필터링하기 위한 필터를 생성하는 필터 생성부; 및 상기 생성된 필터를 이용하여 기계학습에 방해가 되는 학습 노이즈를 제거하는 필터링부를 포함할 수 있다.
본 발명의 일 실시예에 따른 필터 생성부는 영상처리기반의 필터 및 학습기반의 필터 중 적어도 어느 하나의 필터를 이용하여 학습 노이즈 필터를 생성할 수 있다.
본 발명의 일 실시예에 따른 노이즈 필터링 시스템은 상기 기계학습용 의료 영상 데이터에 대하여 기계학습을 기반으로 레이블링을 수행하는 레이블링부를 더 포함하고, 상기 레이블링은 학습 노이즈의 종류를 분류하기 위한 것일 수 있다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템에 의하면, 의료 영상을 학습 데이터로 사용하기 이전에 학습에 방해가 될 만한 노이즈 영상을 학습목적에 따라 선택적으로 제거할 수 있다.
즉, 학습에 방해가 되는 노이즈를 학습 목적에 따라 선택적으로 제거함으로써, 노이즈가 제거되어 유의미한 학습 데이터를 추출하여 학습의 성능을 향상시키고 학습 소요 시간을 감소시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템의 블록도 및 동작 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 절대적 학습 노이즈로 정의된 영상을 나타낸다.
도 3은 본 발명의 일 실시예에 따라 상대적 학습 노이즈로 정의된 영상을 나타낸다.
도 4는 본 발명의 일 실시예에 따라 기계학습용 의료 영상 데이터에 대하여 학습 노이즈를 필터링하는 순서를 나타낸다.
도 5a 내지 도 5c는 본 발명을 이용하여 학습 노이즈를 제거한 효과를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
명세서 전체에서 "학습"은 인공지능(Artificial Intelligence) 분야에서 머신 러닝(Machine Learning) 또는 딥러닝(Deep Learning) 알고리즘을 이용하여 데이터에 대한 판단이나 예측을 수행하기 위해 데이터를 트레이닝하는 과정을 의미하는 것으로, 본 발명의 일 실시예에서는 "기계학습"으로도 지칭된다.
또한 "학습 노이즈"는 학습에 방해가 되는 노이즈를 의미하는 것으로, 통신 장애 문제가 없어 이미지 자체의 해상도(resolution)이 좋은 경우에도 인공지능 알고리즘을 적용하여 학습하기에 적합하지 않은 이미지를 포함할 수 있다. 예컨대, 거품이 많이 낀 이미지가 학습 노이즈에 해당될 수 있다. 명세서 전체에서 노이즈라 함은, 학습 노이즈를 간단하게 지칭하는 것을 의미한다.
한편, 본 발명의 일 실시예에 따른 의료 영상은 캡슐 내시경 영상이 예로 들어 설명되나, 이에 한정되는 것은 아니며 다른 종류의 의료 영상도 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템의 블록도 및 동작 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템(100)은 데이터 베이스(200)에 저장된 캡슐 내시경 영상을 수신하여 학습 노이즈 필터링을 수행한 후, 학습 노이즈가 제거된 의료 영상 데이터를 영상 학습부(300)에 전송한다.
즉, 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템(100)은 의료 영상 데이터에 대하여 기계학습을 수행하기 전에 전처리를 수행할 수 있다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템(100)은 학습 노이즈 정의부(110), 필터 생성부(120) 및 필터링부(130)를 포함한다.
학습 노이즈 정의부(110)는 기계학습 목적에 따라 학습 노이즈의 정의사항을 사용자입력에 의해 수신한다. 본 발명의 일 실시예에 따라 학습 노이즈는 기계학습 목적에 무관하게 학습에 방해가 되는 절대적 학습 노이즈와 기계학습 목적의 종류에 따라 학습에 방해가 될 수 있는 상대적 학습 노이즈로 분류될 수 있다.
절대적 학습 노이즈 및 상대적 학습 노이즈에 대하여는 도 2 및 도 3을 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따라 절대적 학습 노이즈로 정의된 영상을 나타내고, 도 3은 본 발명의 일 실시예에 따라 상대적 학습 노이즈로 정의된 영상을 나타낸다.
도 2에 도시된 절대적 학습 노이즈는 거품이 낀 캡슐내시경 영상(1. Bubble), 소화중인 음식물 찌꺼기가 떠다니는 영상(2. Residue), 흐리거나 어둡거나 밝은 영상(3. Fuzzy, Dark, Bright Image), 통신 불량으로 인해 잡음이 섞인 영상(4. Bad Communication)을 포함한다.
도 3에 도시된 상대적 학습 노이즈는 위장관이 장액으로 차있는 영상(5. Intestinal Juice), 동전, 못 등의 이물질이 보이는 영상(6. Foreign Body Ingestion), 음식물 덩어리로 인한 밀착성 폐쇄 영상(7. Food Bolus Impaction), 병변이 포함된 이미지로 위장관의 구조를 가릴 정도로 많은 병변이 있는 영상(8. Lesion Image)을 포함한다.
상기 도 2 및 도 3에 도시된 절대적 학습 노이즈 및 상대적 학습 노이즈를 정리한 표는 아래 표 1과 같다.
절대적 학습 노이즈 영상 상대적 학습 노이즈 영상
거품이 낀 영상(Bubble) 위장관이 장액으로 차있는 영상 (Intestinal Juice)
음식물 찌꺼기가 있는 영상(Residue) 이물질이 보이는 영상(Foreign Body Ingestion)
흐리거나 어둡거나 밝은 영상 (Fuzzy, Dark, Bright Image) 음식물 덩어리로 인한 밀착성 폐쇄 영상 (Food Bolus Impaction)
잡음이 섞인 영상(Bad Communication) 병변이 많이 포함된 이미지 (Lesion Image)
본 발명의 일 실시예에 따르면, 기계학습 목적에 따라 학습 노이즈가 정의 될 수 있다. 예컨대, 병변을 발견하기 위한 학습이 목적이라면, 학습 노이즈는 절대적 학습 노이즈에 해당하는 1) 거품이 낀 영상(Bubble), 2) 음식물 찌꺼기가 있는 영상(Residue), 3) 흐리거나 어둡거나 밝은 영상 (Fuzzy, Dark, Bright Image), 4) 잡음이 섞인 영상(Bad Communication)이 된다.
반면, 캡슐 내시경의 위치를 판별하기 위한 학습이 목적이라면, 학습 노이즈는 1) 거품이 낀 영상(Bubble), 2) 음식물 찌꺼기가 있는 영상(Residue), 3) 흐리거나 어둡거나 밝은 영상 (Fuzzy, Dark, Bright Image), 4) 잡음이 섞인 영상(Bad Communication) 및 병변이 많이 포함된 이미지 (Lesion Image)가 된다.
본 발명의 일 실시예에 따르면, 병변이 많이 포함된 이미지 (Lesion Image)는 기계학습 목적에 따라 학습 노이즈에 포함될 수 있거나, 학습 노이즈에 포함되지 않을 수 있다.
즉, 본 발명의 일 실시예에 따르면, 학습 목적에 따라 학습 노이즈로 분류되는 이미지의 종류가 다를 수 있으며, 학습 노이즈로 분류된 이미지는 학습 목적에 따라 노이즈 필터링이 되거나 되지 않을 수 있다.
다시 도 1을 참조하여, 필터 생성부(120) 및 필터링부(130)에 대하여 설명한다.
본 발명의 일 실시예에 따른 필터 생성부(120)는 영상처리기반의 필터 및 학습기반의 필터 중 적어도 어느 하나의 필터를 이용하여 학습 노이즈 필터를 생성할 수 있다.
영상처리기반의 필터는 종래의 영상처리 기법인 가버 필터(Gabor Filter), Histogram 분석 등이 이용될 수 있으며, 학습기반의 필터는 머신 러닝(Machine Learning) 및 심층학습(Deep Learning)을 이용하여 노이즈 영상을 제거하는 필터를 생성한다. 보다 자세하게는 필터 생성부(120)는 서포트 벡터 머신(Support Vector Machine, SVM)이나 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)등의 기법을 사용하여 필터를 생성할 수 있다.
예컨대, 거품이 낀 노이즈 영상(Bubble)에 대하여는 가버 필터(Garbor Filter), GLCM(Gray-Level Co-occurrence Matrix), SURF(Speeded-Up Robust Features) 알고리즘을 이용한 필터, 음식물 찌꺼기가 있는 영상(Residue)에 대하여는 Histogram 또는 CNN(Convolutional Neural Network)을 이용한 필터, 흐리거나 어둡거나 밝은 영상 (Fuzzy, Dark, Bright Image)에 대하여는 Histogram, Wavelet Transform CNN을 이용한 필터, 그리고 잡음이 섞인 영상(Bad Communication)에 대하여는 Edge 알고리즘을 이용하여 필터를 생성할 수 있다.
추가적으로 위장관이 장액으로 차있는 영상 (Intestinal Juice), 이물질이 보이는 영상(Foreign Body Ingestion) 및 음식물 덩어리로 인한 밀착성 폐쇄 영상 (Food Bolus Impaction)에 대하여는 Histogram을 이용한 필터, 그리고 병변이 많이 포함된 이미지 (Lesion Image)는 Edge 및 Histogram 을 이용한 필터를 생성할 수 있다.
다만, 학습 노이즈 필터를 생성하는 방법은 상기 기재된 기법에 한정되는 것은 아니며, 다른 종류의 기법을 적용하여 필터를 생성할 수도 있다.
본 발명의 일 실시예에 따른 필터링부(130)는 필터 생성부(120)로부터 생성된 필터를 이용하여 데이터베이스(200)에 저장된 캡슐 내시경 영상 데이터에 대하여 노이즈 영상을 제거한다.
필터링부(130)는 절대적 학습 노이즈 영상과 사용자가 학습에 방해가 된다고 정의한 상대적 학습 노이즈 영상을 학습 불가능한 데이터로 여과하고, 여과된 데이터는 학습 데이터로 사용된다.
도 4는 본 발명의 일 실시예에 따라 기계학습용 의료 영상 데이터에 대하여 학습 노이즈를 필터링하는 순서를 나타낸다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템은 레이블링부(140)를 더 포함할 수 있다.
레이블링부(140)는 데이터베이스에 저장된 의료 영상 원본 데이터(1000)에 학습 노이즈 종류를 레이블링하여 학습 노이즈를 분류할 수 있다.
본 발명의 일 실시예에 따른 레이블링부는 서포트 벡터 머신(Support Vector Machine, SVM) 또는 신경망(Neural Network, NN) 등의 기계학습 알고리즘을 기반으로 레이블링을 수행할 수 있다.
필터링부(130)는 레이블링된 영상 데이터를 학습 노이즈가 아닌 영상(1100)과 학습 노이즈 영상(1200)으로 분류하고, 학습 노이즈 영상(1200) 중 절대적 학습 노이즈 영상(1210)을 제외하고, 상대적 학습 노이즈 영상(1220)을 여과한다.
그리고 학습목적에 따라 학습에 사용하기 부적합한 상대적 학습 노이즈(1222)는 제거하고, 학습에 사용하기 적합한 상대적 학습 노이즈(1221)만 영상 학습부(300)에 적용한다.
도 5a 내지 도 5c는 본 발명을 이용하여 학습 노이즈를 제거한 효과를 설명하기 위한 도면이다.
도 5a는 의료 영상 데이터 세트 전체의 비율을 나타내고, 도 5b는 학습 노이즈를 제거하기 전의 음/양성 영상 데이터를 비교한 것이고, 도 5c는 학습 노이즈를 제거한 후의 음/양성 영상 데이터를 비교한 것이다.
도 5a 및 도 5b를 참조하면, 의료 영상 데이터에서 음성 영상 데이터(10)이 양성 영상 데이터(20)보다 훨씬 많기 때문에, 학습 노이즈(30)도 음성 영상 데이터(10)가 차지하는 비율이 높다.
본 발명의 일 실시예에 따라 학습 노이즈(30)를 제거하면, 음성 영상 데이터(10)가 제거될 확률이 높으므로, 도 5c에 도시된 바와 같이, 음성 영상 데이터(10) 대비 양성 영상 데이터(20)의 비율이 학습 노이즈 제거 전보다 높아질 수 있다.
일 실시예로, 11명의 환자를 대상으로 획득한 캡슐내시경 영상 데이터를 본 발명의 일 실시예에 따라 학습 목적에 따라 학습 노이즈를 제거한 결과를 설명한다. 캡슐 내시경 이미지 원본 데이터는 253,003장이 사용되었다.
학습 목적이 위치를 추적하기 위한 학습인 경우에 학습노이즈는 거품이 낀 영상(Bubble), 음식물 찌꺼기가 있는 영상(Residue), 밝은 영상(Bright), 잡음이 섞인 영상(Bad Communication), 출혈 영상(Bleeding)이 된다. 출혈 영상(Bleeding)은 상대적 학습 노이즈로, 캡슐내시경의 위치를 추적하기 위한 학습에는 적합하지 않은 영상에 해당된다.
학습노이즈 영상은 레이블링된 기준으로 확인할 수 있는데, 거품이 낀 영상(Bubble), 음식물 찌꺼기가 있는 영상(Residue), 밝은 영상(Bright), 잡음이 섞인 영상(Bad Communication), 출혈 영상(Bleeding)의 수는 각각 505장, 14183장, 1034장, 26장, 2737장으로 확인되었다.
본 발명의 일 실시예에 따라 의료 영상 데이터에 대하여 학습노이즈를 제거하면, 하기 수식 1에 따라 7.306% 의 학습노이즈를 제거할 수 있다.
[수식 1]
학습노이즈 제거율
=
Figure 112018120374459-pat00001
=
Figure 112018120374459-pat00002
= 7.306%
반면, 학습 목적이 병변을 검출하기 위한 학습인 경우에 학습노이즈는 거품이 낀 영상(Bubble), 음식물 찌꺼기가 있는 영상(Residue), 밝은 영상(Bright), 잡음이 섞인 영상(Bad Communication)이 된다. 출혈 영상(Bleeding)은 상대적 학습 노이즈로, 병변을 검출하기 위한 학습에는 적합한 영상에 해당되어 학습노이즈에 포함되지 않는다.
학습노이즈 영상은 레이블링된 기준으로 확인할 수 있는데, 거품이 낀 영상(Bubble), 음식물 찌꺼기가 있는 영상(Residue), 밝은 영상(Bright), 잡음이 섞인 영상(Bad Communication)의 수는 각각 505장, 14183장, 1034장, 26장으로 확인되었다.
본 발명의 일 실시예에 따라 의료 영상 데이터에 대하여 학습노이즈를 제거하면, 하기 수식 2에 따라 6.224% 의 학습노이즈를 제거할 수 있다.
[수식 2]
학습노이즈 제거율 =
Figure 112018120374459-pat00003
=
Figure 112018120374459-pat00004
= 6.224%
도 6은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법의 순서도이다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법은 의료 영상 데이터에 대하여 학습 노이즈 종류를 분류하는 레이블링을 수행하는 단계(S600), 학습 목적에 따라 절대적 학습 노이즈와 상대적 학습노이즈의 정의사항을 수신하는 단계(S602), 영상처리기반의 필터 및 학습기반의 필터 중 적어도 어느 하나의 필터를 이용하여 학습 노이즈 필터를 생성하는 단계(S604) 및 영상 데이터에 대하여 학습 노이즈를 제거하는 단계(S606)를 포함할 수 있다.
노이즈 필터링 방법에 관하여는 앞서 서술한 노이즈 필터링 시스템에 관한 설명이 동일하게 적용된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템
110 : 학습 노이즈 정의부
120 : 필터 생성부
130 : 필터링부
140 : 레이블링부
200 : 데이터 베이스
300 : 영상 학습부

Claims (8)

  1. 학습 노이즈 정의부, 필터 생성부, 필터링부를 포함하는 시스템을 이용하여 기계학습용 의료 영상 데이터의 학습 노이즈를 필터링하는 방법에 있어서,
    상기 학습 노이즈 정의부가, 기계학습 목적에 따른 학습 노이즈의 정의사항을 수신하는 단계;
    상기 필터 생성부가, 상기 학습 노이즈의 정의사항에 기반하여 상기 학습 노이즈를 필터링하기 위한 필터를 생성하는 단계; 및
    상기 필터링부가, 상기 생성된 필터를 이용하여 기계학습에 방해가 되는 학습 노이즈를 제거하는 단계를 포함하는 기계학습용 의료 영상 데이터의 학습 노이즈를 필터링하는 방법.
  2. 제1항에 있어서,
    상기 학습 노이즈는 기계학습 목적에 무관하게 학습에 방해가 되는 절대적 학습 노이즈와 기계학습 목적의 종류에 따라 학습에 방해가 될 수 있는 상대적 학습 노이즈를 포함하는 것을 특징으로 하는 기계학습용 의료 영상 데이터의 학습 노이즈를 필터링하는 방법.
  3. 제1항에 있어서,
    상기 필터 생성부가 필터를 생성하는 단계는,
    영상처리기반의 필터 및 학습기반의 필터 중 적어도 어느 하나의 필터를 이용하여 학습 노이즈 필터를 생성하는 것을 특징으로 하는 기계학습용 의료 영상 데이터의 학습 노이즈를 필터링하는 방법.
  4. 제 1 항에 있어서,
    레이블링부가 상기 기계학습용 의료 영상 데이터에 대하여 기계학습을 기반으로 레이블링을 수행하는 단계를 더 포함하고,
    상기 레이블링은 학습 노이즈의 종류를 분류하기 위한 것인 기계학습용 의료 영상 데이터의 학습 노이즈를 필터링하는 방법.
  5. 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템에 있어서,
    기계학습 목적에 따른 학습 노이즈의 정의사항을 수신하는 학습 노이즈 정의부;
    상기 학습 노이즈의 정의사항에 기반하여 상기 학습 노이즈를 필터링하기 위한 필터를 생성하는 필터 생성부; 및
    상기 생성된 필터를 이용하여 기계학습에 방해가 되는 학습 노이즈를 제거하는 필터링부를 포함하는 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템.
  6. 제5항에 있어서,
    상기 학습 노이즈는 기계학습 목적에 무관하게 학습에 방해가 되는 절대적 학습 노이즈와 기계학습 목적의 종류에 따라 학습에 방해가 될 수 있는 상대적 학습 노이즈를 포함하는 것을 특징으로 하는 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템.
  7. 제 5 항에 있어서,
    상기 필터 생성부는,
    영상처리기반의 필터 및 학습기반의 필터 중 적어도 어느 하나의 필터를 이용하여 학습 노이즈 필터를 생성하는 것을 특징으로 하는 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템.
  8. 제 5 항에 있어서,
    상기 기계학습용 의료 영상 데이터에 대하여 기계학습을 기반으로 레이블링을 수행하는 레이블링부를 더 포함하고,
    상기 레이블링은 학습 노이즈의 종류를 분류하기 위한 것인 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 시스템.
KR1020180152862A 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템 KR102063492B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180152862A KR102063492B1 (ko) 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템
US16/654,563 US11580446B2 (en) 2018-11-30 2019-10-16 Method and system for filtering obstacle data in machine learning of medical images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152862A KR102063492B1 (ko) 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR102063492B1 true KR102063492B1 (ko) 2020-01-08

Family

ID=69153998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152862A KR102063492B1 (ko) 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US11580446B2 (ko)
KR (1) KR102063492B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613480A (zh) * 2021-01-04 2021-04-06 上海明略人工智能(集团)有限公司 一种人脸识别方法、系统、电子设备及存储介质
WO2021177758A1 (en) * 2020-03-04 2021-09-10 Samsung Electronics Co., Ltd. Methods and systems for denoising media using contextual information of the media
KR102313870B1 (ko) * 2020-11-18 2021-10-18 인하대학교 산학협력단 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델
US11574727B2 (en) 2020-06-15 2023-02-07 Lunit Inc. Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
KR20230018783A (ko) 2021-07-30 2023-02-07 서강대학교산학협력단 멀티채널 음성 탐지 시스템 및 이의 동작방법
KR102546198B1 (ko) * 2022-11-30 2023-06-22 주식회사 인피닉 물리적 요인 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102546195B1 (ko) * 2022-11-30 2023-06-23 주식회사 인피닉 수집 환경 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669311A (zh) * 2021-01-08 2021-04-16 西北大学 一种陶瓷显微图像气泡的提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
KR20140145801A (ko) * 2013-06-14 2014-12-24 전북대학교산학협력단 신경망을 이용한 영상의 화질 개선 시스템 및 방법
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
JP2016144626A (ja) * 2015-01-29 2016-08-12 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
EP3539455A1 (fr) * 2018-03-14 2019-09-18 Sorbonne Université Procédé pour déterminer automatiquement la qualité de visualisation des images en vidéocapsule endoscopique
WO2020076644A2 (en) * 2018-10-04 2020-04-16 Duke University Methods for automated detection of cervical pre-cancers with a low-cost, point-of-care, pocket colposcope

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
KR20140145801A (ko) * 2013-06-14 2014-12-24 전북대학교산학협력단 신경망을 이용한 영상의 화질 개선 시스템 및 방법
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
JP2016144626A (ja) * 2015-01-29 2016-08-12 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Vilarino, Fernando, et al."Automatic detection of intestinal juices in wireless capsule video endoscopy." null. IEEE, 2006.

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177758A1 (en) * 2020-03-04 2021-09-10 Samsung Electronics Co., Ltd. Methods and systems for denoising media using contextual information of the media
US11574727B2 (en) 2020-06-15 2023-02-07 Lunit Inc. Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
US11928817B2 (en) 2020-06-15 2024-03-12 Lunit Inc. Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
KR102313870B1 (ko) * 2020-11-18 2021-10-18 인하대학교 산학협력단 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델
CN112613480A (zh) * 2021-01-04 2021-04-06 上海明略人工智能(集团)有限公司 一种人脸识别方法、系统、电子设备及存储介质
KR20230018783A (ko) 2021-07-30 2023-02-07 서강대학교산학협력단 멀티채널 음성 탐지 시스템 및 이의 동작방법
KR102546198B1 (ko) * 2022-11-30 2023-06-22 주식회사 인피닉 물리적 요인 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102546195B1 (ko) * 2022-11-30 2023-06-23 주식회사 인피닉 수집 환경 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20200175420A1 (en) 2020-06-04
US11580446B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
KR102063492B1 (ko) 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템
CN111968091B (zh) 一种临床图像中病变区域的检测和分类方法
Crihalmeanu et al. Enhancement and registration schemes for matching conjunctival vasculature
Fu et al. Bleeding region detection in WCE images based on color features and neural network
Elbalaoui et al. Segmentation and detection of diabetic retinopathy exudates
CN114399465B (zh) 良恶性溃疡识别方法及系统
Gupta et al. Optimized feature selection approach for smartphone based diabetic retinopathy detection
CN113850299B (zh) 一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法
Hegenbart et al. Systematic assessment of performance prediction techniques in medical image classification a case study on celiac disease
Nandy et al. An incremental feature extraction framework for referable diabetic retinopathy detection
CN112288697B (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质
Sundar et al. An effective deep learning model for grading abnormalities in retinal fundus images using variational auto‐encoders
CN116309542A (zh) 一种基于自适应频域学习和抗混叠复数卷积的临床图像病变分类方法
Ichim et al. Combining blood vessel segmentation and texture analysis to improve optic disc detection
Tonnaer et al. Anomaly detection for visual quality control of 3D-printed products
CN104850861A (zh) 基于rx异常探测和纹理分析的真菌性角膜炎图像识别方法
Alshirbaji et al. Classifying smoke in laparoscopic videos using SVM
Koukounis et al. Retinal image registration based on multiscale products and optic disc detection
Gadermayr et al. Getting one step closer to fully automatized celiac disease diagnosis
Jalal et al. Features for detecting smoke in laparoscopic videos
Priya et al. Automated diagnosis of age-related macular degeneration using machine learning techniques
Ciobanu et al. Steps towards computer-assisted classification of colonoscopy video frames
Khairudin et al. Efficient classification techniques in classifying human intestinal parasite ova
Eltoukhy et al. Automatic detection of breast masses in digital mammograms using pattern matching
Belabbes et al. Advancements in Polyp Detection: A Developed Single Shot Multibox Detector Approach

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant