KR102517232B1 - 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치 - Google Patents

머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR102517232B1
KR102517232B1 KR1020210101138A KR20210101138A KR102517232B1 KR 102517232 B1 KR102517232 B1 KR 102517232B1 KR 1020210101138 A KR1020210101138 A KR 1020210101138A KR 20210101138 A KR20210101138 A KR 20210101138A KR 102517232 B1 KR102517232 B1 KR 102517232B1
Authority
KR
South Korea
Prior art keywords
image
medical
reflected light
video
specular
Prior art date
Application number
KR1020210101138A
Other languages
English (en)
Other versions
KR20230019527A (ko
Inventor
김광기
윤기철
설재황
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020210101138A priority Critical patent/KR102517232B1/ko
Publication of KR20230019527A publication Critical patent/KR20230019527A/ko
Application granted granted Critical
Publication of KR102517232B1 publication Critical patent/KR102517232B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/005—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

본 발명은, 프로세서에 의해 구현되는 반사광 제거 방법으로서, 개체의 표적 부위를 포함하는 의료 동영상을 수신하는 단계, 의료 동영상을 입력으로 하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상 중 적어도 하나의 영상 상태를 분류하도록 구성된 영상 분류 모델을 이용하여, 수신된 의료 동영상을 기초로 적어도 하나의 영상 상태를 분류하는 단계, 분류된 영상 상태에 기초하여 반사광이 제거된 합성 영상을 생성하는 단계를 포함하는, 반사광 제거 방법 및 이를 이용한 반사광 제거용 장치를 제공한다.

Description

머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치{METHOD FOR REMOVING REFLECTED LIGHT OF MEDICAL IMAGE BASED ON MACHINE LEARNING AND DEVICE USING THE SAME}
본 발명은, 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치에 관한 것이다.
내과 및 외과 그리고 영상의학 분야에서 병변을 정확하게 진단하여 최적의 치료법을 제공하기 위해 영상진단 기술이 적용되고 있다.
영상진단 장치로는 내시경 촬영 장치, 자기 공명 영상을 제공하기 위한 자기 공명 영상 (MRI, magnetic resonance imaging) 장치, 컴퓨터 단층 촬영 (CT, Computed Tomography) 장치, 엑스레이 (X-ray) 장치, 및 초음파 (ultrasound) 진단 장치 등이 있을 수 있다.
한편, 임상진단 현장에서 일부 영상진단 장치의 경우, 특히 내시경 촬영 장치의 경우 병변을 밝게 비추어주기 위한 보조 조명 장치가 요구될 수 있다.
이때, 보조 조명 장치로 인해 빛 반사가 발생될 수 있는데, 의료진들은 병변 모니터링에 있어서 빛 반사로 인해 진단 시야가 가려지고, 병변을 정확하게 관찰하는데 어려움을 겪을 수 있다.
예를 들어, 내시경 진단 중 보조 조명 장치의 조명의 색상 온도가 7000 내지 8,000˚로 높고 조직 내에 수분이 많을 경우, 반사광이 발생되어 의료 영상에 대한 판독성이 저하될 수 있다.
이러한 영상 내 아티팩트 (artifact) 에 의해, 의료 영상에 기초한 진단에 있어서 의료인들은 정확하게 병변을 관찰하고 진단하는 것에 어려움이 있을 수 있다.
의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 의료 영상 내에서 병변의 형태, 색깔 등의 병변에 대한 정확한 정보를 제공할 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
선행문헌: 공개 특허공보 10-2011-0036453
전술한 한계를 극복하기 위한 방안으로, 편광 필터의 사용 또는 감마 (gamma) 보정과 HDR (high dynamic range) 의 적용이 제안되었으나, 의료 영상 획득을 위해 추가적인 요소들이 구비되어야 한다는 점에서 번거로움이 수반될 수 있다.
한편, 본 발명의 발명자들은, 전술한 과제를 해결하기 위한 방안으로, 인공지능 기술을 통해 병변의 형태와 색깔에 대해 학습을 하여 병변의 검출, 및 영상의 보정이 가능하며, 이를 통해 최적의 의료 영상을 제공할 수 있음에 주목하였다.
특히, 본 발명의 발명자들은 의료 영상이 입력될 경우, 이로부터 반사광을 제거하여 진단에 최적화된 RGB 영상을 분류하도록 구성된 영상 분류 모델을 적용하여, 병변 시야가 확보되고 선명한 해상도의 의료 영상을 제공하는 반사광 제거 시스템을 개발하고자 하였다.
보다 구체적으로, 본 발명의 발명자들은, 반사광 제거 시스템에 대하여, 획득된 의료 동영상에 대하여 병변 영역에 조사된 반사광을 영상 분류 모델을 이용하여 식별하고, 반사광이 제거된 합성 영상을 생성 및 제공하도록 설계하고자 하였다.
특히, 본 발명의 발명자들은 반사광 제거 시스템에 대하여 학습용 의료 영상 기반의 데이터베이스가 구축된 검증 모델을 적용하여, 진단 영상으로서의 퀄리티가 향상된 추천 의료 영상을 제공하고자 하였다.
그 결과, 본 발명의 발명자들은, 반사광이 제거된, 진단 영상으로서의 퀄리티가 향상된 의료 영상 제공이 가능한 반사광 제거 시스템을 개발하기에 이르렀다.
이에, 본 발명의 발명자들은, 반사광 제거 시스템을 제공함으로써 의료 영상의 진단 정확도 향상을 기대할 수 있었다.
특히, 본 발명의 발명자들은, 반사광 제거 시스템을 제공함으로써, 복강경 수술 과정 또는 내시경 시술 과정에서 신속하고 정확한 진단이 가능하고, 진단 시간 단축 및 오진과 같은 의료사고 예방이 가능함을 기대할 수 있었다.
나아가, 본 발명의 발명자들은, 반사광 제거 시스템을 통해 카메라와 반사광 제거용 보정 모듈이 일체화될 수 있음에 따라 임베디드를 통한 소형 모듈 설계가 가능함을 인지할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 영상 분류 모델의 적용에 따라, 반사광이 제거된 고해상도의 의료 영상 제공이 가능한, 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 반사광 제거 방법이 제공된다. 본 발명의 일 실시예에 따른 반사광 제거 방법은, 프로세서에 의해 구현되는 방법으로서, 개체의 표적 부위를 포함하는 의료 동영상을 수신하는 단계, 의료 동영상을 입력으로 하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상 중 적어도 하나의 영상 상태를 분류하도록 구성된 영상 분류 모델을 이용하여, 수신된 의료 동영상을 기초로 적어도 하나의 영상 상태를 분류하는 단계, 분류된 영상 상태에 기초하여 반사광이 제거된 합성 영상을 생성하는 단계를 포함한다.
본 발명의 특징에 따르면, 적어도 하나의 영상 상태를 분류하는 단계는, 영상 분류 모델을 이용하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상을 분류하는 단계를 포함할 수 있다. 이때, 합성 영상을 생성하는 단계는, 합성 영상을 획득하도록, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상을 단일의 영상으로 합성하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 영상 분류 모델은, 의료 동영상을 통과시키도록 구성된 동영상 필터, 반사광을 통과시키도록 구성된 백색광 필터, 및 정지 의료 영상을 통과시키도록 구성된 정지 영상 필터의 영상 필터를 포함할 수 있다. 이때, 적어도 하나의 영상 상태를 분류하는 단계는, 영상 필터에 기초하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상을 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 정지 의료 영상은, 반사광 영역의 주변 조직 영역을 포함하고, 반사광 영역을 제외한 의료 동영상은, 공백 영역을 포함할 수 있다. 이때, 합성 영상을 생성하는 단계는, 합성 영상을 획득하도록, 공백 영역에 주변 조직 영역을 합성하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 합성 영상을 생성하는 단계 이후에, 합성 영상을 검증하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 검증하는 단계는, ROI (region of interest) 가 미리 분류된 학습용 의료 영상 기반의 데이터베이스가 구축된 검증 모델을 이용하여 합성 영상을 검증하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 검증 모델을 이용하여 합성 영상을 검증하는 단계는, 데이터베이스 내의 학습용 의료 영상 및 합성 영상을 비교하는 단계를 포함할 수 있다. 또한, 상기 방법은 검증하는 단계 이후에, 검증 모델을 이용하여, 비교 결과에 기초하여, 추천 의료 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 검증 모델이 합성 영상보다 영상 수준이 향상된 의료 영상을 생성하도록, 학습용 의료 영상 및 합성 영상을 비교하는 단계, 및 비교 결과에 기초하여, 추천 의료 영상을 생성하는 단계를 반복 수행하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 동영상은, 내시경 동영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 합성 영상을 생성하는 단계 이후에, 합성 영상을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 합성 영상을 생성하는 단계 이후에, 의료 영상을 입력으로 하여 병변을 분류하도록 구성된 병변 분류 모델을 이용하여, 합성 영상 내에서 병변을 분류하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 반사광 제거용 장치가 제공된다. 상기 장치는, 개체의 표적 부위를 포함하는 의료 동영상을 수신하도록 구성된 통신부, 및 통신부와 통신하도록 구성된 프로세서를 포함한다. 이때, 프로세서는, 의료 동영상을 입력으로 하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상 중 적어도 하나의 영상 상태를 분류하도록 구성된 영상 분류 모델을 이용하여, 수신된 의료 동영상을 기초로 적어도 하나의 영상 상태를 분류하고, 분류된 영상 상태에 기초하여 반사광이 제거된 합성 영상을 생성하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 영상 분류 모델을 이용하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상을 분류하고, 합성 영상을 획득하도록, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상을 단일의 영상으로 합성하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 영상 분류 모델은, 의료 동영상을 통과시키도록 구성된 동영상 필터, 반사광을 통과시키도록 구성된 백색광 필터, 및 정지 의료 영상을 통과시키도록 구성된 정지 영상 필터의 영상 필터를 포함할 수 있다. 이때, 프로세서는, 영상 필터에 기초하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상을 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 정지 의료 영상은, 반사광 영역의 주변 조직 영역을 포함하고, 반사광 영역을 제외한 의료 동영상은, 공백 영역을 포함할 수 있다. 이때, 프로세서는, 합성 영상을 획득하도록, 공백 영역에 주변 조직 영역을 합성하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 합성 영상을 검증하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, ROI (region of interest) 가 미리 분류된 학습용 의료 영상 기반의 데이터베이스가 구축된 검증 모델을 이용하여 합성 영상을 검증하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 데이터베이스 내의 학습용 의료 영상 및 합성 영상을 비교하고, 검증 모델을 이용하여, 비교 결과에 기초하여, 추천 의료 영상을 생성하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 검증 모델이, 합성 영상보다 영상 수준이 향상된 의료 영상을 생성하도록, 프로세서는, 학습용 의료 영상 및 합성 영상을 비교하고, 비교 결과에 기초하여, 추천 의료 영상을 생성하는 것을 반복 수행하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 장치는 합성 영상을 제공하도록 구성된 표시부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 의료 영상을 입력으로 하여 병변을 분류하도록 구성된 병변 분류 모델을 이용하여, 합성 영상 내에서 병변을 분류하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 인공지능 기반 영상 분류 모델에 기초한, 반사광 제거 시스템을 제공할 수 있다.
보다 구체적으로, 본 발명은, 반사광이 제거되어 병변 시야의 확보가 가능한 진단 영상을 제공하는 반사광 제거 시스템을 제공할 수 있는 효과가 있다.
특히, 본 발명은, 의료진으로 하여금 신속하고 정확한 영상 진단이 가능하고, 신뢰도 높은 진단 소견을 제공하도록 진단 보조 역할을 수행할 수 있다.
더욱이 본 발명은, 실시간으로 빛 반사가 제거된 영상을 제공할 수 있어 복강경 수술 과정 또는 내시경 시술 과정에서 신속하고 정확한 진단, 진단 시간 단축 및 오진과 같은 의료사고 예방에 기여할 수 있다.
즉, 본 발명은 인공지능 기반 영상 분류 모델에 기초한 반사광 제거 시스템을 제공함으로써, 의료진의 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 반사광 제거용 장치에 기초한 반사광 제거 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 반사광 제거용 장치의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 반사광 제거용 장치로부터 추천 의료 영상을 수신하도록 구성된 의료진 장치의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 반사광 제거 방법의 절차를 예시적으로 도시한 것이다.
도 3a 및 3b는 종래의 내시경 촬영 장치에 의해 획득된 반사광이 포함된 의료 영상을 예시적으로 도시한 것이다.
도 4a 내지 4c는 본 발명의 다양한 실시예에 따른 반사광 제거 방법에서, 추천 영상 제공 및 병변 분류 단계를 예시적으로 도시한 것이다.
도 5는 본 발명의 다양한 실시예에 이용되는 영상 분류 모델에 의해 반사광이 제거된 의료 영상을 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 영상 진단 장치를 통해 질환 또는 임상적 증상을 모니터링하고자 하는 모든 대상을 의미할 수 있다.
예를 들어, 개체는, 소화기 내시경 수행 개체일 수 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "의료 동영상"은, 의료 진단 장치로부터 획득된 동영상을 의미할 수 있다. 예를 들어, 의료 동영상 입, 식도, 위, 십이지장, 소장, 대장 등의 내부 영역을 포함하는 내시경 동영상일 수 있다. 또한, 의료 동영상은 복강과 복강 내부에 대한 복강경 동영상일 수도 있다. 그러나, 이에 제한되는 것이 아니며, 본원 명세서에서 의료 영상은, 의료 영상 획득을 위해 보조 조명 장치가 필요한 의료 진단 장치로부터 획득된 모든 의료 영상을 포함할 수 있다.
한편, 복수의 프레임으로 구성된 의료 동영상은 본 발명의 일 실시예에 따른 반사광 제거 방법에 따라 동영상 내 프레임 각각에 대하여 반사광이 제거될 수도 있다. 그 결과, 본 발명은 내시경과 같은 영상 진단 장치로부터 내시경 동영상의 수신과 동시에 반사광이 제거된 영상을 제거하는 스트리밍 서비스를 제공할 수 있고, 실시간으로 영상의 퀄리티가 향상된 의료 영상을 제공할 수도 있다.
본 명세서에서 사용되는 용어, "영상 분류 모델"은 의료 동영상을 입력으로 하여, 의료 영상의 상태를 분류하도록 학습된 딥 러닝 알고리즘 기반의 분류 모델일 수 있다.
예를 들어, 영상 분류 모델에 학습용 의료 영상이 입력되면, 영상 분류 모델의 컨볼루션 레이어 (convolution layer) 및 전 열결 레이어 (fully connected layer) 에 의해 의료 영상의 특징이 추출되고, FNC (fully convolution Network) 레이어에 의해 영상의 상태가 분류될 수 있다.
한편, 본 발명의 다양한 실시예에 따른, 영상 분류 모델들은, Resnet50, Resnet-v2, Resnet101, Inception-v3, 또는 VGG net, R, DenseNet 및, 인코더-디코더 (encoder-decoder) 구조를 갖는 FCN, SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 영상 분류 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수도 있다.
이때, "영상의 상태"는 의료 영상에 대한 특성으로서, 의료 영상 내에서 조직에 대한 백상광의 반사에 따라 촬영된 영역으로 정의되는 "반사광 영역", "반사광 영역을 제외한 의료 동영상" 및 "정지 의료 영상"을 포함할 수 있다.
즉, 영상 분류 모델은, 반사광 영역 등의 ROI (region of interest) 가 미리 결정된 학습용 의료 영상을 입력으로 하여 반사광 영역, 의료 동영상, 또는 정지 의료 영상의 3 가지 클래스로 분류하도록 학습된 모델일 수 있다.
본 명세서에서 사용되는 용어, "반사광 영역"은 보조 조명 장치의 높은 색 온도 (예를 들어, 7000 내지 8000°K) 에 의한 백색광이 조사된 영역을 의미할 수 있다.
본 명세서에서 사용되는 용어, "반사광 영역을 제외한 의료 동영상"은 반사광 영역을 포함하지 않는 의료 동영상 또는 반사광 영역이 공백 영역인 동영상을 의미할 수 있다. 한편, 반사광 영역을 제외한 의료 동영상은 RGB 동영상일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "정지 의료 영상"은 의료 동영상에 대한 스틸 컷 (또는, 일부 프레임) 과 같은 정지된 상태의 영상을 의미할 수 있다. 이때, 정지 의료 영상은 반사광 주변 영역을 포함할 수 있으나, 이에 제한되는 것은 아니다. 또한, 정지 의료 영상은 RGB 영상일 수도 있다.
본 발명의 특징에 따르면, 영상 분류 모델은, 의료 동영상을 통과시키도록 구성된 동영상 필터, 반사광을 통과시키도록 구성된 백색광 필터, 및 정지 의료 영상을 통과시키도록 구성된 정지 영상 필터에 기초하여 의료 동영상을 3 가지 상태로 분류하도록 구성될 수 있다.
이때, 복수의 필터는 목표로하는 특정 영상만을 획득하도록 구성된 영상 필터일 수 있으나 이에 제한되는 것이 아니며, 영상이 갖는 특징 파라미터를 기초로 영상을 분류하도록 각각 학습된 복수의 모델을 의미할 수도 있다.
본 명세서에서 사용되는 용어, "합성 영상"은 영상 분류 모델에 의해 분류된 의료 동영상 및 정지 의료 영상이 합성된 의료 영상 (동영상) 일 수 있다.
예를 들어, 합성 영상은 의료 동영상의 공백 영역에 정지 의료 영상의 특정 영역 (예를 들어, 병변 영역 또는 주변 조직 영역) 이 반영되어 하나의 의료 영상으로 결합된 영상일 수 있다. 이에, 합성된 의료 영상은 반사광이 제거된 의료 영상일 수 있다.
본 명세서에서 사용되는 용어, "검증 모델"은 합성 영상을 입력으로 하여 영상의 퀄리티가 향상된 추천 의료 영상을 출력하도록 구성된 영상 모델을 의미할 수 있다.
본 발명의 특징에 따르면, 검증 모델은, ROI (region of interest) 가 미리 분류된 학습용 의료 영상 기반의 데이터베이스를 기초로, 추천 의료 영상을 생성 (또는 출력) 할 수 있다.
이때, 검증 모델은 인공지능 알고리즘 기반 영상 복원 모델일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "추천 의료 영상"은 합성 영상보다 영상의 퀄리티 (예를 들어, 병변의 형태의 명확성, 병변 색상의 명확성, 영상의 해상도) 가 향상된 의료 영상을 의미할 수 있다. 이때, 추천 의료 영상은 RGB 컬러 정지 영상 또는 RGB 컬러 동영상일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어 "병변 분류 모델"은, 의료 동영상 (또는, 합성 영상 또는 추천 의료 영상) 을 입력으로 하여 정상 또는 질환을 분류하거나, 질환의 유형을 분류하도록 학습된 분류 모델일 수 있다.
이때, 병변 분류 모델은 Resnet50, Resnet-v2, Resnet101, Inception-v3, 또는 VGG net, R, DenseNet 및, 인코더-디코더 (encoder-decoder) 구조를 갖는 FCN, SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 병변 분류 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수도 있다. 그러나 이에 제한되는 것은 아니다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 반사광 제거용 장치에 기초한 반사광 제거 시스템을 설명한다.
도 1a는 본 발명의 일 실시예에 따른 반사광 제거용 장치에 기초한 반사광 제거 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 반사광 제거용 장치의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 반사광 제거용 장치로부터 추천 의료 영상을 수신하도록 구성된 의료진 장치의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a을 참조하면, 반사광 제거 시스템 (1000) 은, 개체에 대한 의료 영상을 기초로 병변에 대한 시각적 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 반사광 제거 시스템 (1000) 은, 수신된 의료 동영상에 기초하여, 반사광 영역을 분류 및 제거하도록 구성된 반사광 제거용 장치 (100), 반사광이 제거된 추천 의료 영상을 수신하는 의료진 장치 (200) 및 의료 진단 영상을 제공하는, 의료 영상 제공용 장치 (300) 로 구성될 수 있다.
먼저, 반사광 제거용 장치 (100) 는 내시경과 같은 의료 영상 제공용 장치 (300) 로부터 제공된 개체의 의료 영상을 기초로 영상을 분류하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 장치 (200) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 장치일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 반사광 제거용 장치 (100) 는 의료 영상 제공용 장치 (300) 로부터 의료 동영상을 수신하고, 수신된 의료 동영상으로부터 반사광 영역을 분류 및 제거하여 병변에 대하여 식별력이 높은 의료 영상을 제공할 수 있다. 이때, 의료 영상 제공용 장치 (300) 는, 영상 분류 모델을 이용하여 의료 영상 내의 반사광을 감지할 수 있다.
반사광 제거용 장치 (100) 는 반사광이 제거된 의료 영상을 의료진 장치 (200) 로 제공할 수 있다.
이와 같이 반사광 제거용 장치 (100) 로부터 제공되는 의료 영상 데이터는 의료진 장치 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 장치 (200) 는 반사광이 제거된 의료 영상을 요청하고 선택적으로 병변 분류 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 장치 (200) 는 반사광 제거용 장치 (100) 로부터 개체에 대한 반사광이 제거된 의료 영상을 수신하고, 수신된 결과를 후술할 표시부를 통해 표시할 수 있다.
한편, 반사광이 제거된 의료 영상은, 영상 분류 모델들에 의해 반사광이 제거되어 영상 진단 수단으로서 퀄리티가 향상되었을 뿐만 아니라, 병변 분류 모델에 의해 분류된 병변 특성 (예를 들어, 질환명) 등이 더욱 표시될 수 있다.
다음으로, 도 1b를 참조하여, 본 발명의 반사광 제거용 장치 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 반사광 제거용 장치 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체의 표적 부위에 대한 의료 동영상 내에서 반사광을 제거하는 과정에서 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는, 후술할 통신부 (120) 를 통해 의료 영상 제공용 장치 (300) 로부터 수신된 의료 영상, 나아가 영상 분류 모델의 분류 과정에서의 다양한 산물들을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 반사광 제거용 장치 (100) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 장치 (200), 나아가 의료 영상 제공용 장치 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 의료 영상 제공용 장치 (300) 로부터 개체의 표적 부위에 대한 의료 동영상을 수신할 수 있다. 예를 들어, 통신부 (120) 는 의료 영상 제공용 장치 (300) 로부터, 소화기 내시경 RGB 영상을 수신할 수 있다. 나아가, 통신부 (120) 는 의료진 장치 (200) 로 추천 의료 영상을 송신할 수도 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 의료 동영상에서 반사광 영역을 분류하고, 제거하도록 구성될 수 있다.
이때, 프로세서 (130) 는 의료 영상에 기초하여, 영상의 상태를 분류하도록 구성된, 영상 분류 모델에 기초할 수 있다.
한편, 반사광 제거용 장치 (100) 는 하드웨어 적으로 설계된 것으로 제한되는 것은 아니다. 예를 들어, 반사광 제거용 장치 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 소프트웨어가 적용된 의료 영상 제공용 장치 (300) 와 연결된 표시부 (미도시) 를 통해 반사광이 제거된 의료 영상의 제공이 가능할 수도 있다.
한편, 도 1c를 함께 참조하면, 의료진 장치 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 장치 (200) 가 외부 장치와 통신이 가능하도록 구성될 수 있다. 통신부 (210) 는 유/무선 통신을 이용하여 반사광 제거용 장치 (100) 와 연결되어 반사광이 제거된 의료 영상 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 반사광 제거용 장치 (100) 로부터, 영상 분류 모델 및/또는 검증 모델 및/또는 병변 분류 모델에 의해 출력된 결과를 수신할 수 있다.
표시부 (220) 는 반사광이 제거된 의료 영상을 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. 나아가, 표시부 (220) 는 병변 감지 시, 알림을 출력하도록 더욱 구성될 수도 있다.
예를 들어, 표시부 (220) 는 반사광이 제거된 병변에 대한 정보를 시각적으로 출력할 수도 있고, 비정상의 병변 감지 시 알람음을 출력할 수도 있다. 이에, 의료 영상 진단 장치를 통한 진단 과정에서 알람이 감지될 경우, 병변에 대하여 의료진의 신속한 처치가 가능할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 반사광이 제거된 의료 영상을 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 2, 3a, 3b, 및 도 4a 내지 4c를 참조하여, 본 발명의 일 실시예에 따른 반사광 제거 방법을 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 반사광 제거 방법의 절차를 예시적으로 도시한 것이다. 도 3a 및 3b는 종래의 내시경 촬영 장치에 의해 획득된 반사광이 포함된 의료 영상을 예시적으로 도시한 것이다. 도 4a 내지 4c는 본 발명의 다양한 실시예에 따른 반사광 제거 방법에서, 추천 영상 제공 및 병변 분류 단계를 예시적으로 도시한 것이다.
먼저, 도 2a를 참조하면, 본 발명의 일 실시예에 따른 반사광 제거의 절차는 다음과 같다. 먼저, 개체의 표적 부위를 포함하는 의료 동영상이 수신되고 (S210), 영상 분류 모델을 이용하여, 수신된 의료 동영상을 기초로 적어도 하나의 영상 상태가 분류된다 (S220). 그 다음, 영상 상태에 기초하여 반사광이 제거된 합성 영상이 생성되고 (S230), 생성된 합성 영상이 제공된다 (S240).
보다 구체적으로, 의료 동영상을 수신하는 단계 (S210) 에서, 내시경 동영상과 같은 RGB 영상이 수신될 수 있다.
이때, 도 3a 및 도 3b를 참조하면 의료 동영상 (410) 은, 조직 내에 수분이 많거나 보조 조명 장치의 조명의 색상 온도가 7000 내지 8,000˚로 높아 백색광이 조사될 경우 조직으로부터 반사된 빛에 의해 반사광 (412a, 412b, 412c 및 412d) 이 포착될 수 있다.
특히, 이러한 반사광이 병변에 생길 경우, 병변 모니터링에 있어서 빛 반사로 인해 진단 시야가 가려져 병변을 정확하게 관찰하는데 어려움이 있을 수 있다.
한편, 적어도 하나의 영상 상태가 분류되는 단계 (S220) 에서 영상 분류 모델에 의해 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상이 분류될 수 있다. 그 다음, 합성 영상이 생성되는 단계 (S230) 및 합성 영상이 제공되는 단계 (S240) 를 통해 반사광이 제거된 의료 영상이 제공될 수 있다.
이때, 영상 분류 모델은, 의료 동영상을 통과시키도록 구성된 동영상 필터, 반사광을 통과시키도록 구성된 반사광 필터, 및 정지 의료 영상을 통과시키도록 구성된 정지 영상 필터의 영상 필터를 포함할 수 있다.
이에, 적어도 하나의 영상 상태가 분류되는 단계 (S220) 에서 영상 필터에 기초하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상이 분류될 수 있다.
한편, 적어도 하나의 영상 상태가 분류되는 단계 (S220) 를 통해 분류된 정지 의료 영상은 반사광 영역의 주변 조직 영역을 포함하고, 반사광 영역이 제외된 의료 동영상은 공백 영역을 포함할 수도 있다. 이에, 합성 영상이 생성되는 단계 (S230) 에서 반사광 영역이 제외된 의료 동영상의 공백 영역에 주변 조직 영역이 합성될 수도 있다.
예를 들어, 도 4a를 참조하면, 의료 동영상을 수신하는 단계 (S210) 에서 수신된 내시경 영상과 같은 의료 동영상 (510) 은 반사광 영역 (512) 을 포함할 수 있다. 그 다음, 적어도 하나의 영상 상태가 분류되는 단계 (S220) 에서 의료 동영상 (510) 이 영상 분류 모델 (520) 에 입력되고, 영상의 상태에 따라 의료 영상이 분류될 수 있다. 이때, 영상 분류 모델 (520) 은 의료 동영상을 통과시키도록 구성된 동영상 필터 (522), 반사광을 통과시키도록 구성된 백색광 필터 (524), 및 정지 의료 영상을 통과시키도록 구성된 정지 영상 필터 (526) 로 구성될 수 있다.
이에, 동영상 필터 (522) 를 통과한 반사광 영역을 제외한 의료 동영상 (532) 이 획득되고, 백색광 필터 (524) 를 통과한 백색광 영역 (534) 이 획득되고, 정지 영상 필터 (526) 를 통과한 정지 의료 영상 (536) 이 획득될 수 있다. 이때, 반사광 영역을 제외한 의료 동영상 (532) 은 반사광 영역을 포함하지 않는 RGB 칼라 영상일 수 있고, 정지 의료 영상 (536) 의료 동영상 (510) 에 대한 스틸 컷 (또는, 일부 프레임) 과 같은 정지된 상태의 영상일 수 있다.
즉, 적어도 하나의 영상 상태가 분류되는 단계 (S220) 의 결과로, 복수의 필터 기반의 영상 분류 모델 (520) 에 의해 반사광 영역 (512) 이 분류될 수 있다. 이때 분류된 반사광 영역 (534) 는 폐기부 (5342) 에 저장될 수 있다.
계속해서 도 4a를 참조하면, 합성 영상이 생성되는 단계 (S230) 에서 반사광 영역을 제외한 의료 동영상 (532) 및 정지 의료 영상 (536) 이 결합한, 즉 반사광 영역 (512) 이 제거된, 합성 영상 (542) 이 생성될 수 있다.
이때 합성 영상 (542) 은 반사광 영역을 제외한 의료 동영상 (532) 의 공백 영역 (또는, 반사광 제외 영역) 에 정지 의료 영상 (536) 의 특정 영역 (예를 들어, 병변 영역 또는 주변 조직 영역) 이 반영되어 하나의 의료 영상으로 결합된 영상일 수 있다.
즉, 합성 영상이 제공되는 단계 (S240) 에서, 반사광 영역 (512) 이 제거된 합성 영상 (542) 이 의료진 디바이스 (미도시) 에 제공될 수 있다.
다시, 도 2를 참조하면, 선택 가능하게, 합성 영상이 검증되고 (S250), 검증 모델에 의해 추천 영상이 생성되며 (S260), 생성된 추천 영상이 제공된다 (S270).
보다 구체적으로, 합성 영상이 검증되는 단계 (S250) 에서 ROI (region of interest) 가 미리 분류된 학습용 의료 영상 기반의 데이터베이스가 구축된 검증 모델에 의해 검증이 수행될 수 있다.
본 발명의 특징에 따르면, 합성 영상이 검증되는 단계 (S250) 에서 데이터베이스 내의 학습용 의료 영상과 합성 영상이 비교됨으로써 합성 영상에 대한 검증이 수행될 수 있다.
본 발명의 다른 특징에 따르면, 검증 모델이, 합성 영상보다 영상 수준이 향상된 의료 영상을 생성하도록, 학습용 의료 영상 및 합성 영상을 비교하는 단계와, 비교 결과에 기초하여, 추천 의료 영상을 생성하는 단계가 반복 수행될 수도 있다.
예를 들어, 도 4b를 함께 참조하면, 합성 영상이 검증되는 단계 (S250) 에서 검증 모델 (550) 에 합성 영상 (542) 이 입력될 수 있다. 그 다음, 추천 영상이 생성되는 단계 (S260) 에서, ROI가 미리 분류된 학습용 의료 영상 기반의 데이터베이스 (552) 와 합성 영상 (542) 이 비교됨으로써 추천 의료 영상 (562) 이 생성 (또는 출력) 될 수 있다. 이때, 추천 의료 영상 (562) 은 합성 영상 (542) 보다 영상의 퀄리티 (예를 들어, 병변의 형태의 명확성, 병변 색상의 명확성, 영상의 해상도) 가 향상된 의료 영상일 수 있다. 이에, 생성된 추천 영상이 제공되는 단계 (S270) 에서 병변의 정확한 예측에 기여할 수 있는 추천 의료 영상 (562) 이 제공될 수 있다.
한편, 검증 모델 (550) 은, 합성 영상 (542) 보다 영상 수준이 향상된 의료 영상을 생성하도록, 생성된 추천 의료 영상 (562) 을 재입력 받아 새로운 추천 의료 영상을 생성하도록 학습될 수 있다. 이에, 검증 모델 (550) 은 병변 분류에 최적화된 의료 동영상을 제공할 수 있다.
다시, 도 2를 참조하면, 추천 영상이 생성되는 단계 (S260) 이후에 병변을 분류하는 단계 (미도시) 가 더욱 수행될 수 있다.
예를 들어, 도 4c를 참조하면, 병변 영역 (564) 이 포함된 추천 의료 영상 (562) 은, 병변을 분류하는 단계에서, 병변 분류 모델 (570) 에 입력된다. 그 다음, 병변 분류 모델 (570) 에 의해 '용종'과 같은 분류 결과 (572) 가 출력될 수 있다.
즉, 이와 같은 영상 분류 모델, 검증 모델, 나아가 병변 분류 모델 기반의 반사광 제거용 장치를 통해, 의료진은 병변 부위에 대한 객관적인 분석을 수행할 수 있어 병변에 대한 정확한 진단이 가능할 수 있다.
한편, 본 발명의 다양한 실시예에 따른, 영상 분류 모델, 검증 모델, 영상 분류 모델은, Resnet50, Resnet-v2, Resnet101, Inception-v3, 또는 VGG net, R, DenseNet 및, 인코더-디코더 (encoder-decoder) 구조를 갖는 FCN, SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수도 있다.
이하에서는, 도 5를 참조하여 본 발명의 다양한 실시예에 이용되는 영상 분류 모델의 성능에 대하여 설명한다. 도 5는 본 발명의 다양한 실시예에 이용되는 영상 분류 모델에 의해 반사광이 제거된 의료 영상을 도시한 것이다.
보다 구체적으로, 도 5의 (a)를 참조하면, 의료 동영상, 특히 내시경 의료 동영상은 보조 조명 장치에 의해 조직으로부터 빛이 반사된 반사광을 포함할 수 있다. 의료진은 이러한 반사광으로 인해 진단 시야가 좁아져, 병변을 신속하고 정확하게 관찰하는데 어려움을 겪을 수 있다.
한편, 도 5의 (b)를 참조하면, 본 발명의 다양한 실시예에 이용되는 영상 분류 모델에 의해 조직 내의 반사광이 제거된 것으로 나타난다.
즉, 본 발명은, 내시경 영상과 같은 의료 동영상 수신과 동시에 반사광과 같은 이미지 내 아티팩트 (artifact) 를 제거할 수 있어, 실시간으로 퀄리티가 향상된 의료 영상을 제공할 수 있다. 이에, 의료진의 신속하고 정확한 처치가 가능해짐으로써 본 발명은 개체의 긍정적 예후에 기여할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 의료 영상에 대한 반사광 제거용 장치
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 장치
220: 표시부
300: 의료 영상 제공용 장치
410, 510: 의료 동영상
412a, 412b, 412c, 412d, 512: 반사광 영역
520: 영상 분류 모델
522: 동영상 필터
524: 반사광 필터
526: 정지 영상 필터
532: 반사광 영역을 제외한 의료 동영상
534: 반사광 영역
5342: 폐기부
536: 정지 의료 영상
542: 합성 영상
550: 검증 모델
552: 데이터베이스
562: 추천 의료 영상
564: 병변 영역
570: 병변 분류 모델
572: 분류 결과

Claims (12)

  1. 프로세서에 의해 구현되는 반사광 제거 방법으로,
    개체의 표적 부위를 포함하는 의료 동영상을 수신하는 단계;
    의료 동영상을 입력으로 하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상 중 적어도 하나의 영상 상태를 분류하도록 구성된 영상 분류 모델을 이용하여, 수신된 상기 의료 동영상을 기초로 상기 적어도 하나의 영상 상태를 분류하는 단계;
    분류된 상기 영상 상태에 기초하여 반사광이 제거된 합성 영상을 생성하는 단계; 및 상기 합성 영상을 생성하는 단계 이후에,
    상기 합성 영상을 검증하는 단계를 더 포함하고,
    상기 검증하는 단계는,
    ROI (region of interest) 가 미리 분류된 학습용 의료 영상 기반의 데이터베이스가 구축된 검증 모델을 이용하여 상기 합성 영상을 검증하는 단계를 포함하는, 반사광 제거 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 영상 상태를 분류하는 단계는,
    상기 영상 분류 모델을 이용하여 상기 반사광 영역, 상기 반사광 영역을 제외한 의료 동영상 및 상기 정지 의료 영상을 분류하는 단계를 포함하고,
    상기 합성 영상을 생성하는 단계는,
    상기 합성 영상을 획득하도록, 반사광 영역을 제외한 의료 동영상 및 상기 정지 의료 영상을 단일의 영상으로 합성하는 단계를 포함하는, 반사광 제거 방법.
  3. 제2항에 있어서,
    상기 영상 분류 모델은,
    의료 동영상을 통과시키도록 구성된 동영상 필터, 반사광을 통과시키도록 구성된 백색광 필터, 및 정지 의료 영상을 통과시키도록 구성된 정지 영상 필터의 영상 필터를 포함하고,
    상기 적어도 하나의 영상 상태를 분류하는 단계는,
    상기 영상 필터에 기초하여 상기 반사광 영역, 상기 반사광 영역을 제외한 의료 동영상 및 상기 정지 의료 영상을 분류하는 단계를 포함하는, 반사광 제거 방법.
  4. 제2항에 있어서,
    상기 정지 의료 영상은, 반사광 영역의 주변 조직 영역을 포함하고,
    상기 반사광 영역을 제외한 의료 동영상은, 공백 영역을 포함하고,
    상기 합성 영상을 생성하는 단계는,
    상기 합성 영상을 획득하도록, 상기 공백 영역에 상기 주변 조직 영역을 합성하는 단계를 포함하는, 반사광 제거 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 검증 모델을 이용하여 상기 합성 영상을 검증하는 단계는,
    상기 데이터베이스 내의 상기 학습용 의료 영상 및 상기 합성 영상을 비교하는 단계를 포함하고,
    상기 검증하는 단계 이후에,
    상기 검증 모델을 이용하여, 비교 결과에 기초하여, 추천 의료 영상을 생성하는 단계를 더 포함하는, 반사광 제거 방법.
  8. 제7항에 있어서,
    상기 검증 모델이, 상기 합성 영상보다 영상 수준이 향상된 의료 영상을 생성하도록,
    상기 학습용 의료 영상 및 상기 합성 영상을 비교하는 단계, 및
    상기 비교 결과에 기초하여, 추천 의료 영상을 생성하는 단계를 반복 수행하는 단계를 더 포함하는, 반사광 제거 방법.
  9. 제1항에 있어서,
    상기 의료 동영상은,
    내시경 동영상인, 반사광 제거 방법.
  10. 제1항에 있어서,
    상기 합성 영상을 생성하는 단계 이후에,
    상기 합성 영상을 제공하는 단계를 더 포함하는, 반사광 제거 방법.
  11. 제1항에 있어서,
    상기 합성 영상을 생성하는 단계 이후에,
    의료 영상을 입력으로 하여 병변을 분류하도록 구성된 병변 분류 모델을 이용하여, 상기 합성 영상 내에서 병변을 분류하는 단계를 더 포함하는, 반사광 제거 방법.
  12. 개체의 표적 부위를 포함하는 의료 동영상을 수신하도록 구성된 통신부, 및
    상기 통신부와 통신하도록 구성된 프로세서를 포함하고,
    상기 프로세서는, 의료 동영상을 입력으로 하여 반사광 영역, 반사광 영역을 제외한 의료 동영상 및 정지 의료 영상 중 적어도 하나의 영상 상태를 분류하도록 구성된 영상 분류 모델을 이용하여, 수신된 상기 의료 동영상을 기초로 상기 적어도 하나의 영상 상태를 분류하고,
    분류된 상기 영상 상태에 기초하여 반사광이 제거된 합성 영상을 생성하도록 구성되며,
    ROI (region of interest) 가 미리 분류된 학습용 의료 영상 기반의 데이터베이스가 구축된 검증 모델을 이용하여 상기 합성 영상을 검증하도록 더 구성되는, 반사광 제거용 장치.
KR1020210101138A 2021-08-02 2021-08-02 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치 KR102517232B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210101138A KR102517232B1 (ko) 2021-08-02 2021-08-02 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210101138A KR102517232B1 (ko) 2021-08-02 2021-08-02 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20230019527A KR20230019527A (ko) 2023-02-09
KR102517232B1 true KR102517232B1 (ko) 2023-03-31

Family

ID=85224568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210101138A KR102517232B1 (ko) 2021-08-02 2021-08-02 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR102517232B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011136150A (ja) * 2009-12-31 2011-07-14 National Yunlin Univ Of Science & Technology 内視鏡ナビゲーション方法、及び、内視鏡ナビゲーションシステム
JP2020054444A (ja) * 2018-09-28 2020-04-09 株式会社Ｎｔｔドコモ 口腔癌診断システム及び口腔癌診断プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011136150A (ja) * 2009-12-31 2011-07-14 National Yunlin Univ Of Science & Technology 内視鏡ナビゲーション方法、及び、内視鏡ナビゲーションシステム
JP2020054444A (ja) * 2018-09-28 2020-04-09 株式会社Ｎｔｔドコモ 口腔癌診断システム及び口腔癌診断プログラム

Also Published As

Publication number Publication date
KR20230019527A (ko) 2023-02-09

Similar Documents

Publication Publication Date Title
JP2020064609A (ja) 患者固有の深層学習画像ノイズ除去方法およびシステム
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
JP2024045234A (ja) 腸の病理学のための画像スコアリング
US20120166211A1 (en) Method and apparatus for aiding imaging diagnosis using medical image, and image diagnosis aiding system for performing the method
JP7258354B2 (ja) 生体組織内の異常を検出するための方法及びシステム
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
Seok et al. The semantic segmentation approach for normal and pathologic tympanic membrane using deep learning
JP6843785B2 (ja) 診断支援システム、診断支援方法、及びプログラム
JP2006325640A (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP2006340835A (ja) 異常陰影候補の表示方法及び医用画像処理システム
KR102517232B1 (ko) 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치
Ciaccio et al. Recommendations to quantify villous atrophy in video capsule endoscopy images of celiac disease patients
Hicks et al. Visual explanations for polyp detection: How medical doctors assess intrinsic versus extrinsic explanations
JP2006334140A (ja) 異常陰影候補の表示方法及び医用画像処理システム
US20220245797A1 (en) Information processing apparatus, information processing method, and information processing program
JP7265805B2 (ja) 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体
Phillips et al. Video capsule endoscopy: pushing the boundaries with software technology
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
JP2023540579A (ja) ポリープの画像を識別するためのシステム及び方法
Al-Utaibi et al. Neural networks to understand the physics of oncological medical imaging
US20230351592A1 (en) Clinical decision support system having a multi-ordered hierarchy of classification modules
US20240013375A1 (en) Systems and methods for polyp size estimation
US11587232B1 (en) Systems and methods for preventing errors in medical imaging
US20230401700A1 (en) Systems and methods for identifying images containing indicators of a celiac-like disease
KR102632864B1 (ko) 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant