KR102272978B1 - 임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 - Google Patents

임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR102272978B1
KR102272978B1 KR1020170157058A KR20170157058A KR102272978B1 KR 102272978 B1 KR102272978 B1 KR 102272978B1 KR 1020170157058 A KR1020170157058 A KR 1020170157058A KR 20170157058 A KR20170157058 A KR 20170157058A KR 102272978 B1 KR102272978 B1 KR 102272978B1
Authority
KR
South Korea
Prior art keywords
image
angle
view mask
view
mask
Prior art date
Application number
KR1020170157058A
Other languages
English (en)
Other versions
KR20190059442A (ko
Inventor
강동구
배영민
조형래
진승오
신기영
장민혜
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020170157058A priority Critical patent/KR102272978B1/ko
Publication of KR20190059442A publication Critical patent/KR20190059442A/ko
Application granted granted Critical
Publication of KR102272978B1 publication Critical patent/KR102272978B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

내시경 영상의 레티넥스 영상 처리 시스템은, 영상 분리부, 조명 처리부, 영상 합성부, 화각 마스크 검출부, 및 영상 개선부를 포함한다. 영상 분리부는 입력 영상을 분리하여 입력 영상의 각 픽셀에 대응하여 반사성분에 대한 반사맵(Reflectance Map)과 조명 성분에 대한 조명맵(Illumination Map)을 각각 산출하고, 조명 처리부는 조명맵에서의 조명 밝기를 변형하고, 영상 합성부는 처리된 반사맵과 조명맵의 합성 영상을 산출하고, 화각 마스크 검출부는 입력 영상 중 화각(Field Of View; FOV) 영역인 화각 마스크(FOV MASK)를 검출하며, 영상 개선부는 검출된 화각 마스크를 이용하여 미리 설정된 영상 개선 처리를 수행한다. 이와 같은 구성에 의하면, 입력되는 내시경 영상에서 화각 마스크를 검출하고 이를 이용하여 영상 개선 처리를 수행함으로써, 내시경 영상의 Retinex 영상 처리시, 화각이 가변적인 상황에서도 안정적이고 일관된 Retinex 영상 처리를 수행할 수 있게 된다.

Description

임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 {SYSTEM AND METHOD FOR RETINEX PROCESSING OF ENCOSCOPIC IMAGES WITH VARIABLE FIELD-OF-VIEW, AND A RECORDING MEDIUM HAVING COMPUTER READABLE PROGRAM FOR EXECUTING THE METHOD}
본 발명은 영상 처리 시스템, 및 방법에 관한 것으로서, 더욱 상세하게는 내시경 영상을 처리하기 위한 시스템, 및 방법에 관한 것이다.
디지털 카메라의 눈이라고 할 수 있는 이미지 센서는 해상도(Resolution)와 Dynamic Range의 제약을 가지고 있다. 이미지 센서의 해상도는 단위 면적당 화소(Pixel)의 개수로 표현할 수 있으며 영상에 포함된 휘도(Luminance)와 색채(Chroma) 정보의 양을 의미한다.
반도체 기술의 발달로 인하여 고집적화가 가능해지면서 이미지 센서도 동일 면적에 보다 많은 화소가 집적되고 있지만 한 화소당 빛을 받는 면적이 감소하여 노이즈가 증가하는 문제가 부수적으로 발생하고 있어 이를 개선하기 위한 노력이 진행되고 있다.
이미지 센서의 Dynamic Range는 센서가 반응하는 빛의 밝기의 분포 정도를 나타낸다. 인간의 눈이 인지하는 실제 입력 영상의 Dynamic Range보다 이미지 센서가 반응하는 Dynamic Range가 좁기 때문에 정보의 손실을 가져오게 되며 그로 인하여 눈으로 보는 영상과 디지털 카메라로 촬영한 영상이 다르게 보이는 원인이 된다. 한편, 모니터 디스플레이 디바이스의 Dynamic Range 역시 제한적이기 때문에 이에 따른 정보 손실도 발생한다.
이러한 디지털 영상의 표현의 한계를 극복하기 위한 명암 재현 방법으로 인간의 시각에 관한 모델을 정의한 레티넥스(Retinex) 이론을 바탕으로 설계된 Retinex 알고리즘은 다른 화질 개선방법에 비해 contrast 향상과 컬러 재현 성능이 우수하다고 알려져 있다.
Retinex 영상처리는, 입력 영상의 반사성분(reflectance) 및 조명성분(illumination)으로 나누어(decompose) 조명성분을 제거 또는 변형하여, 두 성분을 합성함으로써 보다 균일한 조명상태의 영상을 얻어내는 일종의 dynamic range compression을 위한 영상처리 기법이다. 이때, 입력영상은 정지영상, 동영상, 또는 실시간 스트림 영상이 될 수 있다.
보다 구체적으로 일반적인 Retinex 처리기법은 다음과 같이 구성된다. 도 1은 종래 Retinex 영상 처리 시스템의 개략적인 블록도이다. 도 1에서 Retinex 영상처리 시스템(10)은 영상분리부(11), Illumination 처리부(12), Reflectance 처리부(13), 및 영상합성부(14)를 포함한다.
영상분리부(11)는 입력영상을 분리(decomposition)하여 각 픽셀에 대한 반사성분인 Reflectance 와 조명성분인 Illumination 값을 계산하여 Reflectance Map과 Illumination Map을 메모리에 저장한다.
Illumination 처리부(12)는 분리된 Illumination Map은 조명 밝기와 연관된 Map으로서 Uniform Illumination Map에 가깝도록 처리한다. 이를 위해 Illumination map에 감마보정을 시행하거나 유사한 보정커브를 이용하여 조명 밝기를 변형한다.
Reflectance 처리부(13)는 Illumination Map과 달리 아무 처리를 하지 않거나, 컬러를 보정하는 처리를 수행하고, 영상합성부(14)는 처리된 Reflectance Map과 Illumination Map을 곱하여 합성된 영상을 계산한다.
이와 같이, Retinex 영상 처리 시스템에서는, Illumination 처리부(12)에서 조명성분의 밝기를 조정하기 위해 감마보정커브를 사용한다. 이때, 감마보정커브는 영상의 통계적 특성(밝기의 평균값, 분산/표준편차, 히스토그램 등)에 따라 가변된다.
그런데 기존 방식에서는 감마보정커브 사용시 영상 전체의 픽셀 정보를 사용하여 FOV(Field Of View)가 아닌 부분의 통계적 특성도 함께 반영되므로, 왜곡된 감마보정커브가 선택될 수가 있으며, 이에 따라 FOV의 크기가 변할 경우 레티넥스 영상처리의 강도가 변하여 일관되지 않은 화질을 제공할 수 있다.
또한, Retinex 처리는 Image enhancement 기법의 일종으로서 어두운 영역을 밝게 해주는 특징이 있기 때문에, 이 경우 FOV가 아닌 영역의 노이즈가 증폭되는 문제점이 발생한다. 도 2 내지 도 4는 서로 다른 FOV에 따라 달라지는 동일 부위의 내시경 영상들이다.
이러한 문제점은 내시경 영상을 Retinex 영상 처리 시스템을 이용하여 처리하게 되는 경우 더욱 심각해 지는데, 내시경 영상에서는 급격한 화각의 변화가 빈번하고, 이로 인해 발생하는 노이즈 변화에 의해 고도의 집중을 필요로 하는 내시경 사용자의 작업 수행에 장애를 초래할 수 있게 때문이다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 내시경 영상의 Retinex 영상 처리시, 화각이 가변적인 상황에서도 안정적으로 Retinex 영상 처리를 수행할 수 있도록 해주는 영상 처리 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에 따른 내시경 영상의 레티넥스 영상 처리 시스템은, 영상 분리부, 조명 처리부, 영상 합성부, 화각 마스크 검출부, 및 영상 개선부를 포함한다.
영상 분리부는 입력 영상을 분리하여 입력 영상의 각 픽셀에 대응하여 반사성분에 대한 반사맵(Reflectance Map)과 조명 성분에 대한 조명맵(Illumination Map)을 각각 산출하고, 조명 처리부는 조명맵에서의 조명 밝기를 변형하고, 영상 합성부는 처리된 반사맵과 조명맵의 합성 영상을 산출하고, 화각 마스크 검출부는 입력 영상 중 화각(Field Of View; FOV) 영역인 화각 마스크(FOV MASK)를 검출하며, 영상 개선부는 검출된 화각 마스크를 이용하여 미리 설정된 영상 개선 처리를 수행한다.
이와 같은 구성에 의하면, 입력되는 내시경 영상에서 화각 마스크를 검출하고 이를 이용하여 영상 개선 처리를 수행함으로써, 내시경 영상의 Retinex 영상 처리시, 화각이 가변적인 상황에서도 안정적으로 Retinex 영상 처리를 수행할 수 있게 된다.
이때, 영상 개선부는 합성 영상 중 화각 마스크 이외 영역의 픽셀값을 상수로 설정할 수 있다. 이와 같은 구성에 의하면, FOV가 아닌 부분의 영상을 zero 또는 다른 상수(non-zero constant value)로 대체함으로써 영상에 보이는 노이즈를 제거할 수 있게 된다.
또한, 영상 개선부는 합성 영상 중 화각 마스크 이외 영역에 대한 노이즈 처리의 강도를 화각 마스크 영역보다 강화할 수 있다.
또한, 영상 개선부는 합성 영상 중 화각 마스크 영역만의 화소 정보를 이용하여 영상 개선 처리를 수행할 수 있다.
또한, 영상 개선부는 입력 영상 중 화각 마스크 영역에 대한 영상 통계 정보를 조명 처리부로 제공할 수 있다. 이와 같은 구성에 의하면, 조명 처리부에서 FOV가 아닌 부분의 영상 정보를 배제하고 FOV에 해당하는 영상의 통계적 특성을 계산하여 적절한 감마보정커브를 선택할 수 있으므로 화각이 가변적인 상황에서도 안정적으로 레티넥스 영상 개선 처리를 수행할 수 있게 된다.
또한, 화각 마스크 검출부는 조명맵으로부터 화각 마스크(FOV MASK)를 검출할 수 있다. 이와 같은 구성에 의하면, 조명맵은 입력 영상(RGB 3채널 영상)에 비해 채널 수가 작기 때문에 화각 마스크 검출을 위한 계산량을 줄일 수 있게 되어 실시간 처리에 유용하다.
또한, 영상 개선부는 입력 영상의 이전 프레임으로부터 검출된 화각 마스크를 이용하여 영상 개선 처리를 수행할 수 있다. 이와 같은 구성에 의하면, 현재 프레임의 픽셀 정보를 이용하여 화각 마스크를 검출함으로써 발생할 수 있는 지연 시간을 방지할 수 있게 된다.
또한, 화각 마스크 검출부는 입력 영상 중 화각 마스크 영역에 대한 영상 통계 정보를 반사 처리부 및 영상 합성부로 제공할 수 있다. 이와 같은 구성에 의하면, FOV 마스크 정보를 참조하여 FOV 영역에 대해서만 연산을 수행하여 계산량을 저감할 수 있게 된다.
또한, 화각 마스크 검출부는 입력 영상 중 화각 마스크 이외의 영역에서의 영상 변화가 미리 설정된 기준 이상인 경우 화각 마스크를 재검출할 수 있다. 이와 같은 구성에 의하면, FOV 마스크를 매 프레임마다 계산할 필요가 없어져 연산량을 크게 줄일 수 있게 된다.
또한, 화각 마스크 검출부는 미리 설정된 형태의 화각 마스크 모델을 미리 설정된 기준으로 입력 영상과 비교하여 가장 적합한 화각 마스크를 검출할 수 있다.
또한, 화각 마스크 검출부는 입력 영상의 픽셀 중 특성이 미리 설정된 노이즈 기준에 해당하는 픽셀들의 영역에 대해 화각 마스크를 검출할 수 있다.
또한, 화각 마스크 검출부는 화각 마스크 영역이 이미 설정된 복수의 입력영상으로부터 기계 학습(machine learning)된 정보를 이용하여 화각 마스크를 검출할 수 있다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.
본 발명에 의하면, 입력되는 내시경 영상에서 화각 마스크를 검출하고 이를 이용하여 영상 개선 처리를 수행함으로써, 내시경 영상의 Retinex 영상 처리시, 화각이 가변적인 상황에서도 안정적으로 Retinex 영상 처리를 수행할 수 있게 된다.
또한, FOV가 아닌 부분의 영상을 zero 또는 다른 constant value로 대체함으로써 영상에 보이는 노이즈를 제거할 수 있게 된다.
또한, 조명 처리부에서 FOV가 아닌 부분의 영상 정보를 배제하고 영상의 통계적 특성을 계산하여 적절한 감마보정커브를 선택할 수 있으므로 화각이 가변적인 상황에서도 안정적으로 레티넥스 영상 개선 처리를 수행할 수 있게 된다.
또한, FOV를 검출하기 위한 입력영상으로서의 조명맵은 입력 영상에 비해 채널 수가 작기 때문에 화각 마스크 검출을 위한 계산량을 줄일 수 있게 된다.
또한, 이전 프레임의 픽셀 정보를 이용하여 이미 검출된 화각 마스크를 현재 프레임의 레티넥스 영상처리에 사용함으로써 발생할 수 있는 지연 시간을 방지할 수 있게 된다.
또한, FOV 마스크 정보를 참조하여 FOV 영역에 대해서만 영상처리 연산을 수행하여 계산량을 저감할 수 있게 된다.
또한, 내시경의 FOV 마스크가 실시간으로 항상 변하지 않는다는 특성을 이용하여, FOV 마스크를 매 프레임마다 계산하지 않고 FOV가 변하는 경우에만 계산하도록 함으로써 연산량을 크게 줄일 수 있게 된다.
도 1은 종래 Retinex 영상 처리 시스템의 개략적인 블록도.
도 2 내지 도 4는 서로 다른 FOV에 따라 달라지는 동일 부위의 내시경 영상들.
도 5는 본 발명의 일 실시예에 따른 내시경 영상의 레티넥스 영상 처리 시스템의 개략적인 블록도.
도 6은 화가 마스크 검출부에서 수행되는 FOV 마스크 업데이트 방법 일 예의 개략적인 블록도.
도 7은 화각 마스크 검출부가 조명맵으로부터 화각 마스크를 검출하는 예가 도시된 도면.
도 8은 화각 마스크 검출부가 화각 마스크 영역에 대한 정보를 반사 처리부와 영상 합성부로 제공하는 예가 도시된 도면.
도 9는 영상 개선부가 FOV 마스크 검출부를 통해 검출한 정보를 조명 처리부로 전달하는 구성이 도시된 도면.
도 10은 영상 개선부가 영상 입력의 이전 프레임으로부터 검출된 화각 마스크를 이용하여 영상 개선 처리를 수행하는 예가 도시된 도면.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 5는 본 발명의 일 실시예에 따른 내시경 영상의 레티넥스 영상 처리 시스템의 개략적인 블록도이다. 도 5에서, 입력영상(RGB) 값으로부터 FOV를 추출하여 Retinex와 결합하는 예가 도시되어 있다.
도 5에서, 임의 화각을 갖는 내시경 영상의 레티넥스 영상 처리 시스템(100)은, 영상 분리부(110), 조명 처리부(120), 반사 처리부(130), 영상 합성부(140), 화각 마스크 검출부(150), 및 영상 개선부(160)를 포함한다.
또한, 화각 마스크 검출부(150)는 FOV MASK 검출부, 영상 개선부(160)는 후처리부(150)로 각각 구현되어 있다. 이때, MFOV_c는 현재 프레임에 대한 FOV 마스크를 의미한다.
도 5에서 영상 처리 시스템(100)의 구성 요소들은 하드웨어(예를 들면, FPGA 회로)만으로도 구현할 수 있겠으나, 하드웨어(예, GPU) 및 하드웨어상에서 동작하는 소프트웨어(예, OpenGL, OpenCL, CUDA 등의 병렬처리 소프트웨어) 로 함께 구현하는 것이 보다 일반적일 것이다.
영상 분리부(110)는 입력 영상을 분리하여 입력 영상의 각 픽셀에 대응하여 반사성분에 대한 반사맵(Reflectance Map)과 조명 성분에 대한 조명맵(Illumination Map)을 각각 산출하고, 조명 처리부(120)는 조명맵에서의 조명 밝기를 변형하고, Reflectance 처리부(130)는 Illumination Map과 달리 아무 처리를 하지 않거나, 컬러를 보정하는 처리를 수행하고(140), 영상 합성부는 처리된 반사맵과 조명맵의 합성 영상을 산출한다.
화각 마스크 검출부(150)는 입력 영상 중 화각(Field Of View; FOV) 영역인 화각 마스크(FOV MASK)를 검출한다. 이를 위해, 또한, 화각 마스크 검출부(150)는 미리 설정된 형태의 화각 마스크 모델을 입력 영상과 비교하여 화각 마스크를 검출할 수 있다. 예를 들어, Active Circle 또는 Active Ellipse Model을 이용하여 이미지에 Fitting할 수 있다.
또한, 화각 마스크 검출부(150)는 입력 영상의 픽셀 중 특성이 미리 설정된 노이즈 기준에 해당하는 픽셀들의 영역에 대해 화각 마스크를 검출할 수 있다. 예를 들어, Pixel 마다 Temporal Statistics(평균값과 분산(또는 표준편차))를 계산하여 변화 정도가 노이즈 레벨에 가까우면 MFOV(x,y)=0으로 설정하고, 그렇지 않으면 MFOV(x,y)=1로 설정할 수 있다.
또한, 화각 마스크 검출부(150)는 화각 마스크 영역이 이미 설정된 복수의 입력영상으로부터 학습된 정보를 이용하여 화각 마스크를 검출할 수 있다. 예를 들어, 다양한 FOV를 갖는 Training 이미지 데이터 셋을 저장하고, 각 픽셀별로 FOV Mask 인지 아닌지 기계학습을 적용할 수 있다(Classification). 이때, VGGNet, ResNet, DensNet 등 Deep Neural Network를 사용 가능하다.
이때, 화각 마스크 검출부(150)는 입력 영상 중 화각 마스크 이외(또는 내외)의 영역에서의 영상 변화가 미리 설정된 기준 이상인 경우 화각 마스크를 재검출할 수 있다. 예를 들어, 비FOV 영역의 변화가 급격히 일어날 때만 FOV 마스크를 검출하여 메모리를 업데이트할 수 있다.
도 6은 화가 마스크 검출부에서 수행되는 FOV 마스크 업데이트 방법 일 예의 개략적인 블록도이다. 도 6에서, 계산된 기준치가 미리 설정된 임계치보다 큰 경우에만 현재 프레임의 FOV 마스크를 계산하여 MFOV에 저장하는 예를 확인할 수 있다. 이와 같은 구성에 의하면, FOV 마스크를 매 프레임마다 계산할 필요가 없으므로 계산량을 크게 줄일 수 있게 된다.
또한, 화각 마스크 검출부(150)는 조명맵으로부터 화각 마스크(FOV MASK)를 검출할 수 있다. 도 7은 화각 마스크 검출부가 조명맵으로부터 화각 마스크를 검출하는 예가 도시된 도면이다.
도 7에는 Illuminance Map으로부터 FOV를 추출하여 Retinex와 결합하는 예가 도시되어 있다. 도 5와 비교할 때, FOV Mask 추출을 위한 입력으로 Illumination Map을 사용하는 것만 다른 것을 확인할 수 있다. Illumination Map은 1채널이므로, 이와 같은 구성에 의하면, 입력 RGB 3채널 영상을 이용하는 것에 비해 계산량을 대폭 저감할 수 있게 된다.
또한, 화각 마스크 검출부(150)는 입력 영상 중 화각 마스크 영역에 대한 영상 통계 정보를 반사 처리부(130) 및 영상 합성부(140)로 제공할 수 있다. 도 8은 화각 마스크 검출부가 화각 마스크 영역에 대한 정보를 반사 처리부와 영상 합성부로 제공하는 예가 도시된 도면이다.
도 5와 비교할 때, 도 8에서는 영상 개선부(160)뿐만 아니라, 반사 처리부(130) 및 영상 합성부(140)에도 제공하는 것을 확인할 수 있다. 이와 같은 구성에 의하면, 반사 처리부(130) 및 영상 합성부(140)에서도 FOV 마스크 정보를 참조하여 FOV 영역에 대해서만 연산을 수행하여 계산량을 저감할 수 있게 된다.
영상 개선부(160)는 검출된 화각 마스크를 이용하여 미리 설정된 영상 개선 처리를 수행한다. 이때, 영상 개선부(160)는 합성 영상 중 화각 마스크 이외 영역의 픽셀값을 상수로 설정하거나 합성 영상 중 화각 마스크 이외 영역에 대한 노이즈 처리를 화각 마스크 영역보다 강화할 수 있다. 예를 들어, FOV Mask가 0인 부분은 Zero 또는 constant value로 대체하거나, FOV Mask가 0인 부분은 1인 부분보다 더 강한 denoising 을 수행할 수 있다.
또한, 영상 개선부(160)는 합성 영상 중 화각 마스크 영역만의 화소 정보를 이용하여 영상 개선 처리를 수행할 수 있다. 예를 들어, histogram을 구하여 contrast enhancement를 수행하는 경우, FOV Mask가 0인 부분의 픽셀값은 무시하고 histogram을 계산할 수 있다.
또한, 영상 개선부(160)는 입력 영상 중 화각 마스크 영역에 대한 영상 통계 정보를 조명 처리부(120)로 제공할 수 있다. 도 9는 영상 개선부가 FOV 마스크 검출부를 통해 검출한 정보를 조명 처리부로 전달하는 구성이 도시된 도면이다.
도 9에서, 영상 개선부(160)는 영상통계 처리부로 구현되고, 영상 분리부(110), FOV 마스크 검출부(150)를 통해 획득한 정보를 조명 처리부(120)로 제공하는 예를 확인할 수 있다.
도 9에서, Illumination 처리부(120)에서는 픽셀별로 적정한 보정곡선(감마커브)을 결정할 수 있으며, 이때, 적정한 보정곡선을 결정하기 위하여 입력 프레임 영상의 통계적 특성(영상의 평균, 분산, 히스토그램 등)을 고려할 수 있다. 또한, 정확한 통계 계산을 위해, 입력 프레임 픽셀 중 FOV Mask 에 해당하는 부분의 통계적 특성만 계산할 수 있다.
이와 같은 구성에 의하면, 조명 처리부에서 FOV가 아닌 부분의 영상 정보를 배제하고 영상의 통계적 특성을 계산하여 적절한 감마보정커브를 선택할 수 있으므로 화각이 가변적인 상황에서도 안정적으로 영상의 특성에 알맞는 레티넥스 영상 개선 처리를 수행할 수 있게 된다.
또한, 영상 개선부(150)는 입력 영상의 이전 프레임으로부터 검출된 화각 마스크를 이용하여 영상 개선 처리를 수행할 수 있다. 도 10은 영상 개선부가 영상 입력의 이전 프레임으로부터 검출된 화각 마스크를 이용하여 영상 개선 처리를 수행하는 예가 도시된 도면이다.
도 10에서, 영상 개선부(160)는 영상통계 처리부(160-1)와 후처리부(160-2)로 함께 구현되어 있으며, 도 5와 도 9에서와는 달리, 도 10에서는 FOV Mask 검출부(150)가 MFOV_c 대신 이전 프레임 영상에 대해 계산된 FOV Mask를 각각 영상통계 처리부(160-1)와 후처리부(160-2)로 전달하는 것을 확인할 수 있다. 이때, 현재 프레임 영상에 대해서도 FOV Mask를 계산하고 메모리에 저장한다.
현재 프레임의 FOV mask를 검출하기 위해서는 현재 프레임의 모든 픽셀 정보를 획득한 후 검출 가능하며, 이에 따라 영상 개선에 최소 1frame의 지연시간(latency)이 발생할 수 있다. 이를 피하기 위해 이전 프레임의 FOV mask를 대체하여 사용하는 것이다. 이와 같은 구성에 의하면, 현재 프레임의 픽셀 정보를 이용하여 화각 마스크를 검출함으로써 발생할 수 있는 지연 시간을 방지할 수 있게 된다.
정리하자면, 본 발명은 FOV가 변하는 내시경 영상의 개선 처리를 위하여 FOV Mask 검출부를 구성요소로 갖는 Retinex 영상 처리 방법 및 장치이다. 이를 통해 입력영상 RGB 값으로부터 FOV Mask를 추출하여 Retinex의 Illumination 처리부의 감마보정커브를 선택하는데 이용하거나, 후처리부에서 FOV 이외 영역에 대한 노이즈를 효과적으로 제거하는데 사용할 수 있다.
본 발명의 일실시예로서 Illuminance Map으로부터 FOV Mask를 검출하여 Retinex와 결합함으로써 계산량을 저감할 수 있다. 또한, 또 다른 일실시예로서 현재 프레임의 FOV mask를 검출하기 위한 지연시간을 줄이기 위해 이전 프레임의 FOV mask를 사용할 수 있다. 또 다른 일 실시예로서 비FOV 영역의 변화가 급격히 일어날 때만 FOV mask를 검출하여 메모리를 업데이트함으로써 검출의 계산량을 크게 줄일 수 있다.
본 발명에 의하면, Illumination 처리부에서 FOV가 아닌 부분의 영상 정보를 배제하고 영상의 통계적 특성을 계산하여 적절한 감마보정커브를 선택할 수 있으므로, 화각이 가변적인 상황에서도 안정적으로 Retinex 영상 개선 처리를 수행할 수 있다.
또한, FOV가 아닌 부분의 영상을 zero 또는 constant value로 대체함으로써 영상에 보이는 노이즈를 제거할 수 있다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.
100: 임의 화각을 갖는 내시경 영상의 레티넥스 영상 처리 시스템
110: 영상 분리부
120: 조명 처리부
130: 반사 처리부
140: 영상 합성부
150: 화각 마스크 검출부
160: 영상 개선부(160-1: 영상통계 처리부, 160-2: 후처리부)

Claims (27)

  1. 입력 영상을 분리하여 상기 입력 영상의 각 픽셀에 대응하여 반사성분에 대한 반사맵과 조명 성분에 대한 조명맵을 각각 산출하는 영상 분리부;
    상기 조명맵에서의 조명 밝기를 변형하는 조명 처리부;
    상기 처리된 반사맵과 상기 조명맵의 합성 영상을 산출하는 영상 합성부;
    상기 입력 영상 중 화각 영역인 화각 마스크를 검출하는 화각 마스크 검출부; 및
    상기 검출된 화각 마스크를 이용하여 미리 설정된 영상 개선 처리를 수행하는 영상 개선부를 포함하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  2. 청구항 1에 있어서,
    상기 영상 개선부는 상기 합성 영상 중 상기 화각 마스크 이외 영역의 픽셀값을 상수로 설정하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  3. 청구항 1에 있어서,
    상기 영상 개선부는 상기 합성 영상 중 상기 화각 마스크 이외 영역에 대한 노이즈 처리를 상기 화각 마스크 영역보다 강화하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  4. 청구항 1에 있어서,
    상기 영상 개선부는 상기 합성 영상 중 상기 화각 마스크 영역만의 화소 정보를 이용하여 상기 영상 개선 처리를 수행하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  5. 청구항 1에 있어서,
    상기 영상 개선부는 상기 입력 영상 중 상기 화각 마스크 영역에 대한 영상 통계 정보를 상기 조명 처리부로 제공하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  6. 청구항 1에 있어서,
    상기 화각 마스크 검출부는 상기 조명맵으로부터 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  7. 청구항 1에 있어서,
    상기 영상 개선부는 상기 입력 영상의 이전 프레임으로부터 검출된 화각 마스크를 이용하여 상기 영상 개선 처리를 수행하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  8. 청구항 1에 있어서,
    상기 화각 마스크 검출부는 상기 입력 영상 중 상기 화각 마스크 영역에 대한 영상 통계 정보를 상기 반사맵에 대해 미리 설정된 처리를 수행하는 반사 처리부 또는 상기 영상 합성부로 제공하는 영상통계처리부를 더 포함하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  9. 청구항 1에 있어서,
    상기 화각 마스크 검출부는 상기 입력 영상 중 상기 화각 마스크 이외의 영역에서의 영상 변화가 미리 설정된 기준 이상인 경우 상기 화각 마스크를 재검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  10. 청구항 1에 있어서,
    상기 화각 마스크 검출부는 미리 설정된 형태의 화각 마스크 모델을 상기 입력 영상과 비교하여 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  11. 청구항 1에 있어서,
    상기 화각 마스크 검출부는 상기 입력 영상의 픽셀 중 특성이 미리 설정된 노이즈 기준에 해당하는 픽셀들의 영역에 대해 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  12. 청구항 1에 있어서,
    상기 화각 마스크 검출부는 화각 마스크 영역이 이미 설정된 복수의 입력영상으로부터 학습된 정보를 이용하여 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  13. 청구항 1에 있어서,
    상기 입력 영상은 정지 영상, 동영상, 실시간 스트리밍 동영상 중의 하나로 구성되는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 시스템.
  14. 레티넥스 영상 처리 시스템이 수행하는 영상 처리 방법으로서,
    입력 영상을 분리하여 상기 입력 영상의 각 픽셀에 대응하여 반사 성분에 대한 반사맵과 조명 성분에 대한 조명맵을 각각 산출하는 영상 분리 단계;
    상기 조명맵에서의 조명 밝기를 변형하는 조명 처리 단계;
    상기 처리된 반사맵과 상기 조명맵을 이용하여 합성 영상을 산출하는 영상 합성 단계;
    상기 입력 영상 중 화각 영역인 화각 마스크를 검출하는 화각 마스크 검출 단계; 및
    상기 검출된 화각 마스크를 이용하여 미리 설정된 영상 개선 처리를 수행하는 영상 개선 단계를 포함하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  15. 청구항 14에 있어서,
    상기 영상 개선 단계는 상기 합성 영상 중 상기 화각 마스크 이외 영역의 픽셀값을 상수로 설정하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  16. 청구항 14에 있어서,
    상기 영상 개선 단계는 상기 합성 영상 중 상기 화각 마스크 이외 영역에 대한 노이즈 처리를 상기 화각 마스크 영역보다 강화하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  17. 청구항 14 있어서,
    상기 영상 개선 단계는 상기 합성 영상 중 상기 화각 마스크 영역만의 화소 정보를 이용하여 상기 영상 개선 처리를 수행하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  18. 청구항 14에 있어서,
    상기 영상 개선 단계는 상기 입력 영상 중 상기 화각 마스크 영역에 대한 영상 통계 정보를 상기 조명 처리 단계로 제공하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  19. 청구항 14에 있어서,
    상기 화각 마스크 검출 단계는 상기 조명맵으로부터 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  20. 청구항 14에 있어서,
    상기 영상 개선 단계는 상기 입력 영상의 이전 프레임으로부터 검출된 화각 마스크를 이용하여 상기 영상 개선 처리를 수행하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  21. 청구항 14에 있어서,
    상기 영상 개선 단계는 상기 입력 영상 중 상기 화각 마스크 영역에 대한 영상 통계 정보를 상기 반사맵에 대해 미리 설정된 처리를 수행하는 반사 처리부 또는 상기 영상 합성 단계를 수행하는 영상 합성부로 제공하는 영상 통계 처리 단계를 포함하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  22. 청구항 14에 있어서,
    상기 화각 마스크 검출 단계는 상기 입력 영상 중 상기 화각 마스크 이외의 영역에서의 영상 변화가 미리 설정된 기준 이상인 경우 상기 화각 마스크(FOV MASK)를 재검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  23. 청구항 14에 있어서,
    상기 화각 마스크 검출 단계는 미리 설정된 형태의 화각 마스크 모델을 상기 입력 영상과 비교하여 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  24. 청구항 14에 있어서,
    상기 화각 마스크 검출 단계는 입력 영상의 픽셀 중 특성이 미리 설정된 노이즈 기준에 해당하는 픽셀들의 영역에 대해 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  25. 청구항 14에 있어서,
    상기 화각 마스크 검출 단계는 화각 마스크 영역이 이미 설정된 복수의 입력영상으로부터 학습된 정보를 이용하여 상기 화각 마스크를 검출하는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  26. 청구항 14에 있어서,
    상기 입력 영상은 정지영상, 동영상, 실시간 스트리밍 동영상 중의 하나로 구성되는 것을 특징으로 하는 내시경 영상의 레티넥스 영상 처리 방법.
  27. 청구항 14 내지 청구항 26 중 어느 한 청구항의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.

KR1020170157058A 2017-11-23 2017-11-23 임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 KR102272978B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170157058A KR102272978B1 (ko) 2017-11-23 2017-11-23 임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157058A KR102272978B1 (ko) 2017-11-23 2017-11-23 임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Publications (2)

Publication Number Publication Date
KR20190059442A KR20190059442A (ko) 2019-05-31
KR102272978B1 true KR102272978B1 (ko) 2021-07-02

Family

ID=66657306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157058A KR102272978B1 (ko) 2017-11-23 2017-11-23 임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Country Status (1)

Country Link
KR (1) KR102272978B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502429A (ja) 2014-01-10 2017-01-19 富士通株式会社 画像処理装置、電子機器及び方法
WO2017022324A1 (ja) 2015-08-05 2017-02-09 オリンパス株式会社 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991456A (en) 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502429A (ja) 2014-01-10 2017-01-19 富士通株式会社 画像処理装置、電子機器及び方法
WO2017022324A1 (ja) 2015-08-05 2017-02-09 オリンパス株式会社 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Also Published As

Publication number Publication date
KR20190059442A (ko) 2019-05-31

Similar Documents

Publication Publication Date Title
EP2987135B1 (en) Reference image selection for motion ghost filtering
EP0932114B1 (en) A method of and apparatus for detecting a face-like region
US7542600B2 (en) Video image quality
US20150063717A1 (en) System and method for spatio temporal video image enhancement
CN109325922B (zh) 一种图像自适应增强方法、装置及图像处理设备
US9041834B2 (en) Systems and methods for reducing noise in video streams
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
US10353433B2 (en) Image processing method and apparatus for curved display device
US8189947B2 (en) Image edge correction apparatus and method
US8780215B2 (en) Apparatus and method for processing an image to correct image distortion caused by a hand shake
KR20150024769A (ko) 촬상 장치 및 그 촬상 방법, 화상 처리 장치 및 그 화상 처리 방법, 및, 프로그램
EP3068122B1 (en) Image processing apparatus and image processing method
KR20160110019A (ko) 화상 생성 장치 및 화상 생성 방법
CN110136085B (zh) 一种图像的降噪方法及装置
KR102272978B1 (ko) 임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
EP4090006A2 (en) Image signal processing based on virtual superimposition
JP2015211325A (ja) パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置
JP2018093359A (ja) 画像処理装置、画像処理方法、およびプログラム
TWI485652B (zh) 影像處理裝置與方法
KR20170047444A (ko) 표시 장치 및 이를 포함하는 휘도 보정 시스템
CN107533757B (zh) 处理图像的装置和方法
JP2007266787A (ja) 雑音過大画素可用化処理を備えた撮像装置
WO2016111239A1 (ja) 映像処理装置、映像処理方法及びプログラム記録媒体
US20240155246A1 (en) A method and image capturing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant