KR20200076150A - 실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체 - Google Patents

실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체 Download PDF

Info

Publication number
KR20200076150A
KR20200076150A KR1020180164960A KR20180164960A KR20200076150A KR 20200076150 A KR20200076150 A KR 20200076150A KR 1020180164960 A KR1020180164960 A KR 1020180164960A KR 20180164960 A KR20180164960 A KR 20180164960A KR 20200076150 A KR20200076150 A KR 20200076150A
Authority
KR
South Korea
Prior art keywords
control parameter
image processing
image data
intensity level
light
Prior art date
Application number
KR1020180164960A
Other languages
English (en)
Inventor
강동구
배영민
신기영
진승오
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020180164960A priority Critical patent/KR20200076150A/ko
Publication of KR20200076150A publication Critical patent/KR20200076150A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Abstract

내시경 영상 처리 시스템은, 최대 강도 레벨 산출부, 제어 파라미터 산출부, 제어 파라미터 전달부, 및 영상 처리부를 포함한다. 최대 강도 레벨 산출부는 카메라에서 획득한 베이어(Bayer) 원본 이미지 데이터의 미리 설정된 이미지 데이터의 픽셀 중 픽셀에서의 광 강도에 따라 픽셀 수가 미리 설정된 비율로 구분되도록 하는 기준이 되는 광 강도인 최대 강도 레벨을 산출하고, 제어 파라미터 산출부는 산출된 최대 강도 레벨이 미리 설정된 기준 강도 레벨에 도달하도록 하는 제어 파라미터를 산출하고, 제어 파라미터 전달부는 산출된 제어 파라미터를 내시경 광원으로 전달하며, 영상 처리부는 베이어 원본 이미지 데이터의 영상 처리를 수행한다. 이와 같은 구성에 의하면, 내시경 영상의 밝기를 실시간으로 조절함으로써, 내시경 끝단과 인체 내부와의 상대 거리에 관계없이 일정한 광량으로 영상 촬영이 가능하게 되어, 보다 밝기가 균일하고 효과적인 내시경 영상을 제공할 수 있게 된다.

Description

실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체 {SYSTEM AND METHOD FOR ENDOSCOPE IMAGE PROCESSING CAPABLE OF REALTIME IMAGE BRIGHTNESS CONTROL}
본 발명은 내시경 시스템에 관한 것으로서, 더욱 상세하게는 내시경 영상을 처리하기 위한 영상 처리 시스템 및 방법에 관한 것이다.
내시경은 내장장기(內臟臟器) 또는 체강(體腔) 내부를 직접 볼 수 있게 만든 의료기구로서, 사용자에게 효과적인 영상을 제공하기 위해 영상을 획득하기 위한 장치와 함께 광을 조사하기 위한 장치를 포함한다.
일반적으로 사용자는 내시경의 끝단을 이동시키면서 다양한 부위의 영상을 취득하게 되는데, 이 경우 내시경 시스템으로부터 조사된 광이 조사 부위에서 반사되는 광량이 내시경 끝단과 조사 부위와의 상대 거리 등에 의해 급격히 변화되어, 내시경 영상 처리시 영상이 포화(Saturation)되거나 영상에 노이즈가 증가하여 균일하고 효과적인 영상을 제공하지 못하게 되는 경우가 발생한다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 내시경 영상의 밝기를 실시간으로 조절함으로써, 내시경 영상의 포화를 최소화하고 영상의 노이즈를 저감하여, 보다 균일하고 효과적인 내시경 영상을 제공할 수 있는 내시경 영상 처리 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 내시경 영상 처리 시스템은, 최대 강도 레벨 산출부, 제어 파라미터 산출부, 제어 파라미터 전달부, 및 영상 처리부를 포함한다.
최대 강도 레벨 산출부는 카메라에서 획득한 베이어(Bayer) 원본 이미지 데이터의 미리 설정된 이미지 데이터의 픽셀 중 픽셀에서의 광 강도에 따라 픽셀 수가 미리 설정된 비율로 구분되도록 하는 기준이 되는 광 강도인 최대 강도 레벨을 산출하고, 제어 파라미터 산출부는 산출된 최대 강도 레벨이 미리 설정된 기준 강도 레벨에 도달하도록 하는 제어 파라미터를 산출하고, 제어 파라미터 전달부는 산출된 제어 파라미터를 내시경 광원으로 전달하며, 영상 처리부는 베이어 원본 이미지 데이터의 영상 처리를 수행한다.
이와 같은 구성에 의하면, 내시경 영상의 밝기를 실시간으로 조절함으로써, 내시경 끝단과 인체 내부와의 상대 거리에 관계없이 보다 일정한 광량으로 영상 촬영이 가능하게 되어, 보다 균일하고 효과적인 내시경 영상을 제공할 수 있게 된다.
이때, 미리 설정된 이미지 데이터는 베이어 원본 이미지 데이터 중 일부 파장 영역에 대응하는 이미지 데이터일 수 있다. 이와 같은 구성에 의하면, 영상 처리 수행 이전의 베이어 원본 이미지 데이터를, 그것도 전체 데이터 중 일부 영역의 데이터만을 광량 조절에 이용함으로써, 광량 조절의 실시간성(시간당 처리능력과 지연시간 관점에서)을 더욱 증가시킬 수 있게 된다.
또한, 미리 설정된 이미지 데이터는. 베이어 원본 이미지 데이터 중 일부 공간 영역에 대응하는 이미지 데이터일 수 있다. 이와 같은 구성에 의하면, 중요성이 떨어지는 가장자리 영역 등의 일부 화면 영역에서의 광량의 포화로 인해 전체 영상이 어두워지는 것을 방지할 수 있게 된다.
또한, 픽셀에서의 광 강도를 최대 강도 레벨을 이용하여 정규화한 정규화값을 산출하는 정규화값 산출부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 실제 영상 처리를 위해 제공되는 이미지 데이터에서의 밝기의 최대값을 일정하게 유지함으로써 보다 효과적인 영상 처리의 수행이 가능해 진다.
또한, 정규화 산출부는 픽셀에서의 광 강도에 대응하여 미리 저장된 정규화값을 획득하여 산출할 수 있다. 이와 같은 구성에 의하면, 정규화 과정에서 필요한 연산 시간을 줄임으로써 광량 조절의 실시간성을 더욱 증가시킬 수 있게 된다.
또한, 기준 강도 레벨은 이미지 센서의 최대 광 감지 레벨보다 작게 설정될 수 있다. 이와 같은 구성에 의하면, 최대 강도 레벨이 높은 경우에도 포화 확률을 낮출 수 있게 된다.
또한, 제어 파라미터 산출부는 최대 강도 레벨이 미리 설정된 광 강도 이상인 경우 최대 강도 레벨을 기준 강도 레벨보다 작아지도록 제어 파라미터를 산출할 수 있다. 이와 같은 구성에 의하면, 획득된 영상이 갑자기 밝아져 최대 강도 레벨이 이미지 센서의 최대 광 감지 레벨을 초과하는 경우에도 빠르고 효과적으로 광량을 조절할 수 있게 된다.
또한, 영상 처리부는 제어 파라미터 전달 이후 미리 설정된 시간 범위 이내 획득된 프레임 대신 획득된 프레임의 이전 프레임을 출력할 수 있다. 또한, 획득된 프레임의 이전 및 이후 프레임을 이용하여 생성된 프레임을 출력할 수도 있다.
또한, 제어 파라미터 전달부는 카메라에서 이미지 데이터의 서로 다른 프레임의 노출 사이에 광원의 광량 변화가 발생하도록 제어 파라미터를 전달할 수 있다. 또한, 카메라에서 이미지 데이터의 서로 다른 프레임의 노출 사이에 광량 변화가 발생하도록 카메라에서 이미지 데이터의 프레임의 노출 종료 시점과 다음 데이터의 프레임의 노출 시작 시점 사이의 임의의 시점과 광량 변화 시점을 동기화시키는 동기화부를 더 포함할 수 있다.
이와 같은 구성에 의하면, 카메라 노출 도중에 광량이 변화하는 경우에도 출력 이미지에서 광원에서 변화하는 광량의 차이에 의해 이미지 내 일부 영역만 어두워지거나 급격한 음영이 생기는 형태의 이미지 아티팩트(artifact)가 발생하고 화면 깜빡임(flickering)이 발생하는 것을 방지할 수 있게 된다.
또한, 최대 강도 레벨 산출부 및 제어 파라미터 산출부와 영상 처리부는 서로 다른 하드웨어에서 구현될 수 있다. 이와 같은 구성에 의하면, 화면 밝기 조절을 위한 구성과 실제 영상 처리를 위한 구성을 각각 별도의 특화된 하드웨어(CPU, GPU)에서 구현시킴으로써, 밝기 조절을 위해 영상 처리 기능이 지연되는 것을 방지하여 보다 효과적인 실시간 영상 처리가 가능해 진다.
예를 들면, 최대 강도 레벨 산출부 및 제어 파라미터 산출부는 CPU에서 구현시키고, 화면 밝기 조절을 위한 구성과 실제 영상처리를 위한 구성을 병렬처리가 가능한 GPU에서 구현시키면, 현재 이미지 프레임을 GPU 메모리에 전송하기 전에 광원의 밝기 제어 파라미터를 산출하고 전송할 수 있게 되므로 광원 제어의 지연 시간을 감소시킬 수 있게 된다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체가 함께 개시된다.
본 발명에 의하면, 내시경 영상의 밝기를 실시간으로 조절함으로써, 내시경 끝단과 인체 내부와의 상대 거리에 관계없이 일정한 광량으로 영상 촬영이 가능하게 되어, 보다 균일하고 효과적인 내시경 영상을 제공할 수 있게 된다.
또한, 영상 처리 수행 이전의 베이어 원본 이미지 데이터를, 그것도 전체 데이터 중 일부 영역의 데이터만을 광량 조절에 이용함으로써, 광량 조절의 실시간성을 더욱 증가시킬 수 있게 된다.
또한, 전체 데이터 중 일부 영역의 데이터를 광량 조절에 이용함으로써, 중요성이 떨어지는 일부 화면 영역에서의 광량의 포화로 인해 전체 영상이 어두워지는 것을 방지할 수 있게 된다.
또한, 산출된 최대 강도 레벨 정보를 이용하여 실제 영상 처리를 위해 제공되는 이미지 데이터에서의 밝기의 최대값을 일정하게 유지함으로서 보다 효과적인 영상 처리의 수행이 가능해 진다.
또한, 정규화 과정에서 필요한 연산 시간을 줄임으로써 광량 조절의 실시간성을 더욱 증가시킬 수 있게 된다.
또한, 최대 강도 레벨이 높은 경우에도 포화 확률을 낮출 수 있게 된다.
또한, 획득된 영상이 갑자기 밝아져 최대 강도 레벨이 이미지 센서의 최대 광 감지 레벨을 초과하는 경우에도 효과적으로 광량을 조절할 수 있게 된다.
또한, 카메라 노출 도중에 광량이 변화하는 경우에도 출력 이미지에서 아티팩트(artifact)가 발생하고 화면 깜빡임(flickering)이 발생하는 것을 방지할 수 있게 된다.
또한, 화면 밝기 조절을 위한 구성과 실제 영상 처리를 위한 구성을 각각 별도의 특화된 하드웨어(CPU, GPU)에서 구현시킴으로써, 밝기 조절을 위해 영상 처리 기능이 지연되는 것을 방지하여 보다 효과적인 실시간 영상 처리가 가능해 진다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상 처리 시스템의 개략적인 블록도.
도 2는 도 1의 내시경 영상 처리 시스템의 실제 구현 예를 도시한 도면.
도 3은 도 1의 내시경 영상 처리 시스템이 처리하는 내시경 영상 처리 과정의 개략적인 흐름도.
도 4는 영상 처리부가 획득된 프레임을 이전 프레임 또는 이전 및 이후 프레임으로 보간된 프레임으로 대체하여 출력하는 예를 설명하기 위한 도면.
도 5는 제어 파라미터 전달부에 의해 지연되어 광량 변화가 발생하는 예를 설명하기 위한 도면.
도 6은 동기화부에 의해 동기화되어 광량 변화가 발생하는 예를 설명하기 위한 도면.
도 7 및 도 8은 본 발명에 따라 광원 광량 레벨, 및 포화된 픽셀이 제어된 결과가 도시된 도면.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상 처리 시스템의 개략적인 블록도이고, 도 2는 도 1의 내시경 영상 처리 시스템의 실제 구현 예를 도시한 도면이고, 도 3은 도 1의 내시경 영상 처리 시스템이 처리하는 내시경 영상 처리 과정의 개략적인 흐름도이다. 도 1에서, 내시경 영상 처리 시스템(100)은 최대 강도 레벨 산출부(110), 제어 파라미터 산출부(120), 제어 파라미터 전달부(130), 영상 처리부(140), 정규화값 산출부(150), 및 동기화부(160)를 포함한다.
최대 강도 레벨 산출부(110)는 카메라에서 획득한 베이어(Bayer) 원본 이미지 데이터의 미리 설정된 이미지 데이터의 픽셀 중 픽셀에서의 광 강도에 따라 픽셀 수가 미리 설정된 비율로 구분되도록 하는 기준이 되는 광 강도인 최대 강도 레벨을 산출한다.
이때, 미리 설정된 이미지 데이터는 베이어 원본 이미지 데이터 중 일부 파장 영역에 대응하는 이미지 데이터일 수 있다. 이와 같은 구성에 의하면, 영상 처리 수행 이전의 베이어 원본 이미지 데이터를, 그것도 전체 데이터 중 일부 영역의 데이터만을 광량 조절에 이용함으로써, 광량 조절의 실시간성을 더욱 증가시킬 수 있게 된다.
또한, 미리 설정된 이미지 데이터는. 베이어 원본 이미지 데이터 중 일부 공간 영역에 대응하는 이미지 데이터일 수 있다. 이와 같은 구성에 의하면, 중요성이 떨어지는 일부 화면 영역에서의 광량의 포화로 인해 전체 영상이 어두워지는 것을 방지할 수 있게 된다.
정리하자면, 최대 강도 레벨 산출부(110)는, 카메라에서 획득한 Bayer Raw 데이터에 대해 RGB 중 적어도 하나 이상의 채널(channel)에 대하여 미리 설정된 영역(predefined image region) 내의 포화된 픽셀(saturated pixel) 수가 미리 설정된 수(predefined number) 이하가 되도록 하는 최대 강도 레벨(intensity level Imax)을 계산한다. 이때, 최대 강도 레벨(Imax)은 베이어 원본 데이터(Bayer raw data)의 강도 히스토그램(intensity histogram)으로부터 계산할 수 있다.
제어 파라미터 산출부(120)는 산출된 최대 강도 레벨이 미리 설정된 기준 강도 레벨에 도달하도록 하는 제어 파라미터를 산출하고, 제어 파라미터 전달부(130)는 산출된 제어 파라미터를 내시경 광원으로 전달한다.
즉, 최대 강도 레벨(Imax)과 미리 결정되어진 기준 강도 레벨(reference intensity level)의 값의 비율에 기초하여, 최대 강도 레벨(Imax)의 값이 기준 강도 레벨(reference intensity level)에 도달하도록 광원의 밝기를 제어하는 파라미터를 계산하는 것이다.
이때, 기준 강도 레벨은 이미지 센서의 최대 광 감지 레벨보다 작게 설정될 수 있다. 이와 같은 구성에 의하면, 최대 강도 레벨이 높은 경우에도 포화 확률을 낮출 수 있게 된다. 보다 구체적으로, 적정 밝기 기준치(reference intensity level)를 TYPE_MAX (max. bit depth, 예를 들어 8bit의 경우 255, 10bit의 경우 1023)보다 작은 값으로 설정하고 부족/과잉된 레벨을 증가/감소하기 위한 LSU intensity control command를 계산할 수 있다.
또한, 제어 파라미터 산출부(130)는 최대 강도 레벨이 미리 설정된 광 강도 이상인 경우 최대 강도 레벨을 기준 강도 레벨보다 작아지도록 제어 파라미터를 산출할 수 있다. 즉, Imax가 TYPE_MAX 와 같을 경우, Imax와 reference intensity level의 비율보다 더 광량의 값을 감소시키는 광량제어 파라미터를 전송할 수 있다. 이와 같은 구성에 의하면, 획득된 영상이 갑자기 밝아져 최대 강도 레벨이 이미지 센서의 최대 광 감지 레벨을 초과하는 경우에도 효과적으로 광량을 조절할 수 있게 된다.
영상 처리부(140)는 베이어 원본 이미지 데이터의 영상 처리를 수행한다. 이때, 최대 강도 레벨 산출부(110) 및 제어 파라미터 산출부(120)와 영상 처리부(140)는 서로 다른 하드웨어에서 구현될 수 있다.
예를 들어, CPU(central processing unit)는 제어 파라미터를 광원에 전달하는 프로그램을 실행시키고, GPU(graphic processing unit)는 Bayer data를 모니터 출력을 위한 영상으로 처리하는 프로그램을 실행시키도록 구현될 수 있다. 도 2에서, CPU, GPU, Memory, Controller가 포함된 비디오 프로세서의 예가 도시되어 있다.
이와 같은 구성에 의하면, 화면 밝기 조절을 위한 구성과 실제 영상 처리를 위한 구성을 각각 별도의 특화된 하드웨어(CPU, GPU)에서 구현시킴으로써, 밝기 조절을 위해 영상 처리 기능이 지연되는 것을 방지하여 보다 효과적인 실시간 영상 처리가 가능해 진다.
이 경우, GPU는 Bayer data로부터 RGB 3 channel image를 계산하는 demosaicking, lens shading correction, lens distortion correction, white balance, color correction, gamma correction, image restoration, image enhancement 중 하나 이상을 포함하는 기능을 수행하게 된다.
정규화값 산출부(150)는 픽셀에서의 광 강도를 최대 강도 레벨을 이용하여 정규화한다. 즉, GPU 또는 CPU에서 Imax 값에 따라 image normalization하는 프로그램을 추가적으로 실행할 수 있다. 보다 구체적으로, Imax 값에 따라 image normalization하는 프로그램을 추가적으로 실행(Image normalization 예, I_normalized(x,y) = I(x,y)/Imax*255)할 수 있다. 이와 같은 구성에 의하면, 실제 영상 처리를 위해 제공되는 이미지 데이터에서의 밝기의 최대값을 일정하게 유지함으로써 보다 효과적인 영상 처리의 수행이 가능해 진다.
또한, 정규화값 산출부(150)는 픽셀에서의 광 강도에 대응하여 미리 저장된 정규화값을 획득하여 산출할 수 있다. 이와 같은 구성에 의하면, 정규화 과정에서 필요한 연산 시간을 줄임으로써 광량 조절의 실시간성을 더욱 증가시킬 수 있게 된다. 보다 구체적으로, CPU 또는 GPU에서 Imax 값에 따라 image normalization하는 프로그램을 추가적으로 실행시키는 경우, 빠른 계산을 위해 입력 frame마다 LUT(look up table)를 미리 구성하고, 이를 이용하여 normalization을 실행할 수 있다.
한편, 본 발명에 따른 내시경 시스템은, 비디오 처리 장치(100)에서 전달하는 광량제어 파라미터에 따라 이산 레벨에서 광량 가변 가능한 LED 광원장치와 CMOS color image sensor(Bayer pattern color filter array)를 이용하여 구현될 수 있으며, 이때, 영상 처리부(140)는 제어 파라미터 전달 이후 미리 설정된 시간 이내 획득된 프레임 대신 획득된 프레임의 이전 또는 이후 프레임을 출력할 수 있다.
보다 구체적으로, rolling shutter 모드의 카메라를 사용하는 경우, camera exposure 도중에 광량이 변화하는 경우 이로 인해 이미지 내에 artfiact가 발생하며 화면 깜박임(flickering)으로 나타나므로, 이를 방지 하기 위해 광량제어 파라미터를 광원에 전송하고, predefined time 이후에 얻어지는 frame을 디스플레이하지 않고, 이전 frame 으로 대체하여 디스플레이할 수 있다.
또한, 영상 처리부(140)는 제어 파라미터 전달 이후 미리 설정된 시간 이내 획득된 프레임 대신 획득된 프레임의 이전 및 이후 프레임을 이용하여 생성된 프레임을 출력할 수도 있다. 즉, 이전 및 이후의 프레임을 이용해 frame interpolation을 실행하여 그 결과를 모니터에 디스플레이하여 부드러운 움직임 화면을 구현할 수 있다. 도 4는 영상 처리부가 획득된 프레임을 이전 프레임 또는 이전 및 이후 프레임으로 보간된 프레임으로 대체하여 출력하는 예를 설명하기 위한 도면이다.
또한, 제어 파라미터 전달부(130)는 카메라에서 이미지 데이터의 서로 다른 프레임의 노출 사이에 광량 변화가 발생하도록 제어 파라미터를 전달할 수 있다. 보다 구체적으로, rolling shutter 모드의 카메라를 사용하는 경우, camera exposure 도중에 광량이 변화하는 경우, 이로 인해 이미지 내에 artfiact가 발생하며 화면깜박임(flickering)으로 나타나므로, end of frame의 exposure 시점과 start of next frame의 exposure 시점의 사이에서 광량의 변화가 일어나도록 delay time을 추정하여 소정의 시간이 지난 후에 LSU intensity control command를 전송하는 것이다. 도 5는 제어 파라미터 전달부에 의해 지연되어 광량 변화가 발생하는 예를 설명하기 위한 도면이다.
동기화부(160)는 카메라에서 이미지 데이터의 서로 다른 프레임의 노출 사이에 광량 변화가 발생하도록 카메라에서 이미지 데이터의 프레임의 노출 종료 시점과 광량 변화 시점을 동기화시킬 수 있다.
보다 구체적으로, rolling shutter 모드의 카메라를 사용하는 경우, camera exposure 도중에 광량이 변화하는 경우, 이로 인해 이미지 내에 artfiact가 발생하며 화면깜박임(flickering)으로 나타나므로, end of frame의 exposure 시점과 start of next frame의 exposure 시점의 사이에서 광량의 변화가 일어나도록 external trigger를 이용하여 end of frame과 광량 변화시점을 동기화하는 것이다. 도 6은 동기화부에 의해 동기화되어 광량 변화가 발생하는 예를 설명하기 위한 도면이다.
또한, 본 발명에서의 광원은 단일 광원은 물론 다중 광원으로 구현될 수도 있으며, 다중 광원으로는 두 개이상의 광량 독립제어가 가능한 광원을 사용할 수 있다. 예를 들어, 광원1은 white light, 광원2는 410nm와 540nm의 dual peak을 갖는 광원으로 구현할 수 있다.
이 경우, 광원 1에 대하여 얻어진 영상을 바탕으로 계산된 광량제어 파라미터를 광원 2의 광량제어를 위한 파라미터로 사용할 수도 있고, 광원 1과 광원 2의 각각의 영상을 바탕으로 계산된 광량제어 파라미터를 이용하여 광원1과 광원2의 intensity를 독립적으로 제어할 수도 있다.
또한, 광원 1에 대해 얻어진 영상1과 광원 2에 대해 얻어진 영상2를 각 파라미터와 매칭하여 구분이 되도록 저장하거나, 광원1과 광원2의 광량제어 파라미터에 따라 두광원의 밝기를 동시(같은 시점)에 가변하도록 제어할 수도 있다.
정리하자면, 본 발명은 카메라에서 획득한 Bayer Raw 데이터를 이용해 밝기 정보를 추출하고, 밝기 정보를 추출하는 부분(CPU)을 영상처리 부분(GPU)과 분리시키며, LED 밝기 레벨 제어시 rolling shutter에 의한 artifact (깜밖임)을 해소하는 방법을 제시한다.
이에 따라, 내시경의 끝부분이 인체 내부에 가깝거나 멀리 위치함에 상관없이(거리에 상관없이) 일정한 광량으로 영상 촬영이 가능하고, 영상처리 알고리즘을 바꾸어도 LED에서 나오는 광량이 변하지 않으며, 영상처리 알고리즘을 거치지 않고 광량제어를 위한 파라미터를 계산하여 전송 가능하므로 광량제어의 지연 최소화할 수 있게 된다.
도 7 및 도 8은 본 발명에 따라 광원 광량 레벨, 및 포화된 픽셀이 제어된 결과가 도시된 도면이다. 도 7에서 광원 광량 레벨이 최대 강도 레벨(Imax)에 대응하여 제어되는 결과를, 도 8에서 포화된 픽셀이 최대 강도 레벨에 대응하는 미리 설정된 비율 이하로 제어되는 결과를 확인할 수 있다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야할 것이다.
100: 내시경 영상 처리 시스템
110: 최대 강도 레벨 산출부
120: 제어 파라미터 산출부
130: 제어 파라미터 전달부
140: 영상 처리부
150: 정규화값 산출부
160: 동기화부

Claims (17)

  1. 카메라에서 획득한 베이어(Bayer) 원본 이미지 데이터의 미리 설정된 이미지 데이터의 픽셀 중 픽셀에서의 광 강도에 따라 픽셀 수가 미리 설정된 비율로 구분되도록 하는 기준이 되는 광 강도인 최대 강도 레벨을 산출하는 최대 강도 레벨 산출부;
    상기 최대 강도 레벨이 미리 설정된 기준 강도 레벨에 도달하도록 하는 제어 파라미터를 산출하는 제어 파라미터 산출부;
    상기 산출된 제어 파라미터를 내시경 광원으로 전달하는 제어 파라미터 전달부; 및
    상기 베이어 원본 이미지 데이터의 영상 처리를 수행하는 영상 처리부를 포함하는 것을 특징으로 하는 내시경 영상 처리 시스템.
  2. 청구항 1에 있어서,
    상기 미리 설정된 이미지 데이터는 상기 베이어 원본 이미지 데이터 중 일부 파장 영역에 대응하는 이미지 데이터인 것을 특징으로 하는 내시경 영상 처리 시스템.
  3. 청구항 1에 있어서,
    상기 미리 설정된 이미지 데이터는 상기 베이어 원본 이미지 데이터 중 일부 공간 영역에 대응하는 이미지 데이터인 것을 특징으로 하는 내시경 영상 처리 시스템.
  4. 청구항 1에 있어서,
    상기 픽셀에서의 광 강도를 상기 최대 강도 레벨을 이용하여 정규화한 정규화값을 산출하는 정규화값 산출부를 더 포함하는 내시경 영상 처리 시스템.
  5. 청구항 4에 있어서,
    상기 정규화 산출부는 상기 픽셀에서의 광 강도에 대응하여 미리 저장된 정규화값을 획득하여 산출하는 것을 특징으로 하는 내시경 영상 처리 시스템.
  6. 청구항 1에 있어서,
    상기 기준 강도 레벨은 상기 이미지 센서의 최대 광 감지 레벨보다 작게 설정되는 것을 특징으로 하는 내시경 영상 처리 시스템.
  7. 청구항 1에 있어서,
    상기 제어 파라미터 산출부는 상기 최대 강도 레벨이 미리 설정된 광 강도 이상인 경우 상기 최대 강도 레벨을 상기 기준 강도 레벨보다 작아지도록 제어 파라미터를 산출하는 것을 특징으로 하는 내시경 영상 처리 시스템.
  8. 청구항 1에 있어서,
    상기 영상 처리부는 상기 제어 파라미터 전달 이후 미리 설정된 시간 이내 획득된 프레임 대신 상기 획득된 프레임의 이전 프레임을 출력하는 것을 특징으로 하는 내시경 영상 처리 시스템.
  9. 청구항 1에 있어서,
    상기 영상 처리부는 상기 제어 파라미터 전달 이후 미리 설정된 시간 이내 획득된 프레임 대신 상기 획득된 프레임의 이전 및 이후 프레임을 이용하여 생성된 프레임을 출력하는 것을 특징으로 하는 내시경 영상 처리 시스템.
  10. 청구항 1에 있어서,
    상기 제어 파라미터 전달부는 상기 카메라에서 이미지 데이터의 서로 다른 프레임의 노출 사이에 광량 변화가 발생하도록 상기 제어 파라미터를 전달하는 것을 특징으로 하는 내시경 영상 처리 시스템.
  11. 청구항 1에 있어서,
    상기 카메라에서 이미지 데이터의 서로 다른 프레임의 노출 사이에 광량 변화가 발생하도록 상기 카메라에서 이미지 데이터의 프레임의 노출 종료 시점과 광량 변화 시점을 동기화시키는 동기화부를 더 포함하는 것을 특징으로 하는 내시경 영상 처리 시스템.
  12. 청구항 1에 있어서,
    상기 최대 강도 레벨 산출부 및 제어 파라미터 산출부와 상기 영상 처리부는 서로 다른 하드웨어에서 구현되는 것을 특징으로 하는 내시경 영상 처리 시스템.
  13. 청구항 12에 있어서,
    상기 제어 파라미터의 산출은 CPU에서 수행되고, 상기 베이어 원본 이미지 데이터의 영상 처리는 GPU에서 수행되는 것을 특징으로 하는 내시경 영상 처리 시스템.
  14. 청구항 2에 있어서,
    상기 일부 파장 영역에 대응하는 이미지 데이터는 녹색 파장에 대응하는 이미지 픽셀 데이터인 것을 특징으로 하는 내시경 영상 처리 시스템.
  15. 청구항 3에 있어서,
    상기 일부 공간 영역은 미리 설정된 이미지의 중심 영역을 포함하고, 미리 설정된 가장 자리 부분을 배제한 영역인 것을 특징으로 하는 내시경 영상 처리 시스템.
  16. 카메라에서 획득한 베이어(Bayer) 원본 이미지 데이터 중 미리 설정된 이미지 데이터의 픽셀 중 픽셀에서의 광 강도에 따라 픽셀 수가 미리 설정된 비율로 구분되도록 하는 기준이 되는 광 강도인 최대 강도 레벨을 산출하는 최대 강도 레벨 산출 단계;
    상기 최대 강도 레벨이 미리 설정된 기준 강도 레벨에 도달하도록 하는 제어 파라미터를 산출하는 제어 파라미터 산출 단계;
    상기 산출된 제어 파라미터를 이용하여 광원으로 전달하는 제어 파라미터 전달 단계; 및
    상기 베이어 원본 이미지 데이터 영상 처리를 수행하는 영상 처리 수행 단계를 포함하는 것을 특징으로 하는 내시경 영상 처리 방법.
  17. 청구항 16의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체.

KR1020180164960A 2018-12-19 2018-12-19 실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체 KR20200076150A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180164960A KR20200076150A (ko) 2018-12-19 2018-12-19 실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164960A KR20200076150A (ko) 2018-12-19 2018-12-19 실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체

Publications (1)

Publication Number Publication Date
KR20200076150A true KR20200076150A (ko) 2020-06-29

Family

ID=71401268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164960A KR20200076150A (ko) 2018-12-19 2018-12-19 실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체

Country Status (1)

Country Link
KR (1) KR20200076150A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6464633B1 (en) 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6464633B1 (en) 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD

Similar Documents

Publication Publication Date Title
US7969480B2 (en) Method of controlling auto white balance
EP2426928B1 (en) Image processing apparatus, image processing method and program
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
US8131108B2 (en) Method and system for dynamic contrast stretch
US20150242701A1 (en) Image processing device, image display device, image capture device, image printing device, gradation conversion method, and computer readable medium
JP7000861B2 (ja) 画像処理装置、医療機器の作動方法及びプログラム
TWI519151B (zh) 影像處理方法以及影像處理裝置
TWI573126B (zh) 可依據不同環境執行最佳化調整的影像調整方法及其顯示器
US9129439B2 (en) Three-dimensional image processing apparatus and three-dimensional image processing method
KR20050073423A (ko) 컬러 이미지 처리 방법 및 컬러 이미지 장치
WO2021218603A1 (zh) 图像处理方法及投影系统
JP2011086976A (ja) 画像処理装置および画像処理方法
JP2010062668A (ja) 画像処理装置、画像処理方法、プログラム、及び、撮像装置
JP2009219719A (ja) 内視鏡装置
KR20200076150A (ko) 실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체
JP2009273691A (ja) 内視鏡画像処理装置および方法
US20190037190A1 (en) White balance adjusting apparatus, operation method thereof, and non-transitory computer readable medium
CN109076199B (zh) 白平衡调整装置及其工作方法和非临时性的计算机可读介质
JP2009100936A (ja) 画像処理装置
US10841553B2 (en) Circuit for controlling image capturing device and associated control method
JP2014098859A (ja) 撮像装置および撮像方法
JP6397261B2 (ja) 画像処理装置及び方法
JP2014003486A (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム
CN110876042B (zh) 用以控制图像捕获设备的电路及相关的控制方法
JP2010283690A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal