KR102212964B1 - 디블러링 영상 처리 방법 및 장치 - Google Patents
디블러링 영상 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR102212964B1 KR102212964B1 KR1020190125219A KR20190125219A KR102212964B1 KR 102212964 B1 KR102212964 B1 KR 102212964B1 KR 1020190125219 A KR1020190125219 A KR 1020190125219A KR 20190125219 A KR20190125219 A KR 20190125219A KR 102212964 B1 KR102212964 B1 KR 102212964B1
- Authority
- KR
- South Korea
- Prior art keywords
- deblurring
- image data
- image
- focus
- filters
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims description 42
- 239000002775 capsule Substances 0.000 claims description 23
- 230000006872 improvement Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 210000000813 small intestine Anatomy 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 210000002429 large intestine Anatomy 0.000 claims description 4
- 230000002496 gastric effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000436 anus Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000167880 Hirundinidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 양태는 영상 처리 장치의 디블러링 영상 처리 방법을 개시하고 있다. 상기 방법은, 영상 촬영 장치로부터 영상 데이터를 수신하는 단계 및 상기 수신된 영상 데이터에 디블러링 알고리즘을 적용하여 디블러링된 영상 데이터를 생성하는 단계를 포함하되, 상기 디블러링 알고리즘을 적용하는 단계는, 복수 개의 디블러링 필터 중 하나를 선택하여 적용하는 단계를 포함하고, 상기 복수 개의 디블러링 필터 각각은 상기 수신된 영상 데이터의 포커스(focus) 범위에 대응한다.
Description
본 발명은 영상 처리 방법에 관한 것으로, 보다 상세하게는, 디블러링 영상을 효율적으로 처리하는 방법에 관한 것이다.
인체 내부의 정보, 특히 의학적 정보를 획득하기 위해 피검사자의 입 또는 항문을 통해 케이블에 부착된 내시경을 삽입하는 방법이 이용되고 있다. 이 방법에 의하며, 도선 또는 광섬유로 이루어진 케이블을 통해 내시경을 직접 제어할 수 있으므로, 인체 내부의 데이터를 확보하기 용이하지만 피검사자에게는 큰 고통이 따른다. 또한, 소장과 같은 장기는 피검사자의 입 또는 항문으로부터 멀리 떨어져 있을뿐더러, 장기의 체강 직경이 작아서 상술한 내시경 방법으로 검사하기 곤란하다는 문제가 있다.
이를 고려하여, 캡슐형 내시경이 이용되고 있다. 피검사자가 캡슐형 내시경을 구강을 통해 삼키면, 캡슐형 내시경은 인체 내에서 카메라 등으로 필요한 데이터를 획득하고, 획득한 데이터를 인체 외부의 수신기(receiver)로 전송하여 출력할 수 있도록 한다. 이때, 캡슐형 내시경은 소형의 체적을 가지고 있고, 배터리의 크기도 작기 때문에 전력 소모의 최소화가 요구된다. 특히 영상 데이터의 화질 부분에 있어서, 아주 높은 화질의 영상을 촬영하기 어렵고 이를 수신기로 전송하기 어려운 문제가 있다.
다만, 인체 외부의 수신기는 이러한 영상 데이터를 수신하여 체내 특정 부위의 상태를 면밀히 살펴볼 수 있도록 최대한 고화질의 영상 데이터로 출력해야 하는데, 캡슐형 내시경으로부터 수신된 영상 데이터의 화질이 그만큼의 상태를 보장하지 못하기 때문에, 이러한 고화질의 영상 데이터의 확보가 어렵다는 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 수신기로 전송된 저화질의 영상 데이터를 디블러링 알고리즘을 적용하여 처리함에 따라 고화질의 영상 데이터로 변환하는 영상처리 방법 및 이를 실행하는 수신기 장치를 제공하는 것이다.
상기한 목적으로 달성하기 위한 본 발명의 일 양태에 따른 영상 처리 장치의 디블러링 영상 처리 방법은, 영상 촬영 장치로부터 영상 데이터를 수신하는 단계 및 상기 수신된 영상 데이터에 디블러링 알고리즘을 적용하여 디블러링된 영상 데이터를 생성하는 단계를 포함하되, 상기 디블러링 알고리즘을 적용하는 단계는, 복수 개의 디블러링 필터 중 하나를 선택하여 적용하는 단계를 포함하고, 상기 복수 개의 디블러링 필터 각각은 상기 수신된 영상 데이터의 포커스(focus) 범위에 대응할 수 있다.
상기 영상 촬영 장치는 캡슐형 내시경 장치이며, 상기 수신된 영상 데이터는 신체 내부의 부위를 촬영한 영상 데이터일 수 있다.
상기 영상 처리 방법은, 상기 수신된 영상 데이터를 식도 영상 데이터, 위 영상 데이터, 소장 영상 데이터 및 대장 영상 데이터 중 하나로 구분하는 단계를 더 포함하되, 영상의 구분에 따라 상기 복수 개의 디블러링 필터들 중 하나를 매칭할 수 있다.
상기 디블러링 알고리즘을 상기 수신된 영상데이터에 적용하는 단계는, 상기 수신된 영상 데이터의 포커스 정도를 측정하는 단계, 측정된 포커스 측정 값을 상기 복수 개의 디블러링 필터들 중 하나에 매칭하는 단계 및 매칭된 디블러링 필터를 이용하여 상기 수신된 영상 데이터를 디블러링하는 단계를 포함할 수 있다.
상기 포커스 측정 맵을 생성하는 단계는, 상기 수신된 영상 데이터를 흑백 영상(Gray Image)으로 변환하는 단계, 상기 변환된 영상 데이터에 에지 검출 알고리즘을 적용하여 영상 내의 에지를 검출하는 단계 및 영상의 각 픽셀에서 상기 검출된 에지의 강도를 합산한 값을 이용하여 포커스 값을 산출하는 단계를 포함할 수 있다.
상기 디블러링 알고리즘을 상기 수신된 영상데이터에 적용하는 단계는, 상기 측정된 포커스 측정 값을 기반으로 포커스 측정 맵을 생성하는 단계 및 상기 포커스 측정 맵의 포커스 평균 값을 산출하는 단계를 더 포함할 수 있다.
상기 복수 개의 디블러링 필터들은 각각 신호 대 잡음비(SNR: Signal to Noise Ratio)값에 대응하는 디블러링 파라미터를 가질 수 있다.
상기 측정된 포커스 측정 값을 상기 복수 개의 디블러링 필터들 중 하나에 매칭하는 단계는, 상기 측정된 포커스 측정 값을 기반으로 포커스 측정과 연관된 복수 개의 구간으로 구분하는 단계 및 상기 복수 개의 구간 중 하나와 상기 디블러링 파라미터와의 대응 관계를 기반으로 상기 복수 개의 디블러링 필터들 중 하나를 매칭하는 단계를 포함할 수 있다.
상기 디블러링 알고리즘의 적용은, 상기 수신된 영상 데이터에 대해 업-샘플링 패딩을 수행하는 단계, 상기 업-샘플링 패딩된 영상의 가우시안 PSF(Point Spread Function)을 산출하는 단계, 상기 수신된 영상 데이터와 상기 가우시안 PSF를 주파수 영역으로 변환하는 단계, 주파수 영역에서 상기 수신된 영상 데이터와 상기 가우시안 PSF의 콘볼루션(convolution)을 처리하는 단계, 콘볼루션 결과를 주파수 영역에서 공간 영역으로 변환하여 디블러링된 영상을 생성하는 단계 및 상기 디블러링된 영상에 대해 다운-샘플링 패딩을 수행하는 단계를 포함할 수 있다.
상기한 목적으로 달성하기 위한 본 발명의 다른 양태에 따른 디블러링 영상 처리 장치는, 영상 촬영 장치로부터 영상 데이터를 수신하는 수신부 및 상기 수신된 영상 데이터에 디블러링 알고리즘을 적용하여 디블러링된 영상 데이터를 생성하는 영상 처리부를 포함하되, 상기 영상 처리부는 복수 개의 디블러링 필터를 포함하고, 상기 복수 개의 디블러링 필터 각각은 상기 수신된 영상 데이터의 포커스(focus) 범위에 대응할 수 있다.
본 발명의 일 양태에 따른 영상 처리 방법에 따르면, 포커스가 부정확하게 맞는 영상의 블러를 개선하여 고화질의 영상을 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 개략적으로 나타낸 흐름도,
도 3은 도 2의 영상 처리 방법을 구체적으로 나타낸 상세 흐름도,
도 4는 포커스 측정 알고리즘을 설명하기 위한 개념도,
도 5는 수신기 장치 내의 디블러링 필터들의 구성을 구체적으로 나타낸 블록도,
도 6은 영상 구분에 따라 사용되는 디블러링 필터들을 구체적으로 나타낸 블록도,
도 7은 디블러링 필터를 적용하여 디블러 영상 처리를 수행하는 과정을 구체적으로 나타낸 상세흐름도,
도 8은 영상 블러 현상의 극복에 사용되는 PSF(Point Spread Function)을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 개략적으로 나타낸 흐름도,
도 3은 도 2의 영상 처리 방법을 구체적으로 나타낸 상세 흐름도,
도 4는 포커스 측정 알고리즘을 설명하기 위한 개념도,
도 5는 수신기 장치 내의 디블러링 필터들의 구성을 구체적으로 나타낸 블록도,
도 6은 영상 구분에 따라 사용되는 디블러링 필터들을 구체적으로 나타낸 블록도,
도 7은 디블러링 필터를 적용하여 디블러 영상 처리를 수행하는 과정을 구체적으로 나타낸 상세흐름도,
도 8은 영상 블러 현상의 극복에 사용되는 PSF(Point Spread Function)을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템을 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 시스템은 캡슐 내시경 장치(120), 수신전극(130a, 130b) 및 수신기(150)를 포함할 수 있다.
도 1을 참조하면, 피검사자의 인체 내부(100)의 장기(110), 예컨대 소장 또는 대장 등을 캡슐형 내시경(120)이 지나가면서 해당 장기의 정보를 획득한다. 캡슐형 내시경(120)이 획득할 수 있는 정보는 소정의 영상 정보, 음향 정보 및/또는 인체 내 매질의 분석 정보 등을 포함한다.
획득한 정보는 캡슐형 내시경(120)에서 전기적 신호로 변환되고, 피검사자의 인체에 부착된 수신 전극(130a, 130b)에서 감지된다. 수신 전극(130a, 130b)은 수신한 전기적 신호를 도선(140a, 140b)을 통해서 수신기(150)에 전달한다.
또는, 획득한 정보는 캡슐형 내시경(120)에서 전기적 신호로 변환되어 무선 주파수(Radio Frequency; RF) 또는 인체 통신(Human Body Communication; HBC) 등을 이용하여 직접 수신기(150)에 전달될 수도 있다. 무선 주파수를 이용하는 방법은 인체에 무해한 주파수 영역을 이용하여 상기 변환된 전기적 신호를 수신기(150)로 전달한다. 인체 통신을 이용하는 방법은 인체 내부(100)의 장기(110)의 연동 운동에 따라 캡슐형 내시경(120)의 외면에 구비된 전극이 인체와 접촉하면 전류가 발생하고, 이러한 전류를 이용하여 상기 변환된 전기적 신호를 수신 장치(150)로 전달한다.
수신기(150)는 캡슐형 내시경(120)으로부터 영상 정보를 획득하여 디블러링 알고리즘을 적용함에 의해 화질이 개선된 고화질 영상을 생성한다.
도 1의 실시예에서는, 캡슐형 내시경(120)과 수신기(150)를 도시하여 설명하고 있지만, 영상 촬영 장치가 반드시 캡슐형 내시경(120)일 필요는 없다. 다른 영상 촬영 장치, 예컨대, 카메라, 스마트 폰, CCTV 및 일반 내시경 등이 사용되어도 무방하다.
또한, 수신기(150)도 캡슐형 내시경(120)과 연동하는 장치 이외에, 수신기(150)와 연동하는 영상 처리 장치에서 디블러링 알고리즘을 사용하는 것을 고려할 수 있다. 또는, 카메라, 스마트 폰 등의 영상 처리 장치로부터 직접 영상 데이터를 수신하는 단말 장치(예컨대, PC, 랩톱(laptop), 스마트폰 등)에서 상기와 같은 동작을 수행하는 것을 고려할 수 있다. 이하, 명세서 상에서 "수신기" 또는 "장치"라고 사용된 용어 부분에 영상 처리를 위한 다른 장치가 대체되어 사용되어도 무방함은 본 발명의 속하는 기술분야의 통상의 기술자에게는 자명할 것이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 수신기는 캡슐형 내시경으로부터 영상 데이터를 수신한다(S210). 이때, 무선 통신 또는 인체통신이 사용될 수 있다.
수신기는 수신된 영상 데이터에 디블러링 알고리즘을 적용한다(S220). 본 발명의 실시예에 따르면, 수신기는 영상 블러 개선을 위해 단안 카메라 기반 블러 추정 알고리즘을 적용할 수 있다. 장치는, 블러 추정 알고리즘을 적용함에 따라 추정된 블러 정도를 고려하여 영상의 블러를 개선시킨다. 블러의 타입은 초점이 맞지 않아 발생하는 Out of Focus 블러와 카메라의 촬영 속도를 따라가지 못해 발생하는 모션(motion) 블러가 있다. 캡슐형 내시경 영상에서의 주요 블러는 초점이 맞지 않는 영상들이 거의 대부분을 차지한다.
블러 알고리즘을 적용하여 블러를 추정하면 추정된 블러를 개선하여 고화질의 영상을 생성하고, 이를 재생할 수 있다(S230).
도 3은 도 2의 영상 처리 방법을 구체적으로 나타낸 상세 흐름도이다.
도 3을 참조하면, 수신기는 원본 영상(350)을 수신하면 수신된 원본 영상(350)에 디블러링 알고리즘(S300)을 적용한다. 여기서, 원본 영상(350)은 캡슐형 내시경으로부터 수신한 영상 데이터를 나타낸다. 이를 위해, 먼저, 원본 영상(350)의 포커스 측정 맵을 생성한다. 포커스 측정 맵은 포커스 측정 알고리즘에 의해 측정되며, 이를 통해 산출된 값은 영상의 해상도와 연관될 수 있다.
도 4는 포커스 측정 알고리즘을 설명하기 위한 개념도이다.
도 4를 참조하면, 수신기는 포커스 측정을 위해, 원본 RGB 영상을 변환하여 흑백 영상(Gray Image)으로 변환한다. 흑백 영상은 색상 요소는 없고 휘도(luminance) 요소만 남은 영상이다.
그리고는, 에지 검출 알고리즘을 적용하여 영상의 에지 부분을 검출한다. 그리고는, 각 픽셀에서 검출된 에지의 강도에 대해 그 누적된 합을 포커스 값으로 산출한다.
다시 도 3으로 돌아가서, 도 4의 방법에 따라 포커스 값을 산출하고 나면, 산출된 포커스 값의 평균을 산출한다(S302). 그리고는, 산출된 포커스 평균에 따라 복수 개의 디블러링 필터들 중 하나에 매핑하여(S304), 매핑된 필터를 원본 영상(350)에 적용함에 의해 블러를 개선할 수 있다. 이때, 블러의 개선 정도를 선택할 수 있다. 본 발명의 실시예에 따르면, 이러한 블러의 개선 정도가 포커스 측정 평균 값에 따라 자동으로 선택되어 적용될 수 있다.
도 3의 실시예에 있어서, 블러의 개선 정도는 하, 중, 상으로 구분될 수 있고, "상"일수록 높은 블러 개선 정도를 갖는다. 다만, 이렇게 높은 블러 개선을 위해서는 처리 복잡도 및 처리 시간 측면에선 손실을 감수해야 한다. 본 발명의 다른 실시예에 따르면, 사용자는 위와 같은 블러 개선 정도, 처리 복잡도 및 처리 시간 중 적어도 하나를 고려하여 적절한 블러 개선 정도를 선택할 수 있다. 디블러링 필터의 선택의 보다 상세한 내용은 도 5를 통해 설명한다.
도 5는 수신기 장치 내의 디블러링 필터들의 구성을 구체적으로 나타낸 블록도이다.
도 5를 참조하면, 포커스 평균의 범위에 따라 미리 서로 다른 디블러링 파라미터를 갖는 디플러링 필터들을 구비한다. 이러한 서로 다른 디블러링 파라미터를 갖는 필터들을 블러 개선 정도도 다를 수 있다. 디블러링 파라미터는 신호 대 잡음 비(SNR: Signal to Noise Ratio)로 나타낼 수 있다.
디블러링 필터 1은 SNR 수치 300을 나타내며, 이는 포커스 측정 값 13000 이상인 경우에 대응된다. 이러한 수치의 포커스 측정 값을 갖는 영상은 비교적 블러가 심하지 않은 영상으로, 이러한 블러를 개선한 영상은 블러 개선 정도가 "상"일 수 있다. 디블러링 필터 2는 SNR 값이 400을 나타내며, 포커스 측정값 12000 내지 12999 값을 나타내는 영상에 매칭된다. 이와 같이 SNR 값의 차이를 약 100 정도씩 하고, 포커스 측정 값의 차이를 약 1000 정도씩 하여 약 10 개의 디블러링 필터를 구비할 수 있다. 포커스 측정 레벨이 낮을 수록 SNR 값이 높은 필터가 매핑될 수 있다.
디블러링 필터의 SNR 값 및 그에 대응하는 포커스 측정 값은 다양한 실시예에서 다르게 매칭될 수 있다. 예컨대, 500의 SNR 값을 갖는 디블러링 필터가 13000 이상의 포커스 값을 갖는 영상에 매칭될 수도 있다. 그리고, 개별 디블러링 필터 간의 담당하는 SNR 값의 차이, 그리고 해당 디블러링 필터에 대응하는 포커스 측정 레벨의 범위도 사용자가 임의로 변경할 수 있다. 예컨대, 개별 디블러링 필터의 담당 SNR 값의 차이값은 약 200으로 설정하고 디블러링 필터의 갯수도 5개로 줄일 수 있다. 즉, 사용자 설정을 통해 개별 디블러링 필터의 담당 디블러링 파라미터의 값 및 해당 필터가 매칭되는 포커스 측정 레벨의 값은 임의로 가변될 수 있다.
본 발명의 실시예에 따르면, 이와 같은 복수 개의 디블러링 필터는 딥 러닝 기반의 알고리즘으로 학습된다. 이대, 각각의 디블러링 필터는 포커스 범위 및 블러 개선 정도에 따라 독립적으로 서로 다르게 학습될 수 있다.
도 6은 영상 구분에 따라 사용되는 디블러링 필터들을 구체적으로 나타낸 블록도이다.
도 6을 참조하면, 수신기는 입력 영상을 구분하는 영상 구분부(610)를 구비할 수 있다. 영상 구분부(610)는 입력되는 영상을 구분하여 그에 대응하는 필터(620-1~620-4)를 매칭한다. 입력 영상이 캡슐형 내시경으로부터 수신한 영상인 경우, 이 영상은 식도 영상, 위 영상, 소장 영상 및 대장 영상 중 하나로 구분될 수 있다. 이는 영상 분석(예컨대, 기 저장된 영상과의 비교)을 통해 이루어질 수 있다. 만약, 식도 영상인 경우, 해당 영상과 대응하는 필터 1(620-1)을 매칭시킬 수 있다. 만약, 위 영상인 경우, 필터 2(620-2)에 매칭시킬 수 있다. 이와 같이 영상의 촬영 대상 부위와 디블러링 필터가 매칭되도록 할 수 있다.
본 발명의 실시예에 따르면, 디블러링 알고리즘의 학습도 영상 내의 촬영 대상 부위에 따라 이루어질 수 있다. 예컨대, 영상 구분부(610)에서 식도로 구분된 영상은 필터 1(620-1)의 학습에 사용될 수 있다. 위로 구분된 영상은 필터 2(620-2)의 학습에 사용될 수 있다.
추가적으로, 본 발명의 실시예에 따르면, 수신기는 촬영 대상 부위와 입력 영상의 포커스 측정 값을 함께 고려하여 디블러링 필터를 선택 적용할 수 있다. 또한, 디블러링 알고리즘의 학습 역시 촬영 대상 부위와 포커스 측정 값을 함께 고려하여 이루어질 수 있다. 예컨대, 필터 1은 식도 영상의 포커스 측정값 13000 이상인 영상을 기반으로 학습되고, 입력 영상이 식도 영상이면서 포커스 측정값이 13000 이상인 경우 적용되며, 필터 2는 위 영상의 포커스 측정값이 10000 내지 10999인 영상을 기반으로 학습되고, 입력 영상이 위 영상이면서 포커스 측정값이 10000 내지 10999인 경우 적용되도록 할 수 있다. 이와 같이 촬영 대상 부위와 포커스 측정 값을 함께 고려하여 필터를 학습하고 디블러링에 적용할 수 있다.
도 7은 디블러링 필터를 적용하여 디블러 영상 처리를 수행하는 과정을 구체적으로 나타낸 상세흐름도이다.
도 7을 참조하면, 입력 영상(원본 영상)에 업 샘플링 패딩을 수행한다(S710). 그리고는, 해당 영상의 가우시안 PSF(Gaussian Point Spread Function)를 산출한다. 이는 도 8을 통해 보다 상세히 설명한다.
도 8은 영상 블러 현상의 극복에 사용되는 PSF(Point Spread Function)을 나타낸 도면이다.
도 8을 참조하면, 영상의 블러란, 초점이 부정확하게 맞는 경우 하나의 픽셀이 주변 픽셀들과 PSF에 의해 섞이는 현상을 의미한다. 일반적으로 이러한 PSF 함수는 가우시안 함수로 가정하며, 초점이 흐릴수록 가우시안 분포의 분산 값이 커진다고 가정할 수 있다. 도 8은 이러한 가우시안 PSF와 이와 같은 분포를 따르는 블러된 영상을 나타낸다.
이러한 분포를 따른 블러 모델은 다음과 같이 정의할 수 있다.
여기서, f는 초점이 완벽하게 맞는 영상을, h는 PSF 함수를, g는 블러된 영상을 나타내며, *는 콘볼루션 연산자를 나타낸다.
다시 도 7로 돌아와서, 위와 같은 블러 모델을 개선하기 위해, 입력 영상과 PSF를 주파수 영역으로 변환한다(S730). 그러면, 블러 모델을 다음과 같이 표현할 수 있다.
그리고는, 수신기는 입력연산과 PSF에 대해 콘볼루션 연산을 수행한다(S740). 콘볼루션 연산은 주파수 영역에서 곱셈 연산으로 변환된다. 블러가 개선된 영상을 다음과 같이 추정될 수 있다.
그리고는, 연산 결과를 다시 공간(또는 시간) 영역으로 변환한다(S750). 그 다음, 공간 영역으로 변환된 디블러링된 영상을 정제하고(S760) 다운 샘플링 패딩을 수행하여 디블러링 과정을 완료한다(S770).
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (10)
- 영상 처리 장치의 디블러링 영상 처리 방법에 있어서,
영상 촬영 장치로부터 영상 데이터를 수신하는 단계; 및
상기 수신된 영상 데이터에 디블러링 알고리즘을 적용하여 디블러링된 영상 데이터를 생성하는 단계를 포함하되,
상기 디블러링 알고리즘을 적용하는 단계는, 복수 개의 디블러링 필터 중 하나를 선택하여 적용하는 단계를 포함하고,
상기 복수 개의 디블러링 필터 각각은 상기 수신된 영상 데이터의 포커스(focus) 범위에 대응하고,
상기 복수 개의 디블러링 필터들은 각각 신호 대 잡음비(SNR: Signal to Noise Ratio)값에 대응하는 디블러링 파라미터를 갖고,
상기 디블러링 알고리즘을 상기 수신된 영상데이터에 적용하는 단계는,
상기 수신된 영상 데이터의 포커스 정도를 측정하는 단계;
측정된 포커스 측정 값을 상기 복수 개의 디블러링 필터들 중 하나에 매칭하는 단계; 및
매칭된 디블러링 필터를 이용하여 상기 수신된 영상 데이터를 디블러링하는 단계를 포함하고,
상기 수신된 영상 데이터의 포커스 정도를 측정하는 단계는,
상기 수신된 영상 데이터를 흑백 영상(Gray Image)으로 변환하는 단계;
상기 변환된 영상 데이터에 에지 검출 알고리즘을 적용하여 영상 내의 에지를 검출하는 단계; 및
영상의 각 픽셀에서 상기 검출된 에지의 강도를 합산한 값을 이용하여 포커스 값을 산출하는 단계를 포함하고,
상기 측정된 포커스 측정 값을 상기 복수 개의 디블러링 필터들 중 하나에 매칭하는 단계는 블러의 개선 정도, 처리 복잡도 및 처리 시간 중 적어도 하나에 기초하여 디블러링 필터를 선택하고, 상기 포커스 측정 값이 낮을수록 상기 신호 대 잡음비(SNR)값이 높은 필터에 매칭하는, 디블러링 영상 처리 방법. - 제 1 항에 있어서,
상기 영상 촬영 장치는 캡슐형 내시경 장치이며, 상기 수신된 영상 데이터는 신체 내부의 부위를 촬영한 영상 데이터인, 디블러링 영상 처리 방법. - 제 2 항에 있어서,
상기 수신된 영상 데이터를 식도 영상 데이터, 위 영상 데이터, 소장 영상 데이터 및 대장 영상 데이터 중 하나로 구분하는 단계를 더 포함하되,
영상의 구분에 따라 상기 복수 개의 디블러링 필터들 중 하나를 매칭하는, 디블러링 영상 처리 방법. - 삭제
- 삭제
- 제 1 항에 있어서, 상기 디블러링 알고리즘을 상기 수신된 영상데이터에 적용하는 단계는,
상기 측정된 포커스 측정 값을 기반으로 포커스 측정 맵을 생성하는 단계; 및
상기 포커스 측정 맵의 포커스 평균 값을 산출하는 단계를 더 포함하는, 디블러링 영상 처리 방법. - 삭제
- 제 1 항에 있어서, 상기 측정된 포커스 측정 값을 상기 복수 개의 디블러링 필터들 중 하나에 매칭하는 단계는,
상기 측정된 포커스 측정 값을 기반으로 포커스 측정과 연관된 복수 개의 구간으로 구분하는 단계; 및
상기 복수 개의 구간 중 하나와 상기 디블러링 파라미터와의 대응 관계를 기반으로 상기 복수 개의 디블러링 필터들 중 하나를 매칭하는 단계를 포함하는, 디블러링 영상 처리 방법. - 제 1 항에 있어서, 상기 디블러링 알고리즘의 적용은,
상기 수신된 영상 데이터에 대해 업-샘플링 패딩을 수행하는 단계;
상기 업-샘플링 패딩된 영상의 가우시안 PSF(Point Spread Function)을 산출하는 단계;
상기 수신된 영상 데이터와 상기 가우시안 PSF를 주파수 영역으로 변환하는 단계;
주파수 영역에서 상기 수신된 영상 데이터와 상기 가우시안 PSF의 콘볼루션(convolution)을 처리하는 단계;
콘볼루션 결과를 주파수 영역에서 공간 영역으로 변환하여 디블러링된 영상을 생성하는 단계; 및
상기 디블러링된 영상에 대해 다운-샘플링 패딩을 수행하는 단계를 포함하는, 디블러링 영상 처리 방법. - 디블러링 영상 처리 장치에 있어서,
영상 촬영 장치로부터 영상 데이터를 수신하는 수신부; 및
상기 수신된 영상 데이터에 디블러링 알고리즘을 적용하여 디블러링된 영상 데이터를 생성하는 영상 처리부를 포함하되,
상기 영상 처리부는 복수 개의 디블러링 필터를 포함하고,
상기 복수 개의 디블러링 필터 각각은 상기 수신된 영상 데이터의 포커스(focus) 범위에 대응하고,
상기 복수 개의 디블러링 필터들은 각각 신호 대 잡음비(SNR: Signal to Noise Ratio)값에 대응하는 디블러링 파라미터를 갖고,
상기 영상 처리부는,
상기 수신된 영상 데이터의 포커스 정도를 측정하고;
측정된 포커스 측정 값을 상기 복수 개의 디블러링 필터들 중 하나에 매칭하고; 및
매칭된 디블러링 필터를 이용하여 상기 수신된 영상 데이터를 디블러링하고,
상기 수신된 영상 데이터의 포커스 정도를 측정하는 것은,
상기 수신된 영상 데이터를 흑백 영상(Gray Image)으로 변환하고;
상기 변환된 영상 데이터에 에지 검출 알고리즘을 적용하여 영상 내의 에지를 검출하고; 및
영상의 각 픽셀에서 상기 검출된 에지의 강도를 합산한 값을 이용하여 포커스 값을 산출하는 것을 포함하고,
상기 측정된 포커스 측정 값을 상기 복수 개의 디블러링 필터들 중 하나에 매칭하는 것은 블러의 개선 정도, 처리 복잡도 및 처리 시간 중 적어도 하나에 기초하여 디블러링 필터를 선택하고, 상기 포커스 측정 값이 낮을수록 상기 신호 대 잡음비(SNR)값이 높은 필터에 매칭하는 것인, 디블러링 영상 처리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190125219A KR102212964B1 (ko) | 2019-10-10 | 2019-10-10 | 디블러링 영상 처리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190125219A KR102212964B1 (ko) | 2019-10-10 | 2019-10-10 | 디블러링 영상 처리 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102212964B1 true KR102212964B1 (ko) | 2021-02-08 |
Family
ID=74559981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190125219A KR102212964B1 (ko) | 2019-10-10 | 2019-10-10 | 디블러링 영상 처리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102212964B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023014122A1 (ko) * | 2021-08-05 | 2023-02-09 | 삼성전자 주식회사 | 이미지 데이터의 디블러링을 지원하는 전자 장치 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008211679A (ja) * | 2007-02-27 | 2008-09-11 | Kyocera Corp | 撮像装置およびその方法 |
| KR20120084612A (ko) * | 2011-01-20 | 2012-07-30 | 주식회사 슈프리마 | 초점 정보 제공 장치 및 초점 조절 장치 |
| JP2014220583A (ja) * | 2013-05-02 | 2014-11-20 | 日本放送協会 | 撮影装置およびノイズ除去プログラム |
| WO2018037521A1 (ja) * | 2016-08-25 | 2018-03-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
| KR20180072238A (ko) * | 2016-12-21 | 2018-06-29 | 주식회사 인트로메딕 | 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템 |
-
2019
- 2019-10-10 KR KR1020190125219A patent/KR102212964B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008211679A (ja) * | 2007-02-27 | 2008-09-11 | Kyocera Corp | 撮像装置およびその方法 |
| KR20120084612A (ko) * | 2011-01-20 | 2012-07-30 | 주식회사 슈프리마 | 초점 정보 제공 장치 및 초점 조절 장치 |
| JP2014220583A (ja) * | 2013-05-02 | 2014-11-20 | 日本放送協会 | 撮影装置およびノイズ除去プログラム |
| WO2018037521A1 (ja) * | 2016-08-25 | 2018-03-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
| KR20180072238A (ko) * | 2016-12-21 | 2018-06-29 | 주식회사 인트로메딕 | 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023014122A1 (ko) * | 2021-08-05 | 2023-02-09 | 삼성전자 주식회사 | 이미지 데이터의 디블러링을 지원하는 전자 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9858666B2 (en) | Medical skin examination device and method for processing and enhancing an image of a skin lesion | |
| JP6803908B2 (ja) | 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ | |
| JP5147308B2 (ja) | 画像抽出装置および画像抽出プログラム | |
| US9154745B2 (en) | Endscope apparatus and program | |
| US10943333B2 (en) | Method and apparatus of sharpening of gastrointestinal images based on depth information | |
| JP2007124088A (ja) | 画像撮影装置 | |
| US10163196B2 (en) | Image processing device and imaging system | |
| CN113491497A (zh) | 偏振光内窥镜装置 | |
| KR20120114899A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| CN114693593A (zh) | 图像处理方法、装置、及计算机装置 | |
| US11354783B2 (en) | Method and apparatus of sharpening of gastrointestinal images based on depth information | |
| JP2018205883A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR20200056709A (ko) | 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템 | |
| CN115314617A (zh) | 图像处理系统及方法、计算机可读介质和电子设备 | |
| KR102212964B1 (ko) | 디블러링 영상 처리 방법 및 장치 | |
| JP2009056160A (ja) | 被検体内画像取得システム、被検体内画像処理方法および被検体内導入装置 | |
| US9323978B2 (en) | Image processing device, endoscope apparatus, and image processing method | |
| JP5286215B2 (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
| US9088699B2 (en) | Image communication method and apparatus which controls the output of a captured image | |
| CN113744266B (zh) | 一种病灶检测框的显示方法、装置、电子设备及存储介质 | |
| US20100303355A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JPWO2019138772A1 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
| Alizadeh et al. | Effects of improved adaptive gamma correction method on wireless capsule endoscopy images: Illumination compensation and edge detection | |
| KR101878891B1 (ko) | 캡슐 내시경에서의 영상 처리 방법, 캡슐 내시경 장치, 캡슐 내시경 장치와 연동하는 수신기, 수신기의 영상 처리 방법 및 캡슐 내시경 시스템 | |
| CN113364964A (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |