KR20150120316A - 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 - Google Patents
화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 Download PDFInfo
- Publication number
- KR20150120316A KR20150120316A KR1020150054515A KR20150054515A KR20150120316A KR 20150120316 A KR20150120316 A KR 20150120316A KR 1020150054515 A KR1020150054515 A KR 1020150054515A KR 20150054515 A KR20150054515 A KR 20150054515A KR 20150120316 A KR20150120316 A KR 20150120316A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- pixel value
- noise
- filter coefficient
- processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 305
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 89
- 239000000872 buffer Substances 0.000 claims description 91
- 230000002159 abnormal effect Effects 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000002547 anomalous effect Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 12
- 241000023320 Luma <angiosperm> Species 0.000 abstract description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 abstract description 3
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 19
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003379 elimination reaction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 239000013078 crystal Substances 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
- H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명은 우수한 노이즈 제거 효과를 얻는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체를 제공한다.
화상 처리 장치는 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 것이다. 화상 처리 장치는 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부와, 참조 화소값의 휘도 성분을 제 1 필터 계수로 가중치 부여 가산함과 아울러, 참조 화소값의 색차 성분을 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 수정 화소값을 이용해서 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부를 가진다. 입력 화상은 베이어 패턴 형식으로 화소값이 유지되어 있다.
화상 처리 장치는 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 것이다. 화상 처리 장치는 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부와, 참조 화소값의 휘도 성분을 제 1 필터 계수로 가중치 부여 가산함과 아울러, 참조 화소값의 색차 성분을 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 수정 화소값을 이용해서 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부를 가진다. 입력 화상은 베이어 패턴 형식으로 화소값이 유지되어 있다.
Description
본 발명의 일 측면은 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 관한 것이다.
종래, 화상 처리 장치로서, 입력 화상에 대해 노이즈 제거 처리를 행하는 장치가 알려져 있다. 특허문헌 1의 화상 처리 장치는 베이어 신호의 국소 성분을 특징량 벡터로서 취급한다. 그리고, 당해 화상 처리 장치는 주변의 벡터 차분에 근거하는 가중 계수와 벡터 노름(vector norm)을 산출한다. 특허문헌 2의 화상 처리 장치는 YUV 신호로 나타내어지는 입력 화상에 대해 노이즈 제거 처리를 행한다.
그런데, YUV 신호로 나타내어지는 입력 화상은 공간적인 보완 처리가 이루어진 후의 화상이다. 따라서, YUV 신호로 나타내어지는 입력 화상은 화소간의 공간적인 상관이 높기 때문에, 노이즈 성분의 제거가 어렵다. 그래서, 본 기술분야에서는, 우수한 노이즈 제거 효과를 얻을 수 있는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체가 요구되고 있다.
본 발명의 일 측면에 따른 화상 처리 장치는, 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 화상 처리 장치로서, 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부와, 참조 화소값의 휘도 성분을 제 1 필터 계수로 가중치 부여 가산함과 아울러, 참조 화소값의 색차 성분을 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 수정 화소값을 이용해서 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부를 갖고, 입력 화상은 베이어 패턴 형식으로 화소값이 유지된다.
이 화상 처리 장치는 베이어 패턴 형식으로 화소값이 유지된 입력 화상에 대해 필터 처리를 실행한다. 이 필터 처리에서는, 우선 입력 화상의 화소값이 휘도 성분과 색차 성분으로 분리된다. 그리고, 휘도 성분이 제 1 필터 계수를 이용하여 가중치 부여 가산되고, 색차 성분이 제 2 필터 계수를 이용하여 가중치 부여 가산된다. 이 입력 화상은 베이어 패턴 형식으로 화소값이 유지된다. 따라서, 상이한 화소간의 공간적인 상관이 낮기 때문에, 노이즈의 발생 등을 원인으로 하여 발생할 수 있는 이상(異常)인 화소값의 영향이 주변의 화소값에 미치지 않았다. 따라서, 이 화상 처리 장치는 우수한 노이즈 제거 효과를 얻을 수 있는 것이 가능하다.
일 실시 형태에서는, 화상 처리 장치는 입력 화상을 구성하는 입력 화소값을 베이어 패턴 형식으로 저장하는 입력 버퍼를 더 구비하여도 좋다. 또, 필터 설정부는 입력 버퍼에 저장된 화소값을 이용하여, 축소 화상을 생성하는 축소 화상 생성부와, 축소 화상을 구성하는 축소 화소값을 저장하는 축소 화상 버퍼와, 축소 화상 버퍼에 저장된 축소 화상으로부터 참조 화소를 선택하는 참조 화소 선택부를 가져도 좋다. 필터 처리를 실행하는 경우에는, 필터 처리 대상으로 되는 화소의 주위에 존재하는 참조 화소를 이용하여 처리를 행한다. 노이즈 제거 효과의 관점에 의하면, 넓은 범위로부터 다수의 참조 화소를 선택하는 것이 바람직하다. 그러나, 이러한 참조 화소의 선택에 의하면, 처리 부하가 증대될 우려가 있다. 한편, 이 구성에 의하면, 축소 화상을 구성하는 화소를 참조 화소로서 선택한다. 축소 화상으로부터의 참조 화소의 선택에 따르면, 처리 부하의 증가를 억제하면서, 넓은 범위로부터 다수의 참조 화소를 선택한 경우에 얻어지는 효과에 가까운 효과를 얻을 수 있다.
일 실시 형태에서는, 필터 설정부는, 입력 버퍼에 저장된 입력 화소값을 이용하여, 제 1 대상 화소값을 생성하는 대상 화소값 생성부와, 참조 화소 선택부에서 선택된 참조 화소의 참조 화소값과 대상 화소값 생성부에서 생성된 제 1 대상 화소값을 이용하여, 화소값 차분을 산출하는 차분 산출부와, 화소값 차분을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 산출하는 계수 산출부를 갖고, 화소값 차분과 제 1 필터 계수의 관계, 및 화소값 차분과 제 2 필터 계수의 관계는 제 1 대상 화소값에 대응하여 동적으로 변화시켜도 좋다. 입력 화상에 중첩된 노이즈의 강도는 씬의 화소값에 의존한다. 이 구성에 의하면, 노이즈 처리의 대상이 되는 화소의 화소값에 따라 필터 계수가 동적으로 변화한다. 따라서, 필터 설정부에 의하면, 입력 화상에 중첩된 노이즈를 적절하게 제거할 수 있다.
일 실시 형태에서는, 참조 화소 선택부는 축소 화상 버퍼에 저장된 축소 화상에서의 일부의 축소 화소를 참조 화소로서 선택하여도 좋다. 이 구성에 의하면, 노이즈 처리에 필요로 하는 처리 부하의 증가를 더 억제하는 것이 가능하게 된다.
일 실시 형태에서는, 수정 화소값을 베이어 패턴 형식으로 저장하는 후단 버퍼와, 화상의 이상 화소를 처리하는 이상 화소 처리부를 더 구비하고, 이상 화소 처리부는 후단 버퍼에 저장되어 있는 복수의 수정 화소값에서, 이상 처리 대상 화소가 가지는 제 2 대상 화소값과, 이상 처리 대상 화소의 주변에서의 주변 화소가 가지는 주변 화소값으로부터 추정되는 이상 처리 대상 화소의 추정 화소값을 비교하는 것에 의해, 제 2 대상 화소값이 이상인지 여부를 판정하는 이상 판정부와, 이상 판정부에서, 제 2 대상 화소값이 이상이라고 판정된 경우에는, 제 2 대상 화소값을 추정 화소값으로 치환하는 치환 처리부를 가져도 좋다. 이 구성에 의하면, 이상인 화소값을 추정 화소값으로 치환하는 것에 의해, 필터 대상 화상에 포함된 이상 화소를 배제할 수 있다. 따라서, 더 우수한 노이즈 제거 효과를 얻는 것이 가능해진다.
본 발명의 다른 측면에 따른 화상 처리 장치는, 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 화상 처리 장치로서, 입력 화상을 구성하는 화소값을 베이어 패턴 형식으로 저장하는 후단 버퍼와, 화상의 이상 화소를 처리하는 이상 화소 처리부를 구비하며, 이상 화소 처리부는 후단 버퍼에 저장되어 있는 복수의 화소값에서, 이상 처리 대상 화소가 가지는 제 2 대상 화소값과, 이상 처리 대상 화소의 주변에서의 주변 화소가 가지는 주변 화소값으로부터 추정되는 이상 처리 대상 화소의 추정 화소값을 비교하는 것에 의해, 제 2 대상 화소값이 이상인지 여부를 판정하는 이상 판정부와, 이상 판정부에서, 제 2 대상 화소값이 이상이라고 판정된 경우에는, 제 2 대상 화소값을 추정 화소값으로 치환하는 치환 처리부를 가진다. 이 구성에 의하면, 이상인 화소값을 추정 화소값으로 치환하는 것에 의해, 필터 대상 화상에 포함된 이상 화소를 배제할 수 있다. 따라서, 우수한 노이즈 제거 효과를 얻는 것이 가능해진다.
본 발명의 다른 측면에 따른 화상 처리 방법은, 컴퓨터를 이용하여, 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 화상 처리 방법으로서, 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정 스텝과, 참조 화소값을 휘도 성분과 색차 성분으로 분리하고, 휘도 성분을 제 1 필터 계수로 가중치 부여 가산함과 아울러 색차 성분을 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 수정 화소값을 이용해서 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거 스텝을 갖고, 입력 화상은 베이어 패턴 형식으로 화소값이 유지된다.
본 발명의 또 다른 측면에 따른 화상 처리 프로그램은, 컴퓨터를 이용하여, 입력 화상에 대해 노이즈를 제거하는 처리를 행하도록 컴퓨터를 기능시키는, 매체에 저장된 화상 처리 프로그램으로서, 컴퓨터를, 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부, 참조 화소값을 휘도 성분과 색차 성분으로 분리하고, 휘도 성분을 제 1 필터 계수로 가중치 부여 가산함과 아울러 색차 성분을 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 수정 화소값을 이용해서 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부로서 기능시키고, 입력 화상은 베이어 패턴 형식으로 화소값이 유지된다.
본 발명의 또다른 측면에 따른 기록 매체는, 컴퓨터를 이용하여, 입력 화상에 대해 노이즈를 제거하는 처리를 행하도록 컴퓨터를 기능시키는 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서, 컴퓨터를, 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부, 참조 화소값을 휘도 성분과 색차 성분으로 분리하고, 휘도 성분을 제 1 필터 계수로 가중치 부여 가산함과 아울러 색차 성분을 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 수정 화소값을 이용해서 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부로서 기능시키고, 입력 화상은 베이어 패턴 형식으로 화소값이 유지된다.
상술한 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 의하면, 상술한 본 발명의 일 측면에 따른 화상 처리 장치와 동일한 효과를 얻을 수 있다.
본 발명의 여러 측면 및 실시 형태에 의하면, 우수한 노이즈 제거 효과를 얻는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체가 제공된다.
도 1은 실시 형태에 따른 화상 처리 장치를 탑재한 휴대 단말의 기능 블럭도이다.
도 2는 실시 형태에 따른 화상 처리 장치가 탑재된 휴대 단말의 하드웨어 구성도이다.
도 3은 실시 형태에 따른 화상 처리 장치가 구비하는 노이즈 처리부의 기능 블럭도이다.
도 4는 실시 형태에 따른 화상 처리 장치가 구비하는 이상 화소 처리부의 기능 블럭도이다.
도 5는 실시 형태에 따른 화상 처리 장치의 동작을 설명하는 흐름도이다.
도 6은 실시 형태에 따른 화상 처리 장치의 동작을 설명하는 상세한 흐름도이다.
도 7은 참조 화소를 선택하는 처리의 설명도이다.
도 2는 실시 형태에 따른 화상 처리 장치가 탑재된 휴대 단말의 하드웨어 구성도이다.
도 3은 실시 형태에 따른 화상 처리 장치가 구비하는 노이즈 처리부의 기능 블럭도이다.
도 4는 실시 형태에 따른 화상 처리 장치가 구비하는 이상 화소 처리부의 기능 블럭도이다.
도 5는 실시 형태에 따른 화상 처리 장치의 동작을 설명하는 흐름도이다.
도 6은 실시 형태에 따른 화상 처리 장치의 동작을 설명하는 상세한 흐름도이다.
도 7은 참조 화소를 선택하는 처리의 설명도이다.
이하, 첨부 도면을 참조하여 실시 형태에 대해 설명한다. 또, 각 도면에 있어서 동일 또는 상당 부분에는 동일한 부호를 부여하고, 중복되는 설명을 생략한다.
본 실시 형태에 따른 화상 처리 장치는, 예를 들면 노이즈가 제거된 프레임 화상을 출력한다. 화상 처리 장치는, 예를 들면 복수의 화상의 연속 촬영이나 동영상 촬영의 경우에 적합하게 채용된다. 본 실시 형태에 따른 화상 처리 장치는, 예를 들면 휴대 전화, 디지털 카메라, PDA(Personal Digital Assistant) 등, 자원에 제한이 있는 모바일 단말에 적합하게 탑재된다. 그러나, 화상 처리 장치는, 이들 모바일 단말만이 아니라, 예를 들면 통상의 컴퓨터 시스템에 탑재되어도 좋다. 화상 처리 장치는, 촬상 장치에 조립되는 소위 온-칩 ISP(Image Signal Processor) 등도 포함한다. 또, 이하에서는, 설명 이해의 용이성을 고려하여, 일례로서, 휴대 단말에 탑재된 화상 처리 장치를 설명한다.
도 1에 나타내는 휴대 단말 T는, 예를 들면 사용자가 휴대하는 이동 단말이다. 휴대 단말 T는 도 2에 나타내는 하드웨어 구성을 가진다. 도 2에 나타내는 바와 같이, 휴대 단말 T는, 물리적으로는 CPU(Central Processing Unit)(100), RAM(Random Access Memory)(101) 및 ROM(Read Only Memory)(102)등의 주기억 장치, 카메라 또는 키보드 등의 입력 디바이스(103), 디스플레이 등의 출력 디바이스(104), 하드 디스크 등의 보조 기억 장치(105) 등을 포함한다. 후술하는 휴대 단말 T 및 화상 처리 장치(1)의 각 기능은 CPU(100), RAM(101), ROM(102) 등의 하드웨어 상에 소정의 컴퓨터 소프트웨어를 읽어들이게 하는 것에 의해, CPU(100)의 제어 하에서 입력 디바이스(103) 및 출력 디바이스(104)를 동작시킴과 아울러, 주기억 장치나 보조 기억 장치(105)에서의 데이터의 판독 및 기입을 행함으로써 실현된다. 또, 휴대 단말 T는 통신 모듈 등을 구비하여도 좋다. 상기의 설명은 휴대 단말 T의 하드웨어 구성으로서 설명했지만, 화상 처리 장치(1)는 통상의 컴퓨터 시스템으로서 구성되어도 좋다. 통상의 컴퓨터 시스템은 CPU(100), RAM(101) 및 ROM(102) 등의 주기억 장치, 입력 디바이스(103), 출력 디바이스(104), 보조 기억 장치(105) 등을 포함한다.
도 1에 나타내는 바와 같이, 휴대 단말 T는 카메라(41)와, 화상 처리 장치(1)와, 표시부(42)를 구비한다. 카메라(41)는 정지 화상이나 동화상을 촬상한다. 동화상은 시계열로 연속하는 복수의 프레임 화상을 포함한다. 또, 카메라(41)는 사용자 조작 등에 의해 지정된 타이밍으로부터 소정의 간격으로 반복하여 촬상하는 연속 촬상 기능을 가져도 좋다. 카메라(41)는 프레임 화상을 화상 처리 장치(1)에 출력한다.
화상 처리 장치(1)는 카메라(41)에 의해 얻어진 입력 화상을 처리하는 것에 의해서 출력 화상을 생성한다. 예를 들면, 화상 처리 장치(1)는 입력 화상의 노이즈 및 이상 화소를 제거한다. 노이즈란, 예를 들면 촬상된 영상 상에 발생하는 깜박거림이다. 노이즈는, 예를 들면 프레임 화상 사이에서 시간 경과와 함께 랜덤으로 변경되는 화소값이다. 노이즈는 동일 프레임 내에서 주위의 화소의 화소값과는 극단적으로 다른 화소값이어도 좋다. 화소값이란, 화소에 대응지어진 정보이며, 예를 들면 RGB 성분, 휘도 성분, 색차값 및 채도 등을 포함한다. 이상 화소란, 주위의 화소로부터 추정한 화소값에 대해 소정의 임계값 이상의 차분을 포함하는 화소값을 가지는 화소를 말한다.
화상 처리 장치(1)는, 예를 들면 노이즈 처리부(2)와 이상 화소 처리부(3)를 구비한다. 노이즈 처리부(2)는 카메라(41)로부터 입력된 프레임 화상의 노이즈를 제거한다. 노이즈 처리부(2)는 노이즈 처리가 이루어진 처리 화상을 출력한다. 보다 상세하게는, 노이즈 처리부(2)는 카메라(41)로부터 출력된 직후의 베이어 패턴 형식의 화상 데이터에 대해 노이즈 제거 처리를 실시한다. 그리고, 노이즈 처리부(2)는 노이즈가 제거된 베이어 패턴 형식의 화상 데이터를 출력한다.
도 3에 나타내는 바와 같이, 노이즈 처리부(2)는 입력 라인 버퍼(입력 버퍼, 입력 버퍼부)(4)와, 필터 설정부(6)와, 노이즈 제거부(7)를 가진다. 노이즈 처리부(2)는, 소위 바이래터럴 필터(bilateral filter)를 이용한 노이즈 처리를 실행한다. 바이래터럴 필터는 에지를 남기면서 노이즈를 제거하는 기능을 갖는 필터이며, 바이래터럴 필터 처리는 에지를 유지하면서, 당해 에지를 평활화한다. 바이래터럴 필터 처리는 노이즈 처리 대상 화소와, 노이즈 처리 대상 화소의 주변에 존재하는 다른 화소와의 거리와, 노이즈 처리 대상 화소가 가지는 화소값을 이용하여, 노이즈 처리 대상이 되는 화소를 조정한다.
이하의 설명에서의 필터 계수로는, 휘도에 적용되는 필터(제 1 필터 계수)와, 색차에 적용되는 필터(제 2 필터 계수)가 있다. 휘도에 적용되는 필터는 공간 필터 계수와 휘도 필터 계수에 근거하여 결정된다. 공간 필터 계수는 공간에 관한 값으로부터 산출된 계수이다. 공간 필터 계수는, 예를 들면 노이즈 처리 대상이 되는 화소와 주변의 화소의 거리가 작을수록 크고, 거리가 클수록 작아지도록 설정된다. 휘도 필터 계수는 노이즈 처리 대상이 되는 화소의 휘도 성분과 주변의 화소의 휘도 성분의 차분에 근거해 설정된다. 색차에 적용되는 필터는 공간 필터 계수와 색차 필터 계수에 근거하여 결정된다. 색차 필터 계수는 노이즈 처리 대상이 되는 화소의 색차 성분과 주변의 화소의 색차 성분의 차분에 근거하여 설정된다.
입력 라인 버퍼(4)는 카메라(41)로부터 출력된 입력 화상의 입력 화소값을 저장한다. 카메라(41)로부터 출력된 입력 화상은, 소위 베이어 패턴 형식의 화상 포맷을 가진다. 이 카메라(41)는 컬러 필터 등을 이용하여, 입사된 광을 적(R), 녹(G), 청(B)의 3원색으로 색 분해한다. 그리고, 분해된 각각의 광은 격자 모양으로 배열된 수광 소자에 의해 검출된다.
필터 설정부(6)는 입력 라인 버퍼(4)에 저장된 화소값을 이용하여, 프레임 화상의 노이즈를 제거하기 위한 휘도에 적용되는 필터 계수 및 색차에 적용되는 필터 계수를 설정한다. 필터 설정부(6)는 설정한 필터 계수를 노이즈 제거부(7)에 출력한다.
필터 설정부(6)는 축소 화상 생성부(8)와, 축소 화상 라인 버퍼(축소 화상 버퍼)(9)와, 참조 화소 선택부(11)와, 대상 화소값 생성부(12)와, 차분 산출부(13)와, 임계값 결정부(14)와, 계수 산출부(20)를 가진다.
축소 화상 생성부(8)는 입력 라인 버퍼(4)에 저장된 베이어 패턴 형식의 화소값을 축소 및 풀 컬러화한다. 이 축소 화상 생성부(8)에서 생성된 축소 화상의 축소 화소값은 노이즈 처리에서의 참조 화소값으로서 이용된다.
축소 화상 라인 버퍼(9)는 축소 화상 생성부(8)로부터 출력된 축소 화소의 화소값을 저장한다. 축소 화상 라인 버퍼(9)에서의 1 화소란, 입력 라인 버퍼(4)에서의 1 블록(예를 들면, 4 화소×4 화소의 영역)에 상당한다. 축소 화상 라인 버퍼(9)는 소망하는 저장 영역을 설정 가능하다. 축소 화상 라인 버퍼(9)는 참조 화소 선택부(11)로부터 참조 가능하게 구성된다.
참조 화소 선택부(11)는 축소 화상 라인 버퍼(9)에 저장된 축소 화상을 구성하는 화소로부터 하나 또는 복수의 참조 화소를 선택한다. 참조 화소 선택부(11)는 축소 화상 라인 버퍼(9)에서의 참조 화소의 위치 정보를 공간 필터 계수 결정부(16a)에 출력한다. 참조 화소 선택부(11)는 참조 화소의 화소값을 차분 산출부(13) 및 노이즈 제거부(7)에 출력한다.
대상 화소값 생성부(12)는 노이즈 처리 대상 화소에서의 화소값을 생성한다. 노이즈 처리 대상 화소란, 입력 라인 버퍼(4)에 저장된 화소로부터 선택되는 것이다. 따라서, 노이즈 처리 대상 화소는 R 성분, G 성분, B 성분 중 어느 1개의 화소값을 가진다. 그 외의 성분은 노이즈 처리 대상 화소의 주위에서의 화소의 화소값을 이용하여 산출한다. 따라서, 대상 화소값은 선택된 화소가 가지는 1개의 색 성분과, 노이즈 처리 대상 화소의 주위에서의 화소의 화소값으로부터 산출된 다른 2개의 색 성분을 가진다. 대상 화소값 생성부(12)는 노이즈 처리를 입력 라인 버퍼(4)에서의 모든 화소에 대해 실행한다. 대상 화소값 생성부(12)는 입력 라인 버퍼(4)의 화소를 노이즈 처리 대상 화소로서 순차적으로 선택한다.
차분 산출부(13)는 노이즈 처리 대상 화소의 화소값과 참조 화소의 화소값의 차분을 산출한다. 차분 산출부(13)는 산출한 차분을 계수 산출부(20)에 출력한다.
임계값 결정부(14)는 노이즈 처리 대상 화소의 화소값을 이용하여, 휘도 필터 계수와 색차 필터 계수를 결정하기 위한 임계값을 결정한다. 임계값 결정부(14)는 결정한 임계값을 계수 산출부(20)에 출력한다.
계수 산출부(20)는 휘도에 적용되는 필터 계수와, 색차에 적용되는 필터 계수를 산출한다. 계수 산출부(20)는 공간 필터 계수 결정부(16a)와, 휘도 필터 계수 결정부(16b)와, 색차 필터 계수 결정부(16c)와, 휘도에 적용되는 필터 계수 결정부(제 1 필터 계수 결정부)(17a)와, 색차에 적용되는 필터 계수 결정부(제 2 필터 계수 결정부)(17b)를 가진다.
공간 필터 계수 결정부(16a)는 참조 화소 선택부(11)로부터 출력된 축소 화상 라인 버퍼(9)에서의 참조 화소의 위치 정보를 이용하여, 공간 필터 계수를 결정한다. 공간 필터 계수 결정부(16a)는 참조 화소의 위치 정보, 보다 상세하게는 중심 화소로부터 참조 화소까지의 거리와 공간 필터 계수가 관련지어진 정보를 유지한다. 예를 들면, 이 정보는 거리에 대해 공간 필터 계수가 단조(單調)적으로 감소하는 함수이다. 또, 이 정보는 공간 필터 계수와 거리가 개개에 대응지어진 데이터베이스이어도 좋다. 중심 화소로부터 참조 화소까지의 거리는 거리의 정의를 만족하는 것이면 된다. 예를 들면, 거리의 정의로는, 맨하탄 거리나 유클리드 거리라는 정의를 이용하여도 좋다. 공간 필터 계수 결정부(16a)는 결정한 공간 필터 계수를 필터 계수 결정부(17a, 17b)에 출력한다.
휘도 필터 계수 결정부(16b)는 차분 산출부(13)로부터 출력된 차분과, 임계값 결정부(14)로부터 출력된 임계값을 이용하여, 휘도 필터 계수를 결정한다. 휘도 필터 계수 결정부(16b)는 결정한 휘도 필터 계수를 필터 계수 결정부(17a)에 출력한다.
색차 필터 계수 결정부(16c)는 차분 산출부(13)로부터 출력된 차분과, 임계값 결정부(14)로부터 출력된 임계값을 이용하여 색차 필터 계수를 결정한다. 색차 필터 계수 결정부(16c)는 결정한 색차 필터 계수를 필터 계수 결정부(17b)에 출력한다.
필터 계수 결정부(17a)는 공간 필터 계수 결정부(16a)로부터 출력된 공간 필터 계수와, 휘도 필터 계수 결정부(16b)로부터 출력된 휘도 필터 계수를 이용하여 휘도에 적용되는 필터 계수를 산출한다. 필터 계수 결정부(17a)는 휘도에 적용되는 필터 계수를 노이즈 제거부(7)에 출력한다.
필터 계수 결정부(17b)는 공간 필터 계수 결정부(16a)로부터 출력된 공간 필터 계수와, 색차 필터 계수 결정부(16c)로부터 출력된 색차 필터 계수를 이용하여 색차에 적용되는 필터 계수를 산출한다. 필터 계수 결정부(17b)는 색차에 적용되는 필터 계수를 노이즈 제거부(7)에 출력한다.
노이즈 제거부(7)는 수정 화소값 산출부(18)와, 후단 라인 버퍼(19)를 가진다. 노이즈 제거부(7)는 참조 화소 선택부(11)로부터 출력된 참조 화소의 화소값과, 필터 계수 결정부(17a)로부터 출력된 휘도에 적용되는 필터 계수와, 필터 계수 결정부(17b)로부터 출력된 색차에 적용되는 필터 계수를 이용하여 수정 화소값을 산출한다.
수정 화소값 산출부(18)는 화소값 가산부(18a)와, 필터 계수 가산부(18b)와, 제산부(18c)를 가진다.
화소값 가산부(18a)는 휘도 성분의 누적 가산값을 산출한다. 휘도 성분의 누적 가산값이란, 참조 화소 선택부(11)로부터 출력된 휘도값과, 계수 산출부(20)로부터 출력된 공간 필터 계수와, 휘도에 적용되는 필터 계수를 곱한 값을 순차적으로 가산한 값이다. 화소값 가산부(18a)는 색차 성분의 누적 가산값을 산출한다. 색차 성분의 누적 가산값이란, 참조 화소 선택부(11)로부터 출력된 색차값과, 계수 산출부(20)로부터 출력된 공간 필터 계수와, 색차에 적용되는 필터 계수를 곱한 값을 순차적으로 가산한 값이다.
필터 계수 가산부(18b)는 계수 산출부(20)로부터 출력된 공간 필터 계수와, 휘도에 적용되는 필터 계수와, 색차에 적용되는 필터 계수를 이용하여, 휘도 필터 계수에 관한 누적 가산값(가중치 부여 가산값)과 색차 필터 계수에 관한 누적 가산값(가중치 부여 가산값)을 산출한다.
제산부(18c)는 수정 화소값 산출부(18)에서 산출된 휘도 성분의 누적 가산값을 휘도 필터 계수에 관한 누적 가산값으로 제산하는 것에 의해, 수정 화소값의 휘도 성분을 산출한다. 제산부(18c)는 수정 화소값 산출부(18)에서 산출된 색차 성분의 누적 가산값을 색차 필터 계수에 관한 누적 가산값으로 제산하는 것에 의해, 수정 화소값의 색차 성분을 산출한다.
수정 화소값은 휘도 성분과 색차 성분으로 나타내어진다. 수정 화소값의 휘도 성분은 가중치 부여된 휘도값의 누적 가산값을 필터 계수의 누적 가산값으로 제산하는 것에 의해 산출된다. 수정 화소값의 색차 성분은 가중치 부여된 색차값의 누적 가산값을 필터 계수의 누적 가산값으로 제산하는 것에 의해 산출된다. 제산부(18c)는 산출된 수정 화소값을 후단 라인 버퍼(19)에 출력한다.
후단 라인 버퍼(19)는 수정 화소값을 베이어 패턴 형식으로 저장한다. 후단 라인 버퍼(19)는 입력 라인 버퍼(4)와 등가인 데이터 저장 영역을 가진다. 따라서, 후단 라인 버퍼(19)에서의 소정 어드레스의 화소는 입력 라인 버퍼(4)에서의 소정 어드레스의 화소에 대응한다. 그리고, 후단 라인 버퍼(19)에는, 입력 라인 버퍼(4)의 화소값으로 바꾸고, 노이즈 제거 처리가 이루어진 화소값이 저장된다.
또, 화상 처리 장치(1)는 후단 라인 버퍼(19)에 저장된 화소값을, 후술하는 이상 화소 처리부(3)를 경유하지 않고 직접 표시부(42)에 출력하여도 좋다.
이상 화소 처리부(3)는 노이즈 처리부(2)로부터 출력된 처리 화상에 포함될 수 있는 이상 화소를 제거한다. 도 4에 나타내는 바와 같이, 이상 화소 처리부(3)는 이상 판정부(21)와 치환 처리부(22)를 가진다.
이상 판정부(21)는 후단 라인 버퍼(19)에 저장된 수정 화소값이 이상인지 여부를 판정한다. 보다 상세하게는, 이상 판정부(21)는 후단 버퍼에 저장되는 복수의 수정 화소값에 있어서, 이상 처리 대상 화소가 가지는 대상 화소값(제 2 대상 화소값)과, 이상 처리 대상 화소의 주변에서의 주변 화소가 가지는 주변 화소값으로부터 추정되는 이상 처리 대상 화소의 추정 화소값을 비교하는 것에 의해, 대상 화소값이 이상인지 여부를 판정한다. 이상 판정부(21)는 통계량 산출부(23)와, 연속성 판정부(24)와, 제 1 임계값 결정부(25)와, 차분 산출부(27)와, 제 2 임계값 결정부(26)와, 괴리수 판정부(28)를 가진다.
통계량 산출부(23)는 이상 판정에 이용하는 통계량을 산출한다. 통계량 산출부(23)는 후단 라인 버퍼(19)에 저장된 수정 화소로부터 이상 처리 대상 화소를 선택하는 것에 의해, 이상 처리 대상 화소가 가지는 대상 화소값을 취득한다. 보다 상세하게는, 통계량 산출부(23)는 이상 처리 대상 화소의 주위에서의 소정 범위(예를 들면, 5 화소×5 화소)를 1개의 블록으로서 추출한다.
연속성 판정부(24)는 통계량 산출부(23)에서 추출된 블록이 구성하는 화상이 연속인지 여부를 판정하는 기능을 가진다. 연속성 판정부(24)는 중심 화소값이 블록 내에서의 화소값의 평균과 가까운 경우에는, 그 후의 처리를 스킵한다. 보다 상세하게는, 연속성 판정부(24)는 먼저 블록 내의 화소값의 평균과 중심 화소값의 차분의 절대값을 산출한다. 다음으로, 연속성 판정부(24)는 절대값과 미리 정해진 임계값을 비교한다. 절대값이 임계값보다 작은 경우에는, 연속성 판정부(24)는 중심 화소가 이상 화소가 아니라고 판단하여, 후단의 처리를 스킵한다. 절대값이 임계값보다 큰 경우에는, 연속성 판정부(24)는 중심 화소가 이상 화소라고 판단하여, 후단의 처리를 실시한다. 따라서, 연속성 판정부(24)는 이상 화소 처리의 효율화를 위해서 마련된다.
제 1 임계값 결정부(25)는 차분 산출부(13)의 처리에서 이용되는 제 1 임계값을 결정한다. 제 1 임계값 결정부(25)는 통계량 산출부(23)로부터 출력된 분산을 이용하여 제 1 임계값을 결정한다. 이 분산은 통계량 산출부(23)에서 추출된 블록에 포함된 화소값의 편차를 나타낸다. 따라서, 당해 분산을 이용한 제 1 임계값의 결정에 의하면, 당해 분산에 따라 제 1 임계값이 동적으로 변화한다.
차분 산출부(27)는 대상 화소값과 주변 화소값의 차분(제곱 오차)을 산출함과 아울러, 차분이 제 1 임계값을 넘은 회수를 취득한다. 그리고, 차분 산출부(27)는 차분이 제 1 임계값을 넘은 회수를 괴리수로서 출력한다.
제 2 임계값 결정부(26)는 괴리수 판정부(28)의 처리에서 이용되는 제 2 임계값을 결정한다. 제 2 임계값 결정부(26)는 통계량 산출부(23)에서 추출된 블록 내의 화상에 에지가 포함되는지 여부에 근거하여 제 2 임계값을 결정한다. 제 2 임계값 결정부(26)는 제 2 임계값을 괴리수 판정부(28)에 출력한다.
괴리수 판정부(28)는 차분 산출부(13)로부터 출력된 괴리수와 제 2 임계값 결정부(26)로부터 출력된 제 2 임계값을 비교하는 것에 의해, 이상 처리 대상 화소의 대상 화소값이 이상인지 여부를 판정한다.
화소값 치환부(29)는 이상 처리 대상 화소의 대상 화소값이 이상이라고 판정된 경우에, 이상 처리 대상 화소에 저장된 대상 화소값을, 추정 화소값을 이용하여 얻어지는 보정 화소값으로 치환한다. 그리고, 화소값 치환부(29)는 치환한 보정 화소값을 출력 라인 버퍼(31)에 출력한다.
출력 라인 버퍼(31)는 이상 화소 처리가 이루어진 보정 화소값 또는 후단 라인 버퍼(19)에 저장된 화소값을 베이어 패턴 형식으로 저장한다. 즉, 출력 라인 버퍼(31)는 입력 라인 버퍼(4) 및 후단 라인 버퍼(19)와 등가인 데이터 저장 영역을 가진다. 이상 판정부(21)에서 이상이라고 판단된 화소에는, 대상 화소값에 갈음하여, 치환 처리부(22)에서 산출된 보정 화소값이 저장된다. 이상 판정부(21)에서 이상이라고 판단되지 않은 화소에는, 대상 화소값이 저장된다.
출력 라인 버퍼(31)에 저장된 보정 화소값은 풀 컬러화라는 소정의 데이터 처리가 이루어진 후에, 표시부(42)에서 표시된다.
다음으로, 본 실시 형태에 따른 화상 처리 장치(1)의 동작에 대해 설명한다. 도 5 및 도 6은 본 실시 형태에 따른 화상 처리 장치(1)의 동작을 나타내는 흐름도이다. 도 5 및 도 6에 나타내는 제어 처리는, 예를 들면 휴대 단말 T의 촬상 기능을 ON으로 한 타이밍에서 개시되고, 소정의 주기로 반복하여 실행된다.
도 5에 나타내는 바와 같이, 노이즈 처리 S10이 실행된다. 노이즈 처리 S10에서는, 입력 버퍼로의 저장 처리 S11이 실시되는 것에 의해, 카메라(41)의 수광 소자로부터 화소값이 순차적으로 판독되고, 판독된 화소값이 입력 라인 버퍼(4)에 저장된다.
필터 설정부(6)의 축소 화상 생성부(8)는 축소 화상의 생성 처리 S12를 실행한다. 생성 처리 S12에서는, 축소 화상 생성부(8)가 입력 라인 버퍼(4)에서의 4 화소×4 화소의 블록을 1개의 축소 화소로서 추출한다. 그리고, 축소 화상 생성부(8)가 당해 블록에 포함된 R 성분의 화소값, G 성분의 화소값, B 성분의 화소값의 각각을 이용하여 평균화 처리를 행한다. 이 평균화 처리에 의해서, 입력 라인 버퍼(4)에 저장된 화소값이 축소화 및 풀 컬러화된다. 그리고, 생성 처리 S12에서는, 평균화 처리에 의해 얻어진 R 성분(Rref), G 성분(Gref), B 성분(Bref)이 축소 화소의 화소값으로서 출력된다.
필터 설정부(6)의 축소 화상 라인 버퍼(9)는 축소 화상 라인 버퍼(9)로의 저장 처리 S13을 실행한다. 화상 처리 장치(1)는 생성 처리 S12를 실행한 후에 저장 처리 S13을 실행하는 스텝을 반복해서 실행한다.
필터 설정부(6)의 대상 화소값 생성부(12)는 대상 화소값의 생성 처리 S14를 실행한다. 생성 처리 S14에 의해, 대상 화소값(Rorg, Gorg, Borg)(제 1 대상 화소값)이 얻어진다. 생성 처리 S14에서는, 입력 라인 버퍼(4)에서 노이즈 처리의 대상으로 되는 노이즈 처리 대상 화소가 선택된다. 생성 처리 S14에서는, 노이즈 처리 대상 화소의 주위에 존재하는 복수의 화소가 샘플링용 화소로서 선택된다. 생성 처리 S14에서는, 예를 들면 노이즈 처리 대상 화소를 중심으로 한 5 화소×5 화소의 블록이 추출된다. 생성 처리 S14에서는, 이 블록을 구성하는 화소의 화소값을 이용하여, 화상의 축소화 및 풀 컬러화가 이루어진다. 생성 처리 S14에서는, 샘플링용 화소의 화소값을 평균 처리하여, 노이즈 처리 대상 화소가 가지지 않는 다른 색 성분의 화소값이 얻어진다.
참조 화소 선택부(11)는 필터 계수의 설정 처리(필터 설정 스텝) S15를 실행한다. 도 6에 나타내는 바와 같이, 설정 처리 S15에서는, 참조 화소의 선택 처리 S15a가 실행된다. 선택 처리 S15a에서는, 축소 화상 라인 버퍼(9)에 저장된 축소 화상의 화소로부터 하나 또는 복수의 화소가 선택된다. 선택 처리 S15a에서는, 축소 화상의 모든 화소가 순차적으로 선택되는 것은 아니다. 선택 처리 S15a에서는, 노이즈 처리 대상 화소에 대응하는 중심 화소에 대해, 축소 화상 라인 버퍼(9)의 사이즈에 따라 미리 설정된 위치의 화소가 선택된다. 선택 처리 S15a에서는, 예를 들면 도 7에 나타내는 바와 같이, 중심 화소 P1에 대한 주변 화소 P2가 참조 화소로서 선택된다. 선택 처리 S15a에서, 1개의 화소가 선택된 경우(1 화소 샘플링)에는, 선택된 화소의 화소값과, 중심 화소로부터 선택된 화소까지의 거리가 출력된다. 이 거리는 거리의 정의를 만족하는 것이면 되고, 예를 들면 맨하탄 거리이어도 좋고, 유클리드 거리이어도 좋다. 선택 처리 S15a에 있어서, 복수의 화소가 선택된 경우(범위내 평균 샘플링)에는, 복수의 화소의 각각에 있어서의 화소값을 평균화한 값이 참조 화소값(Rref, Gref, Bref)으로서 출력된다. 선택 처리 S15a에 있어서, 복수의 화소가 선택된 경우(범위내 평균 샘플링)에는, 중심 화소로부터 복수의 화소의 각각까지의 거리를 평균화한 거리가 출력된다.
공간 필터 계수 결정부(16a)는 공간 필터 계수의 결정 처리 S15b를 실행한다. 결정 처리 S15b에서는, 참조 화소의 선택 처리 S15a에서 취득된 중심 화소로부터 참조 화소까지의 거리를 이용하여, 공간 필터 계수(ωSP)가 결정된다. 결정 처리 S15b에 있어서, 공간 필터 계수(ωSP)가 거리를 변수로 하는 함수로서 규정된 경우에는, 당해 함수에 거리가 입력되어, 공간 필터 계수(ωSP)가 산출된다. 또, 결정 처리 S15b에서는, 중심 화소의 공간 필터 계수(ωSP)로서, 미리 설정된 값이 이용된다.
차분 산출부(13)는 화소값 차분(diff)의 산출 처리 S15c를 실행한다. 산출 처리 S15c에서는, 수학식 1에 나타내는 바와 같이, 대상 화소값(Rorg, Gorg, Borg)과 참조 화소의 참조 화소값(Rref, Gref, Bref)이 이용된다. 보다 상세하게는, 산출 처리 S15c에서는, 대상 화소값(Rorg, Gorg, Borg)과 참조 화소값(Rref, Gref, Bref)이 휘도 성분(Y)의 차분(diffluma)과, 색차 성분(UV)의 차분(diffchroma)으로서 각각 산출된다. 산출 처리 S15c에서는, 휘도 성분(Y)의 차분(diffluma)과 색차 성분(UV)의 차분(diffchroma)을 이용하여, 대상 화소값(Rorg, Gorg, Borg)과 참조 화소의 참조 화소값(Rref, Gref, Bref)의 화소값 차분(diff)이 산출된다.
임계값 결정부(14)는 임계값의 결정 처리 S15d를 실행한다. 결정 처리 S15d에서는, 휘도 필터 계수(ωY) 및 색차 필터 계수(ωUV)를 결정하기 위한 하나 또는 복수의 임계값(diffthre)이 결정된다. 결정 처리 S15d에서는, 임계값(diffthre)이 노이즈 처리 대상 화소의 화소값을 이용하여 결정된다. 보다 상세하게는, 결정 처리 S15d에서는, 화소값으로서 YUV 형식으로 표현된 노이즈 처리 대상 화소의 휘도 성분(Y)을 이용하여, 휘도 성분(Y)을 수학식 2에 적용하는 것에 의해 임계값(diffthre)이 산출된다. 즉, 임계값(diffthre)은 휘도 성분(Y)에 의해서 동적으로 변화한다. 결정 처리 S15d에서는, 휘도 성분(Y)이 큰 경우(밝은 경우)에는 허용하는 차분(diff)이 커지도록 설정되어도 좋고, 휘도 성분(Y)이 작은 경우(어두운 경우)에는 허용하는 차분(diff)이 작아지도록 설정되어도 좋다. 결정 처리 S15d에서는, 수학식 2에서 나타내는 바와 같이 휘도 성분(Y)을 변수로 하는 함수를 이용하여 임계값(diffthre)이 산출된다. 이 함수의 종류나 계수를 적절히 선택하는 것에 의해, 휘도 성분(Y)과 임계값(diffthre)의 관계를 소망하는 관계로 제어하는 것이 가능하게 되어, 노이즈를 제거하는 필터 처리의 정도를 제어할 수 있다.
예를 들면, 결정 처리 S15d에서는, 휘도 성분(Y)의 임계값으로서 임계값(diffthre(i=n, j=Y))이 결정된다. 결정 처리 S15d에서는, 색차 성분(UV)의 임계값으로서 임계값(diffthre(i=n, j=UV))이 결정된다. n은 1 이상의 정수이다. n은 휘도 성분(Y)의 차분(diff)을 그 크기에 따라 구분하는 수이다. 또, 결정 처리 S15d에서는, 중심 화소의 휘도 필터 계수(ωY) 및 색차 필터 계수(ωUV)로서 미리 설정된 값이 이용된다.
결정 처리 S15d에서 임계값(diffthre)의 산출에 휘도 성분(Y)만을 이용하는 경우를 예로 설명했지만, 결정 처리 S15d에서는 임계값(diffthre)의 산출에 색차 성분(UV)을 이용하여도 좋다. 상기 수학식 2는 변수가 휘도 성분(Y)만이 아니라 색차 성분(UV)을 포함하여도 좋고, 색차 성분(UV)만이어도 좋다.
휘도 필터 계수 결정부(16b) 및 색차 필터 계수 결정부(16c)는 휘도 필터 계수(ωY) 및 색차 필터 계수(ωUV)의 결정 처리 S15e를 실행한다. 결정 처리 S15e에서는, 화소값 차분의 산출 처리 S15c에서 얻은 화소값 차분(diff)과, 임계값의 결정 처리 S15d에서 얻은 임계값(diffthre)을 비교하여, 휘도 필터 계수(ωY) 및 색차 필터 계수(ωUV)의 값이 결정된다.
결정 처리 S15e에서는, 예를 들면 화소값의 차분(diff)이 임계값(diffthre(i=0, j=Y))보다 큰 경우에는 휘도 필터 계수(ωY)가 제 1 값으로 결정된다. 한편, 결정 처리 S15e에서는, 임계값(diffthre(i=1, j=Y)) 이하인 경우에는 휘도 필터 계수(ωY)가 제 2 값으로 결정된다. 제 1 값은 제 2 값보다 크다. 결정 처리 S15e에서는, 화소값의 차분(diff)이 임계값(diffthre(i=0, j=UV))보다 큰 경우에는 색차 필터 계수(ωUV)가 제 3 값으로 결정된다. 한편, 결정 처리 S15e에서는, 예를 들면 화소값의 차분(diff)이 임계값(diffthre(i=1, j=UV)) 이하인 경우에는 색차 필터 계수(ωUV)가 제 4 값으로 결정된다. 제 3 값은 제 4 값보다 크다.
필터 계수 결정부(17a)는 휘도에 적용되는 필터 계수의 결정 처리 S15f를 실행한다. 휘도에 적용되는 필터 계수란, 후단의 노이즈 제거 처리에서, 참조 화소값의 휘도 성분(Y)에 승산되는 가중치이다. 휘도에 적용되는 필터 계수(ωSP×ωY)는 공간 필터 계수(ωSP)에 휘도 필터 계수(ωY)를 승산한 것이다.
필터 계수 결정부(17b)는 색차 성분에 적용되는 필터 계수의 결정 처리 S15g를 실행한다. 색차 성분에 적용되는 필터 계수란, 후단의 노이즈 제거 처리에서, 참조 화소값의 색도 성분(UV)에 승산되는 가중치이다. 색차 성분에 적용되는 필터 계수(ωSP×ωUV)는 공간 필터 계수(ωSP)에 색차 필터 계수(ωUV)를 승산한 것이다.
임계값(diffthre)은 수학식 2에 나타내는 바와 같이, 제 1 대상 화소값을 이루는 휘도 성분(Y)에 의해서 동적으로 변화한다. 이 때문에, 화소값의 차분(diff)과 휘도 필터 계수(ωY)의 관계는 제 1 대상 화소값을 이루는 휘도 성분(Y)에 의해서 동적으로 변화한다. 따라서, 화소값의 차분(diff)과 휘도에 적용되는 필터 계수의 관계는 제 1 대상 화소값을 이루는 휘도 성분(Y)에 의해서 동적으로 변화한다. 마찬가지로, 화소값의 차분(diff)과 색차 필터 계수(ωUV)의 관계는 제 1 대상 화소값을 이루는 휘도 성분(Y)에 의해서 동적으로 변화한다. 따라서, 화소값의 차분(diff)과 색차 성분에 적용되는 필터 계수의 관계는 제 1 대상 화소값을 이루는 휘도 성분(Y)에 의해서 동적으로 변화한다.
수정 화소값 산출부(18)는 노이즈 제거 처리(노이즈 제거 스텝) S16을 실행한다. 노이즈 제거 처리 S16에서는, 참조 화소의 선택 처리 S15a에서 얻어진 화소값(YUV)과, 휘도에 적용되는 필터 계수(ωSP×ωY)와, 색차에 적용되는 필터 계수(ωSP×ωUV)를 이용하여, 수학식 3에 나타내어지는 가중 평균 처리가 행해진다. 노이즈 제거 처리 S16에서는, 참조 화소값이 휘도 성분(Y)과 색차 성분(UV)으로서 취급된다. 상술한 참조 화소의 선택 처리 S15a가 실행된 후에, 노이즈 제거 처리 S16에서는, 미리 선택되는 것이 설정된 참조 화소의 각각에 대해 노이즈 제거 처리가 실행된다. 그리고, 노이즈 제거 처리 S16에 의해서, 노이즈 처리가 실행된 수정 화소값이 얻어진다.
또, 도 6에서는, 휘도에 적용되는 필터 계수의 결정 처리 S15f를 색차 성분에 적용되는 필터 계수의 결정 처리 S15g의 전에 실행하였다. 그러나, 결정 처리 S15g를 결정 처리 S15f의 전에 실시하여도 좋다. 결정 처리 S15g와 결정 처리 S15f를 동시 병행적으로 실행하여도 좋다.
후단 라인 버퍼(19)는 저장 처리 S17을 실행한다. 이 저장 처리 S17에서는, 노이즈 제거 처리 S16에 의해 얻어진 수정 화소값(YUV)을 이용하여, 후단 라인 버퍼(19)에서, 노이즈 처리 대상 화소의 생성 처리 S14에서 노이즈 처리 대상 화소로서 선택된 화소에 대응하는 위치에 수정 화소값이 저장된다. 저장 처리 S17에서는, 수정 화소값(YUV)이 수정 화소값(RGB)으로 변환된다. 저장 처리 S17에서는, 노이즈 처리 대상 화소의 화소값이 R 성분인 경우에는, 수정 화소값(RGB)의 R 성분이 추출되고, R 성분이 후단 라인 버퍼(19)에 저장된다. 한편, 저장 처리 S17에서는, 노이즈 처리 대상 화소의 화소값이 G 성분인 경우에는, 수정 화소값(RGB)의 G 성분이 추출되고, G 성분이 후단 라인 버퍼(19)에 저장된다. 저장 처리 S17에서는, 노이즈 처리 대상 화소의 화소값이 B 성분인 경우에는, 수정 화소값(RGB)의 B 성분이 추출되고, B 성분이 후단 라인 버퍼(19)에 저장된다.
화상 처리 장치(1)는 상술한 노이즈 처리 S10에서의 대상 화소값의 생성 처리 S14로부터 후단 라인 버퍼(19)로의 저장 처리 S17까지의 처리를, 입력 라인 버퍼(4)에 저장된 모든 화소에 대해 실행한다.
화상 처리 장치(1)는 모든 화소에 대해 노이즈 처리 S10을 실행한 후에, 이상 화소 처리를 실시할지 여부를 판정하는 공정 S18을 실행한다. 공정 S18에 있어서, 이상 화소 처리 S20을 실시한다고 판정한 경우(S18: 예)는 다음의 이상 화소 처리 S20이 실행된다. 한편, 공정 S18에 있어서, 이상 화소 처리 S20을 실시하지 않는다고 판정한 경우(S18: 아니오)는 다음의 이상 화소 처리 S20이 스킵된다.
도 5에 나타내는 바와 같이, 노이즈 처리 S10의 종료 후, 이상 화소 처리 S20이 실행된다. 우선, 통계량 산출부(23)는 통계량의 산출 처리 S21을 실행한다. 산출 처리 S21에서는, 후단 라인 버퍼(19)로부터 이상 처리를 행하는 대상 화소로서 이상 처리 대상 화소가 선택된다. 산출 처리 S21에서는, 이상 처리 대상 화소의 주위에서의 수 화소의 범위가 1개의 블록으로서 추출된다. 그리고, 산출 처리 S21에서는, 이상 처리 대상 화소와 동일한 색 성분을 가지는 화소가 당해 블록을 구성하는 복수의 화소로부터 추출된다. 그리고, 산출 처리 S21에서는, 추출한 화소가 가지는 화소값(예를 들면 G 성분)에 대해, 최대값, 최소값, 단순 평균값, 분산(σ2)라는 통계량이 산출된다.
연속성 판정부(24)는 연속성의 판정 처리 S22를 실행한다. 판정 처리 S22에서는, 통계량 산출부(23)로부터 출력된 화소값의 평균값과, 대상 화소값(제 2 대상 화소값)의 차분이 산출된다. 판정 처리 S22에서는, 이 차분이, 미리 설정된 임계값보다 작을 때에는, 이상 처리 대상 화소의 대상 화소값이 이상이 아니라고 판단되므로, 후단의 처리(S23~S27)가 스킵되고, 출력 라인 버퍼로의 저장 처리 S28이 실행된다. 한편, 판정 처리 S22에서는, 차분이 미리 설정된 임계값보다 클 때에는, 이상 처리 대상 화소의 대상 화소값이 이상일 가능성이 높다고 판단되므로, 제 1 임계값의 결정 처리 S23이 실행된다.
제 1 임계값 결정부(25)는 제 1 임계값의 결정 처리 S23을 실행한다. 결정 처리 S23에서는, 통계량의 산출 처리 S21에서 얻은 화소값의 분산(σ2)을 이용하여, 후단의 차분의 산출 처리 S25에서 이용하는 제 1 임계값(square_diffthre)이 결정된다. 결정 처리 S23에서 이용되는 화소값은 휘도 성분(Y)의 분산(σ2) 및 색차 성분(UV)의 분산(σ2)이다. 결정 처리 S23에서는, 이들 분산(σ2)이 수학식 4에 적용되는 것에 의해, 제 1 임계값이 결정된다. 수학식 4는 분산(σ2)이 클수록 제 1 임계값(square_diffthre)이 커지도록 설정된다. 수학식 4에 의하면, 휘도 성분(Y)을 위한 값과 색차 성분(UV)을 위한 값에 의해, 제 1 임계값(square_diffthre)이 결정된다.
제 2 임계값 결정부(26)는 제 2 임계값의 결정 처리 S24를 실행한다. 결정 처리 S24에서는, 후단의 괴리수의 판정 처리 S26에서 이용하는 제 2 임계값이 결정된다. 결정 처리 S24에서는, 후술하는 차분의 산출 처리 S25에서 산출되는 추정 화소값의 수에 대응하도록 제 2 임계값이 결정된다. 결정 처리 S24에서는, 블록 내의 화상이 에지를 포함하는지 여부에 의해서 제 2 임계값이 동적으로 변화되게 된다. 보다 상세하게는, 결정 처리 S24에서는, 통계량 산출부(23)에서 추출된 블록 내의 화상이 에지를 포함하는 경우의 제 2 임계값이, 블록 내의 화상이 에지를 포함하지 않는 경우의 제 2 임계값보다 큰 값으로 설정된다.
또, 결정 처리 S24는, 통계량의 산출 처리 S21의 후이고 연속성의 판정 처리 S22의 전에 실행되어도 좋다. 결정 처리 S24는 연속성의 판정 처리 S22와 병행하여 실행되어도 좋다.
차분 산출부(13)는 차분의 산출 처리 S25를 실행한다. 차분의 산출 처리 S25에서는, 이상 처리 대상 화소의 주위에 존재하는 화소와 이상 처리 대상 화소를 연결하는 선분 상에 존재하는 화소를 이용하여, 이상 처리 대상 화소의 위치에서의 추정 화소값이 산출된다. 산출 처리 S25에서는, 이상 처리 대상 화소에서의 대상 화소값과 추정 화소값의 차분이 산출된다. 산출 처리 S25에서는, 당해 차분과 제 1 임계값 결정부(25)로부터 출력되는 제 1 임계값이 비교된다. 산출 처리 S25에서는, 추정 화소값의 산출과, 대상 화소값과 추정 화소값의 차분의 산출과, 차분 및 제 1 임계값의 비교가, 이상 처리 대상 화소로 향하는 소정의 방향에서 복수회 실시된다. 차분 및 임계값의 비교는 추정 화소값의 수만큼 행해진다. 산출 처리 S25에서는, 차분 및 제 1 임계값을 넘은 회수가 괴리수로서 카운트됨과 아울러, 괴리수가 괴리수 판정부(28)에 출력된다.
괴리수 판정부(28)는 괴리수의 판정 처리 S26을 실행한다. 판정 처리 S26에서는, 차분의 산출 처리 S25에서 얻은 괴리수와, 제 2 임계값의 결정 처리 S24에서 얻은 제 2 임계값이 비교된다. 판정 처리 S26에서는, 괴리수가 제 2 임계값 이상인 경우에는, 이상 처리 대상 화소의 대상 화소값이 이상이라고 판정되므로, 후단의 화소값의 치환 처리 S27이 실시된다. 한편, 판정 처리 S26에서는, 괴리수가 제 2 임계값 미만인 경우에는, 이상 처리 대상 화소의 대상 화소값이 정상이라고 판정되므로, 후단의 화소값의 치환 처리 S27가 스킵되고, 출력 라인 버퍼(31)로의 저장 처리 S28이 실시된다.
화소값 치환부(29)는 화소값의 치환 처리 S27을 실행한다. 치환 처리 S27에서는, 이상 처리 대상 화소에 저장된 대상 화소값이, 추정 화소값을 이용하여 얻어진 보정 화소값으로 치환된다. 보정 화소값은 차분 산출부(13)에서 산출된 복수개의 추정 화소값을 이용하여 산출된다. 보정 화소값은, 예를 들면 보정 화소값을 복수개의 추정 화소값의 단순 평균값이어도 좋고, 복수개의 추정 화소값으로부터 최대값과 최소값을 제외한 값의 단순 평균값이어도 좋다.
출력 라인 버퍼(31)는 저장 처리 S28을 실행한다. 저장 처리 S28에 이르는 상태에는, 연속성의 판정 처리 S22로부터 이행한 제 1 상태와, 괴리수의 판정 처리 S26으로부터 이행한 제 2 상태와, 화소값의 치환 처리 S27로부터 이행한 제 3 상태의 3개 상태가 있다. 저장 처리 S28에 이르는 상태가 제 1 상태 또는 제 2 상태인 경우에는, 이상 처리 대상 화소의 대상 화소값이 정상이라고 판단된 결과이다. 따라서, 저장 처리 S28에서는, 대상 화소값이 출력 라인 버퍼(31)에 그대로 저장된다. 한편, 저장 처리 S28에 이르는 상태가 제 3 상태인 경우에는, 이상 처리 대상 화소의 대상 화소값이 이상이라고 판단된 결과이다. 따라서, 저장 처리 S28에서는, 보정 화소값이 출력 라인 버퍼(31)에 저장된다. 환언하면, 제 3 상태인 경우의 저장 처리 S28에서는, 후단 라인 버퍼(19)의 소정 위치에 저장된 화소값이 보정 화소값으로 치환되는 것에 의해, 후단 라인 버퍼(19)의 소정 위치에 대응하는 출력 라인 버퍼(31)의 위치에 보정 화소값이 저장된다.
화상 처리 장치(1)는 도 5 및 도 6에 나타낸 제어 처리를 종료한다. 도 5 및 도 6에 나타낸 제어 처리에 의해, 베이어 패턴 형식의 상태로 노이즈를 제거하는 처리와, 이상 화소값을 제거하는 처리가 실행되므로, 필터 대상 화상에 중첩된 노이즈를 적절하게 제거하는 것이 가능해진다. 즉, 상기 화상 처리 방법에 의하면, 노이즈 처리를 행하는 신호로서 베이어 신호를 대상으로 한다. 이 때문에, 다른 화소간의 상관이 낮아, 효과적인 노이즈 제거가 가능하다. 따라서, 노이즈 처리 S10에 있어서는, 에지를 검출할 필요가 없기 때문에, 에지 검출 처리를 생략하면서, 화질을 향상시킬 수 있다.
다음으로, 휴대 단말(컴퓨터) T를 상기 화상 처리 장치(1)로서 기능시키기 위한 화상 처리 프로그램에 대해 설명한다.
화상 처리 프로그램은 메인 모듈, 입력 모듈 및 연산 처리 모듈을 구비한다. 메인 모듈은 화상 처리를 통괄적으로 제어하는 부분이다. 입력 모듈은 프레임 화상을 취득하도록 휴대 단말 T를 동작시킨다. 연산 처리 모듈은 노이즈 처리부(2) 및 이상 화소 처리부(3)를 가진다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시키는 것에 의해 실현되는 기능은, 상술한 화상 처리 장치(1)의 노이즈 처리부(2) 및 이상 화소 처리부(3)의 기능과 각각 동일하다.
화상 처리 프로그램은, 예를 들면 ROM 등의 기록 매체 또는 반도체 메모리에 의해서 제공된다. 화상 처리 프로그램은 데이터 신호로서 네트워크를 거쳐서 제공되어도 좋다.
이상, 본 실시 형태에 따른 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 베이어 패턴 형식으로 배열된 화소값에 대해 노이즈를 제거하기 위한 필터 처리를 실행한다. 베이어 패턴 형식으로 배열된 화소값은 상이한 화소간의 공간적인 상관이 낮기 때문에, 이상인 화소값의 영향이 주변의 화소값에 영향을 미치는 일이 없다. 따라서, 우수한 노이즈 제거 효과를 얻는 것이 가능해진다.
보다 상세하게는, 본 실시 형태에 따른 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램은 베이어 신호를 휘도 성분(Y)과 색차 성분(UV)으로 분리하고, 휘도 성분(Y)과 색차 성분(UV)에 대해 차분에 근거하는 가중치 계수의 산출을 행한다는 점에서 특허문헌 1에 기재된 기술과는 수법이 상이하다. 본 실시 형태에 따른 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 휘도 성분(Y)과 색차 성분(UV)에서 가중치 계수를 서로 다른 값으로 설정하는 것이 가능하게 된다. 특허문헌 1에 기재된 기술은 주변 참조 영역이 좁기 때문에 저주파 노이즈의 제거 성능에 한계가 있지만, 본 실시 형태에 따른 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에서는, 축소 화상을 참조 화소로서 이용하는 것에 의해 필요한 라인 버퍼의 개수를 억제하면서 실질적으로 광범위한 화소를 참조하는 것이 가능하여, 보다 고정밀의 노이즈 제거가 가능하다.
본 실시 형태에 따른 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 이상인 화소값을 추정 화소값으로 치환하는 것에 의해, 필터 대상 화상의 이상 화소를 배제할 수 있다. 따라서, 한층 더 우수한 노이즈 제거 효과를 얻는 것이 가능해진다.
또, 상술한 실시 형태는 본 발명에 따른 화상 처리 장치의 일례를 나타내는 것이다. 본 발명에 따른 화상 처리 장치는, 실시 형태에 따른 화상 처리 장치(1)에 한정되는 것이 아니며, 각 청구항에 기재한 요지를 변경하지 않는 범위에서, 실시 형태에 따른 화상 처리 장치를 변형하거나, 또는 다른 것에 적용한 것이어도 좋다.
예를 들면, 화상 처리 장치는 노이즈 처리부(2)만 구비하고, 이상 화소 처리부(3)를 구비하지 않는 구성이어도 좋다. 화상 처리 장치는 이상 화소 처리부(3)가 노이즈 처리부(2)의 전단에 배치된 구성이어도 좋다. 즉, 이상 화소 처리 S20는 화소값이 베이어 패턴 형식으로 유지된 화상에 대해 실행 가능하기 때문에, 이상 화소 처리 S20을 먼저 실시하고, 그 후 노이즈 처리 S10을 실시하여도 좋다.
예를 들면, 상기 실시 형태에서는, 화소값 차분과 제 1 및 제 2 필터 계수의 관계를, 제 1 대상 화소값에 대응하여 동적으로 변화시키는 일례로서, 휘도(제 1 대상 화소값)에 대응하는 임계값을 이용하는 경우를 설명하였다. 그 외의 예로서, 예를 들면 공간 필터와 마찬가지로 화소값 차분에 대응하여 단조 감소(예를 들면 정규 분포 함수)나, 단조 증가하는 함수를 이용하여도 좋다. 구체적으로는, 대상 화소값에 대응하여 정규 분포의 분산 파라미터를 동적으로 변화시켜도 좋다.
예를 들면, 입력 라인 버퍼(4), 축소 화상 라인 버퍼(9), 후단 라인 버퍼(19), 출력 라인 버퍼(31)의 사이즈는 소망하는 사이즈로 설정하여도 좋다.
예를 들면, 축소 화상의 생성 처리 S12 및 노이즈 처리 화소값의 생성 처리 S14에서는, 소망하는 화소 수를 가지는 블록을 선택하여도 좋다.
예를 들면, 본 실시 형태에서는 베이어 패턴을 가색계(RGB) 필터로 했지만, 이것에 한정되지 않고 감색계(CMYK) 필터 등 다른 컬러 필터에 대해 적용하여도 좋다. 각 센서의 형상과 배열은 장방형의 격자형에 한정되지 않고, 육각형 형상 센서의 하니컴형 구조 등으로 하여도 좋다.
1: 화상 처리 장치
2: 노이즈 처리부
3: 이상 화소 처리부
4: 입력 라인 버퍼(입력 버퍼, 입력 버퍼부)
6: 필터 설정부
7: 노이즈 제거부
8: 축소 화상 생성부
9: 축소 화상 라인 버퍼(축소 화상 버퍼)
11: 참조 화소 선택부
12: 대상 화소값 생성부
13: 차분 산출부
14: 임계값 결정부
16a: 공간 필터 계수 결정부
16b: 휘도 필터 계수 결정부
16c: 색차 필터 계수 결정부
17a: 필터 계수 결정부(제 1 필터 계수 결정부)
17b: 필터 계수 결정부(제 2 필터 계수 결정부)
18: 수정 화소값 산출부
19: 후단 라인 버퍼
20: 계수 산출부
21: 이상 판정부
22: 치환 처리부
23: 통계량 산출부
24: 연속성 판정부
25: 제 1 임계값 결정부
26: 제 2 임계값 결정부
28: 괴리수 판정부
29: 화소값 치환부
31: 출력 라인 버퍼
S10: 노이즈 처리
S11: 입력 버퍼로의 저장 처리
S15: 필터 계수의 설정 처리(필터 설정 스텝)
S16: 노이즈 제거 처리(노이즈 제거 스텝)
S20: 이상 화소 처리
2: 노이즈 처리부
3: 이상 화소 처리부
4: 입력 라인 버퍼(입력 버퍼, 입력 버퍼부)
6: 필터 설정부
7: 노이즈 제거부
8: 축소 화상 생성부
9: 축소 화상 라인 버퍼(축소 화상 버퍼)
11: 참조 화소 선택부
12: 대상 화소값 생성부
13: 차분 산출부
14: 임계값 결정부
16a: 공간 필터 계수 결정부
16b: 휘도 필터 계수 결정부
16c: 색차 필터 계수 결정부
17a: 필터 계수 결정부(제 1 필터 계수 결정부)
17b: 필터 계수 결정부(제 2 필터 계수 결정부)
18: 수정 화소값 산출부
19: 후단 라인 버퍼
20: 계수 산출부
21: 이상 판정부
22: 치환 처리부
23: 통계량 산출부
24: 연속성 판정부
25: 제 1 임계값 결정부
26: 제 2 임계값 결정부
28: 괴리수 판정부
29: 화소값 치환부
31: 출력 라인 버퍼
S10: 노이즈 처리
S11: 입력 버퍼로의 저장 처리
S15: 필터 계수의 설정 처리(필터 설정 스텝)
S16: 노이즈 제거 처리(노이즈 제거 스텝)
S20: 이상 화소 처리
Claims (9)
- 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 화상 처리 장치로서,
상기 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 상기 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부와,
상기 참조 화소값의 휘도 성분을 상기 제 1 필터 계수로 가중치 부여 가산함과 아울러, 상기 참조 화소값의 색차 성분을 상기 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 상기 수정 화소값을 이용해서 상기 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부
를 갖되,
상기 입력 화상은 베이어 패턴 형식으로 화소값이 유지되어 있는
화상 처리 장치.
- 제 1 항에 있어서,
상기 입력 화상을 구성하는 입력 화소값을 베이어 패턴 형식으로 저장하는 입력 버퍼를 더 가지며,
상기 필터 설정부는,
상기 입력 버퍼에 저장된 상기 화소값을 이용하여, 축소 화상을 생성하는 축소 화상 생성부와,
상기 축소 화상을 구성하는 축소 화소값을 저장하는 축소 화상 버퍼와,
상기 축소 화상 버퍼에 저장된 상기 축소 화상으로부터 상기 참조 화소를 선택하는 참조 화소 선택부를 가지는
화상 처리 장치.
- 제 2 항에 있어서,
상기 필터 설정부는,
상기 입력 버퍼에 저장된 상기 입력 화소값을 이용하여, 상기 제 1 대상 화소값을 생성하는 대상 화소값 생성부와,
상기 참조 화소 선택부에서 선택된 상기 참조 화소의 상기 참조 화소값과 상기 대상 화소값 생성부에서 생성된 상기 제 1 대상 화소값을 이용하여, 화소값 차분을 산출하는 차분 산출부와,
상기 화소값 차분을 이용하여, 상기 제 1 필터 계수 및 상기 제 2 필터 계수를 산출하는 계수 산출부를 가지며,
상기 화소값 차분과 상기 제 1 필터 계수의 관계, 및 상기 화소값 차분과 상기 제 2 필터 계수의 관계는 상기 제 1 대상 화소값에 대응하여 동적으로 변화하는
화상 처리 장치.
- 제 2 항 또는 제 3 항에 있어서,
상기 참조 화소 선택부는 상기 축소 화상 버퍼에 저장된 축소 화상에서의 일부의 축소 화소를 상기 참조 화소로서 선택하는
화상 처리 장치.
- 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 수정 화소값을 베이어 패턴 형식으로 저장하는 후단 버퍼와,
상기 화상의 이상 화소를 처리하는 이상 화소 처리부를 더 구비하며,
상기 이상 화소 처리부는,
상기 후단 버퍼에 저장되어 있는 복수의 상기 수정 화소값에서, 이상 처리 대상 화소가 가지는 제 2 대상 화소값과, 상기 이상 처리 대상 화소의 주변에서의 주변 화소가 가지는 주변 화소값으로부터 추정되는 상기 이상 처리 대상 화소의 추정 화소값을 비교하는 것에 의해, 상기 제 2 대상 화소값이 이상인지 여부를 판정하는 이상 판정부와,
상기 이상 판정부에서, 상기 제 2 대상 화소값이 이상이라고 판정된 경우에는, 상기 제 2 대상 화소값을 상기 추정 화소값으로 치환하는 치환 처리부를 가지는
화상 처리 장치. - 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 화상 처리 장치로서,
상기 입력 화상을 구성하는 화소값을 베이어 패턴 형식으로 저장하는 후단 버퍼와,
상기 화상의 이상 화소를 처리하는 이상 화소 처리부
를 구비하되,
상기 이상 화소 처리부는,
상기 후단 버퍼에 저장되어 있는 복수의 상기 화소값에서, 이상 처리 대상 화소가 가지는 제 2 대상 화소값과, 상기 이상 처리 대상 화소의 주변에서의 주변 화소가 가지는 주변 화소값으로부터 추정되는 상기 이상 처리 대상 화소의 추정 화소값을 비교하는 것에 의해, 상기 제 2 대상 화소값이 이상인지 여부를 판정하는 이상 판정부와,
상기 이상 판정부에서, 상기 제 2 대상 화소값이 이상이라고 판정된 경우에는, 상기 제 2 대상 화소값을 상기 추정 화소값으로 치환하는 치환 처리부를 가지는
화상 처리 장치.
- 컴퓨터를 이용하여, 입력 화상에 대해 노이즈를 제거하는 처리를 행하는 화상 처리 방법으로서,
상기 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 상기 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정 스텝과,
상기 참조 화소값의 휘도 성분을 상기 제 1 필터 계수로 가중치 부여 가산함과 아울러, 상기 참조 화소값의 색차 성분을 상기 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 상기 수정 화소값을 이용해서 상기 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거 스텝
을 갖되,
상기 입력 화상은 베이어 패턴 형식으로 화소값이 유지되어 있는
화상 처리 방법.
- 컴퓨터를 이용하여, 입력 화상에 대해 노이즈를 제거하는 처리를 행하도록 상기 컴퓨터를 기능시키는, 매체에 저장된 화상 처리 프로그램으로서,
상기 컴퓨터를,
상기 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 상기 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부,
상기 참조 화소값의 휘도 성분을 상기 제 1 필터 계수로 가중치 부여 가산함과 아울러, 상기 참조 화소값의 색차 성분을 상기 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 상기 수정 화소값을 이용해서 상기 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부
로서 기능시키고,
상기 입력 화상은 베이어 패턴 형식으로 화소값이 유지되어 있는
화상 처리 프로그램.
- 컴퓨터를 이용하여, 입력 화상에 대해 노이즈를 제거하는 처리를 행하도록 상기 컴퓨터를 기능시키는 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
상기 컴퓨터를,
상기 처리의 대상으로 되는 노이즈 처리 대상 화소가 가지는 제 1 대상 화소값 및 상기 노이즈 처리 대상 화소의 주변에서의 복수의 참조 화소가 가지는 참조 화소값을 이용하여, 제 1 필터 계수 및 제 2 필터 계수를 설정하는 필터 설정부,
상기 참조 화소값의 휘도 성분을 상기 제 1 필터 계수로 가중치 부여 가산함과 아울러, 상기 참조 화소값의 색차 성분을 상기 제 2 필터 계수로 가중치 부여 가산하여 수정 화소값을 산출하고, 상기 수정 화소값을 이용해서 상기 노이즈 처리 대상 화소의 노이즈를 제거하는 노이즈 제거부
로서 기능시키고,
상기 입력 화상은 베이어 패턴 형식으로 화소값이 유지되어 있는
화상 처리 프로그램을 기록한 기록 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014085642 | 2014-04-17 | ||
| JPJP-P-2014-085642 | 2014-04-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150120316A true KR20150120316A (ko) | 2015-10-27 |
| KR101661850B1 KR101661850B1 (ko) | 2016-09-30 |
Family
ID=54322430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150054515A KR101661850B1 (ko) | 2014-04-17 | 2015-04-17 | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10043244B2 (ko) |
| JP (2) | JP6342360B2 (ko) |
| KR (1) | KR101661850B1 (ko) |
| CN (1) | CN105049679B (ko) |
| TW (1) | TWI573464B (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9716889B2 (en) * | 2014-12-09 | 2017-07-25 | Sony Corporation | Intra and inter-color prediction for Bayer image coding |
| CN110619612B (zh) * | 2015-12-25 | 2022-03-22 | 展讯通信（上海）有限公司 | 一种消除图像噪声的方法及装置 |
| WO2017169782A1 (ja) * | 2016-03-31 | 2017-10-05 | 富士フイルム株式会社 | 距離画像処理装置、距離画像取得装置、及び距離画像処理方法 |
| RU2646358C2 (ru) * | 2016-04-07 | 2018-03-02 | Николай Дмитриевич Егоров | Способ устранения избыточности при сжатии последовательности изображений |
| KR102587865B1 (ko) * | 2016-11-30 | 2023-10-10 | 엘지디스플레이 주식회사 | 표시장치 및 그의 영상 처리방법 |
| JP6998156B2 (ja) * | 2017-09-04 | 2022-01-18 | 株式会社ミツトヨ | 画像処理装置、及びプログラム |
| CN109660807A (zh) * | 2017-10-10 | 2019-04-19 | 优酷网络技术（北京）有限公司 | 一种视频图像转码方法及装置 |
| JP7317655B2 (ja) * | 2019-09-26 | 2023-07-31 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置および医用画像処理方法 |
| CN114202496A (zh) * | 2020-09-02 | 2022-03-18 | 苏州科瓴精密机械科技有限公司 | 图像阴影检测方法、系统、图像分割设备及可读存储介质 |
| US11816858B2 (en) * | 2021-02-10 | 2023-11-14 | Apple Inc. | Noise reduction circuit for dual-mode image fusion architecture |
| CN113284133B (zh) * | 2021-06-16 | 2022-04-12 | 北京瑞莱智慧科技有限公司 | 一种光伏电池片间距的确定方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060660A (ja) * | 2004-08-23 | 2006-03-02 | Fuji Photo Film Co Ltd | ノイズ低減装置および方法ならびにノイズ低減プログラム |
| JP2007110338A (ja) | 2005-10-12 | 2007-04-26 | Olympus Corp | 画像処理システム、画像処理プログラム |
| JP2009027619A (ja) * | 2007-07-23 | 2009-02-05 | Olympus Corp | 映像処理装置および映像処理プログラム |
| JP2010010976A (ja) * | 2008-06-25 | 2010-01-14 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
| JP2010157163A (ja) | 2008-12-31 | 2010-07-15 | Morpho Inc | 画像処理方法および画像処理装置 |
| JP2012114735A (ja) * | 2010-11-25 | 2012-06-14 | Nikon Corp | 画像処理装置、撮像装置および画像処理プログラム |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| US6525723B1 (en) * | 1998-02-17 | 2003-02-25 | Sun Microsystems, Inc. | Graphics system which renders samples into a sample buffer and generates pixels in response to stored samples at different rates |
| JP4057216B2 (ja) * | 2000-03-07 | 2008-03-05 | 富士フイルム株式会社 | 固体撮像装置および画素欠陥検出方法 |
| GB0212367D0 (en) * | 2002-05-29 | 2002-07-10 | Eastman Kodak Co | Image processing |
| JP2004135313A (ja) * | 2002-09-18 | 2004-04-30 | Canon Inc | 画像処理装置およびその方法 |
| US7508550B2 (en) * | 2004-06-17 | 2009-03-24 | Fujifilm Corporation | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program |
| JP4460368B2 (ja) | 2004-06-17 | 2010-05-12 | 富士フイルム株式会社 | 画像補正装置および方法，ならびに画像補正プログラム |
| US8477173B2 (en) * | 2004-10-15 | 2013-07-02 | Lifesize Communications, Inc. | High definition videoconferencing system |
| KR100652408B1 (ko) * | 2005-04-27 | 2006-12-01 | 삼성전자주식회사 | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 |
| US7964835B2 (en) * | 2005-08-25 | 2011-06-21 | Protarius Filo Ag, L.L.C. | Digital cameras with direct luminance and chrominance detection |
| JP2007312304A (ja) * | 2006-05-22 | 2007-11-29 | Fujitsu Ltd | 画像処理装置および画像処理方法 |
| WO2008096534A1 (ja) * | 2007-02-07 | 2008-08-14 | Nikon Corporation | 画像処理装置および画像処理方法 |
| JP2008301142A (ja) * | 2007-05-31 | 2008-12-11 | Fujitsu Microelectronics Ltd | 固体撮像素子および画素補正方法 |
| CN101394485B (zh) * | 2007-09-20 | 2011-05-04 | 华为技术有限公司 | 图像生成方法、装置及图像合成设备 |
| US8165394B2 (en) * | 2008-09-18 | 2012-04-24 | Microsoft Corporation | Reconstruction of image in a Bayer pattern |
| US8098959B2 (en) * | 2008-10-29 | 2012-01-17 | Aptina Imaging Corporation | Method and system for frame rotation within a JPEG compressed pipeline |
| JP2010154024A (ja) | 2008-12-24 | 2010-07-08 | Olympus Corp | 画像処理装置、および画像処理方法 |
| JP5197414B2 (ja) * | 2009-02-02 | 2013-05-15 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
| JP5523802B2 (ja) * | 2009-11-25 | 2014-06-18 | 株式会社東芝 | 画像処理装置 |
| JP5393245B2 (ja) * | 2009-05-12 | 2014-01-22 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、ｘ線画像撮影装置およびｘ線画像撮影装置の制御方法 |
| KR20110029001A (ko) * | 2009-09-14 | 2011-03-22 | 삼성전자주식회사 | 베이어 영상에서의 이미지 처리 방법 및 장치 |
| JP5455611B2 (ja) | 2009-12-24 | 2014-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5316811B2 (ja) * | 2010-01-18 | 2013-10-16 | 株式会社リコー | 画像処理方法及び装置、並びに画像撮像装置 |
| US20120008017A1 (en) * | 2010-07-07 | 2012-01-12 | Jeong Yeon-U | Image sensor and pixel correction method |
| JP2013218393A (ja) | 2012-04-05 | 2013-10-24 | Intellectual Ventures Fund 83 Llc | 撮像装置 |
| JP6016423B2 (ja) | 2012-04-10 | 2016-10-26 | キヤノン株式会社 | 信号処理装置、撮像装置及び信号処理方法 |
-
2015
- 2015-04-17 TW TW104112524A patent/TWI573464B/zh active
- 2015-04-17 KR KR1020150054515A patent/KR101661850B1/ko active IP Right Grant
- 2015-04-17 US US14/689,286 patent/US10043244B2/en active Active
- 2015-04-17 JP JP2015084919A patent/JP6342360B2/ja active Active
- 2015-04-17 CN CN201510184353.6A patent/CN105049679B/zh active Active
-
2017
- 2017-02-09 JP JP2017021916A patent/JP2017091582A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060660A (ja) * | 2004-08-23 | 2006-03-02 | Fuji Photo Film Co Ltd | ノイズ低減装置および方法ならびにノイズ低減プログラム |
| JP2007110338A (ja) | 2005-10-12 | 2007-04-26 | Olympus Corp | 画像処理システム、画像処理プログラム |
| JP2009027619A (ja) * | 2007-07-23 | 2009-02-05 | Olympus Corp | 映像処理装置および映像処理プログラム |
| JP2010010976A (ja) * | 2008-06-25 | 2010-01-14 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
| JP2010157163A (ja) | 2008-12-31 | 2010-07-15 | Morpho Inc | 画像処理方法および画像処理装置 |
| JP2012114735A (ja) * | 2010-11-25 | 2012-06-14 | Nikon Corp | 画像処理装置、撮像装置および画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10043244B2 (en) | 2018-08-07 |
| JP2015212938A (ja) | 2015-11-26 |
| CN105049679B (zh) | 2019-02-22 |
| CN105049679A (zh) | 2015-11-11 |
| KR101661850B1 (ko) | 2016-09-30 |
| US20150302558A1 (en) | 2015-10-22 |
| TW201545558A (zh) | 2015-12-01 |
| TWI573464B (zh) | 2017-03-01 |
| JP2017091582A (ja) | 2017-05-25 |
| JP6342360B2 (ja) | 2018-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101661850B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 | |
| CN108600725B (zh) | 一种基于rgb-ir图像数据的白平衡校正装置及方法 | |
| US7969480B2 (en) | Method of controlling auto white balance | |
| US8184181B2 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
| US8081239B2 (en) | Image processing apparatus and image processing method | |
| US10200649B2 (en) | Image processing device, image processing method and recording medium for reducing noise in image | |
| JPWO2005101854A1 (ja) | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ | |
| US20130329004A1 (en) | Method of and Apparatus for Image Enhancement | |
| US9860507B2 (en) | Dynamic frame skip for auto white balance | |
| US20080112639A1 (en) | Method and apparatus for removing noise in dark area of image | |
| JP2007088543A (ja) | 画像処理装置及び画像処理方法 | |
| JP5861924B2 (ja) | 撮像装置 | |
| WO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| US10484679B2 (en) | Image capturing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| US20070189632A1 (en) | Image processing device and method | |
| US10003801B2 (en) | Image capturing apparatus that encodes and method of controlling the same | |
| US9843703B2 (en) | Image processing apparatus and method of controlling the same | |
| US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program | |
| US8934733B2 (en) | Method, apparatus, and non-transitory computer readable medium for enhancing image contrast | |
| JP4960597B2 (ja) | ホワイトバランス補正装置及び方法、及び撮像装置 | |
| KR101896992B1 (ko) | 영상 처리 방법, 컴퓨터 판독 가능한 기록 매체 및 영상 처리 장치 | |
| US9635330B2 (en) | Image processing device, image processing method, and program | |
| JP2003230025A (ja) | 画像処理装置及び固体撮像装置並びに画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190829 Year of fee payment: 4 |