KR20140097507A

KR20140097507A - 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR20140097507A
Application number: KR1020147017880A
Authority: KR
Inventors: 다카유키 하라; 가즈히로 요시다; 요시카즈 와타나베; 아키라 가타오카
Original assignee: 가부시키가이샤 리코
Priority date: 2012-01-06
Filing date: 2013-01-04
Publication date: 2014-08-06
Also published as: EP2801188A1; CN104041002B; EP2801188A4; KR101646859B1; CA2862759A1; JP2013143599A; CA2862759C; US20140347526A1; CN104041002A; EP2801188B1; WO2013103154A1; US9357144B2; JP6024107B2

Abstract

화상 처리 장치는 타겟 화상보다 더 적은 수의 화소를 포함하는 데시메이팅된(decimated) 화상을 얻기 위해 타겟 화상 내의 화소를 데시메이팅하도록 구성된 데시메이팅 유닛과, 데시메이팅된 화상의 화소들 중에 관심 화소를 포함하는 영역으로부터, 그 각각에서 처리될 관심 화소에 대한 유사도가 임계치 이상인 유사 화소를 추출하도록 구성된 추출 유닛과, 유사 화소의 화소값에 기초하여 보정 후보값을 계산하도록 구성된 제1 계산 유닛과, 데시메이팅된 화상의 각각의 화소에 대해 계산된 보정 후보값에 기초하여, 각각의 데시메이팅된 화소에 대한 보정 후보값을 계산하도록 구성된 제2 계산 유닛과, 제1 또는 제2 계산 유닛에 의해 계산된 보정 후보값에 기초하여, 타겟 화상 내의 타겟 화소의 타겟 화소값을 보정하도록 구성된 보정 유닛을 포함한다.

Description

화상 처리 장치, 촬상 장치, 화상 처리 방법 및 컴퓨터 판독 가능한 기록 매체 {IMAGE PROCESSING APPARATUS, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM}

본 발명은 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

디지털 카메라 또는 스캐너와 같은 촬상 장치에 의해 캡처된 화상은 촬상 소자 및 회로의 특성에 기인하여, 샷 노이즈(shot noise) 또는 암전류 노이즈(dark current noise)와 같은 노이즈를 포함한다. 캡처된 화상으로부터 고품질 화상을 얻기 위해, 화상 내의 노이즈를 저감할 필요가 있다. 그러나, 저역 통과 필터가 단순히 노이즈를 저감하기 위해 사용되면, 화상의 인간 지각에 있어서 중요한 에지와 같은 요소가 또한 노이즈를 저감하는 동안에 손실되어, 낮은 화상 품질을 야기한다. 따라서, 화상 영역의 특성에 따른 노이즈를 적응적으로 저감할 필요가 있다.

노이즈 저감 기술로서, ε-필터 및 양방향 필터(bilateral filter)가 개발되어 왔다{비특허 문헌 1[히로시 하라시마(Hiroshi Harashima), 카오루 오다지마(Kaoru Odajima), 요시아키 시시쿠이(Yoshiaki Shishikui), 히로시 미야카와(Hiroshi Miyakawa), "ε-분리 비선형 디지털 필터 및 그 응용(ε-Separating Nonlinear Digital Filter and Its Applications)", IEICE Transactions A, Vol.J65-A, No.4, pp.297-304, 1982년] 및 비특허 문헌 2[씨씨. 토마시(CC. Tomasi) 및 알. 만두치(R. Manduchi), "그레이 및 컬러 화상을 위한 양방향 필터링(Bilateral Filtering for Gray and Color Images)" Proc. Sixth Int'l Conf. Computer Vision, pp.839-846, 1998년]}. ε-필터에 의해, 필터링이 관심 화소로부터의 신호차가 미리 결정된 임계치 이하인 이웃하는 화소에 기초하여 수행되면, 노이즈는 더 큰 신호차를 갖는 에지와 같은 성분이 보존될 수 있는 동안 저감될 수 있다(비특허 문헌 1 참조).

ε-필터와 유사하게, 양방향 필터는 에지 보존 및 노이즈 저감을 동시에 가능하게 할 수 있다(비특허 문헌 2 참조). 양방향 필터는 관심 화소로부터 신호차 및 공간 거리에 기초하여 생성되는 가중 계수에 따라 필터링을 수행하기 위한 기술이다. 양방향 필터에 동등한 원리에 기초하는 다른 노이즈 저감이 또한 제어되어 왔다[예를 들어, 특허 문헌 1(일본 특허 출원 공개 제2007-288439호), 특허 문헌 2(일본 특허 출원 공개 제2008-205737호), 특허 문헌 3(일본 특허 출원 공개 제2010-178302호) 및 특허 문헌 4(일본 특허 출원 공개 제2010-087769호)].

더욱이, 특허 문헌 5(일본 특허 출원 공개 제2010-218110호)는 분할(segmentation)과 같은 반복 처리를 수행하지 않고 컬러 화상 내의 신호-의존성 노이즈를 저감하기 위한 기술을 개시하고 있다. 이 기술은 ε-필터에 동등한 원리에 기초한다. 구체적으로, 관심 화소 주변의 유사 화소 그룹이 선택되고, 유사 화소 그룹의 특성이 ε-필터를 사용하여 연산에 의해 얻어진 결과와 처리될 화소값 사이의 차이를 변환하기 위해 변환 처리에 반영된다.

그러나, 종래의 노이즈 저감 처리는 비용의 증가의 문제점을 갖는다. 예를 들어, 특허 문헌 5에 개시된 처리에서, 화상 내의 모든 화소 위치에서 필터링 연산을 수행할 필요가 있어, 계산 비용이 거의 감소될 수 없게 된다. 더욱이, 비특허 문헌 3[세 리우(Ce Liu) 등, "단일 화상으로부터 노이즈의 자동 추정 및 제거(Automatic Estimation and Removal of Noise from a Single Image)", IEEE Trans. Pattern Analysis and Machine Intelligence, vol.30, no.2, pp.299-314, 2008년]은 컬러 화상 내의 신호-의존성 노이즈를 저감하기 위한 기술을 개시하고 있다. 그러나, 이 방법에서, 큰 처리 비용이 화상 분할 또는 통계 계산을 위해 요구된다.

따라서, 화상의 노이즈 저감 처리에 있어서 처리 비용을 감소시키는 것이 가능한 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 필요가 있다.

본 발명의 목적은 종래 기술의 문제점을 적어도 부분적으로 해결하는 것이다.

실시예에 따르면, 타겟 화상보다 더 적은 수의 화소를 포함하는 데시메이팅된(decimated) 화상을 얻기 위해 처리될 타겟 화상 내의 화소를 데시메이팅하도록 구성된 데시메이팅 유닛과, 데시메이팅된 화상 내에 포함된 화소들 중에 관심 화소를 포함하는 영역으로부터, 그 각각에서, 처리될 관심 화소에 대한 유사도가 제1 임계치 이상인 유사 화소를 추출하도록 구성된 유사 화소 추출 유닛과, 유사 화소의 화소값에 기초하여, 화소값을 보정하는 데 사용된 보정 후보값을 계산하도록 구성된 제1 보정-후보값 계산 유닛과, 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 계산된 보정 후보값에 기초하여, 데시메이팅 유닛에 의해 데시메이팅된 각각의 화소에 대한 보정 후보값을 계산하도록 구성된 제2 보정-후보값 계산 유닛과, 제1 보정-후보값 계산 유닛에 의해 또는 제2 보정-후보값 계산 유닛에 의해 타겟 화소에 대해 계산된 보정 후보값에 기초하여, 타겟 화상 내의 보정될 타겟 화소의 타겟 화소값을 보정하도록 구성된 보정 유닛을 포함하는 화상 처리 장치가 제공된다.

다른 실시예에 따르면, 화상을 캡처하도록 구성된 촬상 유닛과, 상기 실시예에 따른 화상 처리 장치와, 타겟 화소의 보정 후보값과 타겟 화소의 각각의 유사 화소의 노이즈 분산값 사이의 관계를 각각 나타내고 촬상 유닛 내에 설정된 촬상 조건과 각각 연관되는 복수의 노이즈 분산 추정 함수를 그 내부에 저장하도록 구성된 함수 저장 유닛과, 촬상 유닛 내에 설정된 촬상 조건 또는 외부 장치로부터 입력된 촬상 조건을 취득하도록 구성된 취득 유닛과, 취득 유닛에 의해 취득된 촬상 조건과 연관하여 함수 저장 유닛 내에 저장된 노이즈 분산 추정 함수를 선택하도록 구성된 함수 선택 유닛과, 함수 선택 유닛에 의해 선택된 노이즈 분산 추정 함수에 기초하여 그리고 보정 후보값에 기초하여 타겟 화소의 노이즈 분산값을 계산하도록 구성된 노이즈 분산값 계산 유닛과, 노이즈 분산값에 기초하여 타겟 화소의 보정 후보값 및 타겟 화소값의 가중 계수를 계산하도록 구성된 가중 계수 계산 유닛을 포함하는 촬상 장치가 제공된다. 보정 유닛은 타겟 화소값의 가중 가산을 수행함으로써 타겟 화소값을, 그리고 가중 계수를 사용함으로써 보정 후보값을 보정한다.

또 다른 실시예에 따르면, 화상 처리 장치에 의해 구현되는 화상 처리 방법이 제공된다. 화상 처리 방법은 타겟 화상보다 더 적은 수의 화소를 포함하는 데시메이팅된 화상을 얻기 위해 처리될 타겟 화상 내의 화소를 데시메이팅하는 것과, 데시메이팅된 화상 내에 포함된 화소들 중에 관심 화소를 포함하는 영역으로부터, 그 각각에서, 처리될 관심 화소에 대한 유사도가 제1 임계치 이상인 유사 화소를 추출하는 것과, 유사 화소의 화소값에 기초하여, 화소값을 보정하는 데 사용된 보정 후보값을 계산하는 것과, 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 계산된 보정 후보값에 기초하여, 데시메이팅시에 데시메이팅된 각각의 화소에 대한 보정 후보값을 계산하는 것과, 화소값을 보정하기 위한 계산 또는 데시메이팅시에 데시메이팅된 각각의 화소에 대한 계산시에 타겟 화소에 대해 계산된 보정 후보값에 기초하여, 타겟 화상 내의 보정될 타겟 화소의 타겟 화소값을 보정하는 것을 포함한다.

또 다른 실시예에 따르면, 그 내부에 저장된 실행 가능 프로그램을 갖는 컴퓨터 판독 가능한 기록 매체가 제공된다. 프로그램은, 타겟 화상보다 더 적은 수의 화소를 포함하는 데시메이팅된 화상을 얻기 위해 처리될 타겟 화상 내의 화소를 데시메이팅하는 것과, 데시메이팅된 화상 내에 포함된 화소들 중에 관심 화소를 포함하는 영역으로부터, 그 각각에서, 처리될 관심 화소에 대한 유사도가 제1 임계치 이상인 유사 화소를 추출하는 것과, 유사 화소의 화소값에 기초하여, 화소값을 보정하는 데 사용된 보정 후보값을 계산하는 것과, 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 계산된 보정 후보값에 기초하여, 데시메이팅시에 데시메이팅된 각각의 화소에 대한 보정 후보값을 계산하는 것과, 화소값을 보정하기 위한 계산 또는 데시메이팅시에 데시메이팅된 각각의 화소에 대한 계산시에 타겟 화소에 대해 계산된 보정 후보값에 기초하여, 타겟 화상 내의 보정될 타겟 화소의 타겟 화소값을 보정하는 것을 수행하도록 컴퓨터에 명령한다.

본 발명의 상기 및 다른 목적, 특징, 장점 및 기술적 및 산업적 중요도는 첨부 도면과 관련하여 고려될 때 본 발명의 현재 바람직한 실시예의 이하의 상세한 설명을 숙독함으로써 더 양호하게 이해될 것이다.

도 1은 제1 실시예에 따른 촬상 장치의 전체 구성을 도시하고 있는 블록도이다.
도 2는 노이즈 저감 처리를 수행하는 화상 처리 유닛의 기능 구성을 도시하고 있는 블록도이다.
도 3은 다운샘플링 유닛에 의해 수행된 처리를 설명하기 위한 도면이다.
도 4는 윈도우를 설명하기 위한 도면이다.
도 5는 유사 화소를 추출하기 위한 처리를 설명하기 위한 도면이다.
도 6은 업샘플링 유닛에 의해 수행된 처리를 설명하기 위한 도면이다.
도 7은 추정 함수를 도시하고 있는 도면이다.
도 8은 화소값과 노이즈 분산값 사이의 관계가 플롯팅되어 있는 그래프를 도시하고 있는 도면이다.
도 9는 화상 처리 유닛에 의해 수행된 노이즈 저감 처리의 흐름도이다.
도 10은 제2 실시예에 따른 화상 처리 유닛의 기능 구성을 도시하고 있는 블록도이다.
도 11은 제2 실시예에 따른 화상 처리 유닛에 의해 수행된 노이즈 저감 처리의 흐름도이다.
도 12는 제3 실시예에 따른 화상 처리 유닛에 의해 수행된 노이즈 저감 처리의 흐름도이다.
도 13은 유클리드 거리(Euclidean distance)를 계산하기 위한 처리를 설명하기 위한 도면이다.
도 14는 특정 방향(e)을 설명하기 위한 도면이다.
도 15는 베이어(Bayer) 배열에 기초하는 화상 데이터를 도시하고 있는 도면이다.

화상 처리 장치, 촬상 장치, 화상 처리 방법 및 프로그램의 예시적인 실시예가 첨부 도면을 참조하여 이하에 상세히 설명될 것이다.

제1 실시예

도 1은 제1 실시예에 따른 촬상 장치(1)의 전체 구성을 도시하고 있는 블록도이다. 촬상 장치(1)의 특정예는 디지털 카메라를 포함한다. 촬상 장치(1)는 화상을 캡처하는 촬상 유닛(11), 촬상 유닛(11)으로부터 얻어진 화상 신호를 처리하는 신호 처리 유닛(18), 전체 촬상 장치(1)를 제어하는 주 제어 유닛(17), 화상 데이터를 저장하기 위한 프레임 메모리(19), 및 다양한 기기들과의 접속을 가능하게 하기 위한 I/F(인터페이스)(21)를 포함한다. I/F(21)는 사용자로부터 입력을 수신하는 입력 유닛(22), 화상 등을 표시하는 디스플레이 유닛(23), 화상 데이터를 저장하거나 화상 데이터를 판독하기 위한 외부 메모리(24), 및 저장 매체(26)를 장착하기 위한 메모리 카드 장착 유닛(25)에 접속된다.

촬상 유닛(11)은 렌즈(12), 다이어프램(13), 전자 셔터(14), 광전 변환 소자(15) 및 전처리 유닛(16)을 포함한다. 광전 변환 소자(15)는 예를 들어, 상보형 금속 산화물 반도체(complementary metal oxide semiconductor: CMOS) 또는 하전 결합 소자(charge coupled device: CCD)이다. 촬상 유닛(11)은 컬러 필터[원색계 또는 보색계가 적용 가능함(도시되어 있지 않음)]를 포함하고, 하나의 광전 변환 소자(15)가 예를 들어 셀형 방식으로(in a cellular manner) 배열된 R, G 및 B의 각각에 대해 배열된다. 전처리 유닛(16)은 전치증폭기 또는 자동 이득 프로세서(automatic gain controller: AGC)와 같은 아날로그 신호 프로세서를 포함하고, 또는 아날로그-디지털(A/D) 변환기를 포함한다. 전처리 유닛(16)은 광전 변환 소자(15)에 의해 출력된 아날로그 화상 신호 상에 증폭 또는 클램핑과 같은 전처리를 수행하고, 그 후에 아날로그 화상 신호를 디지털 화상 신호로 변환한다.

신호 처리 유닛(18)은 디지털 신호 프로세서(digital signal processor: DSP) 등을 포함하고, 촬상 유닛(11)으로부터 얻어진 디지털 신호 상에 색분리, 화이트 밸런스 조정(white balance adjustment) 또는 감마 보정(gamma correction)과 같은 다양한 유형의 화상 처리를 수행한다. 신호 처리 유닛(18)은 프레임 메모리(19) 내에 처리된 화상 데이터를 저장하고, 프레임 메모리(19) 내에 저장된 화상 데이터를 판독하고, 또는 판독된 화상 데이터 상에 노이즈 저감과 같은 화상 처리를 수행한다.

프레임 메모리(19)는 VRAM, SRAM 또는 DRAM과 같은 반도체 메모리이고, 화상 데이터 등을 그 내부에 저장한다. 프레임 메모리(19)로부터 판독된 화상 데이터는 신호 처리 유닛(18)에 의해 화상 압축과 같은 신호 처리를 받게 된다. 그 후에, 화상 데이터는 I/F(21)를 통해 외부 메모리(24) 내에 또는 메모리 카드 장착 유닛(25)에 장착된 저장 매체(26) 내에 저장된다.

외부 메모리(24)는 플래시 메모리와 같은 비휘발성 메모리이다. 저장 매체(26)는 USB 메모리, SD 메모리 카드 또는 자기광학 디스크와 같은 이동식 및 휴대용 비휘발성 메모리이다.

촬상 장치(1)는 통신 유닛(도시 생략)을 더 포함할 수도 있고, 외부 메모리(24) 등 내에 저장된 화상 데이터를 서버 등에 송신할 수도 있다. 촬상 장치(1)는 통신 유닛을 통해 서버 등으로부터 화상 데이터를 수신할 수도 있고, 외부 메모리(24) 등 내에 화상 데이터를 저장한다. 이 경우에, 통신 유닛은 이동 전화 네트워크 또는 유선/무선 LAN 네트워크에 접속되어 화상 데이터를 송신하고 수신한다.

디스플레이 유닛(23)은 프레임 메모리(19), 외부 메모리(24) 또는 저장 매체(26)로부터 판독된 화상 데이터 등을 표시한다. 디스플레이 유닛(23)은 예를 들어, 액정 디스플레이 또는 유기 EL 디스플레이이고, 촬상 장치(1)의 본체 상에 장착된다. 디스플레이 유닛(23)은 일체형 방식으로 입력 유닛(22)으로서 기능하는 터치 패널을 포함한다. 입력 유닛(22)은 터치 패널 및 본체 상에 제공된 키보드를 통해 사용자 조작을 수신한다.

주 제어 유닛(17) 및 신호 처리 유닛(18)은 마이크로컴퓨터, LSI 등을 포함한다. 마이크로컴퓨터는 CPU, RAM, EEPROM, ASIC 등이 버스를 통해 서로 접속되어 있는 컴퓨터이다. CPU가 EEPROM 내에 저장된 노이즈 저감 프로그램(20)을 실행할 때, 이하에 설명된 노이즈 저감 처리는 화상 데이터 상에 수행된다.

노이즈 저감 프로그램(20)은 주 제어 유닛(17)으로서 기능하는 EEPROM 내에 미리 저장되고, 촬상 장치(1)와 함께 제공된다. 저장 매체(26) 내에 저장하고 이를 I/F(21)를 통해 주 제어 유닛(17)으로서 기능하는 EEPROM 상에 이를 로딩함으로써 노이즈 저감 프로그램(20)을 배포하는 것이 가능할 수도 있다. 네트워크를 통해 EEPROM에 노이즈 저감 프로그램(20)을 다운로드하는 것도 또한 가능할 수도 있다.

도 2는 노이즈 저감 처리를 수행하는 화상 처리 유닛(100)의 기능 구성을 도시하고 있는 블록도이다. 화상 처리 유닛(100)은 도 1에 도시되어 있는 주 제어 유닛(17), 신호 처리 유닛(18), 프레임 메모리(19) 및 노이즈 저감 프로그램(20)에 의해 실현된다. 화상 처리 유닛(100)은 촬상 유닛(11)에 의해 얻어진 화상 또는 프레임 메모리(19) 내에 저장된 화상인 처리 대상으로서 타겟 화상에 노이즈 저감 처리를 수행한다. 제1 실시예에 따른 화상 처리 유닛(100)은 각각의 화소가 단지 휘도 성분만을 갖는, 처리될 그레이스케일 화상으로부터 신호값, 즉 화소값에 의존하여 노이즈를 저감하기 위한 노이즈 저감 처리를 수행한다.

다른 예로서, ASIC과 같은 하드웨어에 의해 노이즈 저감 처리를 수행하는 화상 처리 유닛(100)을 채용하는 것이 가능할 수도 있다.

화상 처리 유닛(100)은 다운샘플링 유닛(101), 유사 화소 추출 유닛(102), 평균 계산 유닛(103), 업샘플링 유닛(104), 추정 함수 선택 유닛(105), 노이즈 분산값 계산 유닛(106), 가중 계수 계산 유닛(107) 및 보정 유닛(108)을 포함한다.

다운샘플링 유닛(101)은 프레임 메모리(19) 등으로부터, 처리될 타겟 화상으로서 그레이스케일 화상을 취득한다. 타겟 화상은 촬상 유닛(11)에 의해 캡처된 화상 대신에 저장 매체(26) 내에 저장된 화상일 수도 있다. 다운샘플링 유닛(101)은 미리 결정된 비율로 타겟 화상에 화소를 데시메이팅함으로써 타겟 화상보다 적은 수의 화소를 포함하는 다운샘플링된 화상을 취득한다.

도 3은 다운샘플링 유닛(101)에 의해 수행된 처리를 설명하기 위한 도면이다. 도 3에 도시되어 있는 바와 같이, 다운샘플링 유닛(101)은 저역 통과 필터를 타겟 화상에 적용한다. 따라서, 미리 결정된 주파수 이하를 갖는 저주파수 성분이 추출된다. 달리 말하면, 다운샘플링 유닛(101)은 저주파수 성분 추출 유닛으로서 기능한다.

다운샘플링 유닛(101)은 저역 통과 필터를 적용한 후에 미리 결정된 비율로 타겟 화상 내에 화소를 데시메이팅함으로써 다운샘플링된 화상을 얻는다. 달리 말하면, 다운샘플링 유닛(101)은 타겟 화상보다 적은 수의 화소를 갖는 다운샘플링된 화상(데시메이팅된 화상)을 얻는 데시메이팅 유닛으로서 기능한다. 도 3에서, 1차원 배열된 화소값이 설명의 편의를 위해 도시되어 있지만, 다운샘플링 유닛(101)은 타겟 화상의 2개의 방향, 즉 수평 방향 및 수직 방향으로 다운샘플링을 수행한다. 도 3에 도시되어 있는 예에서, 화소값은 저역 통과 필터 (121)/4를 적용함으로써 평활화되고, 타겟 화상의 화소의 수는 절반으로 감소된다.

이러한 방식으로, 제1 실시예에 따른 다운샘플링 유닛(101)은 다운샘플링을 수행하기 전에 타겟 화상을 평활화하기 위해 타겟 화상에 저역 통과 필터를 적용한다. 따라서, 앨리어싱(aliasing)의 발생을 방지하는 것이 가능하여, 다운샘플링된 화상 내의 노이즈 레벨을 낮추는 것이 가능하다.

도 2를 재차 참조하면, 유사 화소 추출 유닛(102)은 다운샘플링 유닛(101)에 의해 얻어진 다운샘플링된 화상으로부터 관심 화소를 선택한다. 유사 화소 추출 유닛(102)은 관심 화소로서, 래스터 스캔(raster scan)과 같은 주사 방법을 사용하여 다운샘플링된 화상으로부터 모든 화소를 순차적으로 선택한다.

유사 화소 추출 유닛(102)은 관심 화소가 윈도우의 중심에 위치되도록 타겟 화상 내에 윈도우를 설정한다. 도 4는 윈도우를 설명하기 위한 도면이다. 윈도우(32)는 타겟 화상(30) 내의, 관심 화소(31)가 중심에 위치되어 있는, 미리 결정된 크기를 갖는 직사각형 영역이다. 도 4에 도시되어 있는 윈도우(32)는 5×5 화소의 윈도우이다. 윈도우가 관심 화소를 포함하는 영역이기만 하면, 윈도우의 형상 및 크기는 실시예에 한정되지 않고 임의의 방식으로 설정될 수 있다.

유사 화소 추출 유닛(102)은 윈도우 내의 모든 화소들 중으로부터, 그 각각에서, 관심 화소의 유사도가 미리 결정된 임계치 이상인 유사 화소를 추출한다. 구체적으로, 유사 화소 추출 유닛(102)은 각각의 화소의 화소값과 관심 화소의 화소값 사이의 절대값(절대차값)을 계산하고, 관심 화소에 대한 임계치 이상의 유사도를 갖는 유사 화소로서, 임계치 이하인 절대차값을 갖는 화소를 추출한다. 도 5는 유사 화소를 추출하기 위한 처리를 설명하기 위한 도면이다. 도 5에는, 30 이하의 절대차값을 갖는 화소가 유사 화소로서 추출되는 예가 도시되어 있다. 이하, 관심 화소를 위한 유사 화소 추출 유닛(102)에 의해 추출된 복수의 유사 화소가 유사 화소 그룹으로서 설명된다.

도 2를 재차 참조하면, 평균 계산 유닛(103)은 유사 화소 추출 유닛(102)에 의해 추출된 유사 화소 그룹의 화소값의 평균을 계산한다. 평균 계산 유닛(103)에 의해 계산된 평균은 타겟 화상 내의 노이즈를 저감하기 위해 관심 화소의 화소값을 보정하기 위한 처리에 사용될(후술됨) 값, 특히 보정 후보값이다. 달리 말하면, 평균 계산 유닛(103)은 관심 화소의 화소값을 보정하는 데 사용된 보정 후보값을 계산하는 제1 보정-후보-값 계산 유닛으로서 기능한다.

제1 실시예에 따른 화상 처리 유닛(100)에서, 유사 화소 그룹의 평균은 보정 후보값으로서 사용된다. 그러나, 보정 후보값은 유사 화소 그룹의 평균에 한정되지 않는다. 유사 화소 그룹의 화소값에 기초하여 결정된, 유사 화소 그룹의 제곱 평균값 또는 표준 편차값과 같은 임의의 값을 사용하는 것이 가능할 수도 있다.

제1 실시예에 따른 화상 처리 유닛(100)은 보정 후보값으로서, 관심 화소 주변의 이웃 화소의 모두의 평균보다는, 관심 화소에 대해 추출된 유사 화소의 평균을 사용한다. 따라서, 보정 후보값으로서, 화소값이 상당히 변화하는 에지 영역과 같은 부분에 의해 영향을 받지 않는 값(평균)을 계산하는 것이 가능하다.

업샘플링 유닛(104)은 다운샘플링된 화상 내의 각각의 화소에 대한 평균 계산 유닛(103)에 의해 계산된 평균을 업샘플링하고, 다운샘플링에 의해 데시메이팅(폐기)되어 있는 각각의 화소에 대한 유사 화소 그룹의 평균, 즉 보정 후보값을 얻는다. 더욱이, 업샘플링 유닛(104)은 다운샘플링된 화상의 각각의 화소에 대해 얻어진 평균 및 각각의 데시메이팅된 화소에 대해 얻어진 평균에 저역 통과 필터를 적용하여, 타겟 화상의 모든 화소에 대해 얻어진 평균이 평활화될 수 있게 된다.

도 6은 업샘플링 유닛(104)에 의해 수행된 처리를 설명하기 위한 도면이다. 도 6에 도시되어 있는 예에서, 업샘플링 유닛(104)은 먼저 다운샘플링된 화상의 모든 화소에 대해 평균 계산 유닛(103)에 의해 계산되어 있는 평균들 사이에 값 "0"을 삽입함으로써 더블-업샘플링을 수행한다. 이후에, 업샘플링 유닛(104)은 업샘플링에 의해 얻어진 평균에 저역 통과 필터를 적용하여, 이에 의해 평활화를 수행한다. 따라서, 데시메이팅된 화소의 평균이 계산된다. 도 6에 도시되어 있는 예에서, 저역 통과 필터 (121)/2가 적용된다. 달리 말하면, 업샘플링 유닛(104)은 다운샘플링 유닛(101)에 의해 데시메이팅된 각각의 화소에 대한 평균을 보정 후보값으로서 계산하는 제2 보정-후보-값 계산 유닛으로서 기능한다.

업샘플링 유닛(104)에 의해 수행된 상기 처리는 다운샘플링된 화상의 화소들의 평균들 사이의 선형 보간 처리와 동일하다. 따라서, 다른 예에서, 업샘플링 유닛(104)은 상기 처리를 수행하는 대신에 다운샘플링된 화상의 화소들의 평균들 사이의 선형 보간을 수행함으로써 데시메이팅된 화소들의 평균들을 계산할 수도 있다. 이러한 방식으로, 업샘플링 유닛(104)이 다운샘플링된 화상의 화소들의 평균들에 기초하여 데시메이팅된 화소들의 평균들을 계산할 수 있는 한, 특정 처리가 실시예에서 설명된 것들에 한정되는 것은 아니다.

더욱이, 도 6은 설명의 편의를 위해 평균이 1차원으로 업샘플링되는 예를 도시하고 있지만, 업샘플링 유닛(104)은 타겟 화상의 수직 방향 및 수평 방향의 각각에서 업샘플링 및 평활화 처리를 수행한다.

도 2를 재차 참조하면, 추정 함수 저장 유닛(110)은 평균으로부터 노이즈 분산값을 추정하기 위한 추정 함수를 그 내부에 저장한다. 노이즈 분산값은 타겟 화상의 화소들 중에 보정될 타겟 화소에 대해 얻어진 유사 화소 그룹의 노이즈 분산을 나타낸다. 구체적으로, 추정 함수 저장 유닛(110)은 도 1에 도시되어 있는 프레임 메모리(19) 또는 외부 메모리(24)와 같은 저장 수단에 의해 실현된다.

도 7은 추정 함수를 도시하고 있는 도면이다. 도 7에 도시되어 있는 바와 같이, 추정 함수는 노이즈 분산값(τ²)이 평균(μ)의 증가와 함께 증가하는 함수이다.

노이즈 분산값이 이하에 설명될 것이다. 일반적으로, CCD 또는 CMOS에 의해 캡처된 화상에서 나타나는 샷 노이즈의 크기는 신호값(화소값)에 의존한다. 도 8은 화소값과 노이즈 분산값 사이의 예시적인 관계가 플롯팅되는 그래프를 도시하고 있는 도면이다.

도 8에 도시되어 있는 바와 같이, 화소값 및 노이즈 분산값은 고도로 상관된다. 따라서, 플롯의 회귀를 통해 높은 정확도로 화소값으로부터 노이즈 분산을 추정하는 것이 가능하다. 그러나, 진화소값이 노이즈-저감된 화상으로부터 얻어질 수 없다. 따라서, 제1 실시예에 따른 촬상 장치(1)에서, 노이즈 분산값(τ²)은 화소값에 기초하는 대신에 유사 화소 그룹의 평균(μ)에 기초하여 계산된다. 구체적으로, 도 7에 도시되어 있는 바와 같은 추정 함수는 미리 설정되어 추정 함수 저장 유닛(110)에 저장된다. 노이즈의 크기는 화상 슈팅시에, ISO 속도와 같은 촬상 조건에 따라 변한다. 따라서, 추정 함수는 촬상 조건과 연관하여 추정 함수 저장 유닛(110) 내에 저장된다. 즉, 추정 함수 저장 유닛(110)은 촬상 조건과 각각 연관되는 복수의 추정 함수를 그 내부에 저장한다.

구체적으로, 추정 함수는 각각의 촬상 조건 하에서 패치 화상을 캡처하고, 노이즈로서 패치 상의 신호값의 변동을 간주하고, 얻어진 신호값에 최소 제곱법을 적용함으로써 특정될 수 있다.

추정 함수 선택 유닛(105)은 타겟 화상을 캡처하는 데 사용된 촬상 조건에 기초하여 추정 함수 저장 유닛(110)으로부터 촬상 조건과 연관된 추정 함수를 선택한다. 타겟 화상이 촬상 유닛(11)에 의해 얻어진 화상일 때, 추정 함수 선택 유닛(105)은 촬상 유닛(11)으로부터 화상을 취득한다. 타겟 화상이 메모리 내에 저장된 화상일 때, 추정 함수 선택 유닛(105)은 화상과 함께 저장된 촬상 조건 정보를 취득한다.

도 2를 재차 참조하면, 노이즈 분산값 계산 유닛(106)은 추정 함수 선택 유닛(105)에 의해 선택된 추정 함수를 사용함으로써, 타겟 화상 내의 각각의 화소에 대한 업샘플링 유닛(104)에 의해 얻어져 있는 평균(μ)에 기초하여 각각의 화소의 노이즈 분산값(τ²)을 계산한다.

제1 실시예에 따른 노이즈 분산값 계산 유닛(106)은 추정 함수에 따른 평균(μ)으로부터 노이즈 분산값(τ²)을 계산한다. 그러나, 다른 예로서, 추정 함수를 사용하는 대신에, 추정 함수와 같은 평균(μ)으로부터 노이즈 분산값(τ²)을 특정할 수 있는 룩업 테이블을 사용하는 것이 가능할 수도 있다. 이 경우에, 평균(μ) 및 노이즈 분산값(τ²)은 룩업 테이블 내에 연관되는 것으로 가정된다.

가중 계수 계산 유닛(107)은 타겟 화상 내에 포함된 화소들 중에 보정될 타겟 화소에 대한 평균 계산 유닛(103) 또는 업샘플링 유닛(104)에 의해 얻어져 있는 평균(μ)에 기초하여 그리고 타겟 화소에 대한 노이즈 분산값 계산 유닛(106)에 의해 얻어져 있는 노이즈 분산값(τ²)에 기초하여 가중 계수를 계산한다. 가중 계수는 이하에 설명되는 바와 같이, 보정될 타겟 화소의 화소값을 보정하기 위해 보정 유닛(108)에 의해 사용된 계수이다. 구체적으로, 가중 계수(w)는 이하의 식 (1)에 의해 계산된다.

(1)

여기서 α는 임의의 설계 파라미터이다.

보정 유닛(108)은 타겟 화소에 대한 평균 계산 유닛(103) 또는 업샘플링 유닛(104)에 의해 얻어진 평균(μ)과 타겟 화소의 화소값의 가중 가산을 수행한다. 보정 유닛(108)은 타겟 화소의 화소값을 가중 가산에 의해 얻어진 보정값으로 치환하여, 이에 의해 타겟 화소의 화소값을 보정한다.

구체적으로, 보정 유닛(108)은 이하의 식 (2)에 의해 보정값을 계산한다.

(2)

여기서, x는 보정값이고, y는 타겟 화소의 화소값이다. 식 (2)에 의해 나타낸 바와 같이, 보정값(x)은 가중 계수(w)가 1에 근접함에 따라 평균(μ)에 근접하고, 평균(μ)은 가중 계수(w)가 0에 근접함에 따라 타겟 화소의 원래 화소값(y)에 근접한다.

대조적으로, 가중 계수 계산 유닛(107)은 식 (1)에 따라, 편평한 영역 또는 대량의 노이즈를 갖는 영역에서, 즉 큰 노이즈 분산(τ²)을 갖는 영역에서 비교적 큰 값(1에 가까운 값)을 가중 계수로서 계산한다. 따라서, 보정 유닛(108)은 타겟 화소의 타겟 화소값을 평균에 더 근접한 보정값으로 보정하여, 대량의 노이즈가 감소될 수 있게 된다.

다른 한편으로, 가중 계수 계산 유닛(107)은 식 (1)에 따라, 텍스처가 있는 영역 또는 소량의 노이즈를 갖는 영역에서, 즉 더 작은 노이즈 분산을 갖는 영역에서 비교적 작은 값(0에 가까운 값)을 가중 계수로서 계산한다. 따라서, 보정 유닛(108)은 타겟 화소의 타겟 화소값을 원래 화소값(y)에 더 근접한 보정값으로 보정하여, 미세한 신호 성분이 보존될 수 있게 된다. 전술된 방식으로 가중 가산을 사용함으로써, 타겟 화상의 국소 영역의 특성에 따라 노이즈를 적응적으로 저감하는 것이 가능하다.

보정 유닛(108)은 타겟 화상 내의 모든 화소에 대한 보정값을 계산하고 타겟 화상 내의 모든 화소의 화소값을 계산된 보정값으로 치환함으로써 노이즈-저감된 화상을 얻고, 노이즈-저감된 화상을 출력한다.

도 9는 화상 처리 유닛(100)에 의해 수행된 노이즈 저감 처리의 흐름도이다. 노이즈 저감 처리에서, 화상 처리 유닛(100)의 다운샘플링 유닛(101)은 타겟 화상이 프레임 메모리(19)와 같은 저장 수단으로부터 노이즈 저감 처리를 받게 되는 것을 요구한다(단계 S100). 이후에, 다운샘플링 유닛(101)은 저역 통과 필터를 사용함으로써 저주파수 성분을 추출하고, 미리 결정된 비율에서 타겟 화상으로부터 화소를 데시메이팅하여, 이에 의해 다운샘플링된 화상을 얻는다(단계 S101).

유사 화소 추출 유닛(102)은 다운샘플링된 화상으로부터 관심 화소를 선택한다(단계 S102). 이후에, 유사 화소 추출 유닛(102)은 관심 화소에 대해 윈도우를 설정하고, 그 화소값과 관심 화소의 화소값 사이의 절대차값이 윈도우 내의 모든 화소들 사이의 임계치 이하가 되는 화소들, 즉 관심 화소에 대한 임계치 이상인 유사도를 각각 갖는 복수의 화소를 유사 화소 그룹으로서 추출한다(단계 S103). 평균 계산 유닛(103)은 유사 화소 그룹의 화소값의 평균(μ)을 계산한다(단계 S104).

다운샘플링된 화상 내의 모든 화소가 관심 화소로서 선택되지 않을 때(단계 S105에서 아니오), 처리는 단계 S102로 복귀하고, 유사 화소 추출 유닛(102)은 관심 화소로서 다운샘플링된 화상 내의 잔여 화소를 선택한다(단계 S102). 단계 S105에서, 단계 S102 내지 단계 S104의 처리가 다운샘플링된 화상 내의 모든 화소에 대해 완료될 때(단계 S105에서 예), 업샘플링 유닛(104)은 다운샘플링된 화상 내의 모든 화소에 대해 얻어진 복수의 평균(μ)에 대해 업샘플링 및 평활화를 수행한다(단계 S110). 따라서, 다운샘플링 유닛(101)에 의해 타겟 화상 내에 데시메이팅된 화소의 평균(μ)이 계산된다.

이후에, 노이즈 분산값 계산 유닛(106)은 타겟 화상으로부터 보정 처리를 받게 될 타겟 화상을 선택한다(단계 S111). 노이즈 분산값 계산 유닛(106)은 평균 계산 유닛(103) 또는 업샘플링 유닛(104)에 의해 계산된 평균(μ)에 기초하여 타겟 화소의 노이즈 분산값(τ²)을 계산한다(단계 S112). 이 때, 추정 함수 선택 유닛(105)은 추정 함수 저장 유닛(110) 내의 타겟 화상의 촬상 조건과 연관된 추정 함수를 선택한다. 노이즈 분산값 계산 유닛(106)은 타겟 화소의 평균(μ)과 선택된 추정 함수에 기초하여 노이즈 분산값(τ²)을 계산한다.

이후에, 가중 계수 계산 유닛(107)은 식 (1)에 의해 타겟 화소의 평균과 노이즈 분산값에 기초하여 가중 계수(w)를 계산한다(단계 S113). 보정 유닛(108)은 타겟 화소의 가중 계수(w)를 사용하여 식 (2)에 의해 타겟 화소의 평균(μ) 및 타겟 화소의 화소값(y)의 가중 가산을 수행하여, 이에 의해 보정값(x)을 얻는다(단계 S114). 보정 유닛(108)은 타겟 화소의 화소값을 보정값(x)으로 치환한다(단계 S115).

타겟 화상 내의 모든 화소가 타겟 화소로서 선택되지 않을 때(단계 S116에서 아니오), 처리는 단계 S111로 복귀하고, 노이즈 분산값 계산 유닛(106)은 타겟 화소로서 타겟 화상 내의 잔여 화소를 선택한다(단계 S111).

단계 S116에서, 단계 S111 내지 단계 S115의 처리가 타겟 화상 내의 모든 화소에 대해 완료될 때(단계 S116에서 예), 타겟 화상에 대한 노이즈 저감 처리가 완료된다.

전술된 바와 같이, 제1 실시예에 따른 화상 처리 유닛(100)은 타겟 화상 내에 포함된 모든 화소의 화소값의 평균을 계산하기보다는, 타겟 화상 내의 화소가 데시메이팅되는 다운샘플링에 의해 얻어진 다운샘플링된 화상 내의 화소의 평균만을 계산한다. 따라서, 평균의 계산을 감소하는 것이 가능하다.

예를 들어, 타겟 화상이 수평으로 그리고 수직으로 절반으로 다운샘플링되면, 다운샘플링된 화상 내의 화소의 수는 타겟 화상의 1/4로 감소된다. 더욱이, 유사 화소 그룹을 추출하기 위한 윈도우의 크기는 1/4로 감소된다. 따라서, 계산은 다운샘플링 및 업샘플링을 위해 요구된 계산을 제외하고는 1/16로 감소될 수 있다.

일반적으로, 화상 처리가 다운샘플링된 화상에 대해 수행되면, 원래 크기를 갖는 화상의 화상 해상도가 감소된다. 대조적으로, 제1 실시예에 따른 화상 처리 유닛(100)은 화상을 원래 크기로 복원한 후에 타겟 화상의 평균과 화소값의 가중 가산 처리를 수행하고, 따라서 화상 해상도가 감소될 가능성이 적다.

더욱이, 화상 처리 유닛(100)은 타겟 화상을 다운샘플링하기 전에 타겟 화상에 저역 통과 필터를 적용한다. 따라서, 다운샘플링된 화상의 노이즈 레벨은 입력 화상보다 낮을 수 있어, 유사 화소 그룹을 추출하는 데 사용된 신호차에 대한 임계치가 작아지게 될 수 있다. 따라서, 에지 흐려짐(blurring)이 대량의 노이즈를 갖는 화상에서도 발생할 가능성이 적다.

이러한 방식으로, 제1 실시예의 촬상 장치(1)에 따르면, 화상에 대해 수행된 노이즈 저감 처리 중에 화상의 국소 영역 내의 노이즈 분산에 따른 노이즈 저감의 정도를 적응적으로 변경하는 것이 가능하다.

제1 실시예에 따른 화상 처리 유닛(100)에서, 가중 계수 계산 유닛(107)은 각각의 타겟 화소에 대해 계산된 노이즈 분산값에 기초하여 추정 함수에 의해 가중 계수를 계산한다. 그러나, 다른 예로서, 가중 계수 계산 유닛(107)은 노이즈 분산값으로서 일정한 설계값을 사용할 수도 있다. 구체적으로, 이 경우에, 촬상 장치(1)는 반드시 추정 함수 저장 유닛(110)을 포함할 필요는 없다. 더욱이, 화상 처리 유닛(100)은 반드시 추정 함수 선택 유닛(105) 및 노이즈 분산값 계산 유닛(106)을 포함할 필요는 없다.

제2 실시예

제2 실시예에 따른 촬상 장치가 이하에 설명될 것이다. 제1 실시예에 따른 촬상 장치에서, 가중 계수는 타겟 화상의 유사 화소 그룹의 노이즈 분산값 및 평균에 기초하여 계산된다. 대조적으로, 제2 실시예에 따른 촬상 장치는 화소값의 분산값(화소 분산값) 및 타겟 화상의 유사 화소 그룹의 노이즈 분산값에 기초하여 가중 계수를 계산한다.

이하에는, 제1 실시예에 따른 촬상 장치(1)와의 차이점이 설명될 것이다. 도 10은 제2 실시예에 따른 화상 처리 유닛(120)의 기능 구성을 도시하고 있는 블록도이다. 화상 처리 유닛(120)은 제1 실시예의 화상 처리 유닛(100)의 기능 구성에 추가하여, 제곱 평균 계산 유닛(121) 및 화소 분산값 계산 유닛(122)을 포함한다.

제곱 평균 계산 유닛(121)은 관심 화소에 대한 유사 화소 추출 유닛(102)에 의해 추출된 유사 화소 그룹의 화소값의 제곱 평균을 계산한다. 화소 분산값 계산 유닛(122)은 관심 화소에 대한 제곱 평균 계산 유닛(121)에 의해 계산된 제곱 평균으로부터 관심 화소에 대한 평균 계산 유닛(103)에 의해 계산된 평균의 제곱을 감산하여, 이에 의해 관심 화소의 화소 분산값(σ²)을 얻는다.

업샘플링 유닛(123)은 평균 계산 유닛(103)에 의해 계산된 평균을 업샘플링하고, 또한 화소 분산값 계산 유닛(122)에 의해 계산된 화소 분산값을 업샘플링한다. 화소 분산값의 업샘플링은 도 6을 참조하여 전술된 수단의 업샘플링과 동일한 방식으로 수행된다. 구체적으로, 업샘플링 유닛(123)은 다운샘플링된 화상의 모든 화소의 화소 분산값들 사이에 값 "0"을 삽입함으로써 더블-업샘플링을 수행하고, 그 후에 저역 통과 필터를 적용하여 평활화를 수행한다. 따라서, 데시메이팅된 화소의 화소 분산값이 계산된다.

즉, 화소 분산값 계산 유닛(122)은 다운샘플링된 화상 내의 각각의 화소의 화소 분산값을 계산하는 제1 화소-분산값 계산 유닛으로서 기능하고, 업샘플링 유닛(123)은 다운샘플링에 의해 데시메이팅된 각각의 화소의 화소 분산값을 계산하는 제2 화소-분산값 계산 유닛으로서 기능한다.

가중 계수 계산 유닛(124)은 이하의 식 (3)에 의해 타겟 화소의 유사 화소 그룹의 노이즈 분산값(τ²) 및 화소 분산값(σ²)에 기초하여 가중 계수(w)를 계산한다.

(3)

도 11은 제2 실시예에 따른 화상 처리 유닛(120)에 의해 수행된 노이즈 저감 처리의 흐름도이다. 제2 실시예에 따른 노이즈 저감 처리에서, 평균 계산 유닛(103)이 평균 계산 처리를 완료한 후에(단계 S104), 제곱 평균 계산 유닛(121)은 관심 화소에 대해 얻어진 유사 화소 그룹의 제곱 평균을 계산한다(단계 S200).

화소 분산값 계산 유닛(122)은 관심 화소에 대해 얻어진 제곱 평균으로부터 평균의 제곱을 감산하여, 이에 의해 관심 화소에 대한 유사 화소 그룹의 화소 분산값을 얻는다(단계 S201).

단계 S102 내지 단계 S201의 처리가 다운샘플링된 화상 내에 포함된 모든 화소에 대해 완료될 때(단계 S105에서 예), 업샘플링 유닛(123)은 다운샘플링된 화상 내의 모든 화소에 대해 얻어진 화소 분산값(σ²) 및 평균(μ)에 대해 업샘플링 및 평활화를 수행한다(단계 S202). 따라서, 다운샘플링 유닛(101)에 의해 타겟 화상으로부터 데시메이팅되어 있는 화소의 화소 분산값(σ²) 및 평균(μ)이 계산된다.

단계 S112에서, 타겟 화상 내의 타겟 화소의 노이즈 분산값이 계산될 때, 가중 계수 계산 유닛(124)은 식 (3)에 따라 타겟 화소에 대한 유사 화소 그룹의 노이즈 분산값(τ²) 및 화소 분산값(σ²)에 기초하여 가중 계수(w)를 계산한다(단계 S203).

제2 실시예에 따른 촬상 장치의 다른 구성 및 처리는 제1 실시예에 따른 촬상 장치의 것들과 동일하다.

전술된 바와 같이, 제2 실시예의 촬상 장치에 따르면, 제1 실시예의 촬상 장치에 유사하게, 화상에 대해 수행된 노이즈 저감 처리 중에 화상의 국소 영역 내의 노이즈 분산에 따른 노이즈 저감의 정도를 적응적으로 변경하는 것이 가능하다.

더욱이, 제2 실시예에 따른 화상 처리 유닛(120)은 관심 화소에 대한 유사 화소 그룹의 노이즈 분산값 및 화소 분산값에 기초하여 가중 계수를 계산한다. 따라서, 편평한 영역에서, 유사 화소 그룹의 화소 분산값은 더 작아지고 가중 계수는 1에 근접한다. 더욱이, 노이즈 분산값은 유사 화소 그룹의 화소 분산값보다 작아지게 된다. 따라서, 제2 실시예의 화상 처리 유닛(120)에 따르면, 가중 계수의 최대값은 에러를 제외하고는 1이 된다. 따라서, 보정값(x)은 평균에 더 근접하게 되어, 평활한 화상이 편평한 영역에서 얻어질 수 있게 된다.

다른 한편으로, 텍스처를 갖는 거친 영역에서, 유사 화소의 화소 분산값은 노이즈 분산값에 대해 증가하고, 가중 계수는 0에 근접한다. 따라서, 보정값(x)은 원래 화소값에 근접한다. 따라서, 화상의 거친 영역에 텍스처 및 화상 해상도를 유지하는 것이 가능하다.

제2 실시예에 따른 촬상 장치의 변형예로서, 가중 계수 계산 유닛(124)은 식 (3) 대신에 이하의 식 (4)에 의해 가중 계수(w)를 계산할 수도 있다.

(4)

여기서, α 및 β는 임의의 설계 파라미터이다. 설계 파라미터 α 및 β를 조정함으로써 노이즈 저감의 정도를 조정하는 것이 가능하다.

제3 실시예

제3 실시예에 따른 촬상 장치가 제2 실시예에 따른 촬상 장치에 유사하게, 타겟 화소에 대해 유사 화소 그룹의 노이즈 분산값 및 화소 분산값에 기초하여 가중 계수를 계산한다. 그러나, 제2 실시예에 따른 촬상 장치는 다운샘플링된 화상의 화소의 화소 분산값을 계산하지만, 제3 실시예에 따른 촬상 장치는 다운샘플링된 화상의 화소의 화소 분산값을 계산하지 않는다. 제3 실시예에 따른 촬상 장치는 단지 다운샘플링된 화상의 화소의 제곱 평균만을 계산하고, 업샘플링이 완료된 후에, 제곱 평균에 기초하여 타겟 화소의 화소 분산값을 계산한다.

제3 실시예에 따른 촬상 장치의 화상 처리 유닛의 기능 구성은 도 10을 참조하여 전술된 제2 실시예에 따른 화상 처리 유닛(120)의 것과 동일하다.

제3 실시예에 따른 화상 처리 유닛(120)에서, 업샘플링 유닛(123)은 평균 계산 유닛(103)에 의해 계산된 평균 및 제곱 평균 계산 유닛(121)에 의해 계산된 제곱 평균에 대해 업샘플링 및 평활화를 수행한다. 제곱 평균에 대한 업샘플링 및 평활화 처리는 도 6을 참조하여 전술된 평균에 대해 수행된 것들과 동일하다. 구체적으로, 미리 결정된-시간 업샘플링이 먼저 수행되고, 평활화는 저역 통과 필터를 적용함으로써 이후에 수행된다.

제3 실시예에 따른 제곱 평균 계산 유닛(121) 및 업샘플링 유닛(123)은 제1 제곱 평균 계산 유닛 및 제2 제곱 평균 계산 유닛으로서 각각 기능한다.

화소 분산값 계산 유닛(122)은 다운샘플링된 화상 내의 모든 화소에 대해 제곱 평균 계산 유닛(121)에 의해 계산되어 있는 제곱 평균에 기초하여 또는 다운샘플링 유닛(101)에 의해 수행된 처리에 의해 데시메이팅된 화소에 대한 업샘플링 유닛(123)에 의해 얻어져 있는 제곱 평균에 기초하여 타겟 화상 내의 타겟 화소의 화소 분산값을 계산한다.

도 12는 제3 실시예에 따른 화상 처리 유닛(120)에 의해 수행된 노이즈 저감 처리의 흐름도이다. 제3 실시예에서, 관심 화소가 선택될 때(단계 S102), 관심 화소의 유사 화소 그룹의 평균 및 제곱 평균이 계산되고(단계 S104 및 단계 S200), 처리는 화소 분산값의 계산 없이 업샘플링 및 평활화 처리로 진행한다(단계 S300). 단계 S300에서, 업샘플링 유닛(123)은 평균 및 제곱 평균에 대해 업샘플링 및 평활화를 수행한다.

타겟 화소가 선택될 때(단계 S111), 화소 분산값 계산 유닛(122)은 다운샘플링된 화상 내의 화소에 대해 제곱 평균 계산 유닛(121)에 의해 계산되어 있는 제곱 평균에 기초하여 또는 다운샘플링에 의해 데시메이팅된 화소에 대해 업샘플링 유닛(123)에 의해 계산되어 있는 제곱 평균에 기초하여 타겟 화소의 화소 분산값을 계산한다(단계 S301).

제3 실시예에 따른 촬상 장치의 다른 구성 및 처리는 다른 실시예에 따른 촬상 장치의 것들과 동일하다.

전술된 바와 같이, 제3 실시예의 촬상 장치에 따르면, 다른 실시예의 촬상 장치에 유사하게, 화상에 대해 수행된 노이즈 저감 처리 중에 화상의 국소 영역 내의 노이즈 분산에 따른 노이즈 저감의 정도를 적응적으로 변경하는 것이 가능하다.

더욱이, 제2 실시예에 따른 화상 처리 유닛(120)은 다운샘플링된 화상으로부터 화소 분산값을 계산하고 다운샘플링된 화상으로부터 얻어진 화소 분산값을 업샘플링함으로써 타겟 화상의 각각의 화소의 화소 분산값을 얻지만, 제3 실시예에 따른 화상 처리 유닛(120)은 다운샘플링된 화상으로부터 유사 화소 그룹의 제곱 평균만을 계산하고, 그 후에 업샘플링에 의해 얻어진 타겟 화상 내의 각각의 화소의 제곱 평균으로부터 화소 분산값을 계산한다. 화소 분산값의 계산 방법에서의 차이에 기인하여, 노이즈 저감 처리에 있어서 에지 보존 효과의 정도는 제2 실시예의 촬상 장치와 제3 실시예의 촬상 장치 사이에 상이하다.

제2 및 제3 실시예에 따른 노이즈 저감 처리에 있어서 다운샘플링에 의해 데시메이팅된 화소(x₂)의 화소 분산값을 계산하기 위한 처리의 설명이 이하에 제공될 것이다. 화소 분산값(x_n)은 이하의 식 (5)에 의해 얻어지고, 여기서 E(x_n)은 화소(x_n)에 대응하는 유사 화소 그룹의 평균이고, E(x_n ²)은 화소(x_n)에 대응하는 유사 화소 그룹의 제곱 평균이고, V(x_n)은 화소(x_n)의 화소 분산값이다.

(5)

화소(x₂)의 화소 분산값이 제2 실시예에 따른 노이즈 저감 처리에 의해 계산될 때, 화소(x₁)와 화소(x₃)에 대해 계산된 화소 분산값의 선형 보간이 수행된다. 이 경우에, 화소(x₂)의 화소 분산값[V'(x₂)]은 이하의 식 (6)에 의해 얻어진다.

(6)

부수적으로, 화소(x₂)의 화소 분산값은 제3 실시예에 따른 노이즈 저감 처리에 의해 계산되고, 화소 분산값은 화소(x₁) 및 화소(x₃)에 대해 계산된 제곱 평균을 사용하여 계산된다. 이 경우에, 화소(x₂)의 화소 분산값(V")(x₂)은 이하의 식 (7)에 의해 얻어진다.

(7)

식 (7)에 의해 나타낸 바와 같이, 화소 분산값(V")(x₂)은 화소(x₁)와 화소(x₃) 사이의 추정된 차이의 절반의 제곱만큼 화소 분산값(V')(x₂)보다 커지게 된다. 구체적으로, 화소 분산값(V')(x₂)과 화소 분산값(V")(x₂) 사이의 차이는 편평한 영역에서 더 작다. 그러나, 화소(x₁)와 화소(x₃)가 에지를 포함하는 영역과 같은 큰 변동을 갖는 영역에 있을 때, 화소(x₁)와 화소(x₃) 사이의 추정된 차이가 커지게 되어, 화소 분산값(V")(x₂)이 화소 분산값(V')(x₂)보다 커지게 된다. 그 결과, 화소 분산값에 기초하여 계산된 가중 계수는 에지 영역에서 0에 근접한다. 달리 말하면, 에지 보존 효과가 향상될 수 있다.

이러한 방식으로, 제3 실시예에 따른 노이즈 저감 처리에서, 제2 실시예에 따른 노이즈 저감 처리에서의 것보다 더 높은 에지 보존 효과를 얻는 것이 가능하다.

제4 실시예

제4 실시예에 따른 촬상 장치는 RGB 3개 성분에 기초하여 컬러 화상에 대해 노이즈 저감 처리를 수행한다. 제4 실시예에 따른 촬상 장치의 구성 및 처리는 도 1 내지 도 9를 참조하여 전술된 제1 실시예에 따른 촬상 장치의 것들과 실질적으로 동일하다.

이하에는, 제1 실시예에 따른 촬상 장치와 제4 실시예에 따른 촬상 장치의 차이점이 설명될 것이다. 도 2에 도시되어 있는 화상 처리 유닛(100)에서, 제4 실시예에 따른 유사 화소 추출 유닛(102)은, 관심 화소에 대한 임계치 이상의 유사도를 갖는 유사 화소로서, 관심 화소와의 차이 정도가 관심 화소를 포함하는 윈도우로부터의 임계치 이상인 화소를 추출한다. RGB 공간 내의 유클리드 거리는 차이 정도로서 사용된다.

평균 계산 유닛(103)은 관심 화소에 대한 유사 화소 그룹의 평균으로서 3차원 RGB 벡터(μ_R, μ_G, μ_B)를 계산한다. 추정 함수 저장 유닛(110)은 각각의 RGB 성분에 대한 추정 함수를 저장한다. 노이즈 분산값 계산 유닛(106)은 각각의 RGB 성분에 대한 추정 함수 및 평균(μ_R, μ_G, μ_B)에 기초하여 노이즈 분산값(τ_R ², τ_G ², τ_B ²)을 계산한다.

가중 계수 계산 유닛(107)은 이하의 식 (8)에 의해 각각의 컬러에 대한 평균 및 노이즈 분산값에 기초하여 가중 계수 행렬(W)을 계산한다.

(8)

여기서, α는 임의의 설계 파라미터이다.

보정 유닛(108)은 타겟 화소의 화소값(y)(3차원 RGB 벡터), 타겟 화소에 대한 유사 화소 그룹의 평균(μ)(3차원 RGB 벡터), 가중 계수 행렬(W)(3×3 행렬) 및 단위 행렬(I)(3×3 행렬)로, 이하의 식 (9)에 의해 보정값(x)(3차원 RGB 벡터)을 계산한다.

(9)

제4 실시예의 촬상 장치에 따르면, 해상도를 감소시키지 않고 더 낮은 비용으로 컬러 화상 내의 신호 의존성 노이즈를 감소시키는 것이 가능하다.

제4 실시예에 따른 촬상 장치의 다른 구성 및 처리는 다른 실시예에 따른 촬상 장치의 것들과 동일하다.

제4 실시예에 따른 촬상 장치는 처리 대상으로서 RGB 성분에 기초하는 컬러 화상을 사용한다. 그러나, 제1 변형예로서, 촬상 장치는 YCC 컬러 공간 또는 L*a*b 컬러 공간과 같은 임의의 컬러 공간에서 표현된 컬러 화상을 사용할 수도 있다. 다른 예로서, 촬상 장치는 처리 대상으로서 n-대역 스펙트럼 화상을 사용할 수도 있다. 이 경우에, n-차원 벡터로서 화소값(신호값)을 취함으로써 노이즈 저감 처리를 수행하는 것이 가능하다.

제2 변형예로서, 화소들 사이의 차이의 정도로서 RGB 공간에서 유클리드 거리 이외의 값을 사용하는 것이 가능할 수도 있다. 예를 들어, 도 13에 도시되어 있는 바와 같이, 윈도우(32) 내의 화소를 L*a*b 공간에 맵핑하고 거리의 정도로서 공간 내의 유클리드 거리를 사용하는 것이 가능할 수도 있다. 다른 예로서, 유클리드 거리 대신에 화소값의 분포들 사이의 거리 또는 Lp 노옴(norm)을 사용하는 것이 가능할 수도 있다. 화소값들의 분포들 사이의 거리는 윈도우 내의 각각의 화소 주변의 이웃 화소값들의 평균과 관심 화소 주변의 이웃 화소값들의 평균 사이의 거리이다. 화소값들의 분포들 사이의 거리의 상세는 일본 특허 출원 공개 제2011-039675호에서 발견될 수 있다.

제3 변형예로서, 도 14에 도시되어 있는 바와 같이, 보정 유닛(108)은 타겟 화소의 평균과 화소값 사이의 차이를 1차원 특정 방향(e)에서 투영하고, RGB 3개의 성분에 기초하여 3차원 공간에서 타겟 화소의 평균과 화소값의 가중 가산을 수행하는 제4 실시예의 촬상 장치의 보정 유닛(108) 대신에, 투영된 평균과 투영된 화소값의 가중 가산을 수행할 수도 있다. 특정 방향(e)은 유사 화소 그룹의 평균의 RGB 비율에 동일한 RGB 비율에 의해 결정된 방향, 휘도의 방향 또는 최대 분산의 방향일 수도 있다. 최대 분산의 방향은 이하에 설명될 것이다.

가중 계수[w(p)]는 스칼라이다. 예를 들어, 가중 계수 계산 유닛(107)은 이하의 식 (10)에 의해 가중 계수[w(p)]를 계산한다.

(10)

이러한 방식으로, 3차원 화소값 및 평균을 1차원 값에 투영함으로써 계산을 감소하는 것이 가능하다. 특정 방향(e)에서의 투영에 기인하여, 특정 방향(e)에 수직인 방향에서 노이즈를 0으로 강제로 조정하는 것이 가능하다. 3차원 화소값 및 평균을 특정 방향(e)에서 1차원 값에 투영함으로써 보정값을 계산하기 위한 처리의 상세는 예를 들어 일본 특허 출원 공개 제2010-218110호에 설명되어 있다.

최대 분산의 방향이 이하에 설명될 것이다. 보정 유닛(108)은 유사 화소 그룹의 화소값의 분산-공분산 행렬(Σ_image)로부터 노이즈의 분산-공분산 행렬(Σ_noise)을 감산한다. 보정 유닛(108)은 또한 감산된 값에 의해 얻어진 행렬의 고유값(eigenvalue) 및 고유벡터(eigenvector)를 얻고, 분산-공분산 행렬의 고유값이 최대값이 되는 고유벡터를 얻어, 이에 의해 최대 분산의 방향을 얻는다.

분산-공분산 행렬의 고유벡터는 정해진 데이터의 분산의 방향을 나타낸다. 고유값은 고유벡터에 의해 나타낸 방향에서 분산의 크기, 즉 분산의 정도를 나타낸다. 따라서, 최대 분산의 방향은 분산-공분산 행렬의 고유값이 최대값이 되는 고유벡터를 얻음으로써 얻어질 수 있다.

이러한 방식으로, 제4 실시예에 따른 보정 유닛(108)은 특정 방향(e)으로서 최대 분산의 방향을 계산하는 제1 특정 방향 계산 유닛 또는 제2 특정 방향 계산 유닛으로서 기능한다.

제5 실시예

제5 실시예에 따른 촬상 장치는 제4 실시예에 따른 촬상 장치에 유사하게, 컬러 화상에 대한 노이즈 저감 처리를 수행한다. 제5 실시예에 따른 촬상 장치는 유사 화소 그룹의 화소값의 분산-공분산 행렬(Σ_image) 및 노이즈의 분산-공분산 행렬(Σ_noise)에 기초하여 가중 계수를 계산한다. 제5 실시예에 따른 촬상 장치의 구성 및 처리는 도 10 및 도 11을 참조하여 전술된 제2 실시예에 따른 촬상 장치의 것들과 동일하다.

이하에는, 다른 실시예에 따른 촬상 장치와 제5 실시예에 따른 촬상 장치의 차이점이 설명될 것이다. 도 10에 도시되어 있는 화상 처리 유닛(120)에서, 제5 실시예에 따른 제곱 평균 계산 유닛(121)은 RGB 성분 중 임의의 2개의 성분(R 및 G, G 및 B, 또는 B 및 R)의 곱해진 값의 평균을 얻는다. 구체적으로, 제곱 평균 계산 유닛(121)은 관심 화소의 3차원 RGB 벡터(y)에 대한 곱해진 값(yy^T)의 평균[E(yy^T)]을 계산한다. 여기서, T는 전치 행렬을 나타내고 있다.

화소 분산값 계산 유닛(122)은 이하의 식 (11)에 의해 관심 화소에 대한 유사 화소 그룹의 평균(μ)(3차원 RGB 벡터) 및 제곱 평균[E(yy^T)]에 기초하여 관심 화소에 대한 유사 화소 그룹의 분산-공분산 행렬(Σ_image)을 계산한다.

(11)

업샘플링 유닛(123)은 다운샘플링된 화상 내의 각각의 화소에 대해 계산된 평균(μ)(3차원 RGB 벡터) 및 제곱 평균[E(yy^T)]에 대해 업샘플링 및 평활화를 수행한다. 업샘플링 및 평활화 절차는 도 6을 참조하여 전술된 것들과 동일하다.

가중 계수 계산 유닛(124)은 이하의 식 (12)에 의해 가중 계수 행렬(W)을 계산한다.

(12)

이러한 방식으로, 가중 계수 계산 유닛(124)은 타겟 화소를 위한 유사 화소 그룹의 화소의 분산-공분산 행렬(Σ_image) 및 노이즈의 분산-공분산 행렬(Σ_noise)에 기초하여 가중 계수를 계산한다.

노이즈의 분산-공분산 행렬(Σ_noise)은 유사 화소 그룹의 평균에 기초하여 추정 함수를 사용함으로써 노이즈 분산값 계산 유닛(106)에 의해 계산된다.

제5 실시예에 따른 촬상 장치의 다른 구성 및 처리가 다른 실시예에 따른 촬상 장치의 것들과 동일하다.

제5 실시예에 따른 촬상 장치에 따르면, RGB 성분의 분산 공분산이 가중 가산을 위한 가중 계수를 계산하는 데 사용된다. 따라서, RGB 공간에서 화소값의 분포가 노이즈 저감의 정도에 반영될 수 있다. 따라서, RGB 미약 신호를 보존하면서 노이즈를 저감하는 것이 가능하다.

제6 실시예

제6 실시예에 따른 촬상 장치는 제4 및 제5 실시예에 따른 촬상 장치에 유사하게, 컬러 화상에 노이즈 저감 처리를 수행한다. 그러나, 제5 실시예에 따른 촬상 장치는 다운샘플링된 화상의 화소의 화소 분산값을 계산하지만, 제6 실시예에 따른 촬상 장치는 다운샘플링된 화상의 화소의 화소 분산값을 계산하지 않는다. 제6 실시예에 따른 촬상 장치는 단지 다운샘플링된 화상의 화소의 제곱 평균만을 계산하고, 업샘플링이 완료된 후에, 제곱 평균에 기초하여 타겟 화소의 화소 분산값을 계산한다.

제6 실시예에 따른 촬상 장치의 화상 처리 유닛의 기능 구성 및 처리는 도 10 및 도 12를 참조하여 전술된 제3 실시예에 따른 촬상 장치의 것들과 동일하다.

이하에는, 다른 실시예에 따른 촬상 장치와 제6 실시예에 따른 촬상 장치의 차이점이 설명될 것이다. 도 10에 도시되어 있는 화상 처리 유닛(120)에서, 제6 실시예에 따른 업샘플링 유닛(123)은 평균 계산 유닛(103)에 의해 계산된 평균에 대해 그리고 제곱 평균 계산 유닛(121)에 의해 계산된 제곱 평균에 대해 업샘플링 및 평활화를 수행한다.

더욱이, 화소 분산값 계산 유닛(122)은 다운샘플링된 화상 내의 각각의 화소에 대한 제곱 평균 계산 유닛(121)에 의해 계산되어 있는 제곱 평균[E(yy^T)]에 기초하여 또는 다운샘플링 유닛(101)에 의해 수행된 처리에 의해 데시메이팅된 화소를 위한 업샘플링 유닛(123)에 의해 계산되어 있는 제곱 평균에 기초하여 타겟 화상 내의 타겟 화소의 화소 분산값을 계산한다.

제6 실시예에 따른 촬상 장치의 다른 구성 및 처리는 다른 실시예에 따른 촬상 장치의 것들과 동일하다.

제6 실시예의 촬상 장치에 따르면, 제5 실시예에 따른 촬상 장치에 유사하게, RGB 미약 신호를 보존하면서 노이즈를 저감하는 것이 가능하다. 더욱이, 제2 및 제3 실시예에 따른 그레이스케일 화상에 대한 노이즈 저감 처리의 관계와 유사하게, 에지 주변의 영역에서 노이즈 저감의 특성은 제5 및 제6 실시예에 따른 컬러 화상에 대한 노이즈 저감 처리에 있어서 다양하다. 따라서, 선형 보간이 적용될 때, 제5 실시예에 따른 노이즈 저감 처리에서보다 더 높은 에지 보존 효과가 제6 실시예에 따른 노이즈 저감 처리에서 얻어질 수 있다.

더욱이, 처리 대상으로서 컬러 화상을 사용하는 촬상 장치의 변형예로서, 도 15에 도시되어 있는 바와 같은 베이어 배열에 기초하여 화상 데이터에 노이즈 저감 처리를 수행하는 것이 가능할 수도 있다. 구체적으로, 화상 처리 유닛은 화상을 RGB 화상으로 변환하기 위해 베이어 배열에 기초하여 화상 데이터에 디모자이킹(demosaicing)을 수행함으로써 제5 및 제6 실시예에 설명된 노이즈 저감 처리를 수행할 수 있다.

더욱이, 다운샘플링된 화상에 대한 처리와 관련하여, 제1 내지 제3 실시예에 따른 그레이스케일 화상에 대한 노이즈 저감 처리는 베이어 배열 내의 각각의 컬러 성분에 대해 수행될 수도 있고, 베이어 배열에 기초하는 화상 데이터는 업샘플링 및 평활화 처리에서 RGB 화상으로 변환될 수도 있고, 제4 내지 제6 실시예에 따른 컬러 화상에 수행된 노이즈 저감 처리는 RGB 화상에 수행될 수도 있다.

실시예에 따른 촬상 장치는 디지털 카메라, 스캐너 또는 카메라를 갖는 이동 전화와 같은 화상을 캡처하는 임의의 장치에 바람직하게 적용될 수 있다.

본 발명이 완전한 명확한 개시 내용에 대해 특정 실시예와 관련하여 설명되었지만, 첨부된 청구범위는 이와 같이 한정되는 것은 아니고, 설명된 본 명세서의 기본 교시 내에 적절하게 있는 당 기술 분야의 숙련자에게 발생할 수도 있는 모든 변형예 및 대안적인 구성을 구체화하는 것으로서 해석되어야 한다.

Claims

타겟 화상보다 더 적은 수의 화소를 포함하는 데시메이팅된(decimated) 화상을 얻기 위해 처리될 타겟 화상 내의 화소를 데시메이팅하도록 구성된 데시메이팅 유닛과,
상기 데시메이팅된 화상 내에 포함된 화소들 중에 관심 화소를 포함하는 영역으로부터, 그 각각에서, 처리될 관심 화소에 대한 유사도가 제1 임계치 이상인 유사 화소를 추출하도록 구성된 유사 화소 추출 유닛과,
상기 유사 화소의 화소값에 기초하여, 화소값을 보정하는 데 사용된 보정 후보값을 계산하도록 구성된 제1 보정-후보값 계산 유닛과,
상기 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 계산된 보정 후보값에 기초하여, 상기 데시메이팅 유닛에 의해 데시메이팅된 각각의 화소에 대한 보정 후보값을 계산하도록 구성된 제2 보정-후보값 계산 유닛과,
상기 제1 보정-후보값 계산 유닛에 의해 또는 상기 제2 보정-후보값 계산 유닛에 의해 타겟 화소에 대해 계산된 보정 후보값에 기초하여, 타겟 화상 내의 보정될 타겟 화소의 타겟 화소값을 보정하도록 구성된 보정 유닛
을 포함하는 화상 처리 장치.
제1항에 있어서, 상기 타겟 화상으로부터 미리 결정된 주파수 이하를 갖는 저주파수 성분을 추출하도록 구성된 저주파수 성분 추출 유닛을 더 포함하고,
상기 데시메이팅 유닛은 데시메이팅된 화상을 얻기 위해 상기 타겟 화상으로부터의 저주파수 성분에 대응하는 화소를 데시메이팅하는 것인 화상 처리 장치.
제2항에 있어서, 상기 제1 보정-후보값 계산 유닛은 보정 후보값으로서 유사 화소의 화소값의 평균을 계산하는 것인 화상 처리 장치.
제3항에 있어서, 상기 타겟 화소의 보정 후보값에 기초하여, 상기 타겟 화소의 보정 후보값 및 타겟 화소값의 가중 계수를 계산하도록 구성된 가중 계수 계산 유닛을 더 포함하고,
상기 보정 유닛은 타겟 화소값의 가중 가산을 수행함으로써 타겟 화소값을, 그리고 가중 계수를 사용함으로써 보정 후보값을 보정하는 것인 화상 처리 장치.
제4항에 있어서,
상기 타겟 화소의 보정 후보값과 상기 타겟 화소의 유사 화소의 노이즈 분산값 사이의 관계를 나타내는 노이즈 분산 추정 함수를 내부에 저장하도록 구성된 함수 저장 유닛과,
상기 보정 후보값 및 노이즈 분산 추정 함수에 기초하여 타겟 화소의 노이즈 분산값을 계산하도록 구성된 노이즈 분산값 계산 유닛을 더 포함하고,
상기 가중 계수 계산 유닛은 상기 노이즈 분산값에 기초하여 가중 계수를 계산하는 것인 화상 처리 장치.
제5항에 있어서,
상기 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 유사 화소 추출 유닛에 의해 추출된 유사 화소의 화소값의 제곱 평균을 계산하도록 구성된 제곱 평균 계산 유닛과,
상기 데시메이팅된 화상 내에 포함된 각각의 화소의 제곱 평균에 기초하여, 상기 데시메이팅된 화상 내의 각각의 화소의 화소값에 대한 화소 분산값을 계산하도록 구성된 제1 화소-분산값 계산 유닛과,
상기 데시메이팅된 화상 내의 각각의 화소에 대해 계산된 화소 분산값에 기초하여, 상기 데시메이팅 유닛에 의해 데시메이팅된 각각의 화소에 대한 화소 분산값을 계산하도록 구성된 제2 화소-분산값 계산 유닛을 더 포함하고,
상기 가중 계수 계산 유닛은 노이즈 분산값 및 화소 분산값에 기초하여 가중 계수를 계산하는 것인 화상 처리 장치.
제5항에 있어서,
상기 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 유사 화소 추출 유닛에 의해 추출된 유사 화소의 화소값의 제곱 평균을 계산하도록 구성된 제1 평균값 계산 유닛과,
상기 데시메이팅된 화상 내의 각각의 화소에 대해 계산된 제곱 평균에 기초하여, 상기 데시메이팅 유닛에 의해 데시메이팅된 각각의 화소에 대해 유사 화소의 화소값의 제곱 평균을 계산하도록 구성된 제2 제곱 평균 계산 유닛과,
상기 타겟 화소에 대해 상기 제1 제곱 평균 계산 유닛에 의해 또는 상기 제2 제곱 평균 계산 유닛에 의해 계산되어 있는 제곱 평균에 기초하여, 상기 타겟 화소의 유사 화소의 화소값의 화소 분산값을 계산하는 화소 분산값 계산 유닛을 더 포함하고,
상기 가중 계수 계산 유닛은 노이즈 분산값 및 화소 분산값에 기초하여 가중 계수를 계산하는 것인 화상 처리 장치.
화상을 캡처하도록 구성된 촬상 유닛과,
제1항에 따른 화상 처리 장치와,
타겟 화소의 보정 후보값과 상기 타겟 화소의 각각의 유사 화소의 노이즈 분산값 사이의 관계를 각각 나타내고 상기 촬상 유닛 내에 설정된 촬상 조건과 각각 연관되는 복수의 노이즈 분산 추정 함수를 내부에 저장하도록 구성된 함수 저장 유닛과,
상기 촬상 유닛 내에 설정된 촬상 조건 또는 외부 장치로부터 입력된 촬상 조건을 취득하도록 구성된 취득 유닛과,
상기 취득 유닛에 의해 취득된 촬상 조건과 연관하여 상기 함수 저장 유닛 내에 저장된 노이즈 분산 추정 함수를 선택하도록 구성된 함수 선택 유닛과,
상기 함수 선택 유닛에 의해 선택된 노이즈 분산 추정 함수에 기초하여 그리고 상기 보정 후보값에 기초하여 상기 타겟 화소의 노이즈 분산값을 계산하도록 구성된 노이즈 분산값 계산 유닛과,
상기 노이즈 분산값에 기초하여 타겟 화소의 보정 후보값과 타겟 화소값의 가중 계수를 계산하도록 구성된 가중 계수 계산 유닛
을 포함하고,
상기 보정 유닛은 타겟 화소값의 가중 가산을 수행함으로써 타겟 화소값을, 그리고 가중 계수를 사용함으로써 보정 후보값을 보정하는 것인 촬상 장치.
제4항에 있어서,
상기 타겟 화상은 컬러 화상이고,
상기 보정 유닛은 미리 결정된 컬러 공간 내의 제1 특정 방향에서 타겟 화소값과 타겟 화소의 보정 후보값 사이의 차이를 투영하고, 가중 계수를 사용함으로써 제1 특정 방향에서 투영된 보정 후보값과 타겟 화소값의 가중 가산을 수행하여, 타겟 화소값을 제1 특정 방향에서의 값으로 보정하는 것인 화상 처리 장치.
제9항에 있어서, 타겟 화소의 타겟 화소값에 대해 노이즈의 분산-공분산 및 유사 화소의 화소값에 기초하여 제1 특정 방향으로서 최대 분산 방향을 계산하도록 구성된 제1 특정 방향 계산 유닛을 더 포함하고,
상기 보정 유닛은 상기 제1 특정 방향 계산 유닛에 의해 계산된 제1 특정 방향을 사용함으로써 타겟 화소값을 보정하는 것인 화상 처리 장치.
제10항에 있어서,
상기 타겟 화상은 분광 화상이고,
상기 보정 유닛은 분광 공간 내의 제2 특정 방향에서 타겟 화소의 보정 후보값과 타겟 화소값 사이의 차이를 투영하고, 가중 계수를 사용함으로써 보정 후보값과 타겟 화소값의 가중 가산을 수행하여, 타겟 화소값을 제2 특정 방향에서의 값으로 보정하는 것인 화상 처리 장치.
제11항에 있어서, 상기 타겟 화소의 타겟 화소값에 대해 노이즈의 분산-공분산 및 유사 화소의 화소값에 기초하여 제2 특정 방향으로서 최대 분산 방향을 계산하도록 구성된 제2 특정 방향 계산 유닛을 더 포함하고,
상기 보정 유닛은 상기 제2 특정 방향 계산 유닛에 의해 계산된 제2 특정 방향을 사용함으로써 타겟 화소값을 보정하는 것인 화상 처리 장치.
화상 처리 장치에 의해 구현되는 화상 처리 방법으로서,
타겟 화상보다 더 적은 수의 화소를 포함하는 데시메이팅된 화상을 얻기 위해 처리될 타겟 화상 내의 화소를 데시메이팅하는 단계와,
상기 데시메이팅된 화상 내에 포함된 화소들 중에 관심 화소를 포함하는 영역으로부터, 그 각각에서, 처리될 관심 화소에 대한 유사도가 제1 임계치 이상인 유사 화소를 추출하는 단계와,
상기 유사 화소의 화소값에 기초하여, 화소값을 보정하는 데 사용된 보정 후보값을 계산하는 단계와,
상기 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 계산된 보정 후보값에 기초하여, 상기 데시메이팅시에 데시메이팅된 각각의 화소에 대한 보정 후보값을 계산하는 단계와,
화소값을 보정하기 위한 계산 또는 상기 데시메이팅시에 데시메이팅된 각각의 화소에 대한 계산시에 타겟 화소에 대해 계산된 보정 후보값에 기초하여, 타겟 화상 내의 보정될 타겟 화소의 타겟 화소값을 보정하는 단계
를 포함하는 화상 처리 방법.
내부에 저장된 실행 가능 프로그램을 갖는 컴퓨터 판독 가능한 기록 매체로서,
상기 프로그램은,
타겟 화상보다 더 적은 수의 화소를 포함하는 데시메이팅된 화상을 얻기 위해 처리될 타겟 화상 내의 화소를 데시메이팅하는 것과,
상기 데시메이팅된 화상 내에 포함된 화소들 중에 관심 화소를 포함하는 영역으로부터, 그 각각에서, 처리될 관심 화소에 대한 유사도가 제1 임계치 이상인 유사 화소를 추출하는 것과,
상기 유사 화소의 화소값에 기초하여, 화소값을 보정하는 데 사용된 보정 후보값을 계산하는 것과,
상기 데시메이팅된 화상 내에 포함된 각각의 화소에 대해 계산된 보정 후보값에 기초하여, 상기 데시메이팅시에 데시메이팅된 각각의 화소에 대한 보정 후보값을 계산하는 것과,
상기 화소값을 보정하기 위한 계산 또는 상기 데시메이팅시에 데시메이팅된 각각의 화소에 대한 계산시에 타겟 화소에 대해 계산된 보정 후보값에 기초하여, 타겟 화상 내의 보정될 타겟 화소의 타겟 화소값을 보정하는 것
을 수행하도록 컴퓨터에 명령하는 것인 컴퓨터 판독 가능한 기록 매체.