KR20100075730A - 노이즈 저감 장치 및 노이즈 저감 방법 - Google Patents

Abstract

본 발명의 실시예들은 배경의 식물 피사체상이 포함되는 화상에서 배경의 식물을 대상으로 적절하게 노이즈 저감 처리를 할 수 있어 좋은 해상감을 얻을 수 있는 노이즈 저감 장치 및 노이즈 저감 방법을 제공하기 위한 것이다. 이를 위해, 본 발명의 일 실시예에 따른 노이즈 저감 장치는, 화상 데이터의 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상인지 여부를 판정하는 피사체상 판정부(132)와, 판정 결과에 따라 주목 화소를 평활화하는 평활화부(135)를 포함한다.

Description

노이즈 저감 장치 및 노이즈 저감 방법{A apparatus and a method for reducing noise}

본 발명은 노이즈 저감 장치 및 노이즈 저감 방법에 관한 것이다.

디지털 스틸 카메라, 비디오 카메라 등의 촬상 장치에서 광학 신호를 전기 신호로 변환하는 촬상 소자로부터 출력된 전기 신호에 기초하여 생성되는 화상 데이터는 노이즈를 포함하기 때문에 화질이 저하된다. 따라서, 노이즈를 줄이는 방법으로서, 화상 데이터에 대해 필터 처리를 하는 경우가 있다.

예를 들면, 특허문헌 1에는 화상 데이터의 노이즈를 줄이는 기술이 개시되어 있다. 특허문헌 1의 기술에서는 신호 레벨뿐만 아니라 촬영시 촬상 소자 온도, 노광 시간에 따른 아날로그 게인 등 동적으로 변화되는 요인을 고려하여 노이즈량을 추정하고, 상기 노이즈량 및 주목 화소와 근방 화소의 정보에 따라 평활화 처리를 제어한다.

[특허문헌 1] 일본특개2006-87030호 공보

그런데 촬상 장치를 사용하여 촬영하는 피사체에는 수목 등의 식물이 배경에 포함되는 경우가 있다. 이 때, 수목의 잎이나 꽃은 피사체상 전체에 비해 매우 세밀하다. 식물이 배경에 촬영된 화상에서 식물 부분은 세부적으로 확실하게 표현되어, 진짜같이 보이는 해상감을 얻는 것이 중요하다. 그러나 화상에서의 배경인 식물 부분은 다른 화상 부분에 비해 비교적 고주파 성분이 많다. 따라서 촬상 장치 안에서 화상 처리를 할 때, 식물 부분에 의한 고주파 성분과 다른 노이즈 성분을 구별하기 힘들다. 그 결과, 노이즈 저감(NR: noise reduction) 처리를 하면 식물 부분의 화상이 흐릿해지는 문제가 있었다.

또한, 예를 들면 특허문헌 1의 기술을 사용하여 주목 화소 근방이 특정색이라는 정보, 예를 들면 녹색이라는 정보를 판정함으로써 식물 부분의 노이즈 저감 강도를 저하시키는 것을 생각할 수 있다. 그러나 식물이 아닌 인공물(예를 들면 자동차, 간판 등)이 녹색일 때, 그 인공물 부분의 화상에 포함되는 노이즈를 줄일 수 없다는 문제가 있었다.

본 발명은 상기 문제를 해결하기 위한 것으로서, 본 발명의 목적은, 배경의 식물 피사체상이 포함되는 화상에서, 배경의 식물을 대상으로 적절하게 노이즈 저감 처리를 하여, 높은 해상감을 얻을 수 있는 노이즈 저감 장치 및 노이즈 저감 방법을 제공하는 데 있다.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따르면, 화상 데이터의 주목 화소의 화소값 및 상기 주목 화소 근방 화소의 화소값에 기초하여 상기 주목 화소 및 상기 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상인지 여부를 판정하는 피사체상 판정부와, 상기 판정 결과에 따라 상기 주목 화소를 평활화하는 평활화부를 포함하는 노이즈 저감 장치가 제공된다.

이러한 구성에 의해, 화상 데이터의 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사체상인지 여부가 판정되고, 판정 결과에 따라 주목 화소가 평활화된다.

상기 피사체상 판정부는, 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방 화소에서의 고주파 성분을 산출하는 고주파 성분 산출부와, 주목 화소 및 주목 화소 근방 화소의 색상값의 평균값과, 주목 화소 및 주목 화소 근방 화소의 채도값의 평균값을 산출하는 색상 채도 평균값 산출부와, 주목 화소 및 주목 화소 근방 화소의 채도값의 분산값을 산출하는 채도 분산값 산출부와, 산출된 고주파 성분, 색상값의 평균값, 채도값의 평균값 및 채도값의 분산값에 기초하여 주목 화소 및 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상인지 여부를 판정하는 판정부를 포함한다.

상기 평활화부는, 로우 패스 필터를 포함하고, 주목 화소 및 상기 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사체상으로 판정된 경우, 배경의 식물 피사체상이 아니라고 판정되었을 때에 비해 상기 로우 패스 필터에서 투과시키는 주파수 범위를 넓힌다.

상기 피사체상 판정부는, 주목 화소의 화소값 및 주목 화소 근방 화소의 화 소값의 적외선 성분값을 산출하는 적외선 성분값 산출부를 더 포함한다.

상기 판정부는, 산출된 상기 고주파 성분이 주목 화소 및 주목 화소 근방 화소에서 제1 기준값 이상 포함되고, 산출된 색상값의 평균값과 채도값의 평균값이 각각 제1 및 제2 기준 범위 안에 포함되며, 산출된 채도값의 분산값이 제2 기준값 이상일 때, 주목 화소 및 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상이라고 판정한다.

상기 판정부는 산출된 상기 적외선 성분값이 주목 화소의 휘도값에 따라 결정되는 제3 기준값 이상이면, 주목 화소 및 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상이라고 판정한다.

또한, 상기 과제를 해결하기 위해, 화상 데이터의 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사체상인지 여부를 판정하는 단계와, 판정 결과에 따라 주목 화소를 평활화하는 단계를 갖는 노이즈 저감 방법이 제공된다.

상기 배경의 식물 피사체상인지 여부를 판정하는 단계는, 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방 화소에서의 고주파 성분을 산출하는 단계와, 주목 화소 및 주목 화소 근방 화소의 색상값의 평균값과, 주목 화소 및 주목 화소 근방 화소의 채도값의 평균값을 산출하는 단계와, 주목 화소 및 주목 화소 근방 화소의 채도값의 분산값을 산출하는 단계와, 산출된 고주파 성분, 색상값의 평균값, 채도값의 평균값 및 채도값의 분산값에 기초하여 주목 화소 및 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사 체상인지 여부를 판정하는 단계를 포함한다.

이상에 의하면, 배경의 식물 피사체와 동일색(예를 들면 녹색)의 인공물이 피사체상에 포함되어 있는 경우에도 식물을 판정할 수 있다. 그리고 식물 피사체상이라고 판정할 수 있기 때문에 식물 피사체와 동일색(예를 들면 녹색)의 화소에 대해 노이즈 저감 처리를 할 때, 화상이 흐릿해지지 않도록 노이즈 저감 처리를 할 수 있다.

본 발명에 의하면, 배경의 식물 피사체상이 포함되는 화상에서 배경의 식물을 대상으로 적절하게 노이즈 저감 처리를 할 수 있어 해상감을 얻을 수 있다.

이하 첨부 도면을 참조하면서 본 발명의 바람직한 실시형태에 대해서 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.

우선, 도 1을 참조하여 본 발명의 일 실시예에 따른 촬상 장치(100)의 구성에 대해서 설명하기로 한다. 도 1은, 본 실시예에 따른 촬상 장치(100)를 도시한 블럭도이다.

촬상 장치(100)는, 예를 들면 정지 화상을 촬영할 수 있는 디지털 스틸 카메라이다. 촬상 장치(100)는, 예를 들면 렌즈부(102), 촬상 소자(110), 전처리부(120), 화상 메모리(142), 화상 신호 처리부(144), 신호 처리 및 제어부(146), 렌즈 구동부(148), JPEG 처리부(150), 디스플레이부(160), 메모리 카드(170), 조작 부(180) 등으로 이루어진다. 아울러 촬상 장치(100)는 동영상을 촬영할 수 있는 비디오 카메라일 수 있다.

렌즈부(102)은, 예를 들면 줌렌즈, 조리개, 포커스 렌즈 등"i미도시）으로 이루어진다. 렌즈부(102)은 외부의 광학 신호를 촬상 소자(110)에 결상시키는 광학계 시스템으로서, 피사체로부터의 광을 촬상 소자(110)까지 투과시킨다. 줌렌즈는, 초점 거리를 변화시켜 화각을 바꾸는 렌즈이다. 조리개는, 투과하는 광량을 조절하는 기구이다. 포커스 렌즈는 광축 방향으로 이동함으로써 촬상 소자(110)의 촬상면에 피사체상을 합초시킨다. 포커스 렌즈는 렌즈 구동부(148)에 의해 구동된다.

촬상 소자(110)는 광전 변환 소자의 일례로서, 렌즈부(102)을 투과하여 입사된 광학 신호를 전기 신호로 변환하는 광전 변환이 가능한 여러 개의 소자로 구성된다. 각 소자는 수광한 광량에 따른 전기 신호를 생성한다. 촬상 소자(110)는 CCD(charge coupled device)센서, CMOS(complementary metal oxide semiconductor)센서 등을 적용할 수 있다.

아울러 촬상 소자(110)의 노광 시간을 제어하기 위해 비촬영시에 광을 차단하여 촬영시에만 광이 닿도록 메카니칼 셔터(미도시)을 적용할 수 있다. 또 이에 한정되지 않으며 전자 셔터를 적용해도 좋다. 아울러 메카니칼 셔터 또는 전자 셔터의 동작은, 신호 처리 및 제어부(146)에 접속된 셔터 버튼(조작부(180))의 스위치에 의해 제어된다.

촬상 소자(110)는 또한 CDS/AMP부, A/D 변환부를 가진다. CDS/AMP부(상관 이중 샘플링 회로(correlated double sampling)/증폭기(amplifier))는 촬상 소 자(110)에서 출력된 전기 신호에 포함되는 저주파 노이즈를 제거함과 동시에 전기 신호를 임의의 레벨까지 증폭시킨다. A/D 변환부는 CDS/AMP부에서 출력된 전기 신호를 디지털 변환하여 디지털 신호를 생성한다. A/D 변환부는 생성한 디지털 신호를 전처리부(120)로 출력한다.

전처리부(120)는 A/D 변환부에서 출력된 디지털 신호에 대해 처리를 하여 화상 처리가 가능한 화상 신호를 생성한다. 전처리부(120)는, 예를 들면 촬상 소자(110)의 화소 결함 보정, 검정 레벨 보정, 셰이딩(shading) 보정, AF 평가값 산출하는 등의 처리를 한다. 전처리부(120)는 생성한 화상 신호를, 예를 들면 화상 신호 처리부(144)에 출력한다. 또 전처리부(120)는 화상 메모리(142)에 화상 데이터를 읽고 쓰는 것을 제어한다.

화상 메모리(142)는, 예를 들면 SDRAM(synchronous DRAM)으로서, 촬영한 화상의 화상 데이터를 일시적으로 저장한다. 화상 메모리(142)는 여러 개의 화상의 화상 데이터를 기억할 수 있는 기억 용량을 가지고 있다. 화상 메모리(142)에 화상을 읽고 쓰는 것은 전처리부(120)에 의해 제어된다.

화상 신호 처리부(144)는 전처리부(120)에서 영상 신호를 받아 휘도 신호와 색신호로 변환 처리한다. 화상 신호 처리부(144)는 후술하는 노이즈 저감부(130)를 이용하여 노이즈 저감 처리를 한다. 또 화상 신호 처리부(144)는 WB 제어값, γ값, 엣지(윤곽) 강조 제어값 등에 기초하여 화상 처리된 화상 신호를 생성한다. 화상 신호 처리부(144)는 생성한 영상 신호를 신호 처리 및 제어부(146)에 보낸다.

신호 처리 및 제어부(146)는 프로그램에 의해 연산 처리 장치 및 제어장치로 서 기능하며 촬상 장치(100) 안에 설치된 각 구성 요소의 처리를 제어한다.

신호 처리 및 제어부(146)는, 예를 들면 렌즈 구동부(148)에 신호를 출력하여 렌즈부(102)의 포커스 렌즈를 구동시킨다. 또한, 신호 처리 및 제어부(146)는 조작부(180)로부터의 신호에 기초하여 촬상 장치(100)의 각 구성 요소를 제어한다. 아울러 본 실시형태에서는 신호 처리 및 제어부(146)가 하나로만 이루어진 구성인데, 신호계의 명령과 조작계의 명령을 각각 별개의 CPU에서 수행하는 등 여러 개의 CPU로 구성되는 것도 가능하다.

렌즈 구동부(148)는 포커스 제어 개시 조작 신호를 받으면 포커스 렌즈를 한 방향으로 이동시키는 제어 신호를 생성하고, 생성한 제어 신호를 렌즈부(102)로 출력한다. 렌즈 구동부(148)는 전처리부(120)에서 산출된 AF 평가값에 기초하여 포커스 렌즈의 합초 위치를 산출한다. 아울러 AF 평가값은, 화상 신호의 휘도값에 기초하여 전처리부(120)에서 산출된 것이다. AF 평가값은, 예를 들면 화상의 콘트라스트값으로서, 콘트라스트값이 최대가 되었을 때 피사체상이 촬상 소자(110)의 촬상면(110A)에서 합초되어 있다고 판단한다(콘트라스트 검출 방식). 아울러 본 실시형태의 포커스 제어는 콘트라스트 검출 방식으로 한정되지 않으며 다른 방식으로 수행되어도 좋다.

JPEG 처리부(150)는 신호 처리 및 제어부(146)로부터의 영상 데이터에 대해, 예를 들면JPEG(Joint Photographic Experts Group) 규격 등 정지 화상의 부호화 방식으로 압축 부호화 처리를 한다. 또 메모리 카드(170)에서 공급된 정지 화상의 부호화 데이터에 대해 신장 복호화 처리를 한다.

디스플레이부(160)는, 예를 들면 VRAM으로부터 화상 데이터를 받아 화면에 화상을 표시한다. 디스플레이부(160)는, 예를 들면 촬상 장치(100)의 본체에 마련된다. 디스플레이부(160)가 표시하는 화상은, 예를 들면 VRAM에서 독출된 촬영 전의 화상(라이브뷰 화상), 촬상 장치(100)의 각종 설정 화면이나 촬상하여 기록된 화상 등이다. 디스플레이부(160)는 LCD, OLED 등 다양한 종류의 디스플레이로 구현될 수 있으며, 본 발명은 디스플레이부의 종류에 의해 한정되지 않는다.

아울러 VRAM(video RAM)은 화상 표시용 메모리로서, 여러 개의 채널을 가진다. VRAM은, 화상 메모리(142)로부터의 화상 표시용 화상 데이터의 입력과 디스플레이부(160)로의 화상 데이터의 출력을 동시에 실행할 수 있다. 디스플레이부(160)의 해상도나 최대 발색수는 VRAM의 용량에 의존한다.

메모리 카드(170)는 화상 데이터의 기입, 또는 기록된 화상 데이터나 설정 정보 등의 독출을 수행한다. 메모리 카드(170)는, 예를 들면 자기 디스크, 반도체 기억 매체 등의 기록 매체로서, 촬영된 화상 데이터를 기록한다. 본 발명은 메모리 카드(170)를 구비한 실시예로 한정되지 않으며, 메모리 카드(170) 대신에 광디스크(CD, DVD, 블루레이 디스크 등), 광자기 디스크 등을 이용하는 것도 가능하다. 메모리 카드(170)는 촬상 장치(100)로부터 착탈 가능하게 구성될 수 있다.

조작부(180)는, 예를 들면 촬상 장치(100)에 설치된 상하좌우 키, 전원 스위치, 모드 다이얼, 셔터 버튼 등이다. 조작부(180)는 사용자에 의한 조작에 기초하여 조작 신호를 신호 처리 및 제어부(146) 등에 보낸다. 예를 들면, 셔터 버튼은 사용자에 의한 반누름(S1조작), 완전 누름(S2조작), 해제가 가능하다. 셔터 버튼 은, 반누름되었을 때 포커스 제어 개시 조작 신호를 출력하고 반누름 해제로 포커스 제어가 종료된다. 또 셔터 버튼은 완전 누름되었을 때 촬영 개시 조작 신호를 출력한다.

아울러 촬상 장치(100)에서의 일련의 처리는 하드웨어로 처리해도 좋고, 촬상 장치(100)에 저장된 프로그램에 의한 소프트웨어 처리로 실현해도 좋다.

다음으로, 도 2를 참조하여 본 발명의 일 실시예에 따른 노이즈 저감부(130)의 구성에 대해서 설명하기로 한다. 도 2는, 본 발명의 일 실시예에 따른 노이즈 저감부(130)를 도시한 블럭도이다.

노이즈 저감부(130)는 노이즈 저감 장치의 일례로서, 예를 들면 화상 신호 처리부(144)에 마련된다. 노이즈 저감부(130)는, 예를 들면 입력부(131)와, 피사체상 판정부(132)와, 필터 처리 선택부(134)와, 필터 처리부(135)와, 출력부(136) 등을 포함할 수 있다.

입력부(131)는 촬상 소자(110)에서 출력된 화상 데이터가 휘도 신호 및 색신호로 변환 처리된 후의 휘도-색차 신호로 이루어진 화상 데이터가 입력된다. 입력된 화상 데이터는 피사체상 판정부(132)에 보내진다.

피사체상 판정부(132)는, 화상 데이터의 주목 화소의 화소값과 주목 화소 근방 화소의 화소값으로부터 주목 화소가 대상 피사체상인지 여부를 판정한다. 여기에서 대상 피사체상이란, 본 실시예에서는 배경의 수목 등 식물 피사체상이다. 수목 등 식물이 배경에 포함될 경우, 수목의 잎(녹색의 녹엽이나 노란색, 빨간색 등의 단풍 등)이나 꽃(벚꽃 등)은 피사체상 전체에 비해 매우 세밀하다. 피사체상이 배경의 식물인지 여부를 판정함으로써 식물이라고 판정된 부분을 통상의 노이즈와 구별할 수 있다.

피사체상 판정부(132)는, 예를 들면 특징 산출부(137)와 판정부(138) 등으로 이루어진다. 특징 산출부(137)는 주목 화소가 대상으로 하는 피사체상이라고 판정할 수 있는 기준이 되는 값을 산출한다. 본 실시예에서는 대상으로 하는 피사체상이 배경의 식물이다. 주목 화소가 배경의 식물 피사체상이라고 판정할 수 있는 기준이 되는 값은, (1)고주파 성분, (2)색상값의 평균값과 채도값의 평균값, (3)채도값의 분산값이다. 특징 산출부(137)는, 예를 들면 고주파 성분 산출부(152)와, 색상 채도 평균값 산출부(154)와, 채도 분산값 산출부(156)를 포함한다.

고주파 성분 산출부(152)는, 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방 화소에서의 고주파 성분을 산출한다. 색상 채도 평균값 산출부(154)는 주목 화소 및 주목 화소 근방 화소의 색상값에 기초하여 주목 화소 및 주목 화소 근방 화소의 색상값의 평균값을 산출한다. 또 색상 채도 평균값 산출부(154)는 주목 화소 및 주목 화소 근방 화소의 채도값에 기초하여 주목 화소 및 주목 화소 근방 화소의 채도값의 평균값을 산출한다. 채도 분산값 산출부(156)는 주목 화소 및 주목 화소 근방 화소의 채도값에 기초하여 주목 화소 및 주목 화소 근방 화소의 채도값의 분산값을 산출한다.

판정부(138)는 특징 산출부(137)에서 산출된 판정 기준이 되는 각 값(예를 들면, 산출된 고주파 성분, 색상값의 평균값, 채도값의 평균값 및 채도값의 분산값)에 기초하여 주목 화소가 대상으로 하는 피사체상(배경의 식물 피사체상)인지 여부를 판정한다. 예를 들면, 판정부(138)는 산출된 고주파 성분이 주목 화소 및 주목 화소 근방 화소에서 소정 값 이상 포함되고, 산출된 색상값의 평균값과 채도값의 평균값이 각각 소정 범위 안에 포함되고, 산출된 채도값의 분산값이 소정 값 이상일 때 주목 화소 및 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상이라고 판정한다.

필터 처리 선택부(134)는 판정부(138)의 판정 결과에 기초하여 필터 처리부(135)에 기록된 여러 개의 필터 중 적어도 하나의 필터를 선택한다. 선택되는 필터는 화상 데이터의 피사체 상의 종류를 나타내는 판정부(138)의 판정 결과에 따라 다르다. 필터 처리 선택부(134)는 어떤 필터가 선택되어야 하는지의 정보를 필터 처리부(135)에 보낸다.

본 실시예에 따르면, 필터 처리부(135)는, 기억부에 기록된 여러 종류의 필터로 구현될 수 있다. 필터 처리부(135)는 평활화부의 일례로서, 필터는 예를 들면 로우 패스 필터이다. 그리고 주목 화소 및 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사체상으로 판정되면, 배경의 식물 피사체상이 아니라고 판정되었을 때에 비해 투과시키는 주파수 범위를 넓힌다. 필터 처리부(135)는 필터 처리 선택부(134)로부터 어떤 필터가 선택되어야 하는지의 정보를 받는다. 또한, 필터 처리부(135)는 입력부(131)로부터 화상 데이터에 기초하여 결정된 어떤 필터가 선택되어야 하는지의 정보에 따라 화상 데이터의 주목 화소에 대해 필터 처리를 한다. 즉, 필터 처리부(135)는 필터 처리 선택부(134)에서 화상 데이터에 따라 선택된 필터를 이용하여 주목 화소를 평활화하고, 화상 데이터에 포함되는 노이즈를 줄인다. 필터 처리부(135)는 필터 처리된 화상 데이터를 출력부(136)에 보낸다.

출력부(136)는 필터 처리된 화상 데이터를 노이즈 저감부(130)의 외부로 출력한다. 출력된 화상 데이터는 이후에, 예를 들면 색보간 처리, 화이트 밸런스 조정, 감마 처리 등을 거친다.

아울러 노이즈 저감부(130)에서의 일련의 처리는 하드웨어에서 처리해도 좋고, 촬상 장치(100)에 저장된 프로그램에 의한 소프트웨어 처리로 실현해도 좋다.

다음으로, 도 3을 참조하여 본 실시예에 따른 노이즈 저감부(130)의 동작에 대해서 설명하기로 한다. 도 3은, 본 실시예에 따른 노이즈 저감부(130)의 동작을 도시한 흐름도이다.

우선, 노이즈 저감부(130)의 입력부(131)에 휘도 신호(Y), 색차 신호(Cb,Cr)로 이루어진 화상 데이터가 입력된다(단계S101). 아울러 노이즈 저감부(130)에 입력되는 신호는 YCbCr신호의 화상 데이터이거나, 컬러 필터가 베이어(Bayer) 배열된 촬상 소자로부터 출력된 신호에 의한 RAW데이터일 수 있다. 또한, RGB색 공간에 의한 RGB신호 등 다른 색공간으로 표현되는 신호가 노이즈 저감부(130)로 입력되는 것도 가능하다. 단, RGB신호가 노이즈 저감부(130)로 입력된 경우에는 신호를 휘도-색차 신호로 변환하는 단계가 추가된다.

다음으로, 특징 산출부(137)는 입력된 화상 데이터의 주목 화소의 화소값과 주목 화소 근방 화소의 화소값으로부터, 주목 화소가 배경의 식물이라고 판정할 수 있는 기준이 되는 값을 산출한다.

도 6에 도시한 바와 같이, 색차 신호 Cb와 색차 신호 Cr이 직교 좌표에서의 색공간으로 표현되면, 원점에서의 거리 r은 채도를 표현하고, Cr축으로부터의 각도θ는 색상을 표현한다. 도 6은, CbCr신호로 표시된 색공간을 도시한 그래프이다. 이를 위해, 예를 들면 색상 채도 평균값 산출부(154)나 채도 분산값 산출부(156)가 주목 화소 및 주목 화소 근방 화소의 색차 신호(Cr,Cb)를 극좌표 변환한다(단계S102). 이로써 어느 화소의 색차 신호(Cr,Cb)가 (VCr,VCb)였을 때의 채도r과 색상θ를 알 수 있다.

예를 들면, 채도r은

로 표시되고,

또 색상θ는,

로 표시된다.

다음으로 색상 채도 평균값 산출부(154)가 주목 화소 및 주목 화소 근방 화소의 채도값r에 기초하여 하기의 수학식 3을 사용하여 주목 화소 및 주목 화소 근방 화소의 채도값r의 평균값을 산출한다(단계S103).

또 색상 채도 평균값 산출부(154)가 주목 화소 및 주목 화소 근방 화소의 색상값θ에 기초하여 하기의 수학식 4를 사용하여 주목 화소 및 주목 화소 근방 화소의 색상값θ의 평균값을 산출한다(단계S103).

또한 채도 분산값 산출부(156)가 주목 화소 및 주목 화소 근방 화소의 채도값r에 기초하여 하기의 수학식 5를 사용하여 주목 화소 및 주목 화소 근방 화소의 채도값r의 분산값을 산출한다(단계S103).

한편, 고주파 성분 산출부(152)가 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방 화소에서의 고주파 성분을 산출한다. 예를 들면, 고주파 성분 산출부(152)는 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값에 기초하여 주목 화소 및 주목 화소 근방의 공간 주파수를 검출한다(단계S104).

구체적으로는 화상 데이터에 대해서 2차원 DCT(discrete cosine transform: 이산 코사인 변환)를 수행하여 DCT계수를 산출한다. 예를 들면, 도 4에 도시한 바와 같이 화상 데이터를 5ㅧ5화소의 블럭으로 분할하는 경우에 대해서 설명하기로 한다. 도 4는, 화상 데이터의 화소의 배열을 도시한 설명도이다. 도 4는, 5ㅧ5화소의 블럭을 추출한 것으로서, 도 4 중의 A는 주목 화소를 나타낸다. 각 화소의 화소값을 f(x,y)라고 하면 블록별 DCT계수(F(u,v))는 다음 식으로 표현된다.

이로써 DCT계수(F(u,v))는 도 5에 도시한 바와 같이 배열된다. 도 5는, DCT계수의 배열을 도시한 설명도이다. 각 블럭의 왼쪽 상단은 직류(DC)성분을 나타낸다. 그리고 고주파 성분이 주목 화소 및 주목 화소 근방 화소에서 소정 값 이상 포함되는지 여부를 판단하기 위해 하기의 수식으로 계수(kfH)를 산출한다. 계수(kfH)는, 도 5의 C1∼C7의 DCT계수와 D1∼D9의 DCT계수의 제곱합의 제곱근이다.

다음으로 판정부(138)가 특징 산출부(137)에서 산출된 판정 기준이 되는 각 값(예를 들면, 산출된 고주파 성분, 색상값의 평균값, 채도값의 평균값 및 채도값의 분산값)에 기초하여 주목 화소가 대상이 되는 피사체상(배경의 식물 피사체상) 인지 여부를 판정한다(단계S105).

우선, 조건1로서 계수(kfH)가 소정 값 이상인지 여부를 판정한다. 계수(kfH)가 비교적 큰 값이면 고주파 성분이 많고, 고주파 성분이 많으면 화상에 배경의 식물이 포함될 가능성이 있기 때문이다. 예를 들면, 판정부(138)는,

를 만족하는지 여부를 판정한다.

또 조건2로서, 채도값r 및 색상값θ의 평균값이 소정 범위내인지 여부를 판정한다. 채도값r 및 색상값θ의 평균값이 예를 들면 식물 잎의 색(녹엽의 녹색, 단풍의 노란색이나 빨간색 등)이나 꽃의 색(벚꽃의 연한 분홍색 등)에 가까우면 화상에 배경의 식물이 포함될 가능성이 있기 때문이다. 예를 들면 녹색의 영역인지를 판정하기 위해, 판정부(138)는 하기의 수학식 9 및 10의 조건을 만족하는지 여부를 판단한다.

또한 조건3으로서 채도값r의 분산값이 소정 값 이상인지 여부를 판정한다. 채도값r의 분산값(불균일)이 크면 색의 변화가 커 화상에 배경의 식물이 포함될 가 능성이 있기 때문이다. 예를 들면, 판정부(138)는,

를 만족하는지 여부를 판정한다.

상술한 조건1∼3을 전부 만족할 때, 판정부(138)는 주목 화소가 배경의 식물 피사체상이라고 판정한다. 한편 조건1∼3중 어느 하나를 만족하지 않는 경우, 판정부(138)는 주목 화소가 배경의 식물 피사체상이 아니라고 판정한다. 아울러 상기 조건1∼3에서 나타낸 수치는 8bit(0∼255)의 레벨을 가진 화상으로서, 콤팩트 카메라에서 ISO100 정도의 노이즈를 가질 때 적용하는 값의 예이다. 조건 1~3에 나타난 수치는 ISO 감도, 촬상 장치(100)의 스펙, 설계자의 선택 등에 의해 다양하게 선택될 수 있다.

다음으로, 필터 처리 선택부(134)에서 주목 화소가 배경의 식물 피사체상인지 여부를 판단하여, 필터 처리부(135)에서의 여러 개의 필터 중 적어도 하나의 필터가 선택된다(단계S106).

그 후, 선택된 필터 처리부(135)의 필터가 화상 데이터의 주목 화소에 대해 필터 처리를 한다(단계S107).

예를 들면, 주목 화소가 배경의 식물 피사체상이라고 판정된 경우에는 비교적 약한 LPF(로우 패스 필터)를 선택한다. 도 8에 비교적 약한 LPF의 일례를 도시한다. 이로써 배경의 식물 피사체상의 주목 화소에 대해 비교적 약한 LPF처리를 하 게 되어 배경의 식물 피사체상에 적절한 노이즈 저감 처리를 할 수 있다.

예를 들면, 주목 화소가 배경의 식물 피사체상이 아니라고 판정된 경우에는 비교적 강한 LPF를 선택한다. 도 9에 비교적 강한 LPF의 일례를 도시한다. 이로써 배경의 식물 피사체상 이외의 주목 화소에 대해 비교적 강한 LPF처리를 하게 되어 배경의 식물 피사체상 이외의 피사체상에 적절한 노이즈 저감 처리를 할 수 있다. 마지막으로 필터 처리된 화상 데이터가 노이즈 저감부(130)의 외부로 출력된다(단계S108).

이하, 본 실시예에 따른 노이즈 저감부(130)의 효과를 설명하기로 한다. 예를 들면, 표면이 플랫(평활)한 인공물의 피사체상은 중첩되는 노이즈의 특성으로서, 도 7(B)와 같이 채도값 방향, 색상값 방향으로 거의 균일한 분산을 가진다. 따라서 색차 신호의 분포는 대략 원형의 분포가 된다. 또 비교적 고주파 성분이 적어진다. 아울러 도면 중에 도시한

평균(m r , m θ )

는 상술한 단계S103에서 산출한 채도값r의 평균값 및 색상값θ의 평균값이다. 도 7은, CbCr신호로 표시된 색공간을 도시한 그래프이다. 도 7(B)는, 인공물의 피사체상에서의 CbCr신호 분포의 일례를 도시한다.

한편, 배경의 식물 피사체상은 밝기나 색의 변화가 크기 때문에 도 7(A)와 같이 색차 신호의 분산이 커지고 특히 채도값r 방향으로 분산이 커진다. 따라서 색차 신호의 분포는 살짝 타원형상의 분포가 된다. 또 비교적 고주파 성분이 많아진 다. 도 7(A)는 배경의 식물 피사체상에서의 CbCr신호의 분포 일례를 도시한다. 아울러 도면 중에 도시한

평균(m r , m θ )

은 상술한 단계S103에서 산출한 채도값r의 평균값 및 색상값θ의 평균값이다.

이와 같이 본 실시예는, 인공물의 피사체상과 배경의 식물 피사체상이 갖는 색차 신호의 분포와 고주파 성분의 차이에 착안하여 본 실시예는 화상에 배경의 식물이 포함되는지 여부를 판정한다.

이로써 화상 데이터에서의 배경의 식물 피사체상에 대해 노이즈 저감 처리를 비교적 약하게 할 수 있어 식물 부분의 화상이 흐릿해지지 않고 해상감이 있는 화상을 얻을 수 있다. 한편, 식물과 같은 색성분을 가진 식물 이외의 피사체상에 대해서는 노이즈 저감 처리를 약하게 하지 않고 통상의 처리를 할 수 있어 노이즈를 확실히 줄일 수 있다. 예를 들면, 식물의 색에 가까운 색을 가진 인공물(자동차나 간판 등)에 대해 노이즈가 제거되지 않는다는 문제를 회피할 수 있다.

다음으로, 본 발명의 다른 실시예에 따른 촬상 장치(200)에 대해서 설명하기로 한다. 본 실시예에서는 촬상 소자(110)에 적외선만을 투과시키는 가시 광선 제거 필터가 설치됨으로써 피사체상의 적외선량을 검출할 수 있다. 그리고 적외선량을 참조함으로써 화상에 배경의 식물 피사체상이 포함되는지를 판단한다.

예를 들면, 노이즈 저감부(130)에서의 피사체상 판정부(132)가 적외선 성분 값 산출부(미도시)를 더 포함한다. 적외선 성분값 산출부는 주목 화소의 화소값 및 주목 화소 근방 화소의 화소값 중 적외선 성분값을 산출한다. 그리고, 판정부(138)가 앞서 본 발명의 일 실시예에서 설명한 조건1∼3에 추가하여, 산출된 적외선 성분값이 소정 값 이상인지 여부를 판단하기 위한 조건4를 판정한다. 식물로부터의 적외선량은 인공물에 비해 값이 높아지기 때문에 적외선 성분값이 높으면 화상에 배경의 식물이 포함될 가능성이 있기 때문이다. 아울러 상기 소정값은 주목 화소의 휘도값Y에 비례하여 변화되도록 결정한다. 적외선량은 휘도가 높아지면 값이 높아지기 때문이다.

그리고 상술한 조건1∼4를 전부 만족할 때, 판정부(138)는 주목 화소가 배경의 식물 피사체상이라고 판정한다. 반면 조건1∼4 중 어느 하나를 만족하지 않을 때에는 판정부(138)는 주목 화소가 배경의 식물 피사체상이 아니라고 판정한다.

이와 같이 본 발명의 일 실시예에서 설명한 조건1∼3에 추가하여 조건4를 고려함으로써 더 고정밀도로 주목 화소가 배경의 식물 피사체상인지 여부를 판정할 수 있어, 배경의 식물 피사체상이 포함되는 화상에서 배경의 식물을 대상으로 적절하게 노이즈 저감 처리를 할 수 있다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하며 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

예를 들면, 상기 실시형태에서는 노이즈 저감부(130)가 화상 신호 처리부(144)에 마련되고, 휘도 신호, 색차 신호로 이루어진 화상 데이터에 대해 노이즈 저감 처리를 하는 예에 대해서 설명하였으나, 본 발명은 이 예에 한정되지 않는다. 예를 들면, 노이즈 저감부(130)는 화상 데이터가 촬상 소자(110)에서 출력되고 화소 결함 보정된 화상 데이터(RAW데이터)에 대해 노이즈 저감 처리를 해도 좋다. 이 때, 노이즈 저감부(130)는, 예를 들면 전처리부(120)에 마련된다.

또한, 상기 실시예들에서는 교류 성분 C1∼C7, D1∼D9을 사용하여 계수(kfH)를 산출하는 경우에 대해서 설명하였으나, 본 발명은 이러한 예로 한정되지 않는다. 예를 들면, 교류 성분 B1∼B5, C1∼C7, D1∼D9를 사용하여 계수(kfH)를 산출해도 좋다.

또한, 상기 실시예들에서는, 화상 데이터를 5ㅧ5화소의 블럭으로 분할하는 경우에 대해서 설명하였으나, 본 발명은 이 예로 한정되지 않으며 예를 들면, 8ㅧ8화소의 블럭, 10ㅧ10화소의 블럭으로 분할하는 등 분할하는 블럭의 크기는 임의로 선택될 수 있다. 또 노이즈 저감을 위한 필터 처리는 상술한 필터에 한정되지 않으며 다른 처리로 수행해도 좋다.

또한, 상기 실시예들에서는 필터 처리부(135)에서 적용하는 로우 패스 필터의 종류를 피사체상이 배경의 식물인지 여부에 따라 변경하는 경우에 대해서 설명하였으나, 본 발명은 이러한 예로 한정되지 않는다. 예를 들면, 피사체상이 배경의 식물인지 여부와 상관없이, 적용하는 로우 패스 필터는 동일해도 좋고, 이 때 본래의 화상에 대해 필터 처리할 때 필터 처리하는 주목 화소와 필터 처리하지 않는 주 목 화소의 비율을, 피사체상이 배경의 식물인지 여부에 따라 변경할 수 있다.

도 1은 본 발명의 일 실시예에 따른 촬상 장치를 도시한 블록도이다.

도 2는 본 발명의 일 실시예에 따른 노이즈 저감부를 도시한 블럭도이다.

도 3은 본 발명의 일 실시예에 따른 노이즈 저감부의 동작을 도시한 흐름도이다.

도 4는 화상 데이터의 화소의 배열을 도시한 설명도이다.

도 5는 DCT계수의 배열을 도시한 설명도이다.

도 6은 CbCr신호로 표시된 색공간을 도시한 그래프이다.

도 7은 CbCr신호로 표시된 색공간을 도시한 그래프이다.

도 8은 로우 패스 필터(LPF)의 일례를 도시한 설명도이다.

도 9는 로우 패스 필터(LPF)의 일례를 도시한 설명도이다.

* 도면의 주요 부분에 대한 부호의 설명 *

100,200 촬상 장치

102 렌즈부

110 촬상 소자

120 전처리부

130 노이즈 저감부

131 입력부

132 피사체상 판정부

134 필터 처리 선택부

135 필터 처리부

136 출력부

137 특징 산출부

138 판정부

142 화상 메모리

144 화상 신호 처리부

146 신호 처리 및 제어부

148 렌즈 구동부

150 JPEG 처리부

152 고주파 성분 산출부

154 색상 채도 평균값 산출부

156 채도 분산값 산출부

160 디스플레이부

170 메모리 카드

180 조작부

Claims (8)

1. 화상 데이터의 주목 화소의 화소값 및 상기 주목 화소 근방 화소의 화소값에 기초하여 상기 주목 화소 및 상기 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상인지 여부를 판정하는 피사체상 판정부; 및

   상기 판정 결과에 따라 상기 주목 화소를 평활화하는 평활화부를 포함하는 노이즈 저감 장치.
2. 제1항에 있어서, 상기 피사체상 판정부는,

   상기 주목 화소의 화소값 및 상기 주목 화소 근방 화소의 화소값에 기초하여, 상기 주목 화소 및 상기 주목 화소 근방 화소에서의 고주파 성분을 산출하는 고주파 성분 산출부;

   상기 주목 화소 및 상기 주목 화소 근방 화소의 색상값의 평균값과, 상기 주목 화소 및 상기 주목 화소 근방 화소의 채도값의 평균값을 산출하는 색상 채도 평균값 산출부;

   상기 주목 화소 및 상기 주목 화소 근방 화소의 채도값의 분산값을 산출하는 채도 분산값 산출부; 및

   산출된 상기 고주파 성분, 상기 색상값의 평균값, 상기 채도값의 평균값 및 상기 채도값의 분산값에 기초하여 상기 주목 화소 및 상기 주목 화소 근방 화소로 이루어진 화상이 배경(遠景)의 식물 피사체상인지 여부를 판정하는 판정부를 포함 하는 노이즈 저감 장치.
3. 제1항에 있어서, 상기 평활화부는 로우 패스 필터를 포함하고, 상기 주목 화소 및 상기 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사체상으로 판정된 경우, 배경의 식물 피사체상이 아니라고 판정되었을 때에 비해 상기 로우 패스 필터에서 투과시키는 주파수 범위를 넓히는, 노이즈 저감 장치.
4. 제2항 또는 제3항에 있어서, 상기 피사체상 판정부는,

   상기 주목 화소의 화소값 및 상기 주목 화소 근방 화소의 화소값의 적외선 성분값을 산출하는 적외선 성분값 산출부를 더 포함하는 노이즈 저감 장치.
5. 제2항 또는 제3항에 있어서, 상기 판정부는 산출된 상기 고주파 성분이 상기 주목 화소 및 상기 주목 화소 근방 화소에서 제1 기준값 이상 포함되고, 산출된 상기 색상값의 평균값과 상기 채도값의 평균값이 각각 제1 및 제2 기준 범위 안에 포함되며, 산출된 상기 채도값의 분산값이 제2 기준값 이상일 때, 상기 주목 화소 및 상기 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상이라고 판정하는 노이즈 저감 장치.
6. 제4항에 있어서, 상기 판정부는 산출된 상기 적외선 성분값이 상기 주목 화소의 휘도값에 따라 결정되는 제3 기준값 이상이면, 상기 주목 화소 및 상기 주목 화소 근방으로 이루어진 화상이 배경의 식물 피사체상이라고 판정하는 노이즈 저감 장치.
7. 화상 데이터의 주목 화소의 화소값 및 상기 주목 화소 근방 화소의 화소값에 기초하여 상기 주목 화소 및 상기 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사체상인지 여부를 판정하는 단계,

   상기 판정 결과에 따라 상기 주목 화소를 평활화하는 단계,

   를 가진 노이즈 저감 방법.
8. 제7항에 있어서, 상기 배경의 식물 피사체상인지 여부를 판정하는 단계는,

   상기 주목 화소의 화소값 및 상기 주목 화소 근방 화소의 화소값에 기초하여 상기 주목 화소 및 상기 주목 화소 근방 화소에서의 고주파 성분을 산출하는 단계;

   상기 주목 화소 및 상기 주목 화소 근방 화소의 색상값의 평균값과, 상기 주목 화소 및 상기 주목 화소 근방 화소의 채도값의 평균값을 산출하는 단계;

   상기 주목 화소 및 상기 주목 화소 근방 화소의 채도값의 분산값을 산출하는 단계; 및

   산출된 상기 고주파 성분, 상기 색상값의 평균값, 상기 채도값의 평균값 및 상기 채도값의 분산값에 기초하여 상기 주목 화소 및 상기 주목 화소 근방 화소로 이루어진 화상이 배경의 식물 피사체상인지 여부를 판정하는 단계를 포함하는 노이즈 저감 방법

Images