KR20130083464A

KR20130083464A - 화상처리장치 및 그 제어 방법

Info

Publication number: KR20130083464A
Application number: KR20137014193A
Authority: KR
Inventors: 유이치 히라이
Original assignee: 캐논 가부시끼가이샤
Priority date: 2010-11-08
Filing date: 2011-11-02
Publication date: 2013-07-22
Also published as: CN103202022A; KR101460688B1; EP2638696B1; CN103202022B; US9137464B2; EP2638696A1; WO2012063885A1; JP2012104968A; JP5677040B2; US20130222531A1

Abstract

단판식 컬러 촬상소자를 사용해서 촬상된 화상으로부터, 해상도 및 주파수대역이 낮은 저해상도 화상을 생성하고, 화상과 저해상도 화상의 각각에 대해서 의색 및 색 노이즈의 억압을 행한다. 그 후에 저해상도 화상에 관해서는 해상도를 되돌리고, 이 화상과 해당 화상에 대해 가중 합성을 행한다. 합성을 위한 비율계수를 산출하는 MIX비율 연산부(205, 225)는, 주목 화소가 의색이 발생하는 영역에 속한다고 판단될 경우에는, 해상도가 되돌려진 저해상도 화상의 화소의 색신호가 상기 가중 합성의 결과인 비율계수를 산출한다. 이에 따라 의색과 색 노이즈의 양쪽을 효과적으로 억압 가능하다.

Description

화상처리장치 및 그 제어 방법{IMAGE PROCESSING APPARATUS AND CONTROL METHOD OF THE SAME}

본 발명은 화상처리장치 및 그 제어 방법에 관한 것으로, 보다 구체적으로, 화상중의 노이즈와 의색(pseudo color)을 억압 가능한 화상처리장치에 관한 것이다.

CCD이미지 센서나 CMOS이미지 센서 등의 단판식 컬러 촬상소자를 구비하고, 광학상을 디지털 화상 데이터로서 기억하는, 디지털 카메라 등의 촬상장치가 알려져 있다. 이와 같은 촬상장치가 고화질 화상을 촬상하는 것이 바람직하지만, 어두운 장소나 야간과 같이 충분한 S/N비(신호/노이즈 비)를 얻을 수 없는 환경에서는, 색성분의 노이즈(색 노이즈)가 화질을 크게 저하시킨다. 화질을 저하시키는 요인의 다른 예는, 촬상소자의 예를 들면 암전류에 기인하는 노이즈 성분의 중첩이 있다.

그렇지만, 특히 최근은 어두운 장소나 야간에도 노이즈가 적은 고화질 화상을 촬상하는 요구가 높아지고 있다.

상술한 것과 같은 기술적 상황하에서, 색 노이즈를 억압하기 위한 여러 가지 방법이 제안되어 있다. 예를 들면, 일본국 공개특허공보 특개2008-015741호(특허문헌 1)에는, 고주파 성분으로부터 엣지 성분을 보존하면서 노이즈를 제거한 후에 상기 고주파 성분과 저주파 성분을 합성하는 방법이 제안되어 있다. 또한, 일본국 공개특허공보 특개2007-272536호(특허문헌 2)에는, 휘도성분, 색차성분 각각에 대해서, 해상도가 다른 저주파 화상 및 고주파 화상을 생성하고, 이들 화상에 대해 다른 노이즈 억압과정들을 행한 후에 합성하는 방법이 제안되어 있다.

상기 특허문헌 1, 2에 기재된 방법 각각은, 휘도성분과 색성분을 고주파 성분과 저주파 성분으로 나누고, 개별적으로 노이즈 억압 처리를 행한 후에 합성하는 구성을 갖는다.

또한, 컬러필터를 사용한 단판식 컬러 촬상소자에서 촬상된 화상을 처리하는 과정에서는, 공간주파수가 높은 피사체를 촬상한 부분에, 원래 없는 색이 출현하는 의색이라고 하는 문제를 일으킨다. 그 때문에, 종래, 피사체의 고주파 영역에 발생하는 상기 의색을 억압하는 방법으로서, 주목 화소의 색보간을, 상기 주목 화소 주위의 화소들을 사용해서 행하였다.

일본국 공개특허공보 특개2002-300590호(특허문헌 3) 및 일본국 공개특허공보 특개평8-023541호(특허문헌 4) 각각에는, 베이어(Bayer) 배열의 컬러필터를 구비한 촬상소자로부터 얻어진 화상에 대하여, 의색을 억압한 색보간을 행하는 방법을 제안하고 있다. 원색 베이어 배열의 단위 패턴은

이다. 이 단위 패턴에 포함된 2개의 초록(G)필터 중, 빨강(R)필터와 수평방향으로, 파랑(B)필터와는 수직방향으로 인접한 G필터가 G1필터이고, R필터와 수직방향으로, B필터와 수평방향으로 인접한 G필터가 G2필터다.

주목 화소의 색보간을 행할 때, 주목 화소에 상하로 인접하는 G1 또는 G2화소의 값의 상관도와, 주목 화소에 좌우로 인접하는 G1 또는 G2화소의 값의 상관도간의 관계에 의거해, G1화소 또는 G2화소의 값을 사용해서 색차성분을 구할지를 결정한다.

특허문헌 4에서는, (R-G1)의 값과 (R-G2)의 값을, 그 차이에 따라 가중평균해서 색차성분R-G을 구하고, (B-G1)의 값과 (B-G2)의 값을, 그 차이에 따라 가중평균해서 색차성분B-G을 구하고 있다.

또한, 일본국 공개특허공보 특개2007-336384호(특허문헌 5)에서는, 주목 화소의 수평방향 및 수직방향으로 위치하는 화소의 상관에 따라, 보간에 사용하는 화소를 적응적으로 선택해서 휘도성분을 생성함으로써, 모아레(moire)를 억압하고, 전체적으로 자연스러운 화상을 생성하는 방법이 제안되어 있다.

특허문헌 1, 2에서는, 색 노이즈의 억압에 관해서는 고려되어 있지만, 의색의 억압에 관해서는 고려되지 않고 있다. 또한, 특허문헌3∼5에서는, 의색의 억압에 관해서는 고려되어 있지만, 색 노이즈의 억압에 관해서는 고려되지 않고 있다.

색 노이즈와 의색 중 하나만을 억제하는 것이 불충분하고, 색 노이즈와 의색의 쌍방이 억압된 화상이 요구되고 있다. 그렇지만, 색 노이즈와 의색의 양쪽을 효율적으로 억압하기 위한 종래의 방법은 제안되어 있지 않았다.

본 발명은, 의색과 색 노이즈의 쌍방을 억압가능한 화상처리장치 및 그 제어 방법을 제공한다.

본 발명의 일 국면에서는, 단판식 컬러 촬상소자를 사용해서 촬상된 화상의 의색 및 색 노이즈를 억압하는 화상처리장치로서, 상기 화상으로부터, 상기 화상보다도 해상도 및 주파수대역이 낮은 저해상도 화상을 생성하는 해상도 저감 수단; 상기 화상과 상기 저해상도 화상의 각각에 대해서, 의색 및 색 노이즈를 억압하는 억압 수단; 상기 억압 수단에서 처리된 상기 저해상도 화상의 해상도를 되돌리는 해상도 증가 수단; 상기 억압 수단에서 처리된 상기 화상의 화소와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소를, 가중 합성하기 위한 비율계수를 산출하는 산출 수단; 및 상기 비율계수에 따라, 상기 억압 수단에서 처리된 상기 화상의 화소의 색신호와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소의 색신호를, 가중 합성하는 합성 수단을 구비하고, 상기 산출 수단은, 상기 화상의 주목 화소가 의색이 발생하는 영역에 속한다고 판단될 경우에는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소의 색신호가 상기 가중 합성의 결과인 상기 비율계수를 산출하는 것을 특징으로 하는, 화상처리장치를 제공한다.

본 발명의 다른 국면에서는, 단판식 컬러 촬상소자를 사용해서 촬상된 화상의 의색 및 색 노이즈를 억압하는 화상처리장치의 제어 방법으로서, 해상도 저감 수단이, 상기 화상으로부터, 상기 화상보다도 해상도 및 주파수대역이 낮은 저해상도 화상을 생성하는 해상도 저감 단계; 억압 수단이, 상기 화상과 상기 저해상도 화상의 각각에 대해서, 의색 및 색 노이즈를 억압하는 억압 단계; 해상도 증가 수단이, 상기 억압 단계에서 처리된 상기 저해상도 화상의 해상도를 되돌리는 해상도 증가 단계; 산출 수단이, 상기 억압 단계에서 처리된 상기 화상의 화소와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소를, 가중 합성하기 위한 비율계수를 산출하는 산출 단계; 및 합성 수단이, 상기 비율계수에 따라, 상기 억압 단계에서 처리된 상기 화상의 화소의 색신호와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소의 색신호를, 가중 합성하는 합성 단계를 포함하고, 상기 산출 단계에 있어서 상기 산출 수단은, 상기 화상의 주목 화소가 의색이 발생하는 영역에 속한다고 판단될 경우에는, 상기 해상도가 되돌려진 저해상도 화상의 화소의 상기 색신호가 상기 가중 합성의 결과인 상기 비율계수를 산출하는 것을 특징으로 하는, 화상처리장치의 제어 방법을 제공한다.

본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은 실시예에 따른 화상처리장치의 일례로서의 촬상장치의 구성 예를 나타내는 블록도,
도 2는 도 1의 색차신호 처리부(109)의 구성 예를 나타내는 블록도,
도 3은 도 2의 MIX비율 연산부(205)의 구성 예를 나타내는 블록도,
도 4는 CZP(원형 존(zone) 플레이트)을 도시한 도면,
도 5a 내지 5c는 CZP의 중심부에서 수평으로 연기된 축상에 G1, G2신호의 예들을 나타내는 도면이다.

이하, 첨부도면에 따라 본 발명의 예시적 실시예들을 상세히 설명한다.

도 1은, 본 발명의 실시예에 따른 화상처리장치의 일례로서의 촬상장치의 구성 예를 나타내는 블록도다. 그렇지만, 본 발명에 따른 화상처리장치에 있어서, 촬상을 행하기 위한 구성은 필수적이지 않고, 촬상화상을 처리가능한 임의의 장치는 촬상 과정을 행할 수 있다.

제어부(100)는, CPU, RAM 및 ROM을 구비하고, ROM에 기억된 프로그램을 RAM에 전개해서 CPU로 그 전개된 프로그램을 실행함에 의해, 촬상장치의 각부의 동작을 제어한다. 이때, 도 1은, 도면이 복잡하지 않도록 상기 제어부(100)와 개개의 기능 블록간의 어떠한 접속 선도 도시하지 않고 있다. 또한, 도 1에 도시된 기능블록(107∼113)은 하드웨어로 실현되어도 좋지만, 이하의 설명에 있어서는, 제어부(100)의 CPU가 소프트웨어를 실행함으로써 실현된다.

예를 들면, 조작부(116)의 촬영 버튼을 반가압하여서 "촬영 스탠바이"가 지시되면, 제어부(100)는, 동기신호 생성부(101)에 대하여, 화상신호를 취득하기 위한 프레임 동기신호(수평동기신호 및 수직동기신호)의 발생을 지시한다.

이 지시에 응답하여, 동기신호 생성부(101)는, 아날로그 신호의 처리에 관련되는 블록에 대한 타이밍 펄스의 공급을, 타이밍 펄스 발생부(102)에 지시한다. 타이밍 펄스 발생부(102)는, 동기신호 생성부(101)의 이 지시를 받으면, 아날로그 신호의 처리에 관련되는 촬상처리부(103), CDS/AGC(1O4), 및 A/D변환부(105)에 타이밍 펄스를 공급한다.

CDS/AGC(1O4)는, 단판식 컬러 촬상소자를 갖는 촬상처리부(103)가 출력하는 아날로그 화상신호로부터 암전류 성분을 제거하고, 게인을 조정함으로써 화상신호의 S/N비를 증가시킨다. A/D변환부(105)는, 타이밍 펄스 발생부(102)로부터 공급된 타이밍에 따라, 아날로그 화상신호를 디지털 화상 데이터로 변환하여, FIF0(106)에 출력한다.

FIF0(106)는, 디지털 화상 데이터의 일시 버퍼로서 기능한다. FIF0(106)의 후단의 기능 블록은 디지털 신호 처리에 관련되는 블록이다. WB 처리부(107)로부터 행해진 디지털 신호 처리에 필요로 하는 시간은, 일정하지 않고, 항상 A/D변환부(105)의 출력 타이밍에서 즉시 디지털 신호 처리를 시작할 수 없다. 이 때문에, FIF0(106)에 의해 타이밍의 차이를 흡수한다.

WB처리부(107)는, 컬러화상에 있어서의 색화소간의 게인(화이트 밸런스)을 조정한다. 화소보간부(108)는, 컬러필터를 갖는 촬상소자에서 촬상된 화상의 각 화소에 대해서, 부족한 색성분의 정보를 보간한다. 예를 들면, 촬상처리부(103)가 전술한 베이어 배열의 컬러필터를 구비한 촬상소자를 구비하고 주목 화소가 R화소이면, 화소보간부(108)는, B, G의 색성분을 주위의 B, G(G1, G2)화소로부터 보간한다. 색보간처리는, 동기화처리라고도 불린다. 보간방법은 특별히 제한되지 않고, 주어진 종래의 방법이 채용될 수 있다.

색차신호 처리부(109)는, 주목 화소의 RGB신호로부터 색차신호(Cr, Cb)를 생성한다. 색 γ처리부(110)는, 색차신호에 대하여 감마 처리를 실시한다. 크로마(Chroma)/니이(knee)처리부(111)는, 감마 처리후 채도 게인을 조정한다. 휘도신호처리부(112)는 휘도신호(Y)를 생성한다. 휘도신호처리부(112)는, 예를 들면 Y=0.6G+0.3R+0.1B의 식에 따라 휘도신호를 생성할 수 있다. 휘도γ처리부(113)는 휘도신호의 감마를 보정한다.

또한, 색차신호Cr(Cb)은 R-Y(B-Y)로 정의된다. 그렇지만, 색차신호Cr(Cb)은, 인간이 녹색광을 가장 밝은 광으로서 느낀다고 하는 특정한 비시감도 특성을 갖기 때문에, G를 간이휘도로서 사용하여, Cr를 R-G(Cb를 B-G)로서 간주하여서 얻어질 수 있다.

일시 기억부(114)는, 생성된 휘도신호와 색차신호(색신호)를 기억한다. 기억 제어부(115)는, 제어부(100)의 제어하에, 상기 일시 기억부(114)의 기록/판독을 제어한다.

다음에, 색차신호 처리부(109)의 구성 및 동작에 대해서, 도 2를 참조하여 설명한다.

색차신호 처리부(109)는, 입력되는 주목 화소의 신호에 로패스 필터(LPF)와 다운 샘플부를 반복해 적용함으로써, 공간주파수와 해상도(화소수)가 단계적으로 낮아지는 화상을 생성한다. 예를 들면, 수평방향과 수직방향 양쪽으로 1/2로 사이즈를 축소하는 다운 샘플링을 적용하는 경우, 색차신호 처리부(109)는, 필터 계수[1, 2, 1]의 로패스 필터와 같이, 나이퀴스트 점의 주파수특성을 0으로 설정하는 로패스 필터를 적용한다.

도 2는, 로패스 필터206 및 다운 샘플부207을 적용하여 수평방향과 수직방향 양쪽으로 1/2의 해상도의 화상과, 한층 더 로패스 필터226 및 다운 샘플부227을 적용하여 수평방향과 수직방향 양쪽으로 1/4의 해상도의 화상을 생성하는 구성을 예시하고 있다. 그러나, 보다 낮은 주파수와 보다 낮은 해상도의 화상을 생성하는 것도 가능하다. 생성되는 화상의 단계의 수는, 원화상의 해상도등을 고려해서 적당하게 결정될 수 있다. 즉, 도 2는 원래의 해상도를 포함시킨 3개의 화상의 각각에 대해서 의색 및 색 노이즈를 억압한 뒤, 합성하는 구성을 예시하고 있다. 그렇지만, 4개 이상의 다른 해상도를 갖는 화상을 처리하는 것도 가능하다.

이하의 설명에서는, 주어진 해상도의 화상을 처리하는 기능 블록 군(240∼242)의 각각을 "계층"으로서 취급한다. 따라서, 도 2는 3계층의 구성을 가진다. 이때, 도 2에 있어서, 원래의 1/4의 해상도를 갖는 화상을 처리하는 계층242는, 원래의 1/2의 해상도를 갖는 화상을 처리하는 계층241과 동일한 구성을 갖기 때문에, 간략화해서 도시하고 있다.

이하, 각 계층의 구성 및 동작을 설명한다. 제1계층(240)은, 화소보간부(108)가 출력한 화상을 처리하는 계층이다. 의색억압부(201)는, 주목 화소의 색성분(RGB성분)으로부터, 의색을 억압하여서 색차신호Cr, Cb를 생성한다. 또한, 색 노이즈 억압부(202)는, 의색억압부(201)가 출력하는 색차신호Cr, Cb의 노이즈를, 예를 들면 상기의 특허문헌1이나 2에 있어서 대역분리된 화상의 하나에 실시된 노이즈 저감 처리를 사용하여서, 억압한다. 또한, 어떤 화상에 대해서 의색억압 및 색 노이즈 억압을 행하는 방법은 본 기술분야에 있어서 주지되어 있고, 이들 주지의 방법은 본 발명에 있어서도 적당하게 채용될 수 있으므로, 의색억압부(201) 및 색 노이즈 억압부(202)의 처리의 구체적인 설명은 생략한다.

MIX비율 연산부(205)는, 색 노이즈 억압부(202)로부터의 색차신호Cr, Cb로부터, 현재의 계층에서 의색억압 및 색 노이즈 억압을 행한 색차신호Cr, Cb와, 하위계층으로부터 공급된 색차신호Cr, Cb를 합성하는 비율계수K를 산출한다. MIX비율 연산부(205)는, 주목 화소(혹은 영역)가 색변화가 적은 영역 혹은 의색이 발생한 영역에 속하는 화소라고 판단될 경우에는, 하위계층으로부터의 색차신호Cr, Cb의 합성 비율이 높아지게 되는 비율계수K를 산출한다. MIX비율 연산부(205)의 구성 및 동작의 상세에 대해서는, 도 3을 참조해서 후술한다.

가산기(209)는, MIX비율 연산부(205)가 출력하는 비율계수K를 1로부터 감산하여서 계수(1-K)를 산출한다. 곱셈기(210)는, 현재의 계층에서 의색억압 및 색 노이즈 억압을 행한 주목 화소의 색차신호Cr, Cb에 대하여, 비율계수K를 곱해서, 그 결과를 출력한다. 곱셈기(211)는, 하위계층(241)으로부터 공급된 주목 화소의 색차신호Cr, Cb에 대하여, 계수(1-K)를 곱해서, 그 결과를 출력한다. 가산기(212)는, 곱셈기(210 및 211)의 출력을 가산하고, 합성된 색차신호Cr, Cb를 색차신호 처리부(109)의 출력으로서 색 γ처리부(110)에 공급한다.

제2계층(241)은, 화소보간부(108)가 출력하는 화상에 로패스 필터(206) 및 다운 샘플부(207)를 적용하여서, 대역 제한된 저해상도의 화상을 처리하는 계층이다. 제2계층에 있어서의 의색억압부(221), 색 노이즈 억압부(222), MIX비율 연산부(225), 가산기229, 곱셈기230, 곱셈기231, 및 가산기232의 구성 및 동작은, 상기 제1계층에 있어서의 대응한 구성 및 동작과 같아서, 반복적인 설명을 생략한다. 업(up) 샘플부(208)는, 가산기(232)가 출력하는 합성 색차신호Cr, Cb의 해상도를, 상기 제1계층에서 처리한 화상과 같은 해상도로 증가시킨다. 업 샘플부(208)는, 다운 샘플부(207)에 의해 저감된 해상도를 원래의 해상도로 되돌리는 기능을 가진다. 업 샘플부(208)는, 예를 들면 수평방향 및 수직방향 각각에서, 기존 화소A, B 사이에 1화소C를 보간하는 경우, C=(A/2+B/2)와 같은 선형보간을 사용할 수 있다. 이때, 해상도를 증가시키기 위한 화소보간방법에 제한은 없고, 바이큐빅(bicubic)법등의 주지의 보간방법을 적당하게 채용할 수 있다.

제3계층(242)은, 제2계층(241)의 다운 샘플부(207)가 출력하는 화상에 로패스 필터(226) 및 다운 샘플부(227)를 적용하여서 한층 더 대역 제한된 저해상도의 화상을 처리하는 계층이다. 제3계층(242)의 구성 및 동작은, 처리 대상의 화상의 대역 및 해상도를 제외하고는 상기 제2계층(241)과 같기 때문에, 반복적 설명을 생략한다. 업 샘플부(228)는, 제3계층(242)에서 처리된 색차신호Cr, Cb의 해상도를 제2계층(241)에서 처리된 화상과 같은 해상도로 변환하여, 그 색차신호Cr, Cb를 곱셈기(231)에 공급한다.

또한, 도 2의 예에서는, 제3계층(242)이 최하위 계층이지만, 또한 이전에 설명한 것과 같은 하위의 계층을 형성하는 것도 가능하다. 또한, 제3계층이 생략되어도 된다. 계층수의 결정 방법에 특별히 제한은 없지만, 그 계층수는, 원화상의 해상도나, 멀티 레이트 신호 처리를 위한 대역 분리수에 의해 결정될 수 있다. 멀티 레이트 신호 처리는, 개개의 계층에서 처리하는 화상 중, 해상도가 낮은 화상은 S/N비가 높고, 해상도가 높은 화상은 S/N비가 낮다고 하는 특성을 이용하여, 목적에 맞는 계층의 화상을 이용해서 화상처리를 행하는 기술이다. 이러한 멀티 레이트 신호 처리는, 본 기술분야에 있어서 주지이며, 또 본 발명에는 직접 관계되지 않아서, 상세한 설명은 생략한다.

도 3은, 도 2의 MIX비율 연산부(205, 225)의 구성 예를 나타내는 블록도다.

색 엣지검출부(2051)는, 주목 화소의 색차신호Cr, Cb를 수신하고, 각 신호의 가파른 변화의 정도를 검출한다. 색 엣지검출부(2051)는, 예를 들면, 필터 계수[-1, 2, -1]을 갖는 공간필터로 구현될 수 있다. 계수Kb 산출부(2052)는, 색 엣지의 검출 결과로서의 필터 적용 결과 중, 색 엣지의 정도가 높다고 생각되는 하나를, 미리 정한 함수에 의해 0∼1의 사이의 계수Kb(제2의 비율계수)에 매핑한다. 예를 들면, 계수Kb산출부는, 색 엣지의 정도가 높다고 생각되는 필터 적용 결과에 대해 1에 가까운 값을 갖는 Kb와, 정도가 낮다고 생각되는 필터 적용 결과에 대해 0에 가까운 값을 갖는 Kb를, 출력한다.

계수Kb의 값이 작을수록, 신호합성시에 하위계층의 신호에 주어진 가중치가 커진다. 따라서, Kb=0이면, 하위계층의 (업 샘플된) 색신호가 그대로 상위계층에 공급된다. Kb=1이면, 자신의 계층의 색신호가 그대로 상위계층에 공급된다. 0 <Kb <1의 범위내서는, "자신의 계층의 신호:하위계층의 신호=Kb:1-Kb"의 비율로 가중되어 합성된다. 이 가중 합성은, 예를 들면 계층(241)에서는, 가산기(229, 232) 및 곱셈기(230, 231)에 의해 실행된다.

검출된 색 엣지의 정도가 작은 부분은, 색의 변화가 작은 평탄한 영역이다. 이러한 영역에서는, 색 노이즈 억압부에서의 처리에 의한 노이즈 억압 효과로 인해, 저주파 화상으로서 하위계층의 신호를 사용하여서 양호한 노이즈 억압 효과를 얻는다. 이에 따라서, 상기 검출된 색 엣지의 정도가 작은만큼, 하위계층으로부터의 화상신호의 비율이 신호합성시에 증가하도록, 계수Kb의 값을 작게 한다.

간이휘도 연산부(2053)는, 휘도신호를 생성한다. 이전에 상술한 바와 같이, 인간의 특정한 비시감도 특성을 이용하여, G신호를 사용해서 휘도신호를 생성한다. 예를 들면, 간이휘도 연산부(2053)는, 화소보간부(108)에서의 동기화 처리로 얻어진 G신호를 그대로 사용할 수 있고, 또한, 처리 대상의 화소를 포함한 필터 패턴에 포함된 G1, G2화소의 신호의 평균치(G1+G2)/2를 휘도신호Y로서 생성할 수 있다.

휘도 엣지검출부(2054)는, 휘도신호Y의 엣지(상승엣지 및 하강엣지)를 검출한다. 휘도 엣지검출부(2054)는, 예를 들면 필터 계수[-1, 0, 1]의 공간필터로 구현될 수 있다. 계수Ka' 산출부(2055)는, 휘도 엣지의 검출 결과를 0∼1의 사이의 계수Ka'에 매핑한다. 예를 들면, 계수Ka' 산출부는, 검출된 휘도 엣지의 정도가 높을 때 1에 가까운 값을 갖는 Ka'와, 그 정도가 낮을 때 0에 가까운 값을 갖는 Ka'를 출력한다.

계수Ka'의 값이 작을수록, 신호합성시에 하위계층의 신호에 주어진 가중치가 커진다. 따라서, Ka'＝0이면, 하위계층의 (업 샘플링된) 신호가 그대로 상위계층에 공급된다. Ka'＝1이면, 자신의 계층의 신호가 그대로 상위계층에 공급된다. 0 <Ka'＜1의 범위내에서는, "자신의 계층의 신호:하위계층의 신호=Ka':1-Ka' "의 비율로 가중되어 합성된다. 이 가중 합성은, 예를 들면 계층(241)에서는 가산기(229, 232) 및 곱셈기(230, 231)에 의해 실행된다.

계수Kb는 색 노이즈를 억압하기 위해서, 하위계층의 화상이나 현재의 계층의 화상을 화상합성시에 가중할 것인가의 여부를 나타내는 지표다. 계수Ka'은, 의색을 억압하기 위해서, 하위계층의 화상과 현재의 계층의 화상을 화상합성시에 가중할 것인가의 여부를 나타내는 지표다. 의색영역의 가능성이 높을수록 계수Ka'의 값은 작아진다.

이하에, 의색 영역의 추정 방법에 관하여 설명한다. 도 4는 CZP(원형 존 플레이트)라고 불리는 화상을 나타내고, 화상의 중심을 원점으로 하는 동심원이, 피치를 좁히면서 반복적으로 배치된 화상이다(중심으로부터 외측을 향해서 공간주파수가 상승한다). 도 5a 내지 5c는 CZP의 중심부에서 수평으로 연기된 축상의 G1, G2신호값을 플로트한 것을 나타낸다. G1신호값은 G1화소값을 보간해서 얻어지고, G2신호값은 G2신호값을 보간해서 얻어진다.

도 5a 내지 5c에서는, CZP의 원점은 우단이며, 왼쪽을 향해서 공간주파수가 증가하고 있다. 도 5a의 곡선1001 및 1002는, 도 2의 색차신호 처리부(109)에의 입력 신호인 G1 및 G2신호의 변화를 보이고 있다. 도 5b의 곡선1003 및 1004는, 로패스 필터(206) 및 다운 샘플부(207)의 적용후의 G1 및 G2신호의 상태를 보이고 있다. 도 5c의 곡선1005 및 1006은, 로패스 필터(226) 및 다운 샘플부(227)의 적용후의 G1 및 G2신호의 상태를 보이고 있다. 도 5 내지 5c에 있어서는, 설명 및 이해를 쉽게 하기 위해서, 다운 샘플부(207, 227)에 의해 다운 샘플된 화상의 G1 및 G2신호를, 각각 도 2의 색차신호 처리부(109)의 입력 신호와 같은 크기가 되도록 확대해서 보간하는 것으로 가정한다. 따라서, 도 5a 내지 5c는 공통의 가로축을 갖는다.

또한, 도 5a 내지 5c에 나타낸 FO∼F4는, CZP에 있어서의 공간주파수의 임의의 값을 나타낸다. 즉, 화상(CZP)의 중심의 공간주파수는 FO이고, 화상의 외측을 향해서, F1, F2, F3 및 F4의 순서로 공간주파수가 상승한다.

도 5a∼5c의 각각에서, 상기 G1과 G2신호는, 고주파영역에 있어서 위상차가 생긴다. G1신호와 G2신호가 위상차가 생기는 영역은, 의색영역(의색신호가 발생하는 영역)으로서 간주될 수 있다. 이 때문에, 위상차의 유/무를 검사하여서 주목 영역이 의색영역인가 아닌가를 판단할 수 있다.

더 구체적으로, 베이어 배열에 있어서의 G1, G2화소 각각에 대해서 인접한(또는, 근방의) 동종화소에 대한 기울기(차분) ΔG1, ΔG2를 산출한다. 그 기울기간의 관계가,

ΔG1 × ΔG2 <0 ...(1)

을 충족시키는 경우, 그 영역이 의색영역이라고 판단할 수 있다. 즉, 같은 방향으로의 기울기가 반전되는 경우에, 위상차가 존재한다고 판단할 수 있다.

또한, 기울기를, 예를 들면 수평 및 수직의 양방향으로 산출하고, 예를 들면 수평방향과 수직방향 중 한 방향으로 식(1)이 충족되는 경우에 그 영역을 의색영역이라고 판단하는 것도 가능하다. 그 영역이 의색영역인가 아닌가의 여부는, 화소단위가 아니고 복수의 화소로 이루어진 영역단위로 판정할 수도 있다. 예를 들면, 어떠한 영역에서 식(1)을 충족시키는 화소의 비율이 소정의 역치이상이면, 그 영역을 의색영역이라고 판단할 수 있다.

상기와 같은 방법을 도 5a에 적용하면, 색차신호 처리부(109)에 입력된 화상에 있어서의 G1 및 G2신호에 대해서는, 공간주파수가 F1보다도 높은 영역2∼4가 의색영역이라고 판단할 수 있다. 로패스 필터(206)가 적용된 화상의 G1 및 G2신호(도 5b)에 대해서는, 공간주파수가 F2보다 높은 영역3∼4가 의색영역이라고 판단할 수 있다. 로패스 필터(226)가 적용된 화상의 G1 및 G2신호(도 5c)에 대해서는, 공간주파수가 F3보다 높은 영역4가 의색영역이라고 판단할 수 있다. 따라서, MIX비율 연산부 205 또는 225는 의색영역이 있다고 판단될 경우에는, 색차신호에 있어서도 하위계층의 신호의 합성 비율을 올려서, 의색의 영향을 억압할 수 있다.

위상검출부(2056)는, 식 1로 나타낸 관계를 이용해서 G1신호와 G2신호간의 위상차의 발생을 검출하고, 위상차가 검출된 화소(또는 전술한 바와 같은 영역)를 의색영역이라고 판단한다. 위상검출부(2056)의 출력은 0 또는 1이며; 위상검출부(2056)는 의색영역이 발견될 때에는 1을, 의색영역이 발견되지 않을 때는 0을 출력한다.

셀렉터(2057)는, 위상검출부(2056)의 판단 결과에 따라, 산출부(2055)가 산출한 계수Ka'와, 고정 값 1 중 하나를, 의색을 억압하기 위한 계수Ka(제1의 비율계수)로서 선택한다. 이에 따라, 의색영역이 아니라고 발견된 화소(또는 영역)에 대해서는, 계수Ka'가 아니고 고정 값 1, 즉 현재의 계층이 100％인 합성 비율이 계수Ka로서 선택된다.

계수Ka와, 계수Kb산출부(2052)가 산출한 계수Kb는, 비교기(2058)와 셀렉터(2059)에 입력된다. 비교기(2058)는, 계수Ka 및 계수Kb을 비교하고, Ka <Kb이라면 0을, Kb <Ka라면 1을 셀렉터(2059)에 출력한다. 셀렉터(2059)는, 비교기(2058)로부터의 값이 0이면 계수Ka를, 그 값이 1이면 계수Kb를, 현재의 계층의 합성 계수K로서 선택한다. 즉, 계수Ka와 Kb로부터, 작은 값을 갖는 계수(하위계층의 가중을 크게 하는 계수)는, 현재의 계층의 합성 계수K로서 선택된다.

상기와 같은 본 실시예에 있어서는, 원화상으로부터, 원화상보다도 해상도 및 공간주파수 대역이 낮은 저해상도 화상을 생성한다. 그리고 나서, 원화상과 저해상도 화상의 각각에 대해서 색차신호에 의색 억압처리 및 색 노이즈 억압 처리를 적용한다. 그 후에, 저해상도 화상의 해상도를 되돌려서 원화상과 합성한다. 이 처리에서, 원화상에 있어서 적어도 의색영역 혹은 색변화가 적은 영역(화소)에 대해서는, 저해상도 화상의 합성 비율을 높게 한다. 이에 따라, 효과적으로 의색 및 색 노이즈를 억압한 색차신호를 생성할 수 있다.

(기타의 실시예)

또한, 상기의 실시예에 있어서 계층수를 증가시키는 경우, 2번째로 가장 해상도 및 주파수대역이 저감된 저해상도 화상의 처리를, 계층241과 같이, 가장 해상도 및 주파수대역이 저감된 저해상도 화상의 처리를, 계층242와 같이, 행한다. 다음에 3번째로 가장 해상도 및 주파수대역이 저감된 저해상도 화상의 처리를, 계층241과 같이, 2번째로 가장 해상도 및 주파수대역이 저감된 저해상도 화상의 처리를, 계층242와 같이, 행한다. 이 처리를 순서적으로 실행함으로써 임의의 수의 계층을 처리할 수 있다.

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 비일시적 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함된, 2010년 11월 8일에 제출된 일본국 특허출원번호 2010-250257의 이점을 청구한다.

Claims

단판식 컬러 촬상소자를 사용해서 촬상된 화상의 의색 및 색 노이즈를 억압하는 화상처리장치로서,
상기 화상으로부터, 상기 화상보다도 해상도 및 주파수대역이 낮은 저해상도 화상을 생성하는 해상도 저감 수단;
상기 화상과 상기 저해상도 화상의 각각에 대해서, 의색 및 색 노이즈를 억압하는 억압 수단;
상기 억압 수단에서 처리된 상기 저해상도 화상의 해상도를 되돌리는 해상도 증가 수단;
상기 억압 수단에서 처리된 상기 화상의 화소와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소를, 가중 합성하기 위한 비율계수를 산출하는 산출 수단; 및
상기 비율계수에 따라, 상기 억압 수단에서 처리된 상기 화상의 화소의 색신호와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소의 색신호를, 가중 합성하는 합성 수단을 구비하고,
상기 산출 수단은, 상기 화상의 주목 화소가 의색이 발생하는 영역에 속한다고 판단될 경우에는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소의 색신호가 상기 가중 합성의 결과인 상기 비율계수를 산출하는 것을 특징으로 하는 화상처리장치.
제 1 항에 있어서,
상기 산출 수단은,
상기 주목 화소에 대해서 검출된 휘도 엣지의 정도가 낮을수록 상기 해상도가 되돌려진 저해상도 화상의 화소의 가중치가 커지는 제1의 비율계수와,
상기 주목 화소에 대해서 검출된 색 엣지의 정도가 낮을수록 상기 해상도가 되돌려진 저해상도 화상의 화소의 가중치가 커지는 제2의 비율계수를 산출하고,
상기 주목 화소가 의색이 발생하는 영역에 속하지 않는다고 판단되는 경우에는, 상기 제1의 비율계수와 상기 제2의 비율계수 중, 상기 해상도가 되돌려진 저해상도 화상의 화소의 가중치가 보다 커지는 비율계수를 상기 합성에 사용하기 위한 비율계수로서 선택하는 것을 특징으로 하는 화상처리장치.
제 1 항 또는 제 2 항에 있어서,
상기 촬상소자가, 베이어 배열의 컬러필터를 구비하고,
상기 산출 수단은, 상기 주목 화소가, 상기 베이어 배열의 컬러필터에 있어서의 G1화소로부터 얻어진 휘도신호와, G2화소로부터 얻어진 휘도신호 사이의 위상차가 존재하는 영역에 속한다고 판단될 경우에는, 상기 주목 화소가 상기 의색이 발생하는 영역에 속한다고 판단하는 것을 특징으로 하는 화상처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 해상도 저감 수단이, 단계적으로 해상도 및 주파수대역이 저감된 복수의 저해상도 화상을 생성하고,
상기 억압 수단, 상기 해상도 증가 수단, 상기 산출 수단 및 상기 합성 수단이, 상기 복수의 저해상도 화상의 각각에 대해서, 2번째로 가장 해상도 및 주파수대역이 저감된 저해상도 화상과, 가장 해상도 및 주파수대역이 저감된 저해상도 화상과의 조합으로부터, 상기 동작을 실행하도록 구성되는 것을 특징으로 하는 화상처리장치.
단판식 컬러 촬상소자를 사용해서 촬상된 화상의 의색 및 색 노이즈를 억압하는 화상처리장치의 제어 방법으로서,
해상도 저감 수단이, 상기 화상으로부터, 상기 화상보다도 해상도 및 주파수대역이 낮은 저해상도 화상을 생성하는 해상도 저감 단계;
억압 수단이, 상기 화상과 상기 저해상도 화상의 각각에 대해서, 의색 및 색 노이즈를 억압하는 억압 단계;
해상도 증가 수단이, 상기 억압 단계에서 처리된 상기 저해상도 화상의 해상도를 되돌리는 해상도 증가 단계;
산출 수단이, 상기 억압 단계에서 처리된 상기 화상의 화소와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소를, 가중 합성하기 위한 비율계수를 산출하는 산출 단계; 및
합성 수단이, 상기 비율계수에 따라, 상기 억압 단계에서 처리된 상기 화상의 화소의 색신호와, 해당 화소에 대응하는, 상기 해상도가 되돌려진 상기 저해상도 화상의 화소의 색신호를, 가중 합성하는 합성 단계를 포함하고,
상기 산출 단계에 있어서 상기 산출 수단은, 상기 화상의 주목 화소가 의색이 발생하는 영역에 속한다고 판단될 경우에는, 상기 해상도가 되돌려진 저해상도 화상의 화소의 상기 색신호가 상기 가중 합성의 결과인 상기 비율계수를 산출하는 것을 특징으로 하는 화상처리장치의 제어 방법.
컴퓨터를, 청구항 1 내지 청구항 4 중 어느 한 항에 인용된 화상처리장치의 각 수단으로서 기능시키기 위한 프로그램.