KR101310858B1

KR101310858B1 - 촬상장치

Info

Publication number: KR101310858B1
Application number: KR1020127011116A
Authority: KR
Inventors: 요시아키 혼다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2009-10-13
Filing date: 2009-10-13
Publication date: 2013-09-25
Also published as: KR20120073314A; GB2487149A; GB2487149B; GB201205249D0; US8452127B2; BR112012008515B1; DE112009005314B4; CN102577394B; CN102577394A; JPWO2011045849A1; RU2503139C1; JP5490139B2; RU2012119468A; WO2011045849A1; DE112009005314T5; BR112012008515A2; US20110085052A1

Abstract

고주파 영역에 생기는 가짜 색이나 모아레를 억압하는 것을 목적으로 한다. 색차신호 작성회로(104)의 색 보간회로(300, 350)가, 복수의 색 필터가 소정의 배열로 배치되고, 또한, 각각의 색 필터에 대응한 화소가 설치된 촬상소자로부터 얻어진 화상신호를, 색 필터(R, G1, G2, B)마다의 화상신호로 분리하고, 각각의 색 필터의 화상신호에 대해 보간처리를 행한다. 그리고, 가짜 색 판별회로(360)가, 주목 영역에 있어서, G1필터와 G2필터의 각각의 화상신호에 있어서의 기울기, 및, G1필터와 G2필터의 화상신호의 차분의 적어도 어느 한개로부터, 주목 영역이 고주파 영역인지 아닌지를 판별한다.

Description

촬상장치{IMAGING DEVICE}

본 발명은, 고주파 영역에 있어서 노이즈의 영향을 저감하는 것이 가능한 화상 처리장치에 관한 것이다.

종래, 피사체의 고주파 영역에 발생하는 가짜 색을 억압하는 방법으로서, 색 보간의 대상이 되는 주목 화소의 주위의 화소를 사용해서 주목 화소의 색 보간을 행하고 있었다.

도 16에 나타낸 것과 같이, 적(R), 녹(G), 청(B)의 필터가 배치된 베이어 배열의 화소로부터 출력된 화상신호에 대해 색 보간을 행하는 처리의 예를 설명한다.

이 도 16에서는, R 필터의 수평 방향이며 B 필터의 수직 방향에 위치하는 G 필터를 G1 필터, R 필터의 수직 방향이며 B 필터의 수평 방향에 위치하는 G 필터를 G2 필터로 한다. 또한, G1, G2, R 및 B 필터의 각각에 대응하는 화소로부터 출력되는 신호를 G1sig, G2sig, Rsig 및 Bsig로 한다.

이 화상 처리장치는, 화상신호를 G1sig로 구성된 화상신호, G2sig로 구성된 화상신호, Rsig로 구성된 화상신호, 및, Bsig로 구성된 화상신호로 분리하고, 각각의 색의 화상신호에서 모든 화소가 신호를 갖도록 보간처리를 행한다.

그리고, 화상 처리장치는, 색 보간의 대상인 주목 화소의 상하에 인접하는 화소의 G1sig 또는 G2sig의 값의 상관도와, 좌우에 인접하는 화소의 G1sig 또는 G2sig의 값의 상관도를 구한다. 그리고, 화상 처리장치는, 수평방향의 상관도의 쪽이 수직방향의 상관도보다도 높은 경우에는, Rsig-G1sig의 값을 색차신호 R-G로 하고, Bsig-G2sig의 값을 색차신호 B-G로 한다. 반대로, 수직방향의 상관도의 쪽이 수평방향의 상관도보다도 높은 경우에는, Rsig-G2sig의 값을 색차신호 R-G로 하고, Bsig-G1sig의 값을 색차신호 B-G로 한다(특허문헌 1을 참조).

혹은, 화상 처리장치는, Rsig-G1sig의 값과 Rsig-G2sig의 값의 차분에 따른 가중 계수를 사용하여, Rsig-G1sig의 값과 Rsig-G2sig의 값을 가산 평균한 값을 색차신호 R-G로 한다. 마찬가지로, Bsig-G1sig의 값과 Bsig-G2sig의 값의 차분에 따른 가중 계수를 사용하여, Bsig-G1sig의 값과 Bsig-G2sig의 값을 가산 평균한 값을 색차신호 B-G로 한다(특허문헌 2를 참조).

이와 같이, 색 보간에 사용하는 화소를 적응적으로 선택해서 색차신호를 생성함으로써, 가짜 색을 줄이는 처리가 행해지고 있었다.

또한, 휘도신호를 생성할 때도 마찬가지로, 주목 화소의 수평방향 및 수직방향에 위치하는 화소의 상관에 따라, 보간에 사용하는 화소를 적응적으로 선택해서 화상신호를 생성함으로써, 모아레를 억압하여 화상 전체에서 위화감이 없도록 하는 처리가 행해지고 있었다(특허문헌 3을 참조).

일본국 특개 2002-300590호 공보 일본국 특개평 08-023541호 공보 일본국 특개 2007-336384호 공보

그러나, 상기와 같은 처리라도, 나이키스트 주파수 부근의 화상신호나 에일리어싱 노이즈가 포함되는 화상신호가 포함되는 영역에 대해서는, 수평방향과 수직방향의 상관도를 정확하게 얻을 수 없어, 가짜 색이나 모아레가 잔존해 버리는 일이 있었다. 그 때문에, 가짜 색이나 모아레를 더욱 더 저감시키기 위한 개량의 여지가 남겨져 있다고 생각된다.

상기 과제를 해결하기 위해, 본 발명은, 복수의 색 필터가 소정의 배열로 배치되고, 또한, 각각의 색 필터에 대응한 화소가 설치된 촬상소자로부터 얻어진 화상신호를, 색 필터마다의 화상신호로 분리하고, 각각의 색 필터의 화상신호에서 보간처리를 행하는 보간수단과, 주목 영역에 있어서, 상기 복수의 색 필터 중 제1 색 필터와 제2 색 필터의 각각의 화상신호에 있어서의 기울기, 및, 상기 제1 색 필터와 상기 제2 색 필터의 화상신호의 차분의 적어도 어느 한개로부터, 상기 주목 영역이 고주파 영역인지 아닌지를 판별하는 판별수단을 갖고, 상기 제1 색 필터와 상기 제2 색 필터에 대응하는 화소는, 동일한 주기로, 또한, 공간적 위상을 비켜 놓아 배치된 것을 특징으로 하는 화상 처리장치로 하는 것이다.

본 발명에 따르면, 고주파 영역에 발생하는 가짜 색이나 모아레의 억압 효과를 향상시키는 것이 가능해지는 화상 처리장치를 제공할 수 있다.

도 1은 본 발명의 제1실시형태에 있어서의 화상 처리장치의 구성을 나타낸 블록도다.
도 2는 베이어 배열로 구성된 촬상소자 중, 3×3의 화소로 이루어진 일부의 영역을 도시한 도면이다.
도 3은 본 발명의 제1실시형태에 있어서의 색차신호 생성회로(104)의 구성을 나타낸 블록도다.
도 4는 색 보간회로 300에 의한 처리를 설명하기 위한 도면이다.
도 5는 디지털 필터의 일례를 도시한 도면이다.
도 6은 LPF 301∼LPF 304, LPF 351∼LPF 353의 주파수 특성의 일례를 도시한 도면이다.
도 7은 그라데이션을 갖는 세로 줄무늬의 피사체를 도시한 도면이다.
도 8은 도 7의 피사체를 촬영해서 얻어진 화상신호에 있어서의 G1sig과 G2sig의 값을 도시한 도면이다.
도 9는 CZP(원형 존 플레이트)을 도시한 도면이다.
도 10은 CZP의 중심부에서 수평으로 뻗은 축 위에 위치하는 보간후의 G1sig과 G2sig의 값을 도시한 도면이다.
도 11은 본 발명의 제1실시형태에 있어서의 선택회로(320)에 의한 색차신호의 선택 처리를 나타낸 흐름도다.
도 12는 본 발명의 제2실시형태에 있어서의 색차신호 생성회로(104)의 구성을 나타낸 블록도다.
도 13은 본 발명의 제2실시형태에 있어서의 선택회로(320)에 의한 색차신호의 선택 처리를 나타낸 흐름도다.
도 14는 본 발명의 제3실시형태에 있어서의 색차신호 생성회로(104)의 구성을 나타낸 블록도다.
도 15는 본 발명의 제3실시형태에 있어서의 합성회로(380)에 의한 색차신호의 합성 처리를 나타낸 흐름도다.
도 16은 베이어 배열을 도시한 도면이다.

이하, 본 발명의 실시형태에 대해, 도면을 참조하면서 상세하게 설명한다.

(제1실시형태)

도 1은 본 발명의 제1실시형태에 있어서의 화상 처리장치의 구성을 나타낸 블록도다.

촬상부(101)는, 도시하지 않은 촬영 렌즈, 촬상소자 및 그것의 구동회로로 이루어지고, 촬영 렌즈에 의해 결상하는 광학상을 촬상소자에 의해 전기신호로 변환한다. 이 촬상소자는 CCD나 CMOS센서로 구성되어 있고, 도 16에 나타낸 베이어 배열의 화소의 집합으로 구성되어 있는 것으로 한다.

촬상부(101)로부터 출력되는 아날로그 신호는, A/D 변환기(102)에 의해 디지털 신호로 변환된다. A/D 변환기(102)에 의해 디지털 신호로 변환된 화상신호는, 화이트 밸런스(WB)회로(103)에서 공지의 화이트 밸런스 조정이 행해진다.

화이트 밸런스회로(103)로부터 출력된 화상신호는, 색차신호 생성회로(104), 상관도 검출회로(110), 및, 휘도신호 생성회로(111)에 입력된다. 상관도 검출회로(110)는, 화상신호로부터 화소 혹은 영역마다 수직방향과 수평방향의 신호의 상관도를 검출한다. 화이트 밸런스회로(103)로부터 출력된 화상신호는, 상관도 검출회로(110)의 출력, 휘도신호 생성회로(111), 휘도 감마회로(112)에 의해, 휘도신호처리가 행해져, 화소 혹은 영역마다 휘도신호 Y가 출력된다.

또한, 색차신호 생성회로(104)는, 입력된 화상신호로부터 화소 혹은 영역마다 색차신호 R-G와 B-G를 생성하여, 출력한다. 색차신호 생성회로(104)로부터 출력된 신호는, 색 변환 매트릭스 회로(105)에서 색차신호 R-G, B-G가 R-Y, B-Y로 변환된다. 그후, 색 억압회로(106)에 의해 고휘도 및 저휘도의 색차 게인이 억압된다. 색 억압회로(106)의 출력 신호는, 공지의 색 감마회로(107), 색상 게인을 조정하는 공지의 크로마 니(Chroma knee)회로(108)를 통해, 화소 혹은 영역마다 색차신호 UV가 출력된다.

여기에서, 휘도신호 생성회로(111)에서 행해지는 휘도 보간처리에 대해 설명한다. 도 2는 도 16에 나타낸 베이어 배열로 구성된 촬상소자 중, 3×3의 화소로 이루어진 일부의 영역을 나타낸 것이다. 이 휘도 보간처리에서는 G1필터에 대응하는 화소로부터 출력되는 신호 G1sig과, G2필터에 대응하는 화소로부터 출력되는 신호 G2sig을 구별하지 않고, 모두 Gsig으로서 취급한다.

휘도신호 생성회로(111)는, 우선, G필터(G1필터, G2필터) 이외에 대응하는 모든 화소, 즉 R필터와 B필터에 대응하는 화소에 대해, Gsig을 보간한다. 예를 들면, 도 2의 P1∼P9는 화소를 식별하기 위한 부호이며, R, G1, G2, B는 화소 P1∼P9가 각각 대응하는 색 필터를 나타낸다. P5(Rsig)란 화소 P5에 있어서의 Rsig의 값을 나타내고, P5(Gsig)란 화소 P5에 있어서의 Gsig의 값을 나타내고, P5(Bsig)란 화소 P5에 있어서의 Bsig의 값을 나타내는 것으로 한다.

B필터에 대응하는 화소 P5에 Gsig을 보간하는 경우, 상하 및 좌우의 신호의 상관도를 검출하여, 상관도가 높은 방향을 판별한다. 즉, 보간대상의 화소의 상하에 위치하는 화소의 신호의 차이의 절대값, 및, 보간대상의 화소의 좌우에 위치하는 화소의 신호의 차이의 절대값을 구한다.

[수학식 1]

그리고 Hdiff와 Vdiff의 차이를 취한 것을 보간 방향 판별신호 MatSw로 한다.

[수학식 2]

이 MatSW가 음이면 수평방향의 상관이 강한 것으로 되고, 수평방향의 화소신호로부터 보간한다. 즉, 화소 P4의 Gsig과 화소 P6의 Gsig의 평균값을 화소 P5의 Gsig로 한다. 반대로, 그 차이가 양이면 수직방향의 화소신호로부터 보간한다. 즉, 화소 P2의 Gsig과 화소 P8의 Gsig의 평균값을 화소 P5의 Gsig로 한다. 같은 방법으로, 모든 R필터와 B필터에 대응한 화소에 대해서도 Gsig의 보간을 행한다.

다음에, 보간한 Gsig을 사용하여, 모든 G필터와 B필터에 대응한 화소에 대해서 Rsig의 보간을 행한다. G필터에 대응한 화소(P2, P4, P6, P8)에 대해서는, 좌우 또는 상하에 위치하는 R필터에 대응하는 화소의 Rsig, 및 그들 화소에 대해 보간에서 구해진 Gsig을 사용하여, Rsig의 보간을 행한다. 또한, B필터에 대응한 화소에 대해서는, 그 화소의 주위에 위치하는 R필터에 대응하는 화소의 Rsig, 및 그들 화소에 대해 보간에서 구해진 Gsig을 사용하여, 이하의 식에 나타낸 것과 같이 보간을 행한다.

[수학식 3]

또한, 같은 방법으로, 모든 G필터와 R필터에 대응한 화소에 대해 Bsig의 보간도 행할 수 있다. 이에 따라 동일 화소에 대해 Rsig, Gsig, 및 Bsig을 얻는다. 또한, 각 화소에 있어서 하기 식 (7)의 연산을 행함으로써, 휘도신호 Y를 구할 수 있다.

[수학식 4]

이때, 이 식 (7)의 각 항의 계수는, 적절히 변경하는 것이 가능하다.

다음에, 색차신호 생성회로(104)에서 행해지는 색 보간처리에 대해 설명한다. 도 3은 색차신호 생성회로(104)의 구성을 나타낸 블록도다. 이 색차신호 생성회로(104)는, 색 보간회로 300, 350, 로우패스 필터(LPF) 301∼304, 351∼353, 색차신호 산출 회로(311∼314), 선택회로(320), 및, 가짜 색 판별회로(360)를 갖고 있다.

화이트 밸런스회로(103)로부터 출력된 화상신호는, 색 보간회로 300에 입력된다. 도 4는 색 보간회로 300에 의한 보간처리를 설명하기 위한 도면이다. 색 보간회로 300은, 도 4에 나타낸 것과 같이, 베이어 배열로 입력된 화상신호를, R, G1, G2, 및, B필터의 색마다 대응하는 신호로 이루어진 화상신호로 분해한다. 이때, 분해한 색 필터에 대응하지 않고 있는 화소에 대해서는, 신호의 값으로서 0을 삽입한다.

그후, 색 보간회로 300은, 공지의 디지털 필터를 사용해서 LPF에 의한 보간처리가 행해지고, 모든 화소에 있어서 신호를 갖는 R, G1, G2, 및, B의 각 색의 화상신호를 출력한다.

색 보간회로 300로부터 출력된 각 색의 화상신호는, 차단주파수가 다른 LPF 301∼304에 입력된다. 도 6a는 LPF 301∼304의 주파수 특성의 일례를 나타낸다. LPF 301이 도 6a의 주파수 특성 601, LPF 302가 도 6a의 주파수 특성 602, LPF 303이 도 6a의 주파수 특성 603, LPF 304가 도 6a의 주파수 특성 604를 갖는다. 이 도 6a에서 알 수 있는 것과 같이, LPF 301, LPF 302, LPF 303, LPF 304의 순서로 차단주파수가 높아진다. 즉, LPF 301로부터 출력되는 화상신호 S01, LPF 302로부터 출력되는 화상신호 S02, LPF 303로부터 출력되는 화상신호 S03, LPF 304로부터 출력되는 화상신호 S04의 순서로, 보다 높은 주파수 성분이 화상에 포함된다. 이들 화상신호 S01∼S04의 각각이, 주파수 성분이 제한된 R, G1, G2, 및, B의 각 색의 화상신호를 갖고 있다.

화상신호 S01은 색차신호 산출회로 311에, 화상신호 S02는 색차신호 산출회로 312에, 화상신호 S03은 색차신호 산출회로 313에, 화상신호 S04는 색차신호 산출회로 314에 각각 입력된다. 색차신호 산출회로 311∼314는, 화상신호 S01∼S04에 대해 전술한 방법으로 색차신호를 구한다.

즉, 색차신호 산출회로 311은, 상관도 검출회로(110)에서 구한 주목 화소에 있어서의 수직방향과 수평방향의 상관도를 참조하여, 색차신호 R-G과 B-G를 생성한다. 구체적으로는, 색차신호 산출회로 311은, 상관도 검출회로(110)에서 수평방향의 상관도의 쪽이 수직방향의 상관도보다도 높다고 판단된 경우에는, Rsig-G1sig의 값을 색차신호 R-G로 하고, Bsig-G2sig의 값을 색차신호 B-G로 한다. 반대로, 색차신호 산출회로 311은, 상관도 검출회로(110)에서 수직방향의 상관도의 쪽이 수평방향의 상관도보다도 높다고 판단된 경우에는, Rsig-G2sig의 값을 색차신호 R-G로 하고, Bsig-G1sig의 값을 색차신호 B-G로 한다.

혹은, 색차신호 산출회로 311은, Rsig-G1sig의 값과 Rsig-G2sig의 값의 차분에 따른 가중 계수를 사용하여, Rsig-G1sig의 값과 Rsig-G2sig의 값을 가산 평균한 값을 색차신호 R-G로 한다. 마찬가지로, Bsig-G1sig의 값과 Bsig-G2sig의 값의 차분에 따른 가중 계수를 사용하여, Bsig-G1sig의 값과 Bsig-G2sig의 값을 가산 평균한 값을 색차신호 B-G로 한다.

이들 처리를, 색차신호 산출회로 312∼314에 있어서도 행한다.

색차신호 산출회로 311∼314에서 구해진 색차신호 R-G와 B-G는, 각각 색차신호 S11, S12, S13, S14로서, 후술하는 선택회로(320)에 입력된다.

다음에, 가짜 색 판별 동작에 대해 설명한다. 화이트 밸런스회로(103)로부터 출력한 화상 데이터는, 색 보간회로 350에 입력된다. 색 보간회로 350은 색 보간회로 300과 마찬가지로, 모든 화소에 있어서 신호를 갖는 R, G1, G2, 및, B의 각 색의 화상신호를 출력한다.

여기에서, 도 16에 나타낸 베이어 배열에서는, G필터에 대응한 화소의 수는, R필터에 대응한 화소의 수, B필터에 대응한 화소의 수의 각각에 대해 2배가 된다. 이 G필터를 G1필터와 G2필터로 분해함으로써, R, G1, G2, 및, B필터의 화소 간격(샘플링 간격)이 같아진다. 따라서, 이 G1 및 G2의 화상신호를 사용해서 에일리어싱 노이즈가 발생하는 영역을 검출하면, R 및 B의 화상신호에 있어서 반환 노이즈가 발생하는 영역을 특정하는 것이 가능해진다.

색 보간회로 350으로부터 출력된 각 색의 화상신호는, 차단주파수가 다른 LPF 351∼353에 입력된다. 도 6b는 LPF 351∼353의 주파수 특성의 일례를 나타낸다. LPF 351이 도 6b의 주파수 특성 611, LPF 352가 도 6b의 주파수 특성 612, LPF 353이 도 6b의 주파수 특성 613을 갖는다. 이 도 6b에서 알 수 있는 것과 같이, LPF 351, LPF 352, LPF 353의 순서로 차단주파수가 높아진다. 즉, LPF 351로부터 출력되는 화상신호 T01, LPF 352로부터 출력되는 화상신호 T02, LPF 353으로부터 출력되는 화상신호 T03의 순서로, 보다 높은 주파수 성분이 화상에 포함된다. 이때, 본 실시형태에서는, LPF 301과 LPF 351, LPF 302와 LPF 352, LPF 303과 LPF 353의 주파수 특성이 각각 일치하는 것으로 한다.

LPF 351∼353으로부터 출력된 화상신호 T01∼T03은 가짜 색 판별회로(360)에 입력된다.

여기에서, 도 7 및 도 8을 사용하여, 가짜 색 판별회로(360)가, 가짜 색신호가 발생하는 영역을 판별하기 위한 방법에 대해 설명한다. 도 7은 그라데이션을 갖는 세로 줄무늬의 피사체이며, 도 8은 도 7의 피사체를 촬영해서 얻어진 화상신호에 있어서의 G1sig과 G2sig의 값을 나타낸다.

도 8a∼도 8i의 횡축은, 수평방향에 있어서의 화소의 위치를 나타내고 있다. 도 8a, 도 8d, 도 8g는, 어떤 행에 있어서의 G1필터에 대응한 화소로부터 얻어진 G1sig과, 다른 행에 있어서의 G2필터에 대응한 화소로부터 얻어진 G2sig을 나란하게 배치한 것이다. 수평방향 및 수직방향에 있어서, G1필터에 대응하는 화소의 샘플링 간격과 G2필터에 대응하는 화소의 샘플링 간격은 같고, G1필터에 대응하는 화소와 G2필터에 대응하는 화소의 공간적 위상은 이 샘플링 간격의 절반만큼 벗어나 있다.

도 7은 세로 줄무늬이므로, 모든 행에 대해 같게 피사체 상이 입사하기 때문에, 이들 G1sig과 G2sig을 수평방향에 있어서의 화소의 위치에 따라 늘어놓으면, 도 7에 나타낸 피사체의 그라데이션을 표시하는 화상신호가 얻어진다. 여기에서, 도 8a에서는, 도 7에 나타낸 세로 줄무늬의 주파수가, G1필터 및 G2필터의 나이키스트 주파수보다도 충분히 낮은 것으로 한다. 도 8d에서는, 도 7에 나타낸 세로 줄무늬의 주파수가, 도 8a에 나타낸 세로 줄무늬의 주파수보다도 높고, G1필터 및 G2필터의 나이키스트 주파수보다도 약간 낮은 것으로 한다. 또한, 도 8g에서는, 도 7에 나타낸 세로 줄무늬의 주파수가, G1필터 및 G2필터의 나이키스트 주파수보다도 높은 것으로 한다.

도 8b, 도 8e, 도 8h는, 각각 도 8a, 도 8d, 도 8g의 G1sig만을 추출하고, G1필터에 대응하지 않고 있는 화소에 대해, 주위의 G1sig을 사용해서 G1sig의 보간을 행한 것이다. 도 8c, 도 8f, 도 8i는, 도 8a, 도 8d, 도 8g의 G2sig만을 추출하고, G2필터에 대응하지 않고 있는 화소에 대해, 주위의 G2sig을 사용해서 G2sig의 보간을 행한 것이다.

이들 도 8a∼도 8i에서 알 수 있는 것과 같이, 피사체의 공간주파수가 G1필터 및 G2필터의 나이키스트 주파수보다도 충분히 낮으면, 보간후의 G1sig과 G2sig의 위상의 차이는 작아진다. 그리고, 피사체의 공간주파수가 G1필터 및 G2필터의 나이키스트 주파수에 가까워질수록, 보간후의 G1sig과 G2sig의 위상의 차이가 커지고, 나이키스트 주파수를 넘으면, 보간후의 G1sig과 G2sig의 위상이 거의 반전한 상태로 된다. 즉, 보간후의 G1sig과 G2sig의 위상의 차이를 검출함으로써, 고주파 영역인지 아닌지, 즉, 가짜 색이 생기는 영역인지 아닌지를 판단하는 것이 가능해진다.

여기에서, 가짜 색 판별회로(360)의 동작에 대해 도 9 및 도 10을 사용하여 설명한다.

도 9는 CZP(원형 존 플레이트)을 나타낸 도면이고, 화상의 중심을 원점으로 하는 동심원이 몇겹이나 늘어서고, 중심으로부터 외측을 향해 공간주파수가 높아진다. 도 10은 CZP의 중심부에서 수평으로 뻗은 축 위에 위치하는 보간후의 G1sig과 G2sig의 값을 플롯한 것이다.

도 10a에 있어서, 곡선 1001은 화상신호 T01의 보간후의 G1sig을 나타내고, 곡선 1002는 화상신호 T01의 보간후의 G2sig을 나타낸다. 도 10b에 있어서, 곡선 1003은 화상신호 T02의 보간후의 G1sig을 나타내고, 곡선 1004는 화상신호 T02의 보간후의 G2sig을 나타낸다. 도 10c에 있어서, 곡선 1005는 화상신호 T03의 보간후의 G1sig을 나타내고, 곡선 1006은 화상신호 T03의 보간후의 G2sig을 나타낸다. 이때, F0∼F4는 CZP의 공간주파수를 나타내고 있고, 화상의 중심의 공간주파수를 F0로 하고, 화상의 외측을 향함에 따라, F1, F2, F3, F4의 순서로 서서히 공간주파수가 높아진다.

가짜 색 판별회로(360)는, 보간후의 G1sig로 이루어진 화상신호와 보간후의 G2sig로 이루어진 화상신호의 특성의 차이를 이용하여, 가짜 색신호가 발생하는 고주파 영역인지 아닌지를 판별한다. 구체적으로는, 보간후의 G1sig로 이루어진 화상신호와 보간후의 G2sig로 이루어진 화상신호의 기울기의 위상에 주목하여, 하기의 식 (8)을 충족시킬 때에는 가짜 색신호가 발생하는 가짜 색영역이라고 판별한다.

[수학식 5]

여기에서, ΔG1h는 보간후의 G1sig로 이루어진 화상신호에 있어서의 수평방향의 기울기, ΔG2h는 보간후의 G2sig로 이루어진 화상신호에 있어서의 수평방향의 기울기를 나타낸다. 또한, ΔG1v는 보간후의 G1sig로 이루어진 화상신호에 있어서의 수직방향의 기울기, ΔG2v는 보간후의 G2sig로 이루어진 화상신호에 있어서의 수직방향의 기울기를 나타낸다. 예를 들면, 수평방향의 기울기는 도 5a, 수직방향은 도 5b에 각각 나타낸 것과 같은 공지의 디지털 필터로 구할 수 있다. 이때, 기울기를 구하는 필터는 이것에 한정되는 것은 아니다.

또한, 화소 단위가 아니고, 복수의 화소로 이루어진 주목 영역의 단위로 가짜 색영역을 판별하도록 하여도 된다. 주목 영역 단위로 판별하는 경우에는, 그 영역에 포함되는 각 화소를 사용해서 구한 화상신호의 기울기 중, 식 (8)을 만족한 것의 비율이 임계값 이상인 경우에, 그 영역이 가짜 색영역이라고 판별하도록 하여도 된다. 이때, 이하에서 주목 영역으로 서술한 경우에는, 복수의 화소로 이루어진 영역과, 단일의 화소로 이루어진 영역의, 모두를 포함하는 것으로 한다.

본 실시형태에서는 도 10a에서, 화상신호 T01에 있어서는, 도 9에 있어서 공간주파수가 F1보다도 높아지는 영역 2∼영역 4가 가짜 색영역이라고 판단할 수 있다. 또한, 도 10b에서, 화상신호 T02에 있어서는, 도 9에 있어서 공간주파수가 F2보다도 높아지는 영역 3과 영역 4가 가짜 색영역이라고 판단할 수 있다. 더구나, 도 10c에서, 화상신호 T03에 있어서는, 도 9에 있어서 공간주파수가 F3보다도 높아지는 영역 4가 가짜 색영역이라고 판단할 수 있다.

선택회로(320)는, 화상신호 T01에 있어서 가짜 색영역이 아니라고 판단된 영역 1에 대해서는, 화상신호 T01과 같은 주파수의 화상신호로부터 생성된 색차신호 S11을 선택한다. 또한, 선택회로(320)는, 화상신호 T01에 있어서 가짜 색영역이라고 판단되었지만, 화상신호 T02에 있어서 가짜 색영역이 아니라고 판단된 영역 2에 대해서는, 화상신호 T02와 같은 주파수의 화상신호로부터 생성된 색차신호 S12를 선택한다. 또한, 선택회로(320)는, 화상신호 T02에 있어서 가짜 색영역이라고 판단되었지만, 화상신호 T03에 있어서 가짜 색영역이 아니라고 판단된 영역 3에 대해서는, 화상신호 T03과 같은 주파수의 화상신호로부터 생성된 색차신호 S13을 선택한다. 그리고, 선택회로(320)는, 화상신호 T03에 있어서 가짜 색영역이라고 판단된 영역 4에 대해서는, 화상신호 T03보다도 낮은 주파수의 화상신호로부터 생성된 색차신호 S14를 선택한다. 이와 같이 함으로써, 선택회로(320)가, 화소마다 가짜 색을 포함하지 않는 색차신호를 선택하는 것이 가능해진다.

이때, 본 실시형태에서는, LPF 301과 LPF 351, LPF 302와 LPF 352, LPF 303과 LPF 353의 주파수 특성이 각각 일치하는 것으로 했지만, 이것에 한정되는 것은 아니다.

예를 들면, 화상신호 S01 중에서, 화상신호 T01에서 가짜 색영역이 아니라고 판단된 영역에 있어서 가짜 색이 발생하지 않는 확률을 보다 높게 하기 위해서는, 화상신호 S01에 포함되는 주파수의 상한을, 화상신호 T01에 포함되는 주파수의 상한보다도 낮게 하면 된다. 즉, LPF 351의 차단주파수를 LPF 301의 차단주파수보다 약간 높게 설정한다. 마찬가지로, LPF 352의 차단주파수를 LPF 302의 차단주파수보다도 높고, LPF 353의 차단주파수를 LPF 303의 차단주파수보다 약간 높게 설정한다. 단, 이와 같은 경우, LPF 301과 LPF 351, LPF 302와 LPF 352, LPF 303과 LPF 353의 주파수 특성을 각각 일치시킨 경우보다도, 색해상도가 저하하는 영역이 증가할 가능성이 있다.

반대로, 색해상도가 저하하는 영역을 줄이고 싶은 것이라면, LPF 301, LPF 302, LPF 303의 차단주파수를, 대응하는 LPF 351, LPF 352, LPF 353의 차단주파수보다 약간 낮게 설정하면 된다. 단, 이 경우에는, 예를 들면, 화상신호 S01에 화상신호 T01보다도 높은 주파수가 포함될 가능성이 있으므로, 화상신호 T01에서는 가짜 색영역이 아니라고 판단된 영역에 있어서도, 화상신호 S01에서는 가짜 색영역으로 될 가능성이 높아진다.

LPF 301∼LPF 303과, 이것에 대응하는 LPF 351∼LPF 353의 차단주파수를 일치시키거나, 혹은 차이를 설치할지는, 어떤 화상을 생성하고 싶은 것인지에 의해 적절히 변경하도록 하여도 된다. 또는, 피사체의 무늬나 모양에 따라서는, 해상도를 저하시키는 것에 의한 영향의 정도가 다르기 때문에, 피사체에 따라 이들 LPF의 차단주파수를 적절히 변경하도록 하여도 된다.

이와 같이, 본 실시형태에서는, 색차신호 생성회로(104)는, 차단주파수가 다른 LPF 301∼304를 투과시킨 복수의 화상신호 S01∼S04를 생성하고, 이들 복수의 화상신호 S01∼S04로부터 계층적으로 색차신호 S11∼S14를 생성한다. 그리고, 색차신호 생성회로(104)는, 마찬가지로 차단주파수가 다른 LPF 351∼353을 통한 복수의 화상신호 T01∼T03을 생성하고, 이들 계층이 다른 화상신호마다 가짜 색영역을 검출한다. 선택회로(320)는, 가짜 색영역이 화상신호 T01∼T03 중 어느 해상도의 화상신호로부터 검출되었는지에 따라, 색차신호 S11∼S14 중 어느 한개를 선택한다. 그 때문에, 선택회로(320)는, 화소 혹은 영역마다, 가짜 색이 되지 않는 범위에서 가장 주파수가 높은 계층의 화상신호로부터 생성된 색차신호를 선택하는 것이 가능해진다.

이와 같이 함으로써, 가짜 색이 발생하는 영역만을, 가짜 색을 억압하기 위해서 필요한 양만큼 색해상도를 저하시키고, 가짜 색이 발생하지 않는 영역에서는 색해상도를 떨어뜨릴 필요가 없어지기 때문에, 색해상도의 향상과 가짜 색의 억압을 우수한 밸런스로 양립시킬 수 있다.

도 11은, 선택회로(320)에 의한 색차신호의 선택 처리를 나타낸 흐름도다. 선택회로(320)는, 화소 혹은 영역 단위로 이 선택처리를 행한다. 여기에서는, 선택회로(320)는 화소 단위로 이 선택처리를 행하는 것으로 한다.

선택회로(320)는, 스텝 S1101에 있어서, 주목 화소에 대응하는 화상신호 T01의 화소가 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되었는지 아닌지를 판정한다. 선택회로(320)는, 주목 화소가 가짜 색영역이 아닌 것으로 판별된 것이면 스텝 S1104로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S11을 선택한다.

선택회로(320)는, 스텝 S1101에 있어서, 주목 화소가 가짜 색영역이 아닌 것으로 판별된 것이면 스텝 S1102로 진행한다. 선택회로(320)는, 스텝 S1102에 있어서, 주목 화소에 대응하는 화상신호 T02의 화소가 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되었는지 아닌지를 판정한다. 선택회로(320)는, 주목 화소가 가짜 색영역이 아닌 것으로 판별된 것이면 스텝 S1105로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S12를 선택한다.

선택회로(320)는, 스텝 S1102에 있어서, 주목 화소가 가짜 색영역이 아닌 것으로 판별된 것이면 스텝 S1103으로 진행한다. 선택회로(320)는, 스텝 S1103에 있어서, 주목 화소에 대응하는 화상신호 T03의 화소가 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되었는지 아닌지를 판정한다. 선택회로(320)는, 주목 화소가 가짜 색영역이 아닌 것으로 판별된 것이면 스텝 S1106으로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S13을 선택한다.

선택회로(320)는, 스텝 S1103에 있어서, 주목 화소가 가짜 색영역이 아닌 것으로 판별된 것이면 스텝 S1107로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S14를 선택한다.

그리고, 선택회로(320)는 출력되는 화상신호의 모든 화소에 대해 색차신호의 선택처리를 행하여, 각 화소에 대해 선택한 색차신호 S11∼S14 중 어느 한개에 포함되는 색차신호 R-G, B-G를 출력한다. 그리고, 이 출력된 색차신호 R-G, B-G가 색 변환 매트릭스 회로(105)에 입력되어, 신호 R-Y, B-Y로 변환된다.

이때, 본 실시형태에서는 가짜 색영역인지 아닌지의 판별을 위해 식 (8)을 사용하였지만, 이것에 한정되는 것은 아니다. 예를 들면, ΔG1h, ΔG1v, ΔG2h, 및, Δ G2v의 값의 크기에 주목하여, 하기의 식 (9)∼식 (12) 중 어느 한개를 만족하는 경우에, 가짜 색영역이라고 판별하도록 하여도 된다. 또한, 이들 식 중의 임계값 TH를 화상신호 T01∼T03에 있어서 서로 다른 값으로 해도 된다. 이들 값을 조정함으로써, 가짜 색영역이라고 판단하는 기준을 변경하여, 색해상도의 향상과 가짜 색의 억압의 밸런스를 조정할 수 있다.

[수학식 6]

또한, 가짜 색영역인지 아닌지의 판별을 위해, 수평방향의 기울기와 수직방향의 기울기에 착안하였지만, 이것에 한정되는 것은 아니고, 경사 방향의 기울기에 착안해도 된다.

또한, 가짜 색영역인지 아닌지의 판별을 위해, 보간후의 G1sig로 이루어진 화상신호에 있어서의 기울기와, 보간후의 G2sig로 이루어진 화상신호에 있어서의 기울기를 이용하였지만, G1sig과 G2sig의 값의 차이를 이용해도 된다. 즉, G1sig과 G2sig의 값의 차이가 크면, 위상이 크게 벗어나 있다고 판별할 수 있다. 구체적으로는, 상기 식 (8)∼식 (12)의 어느것도 만족시키지 않더라도, 식 (13)에 나타낸 것과 같이, 주목 화소에 있어서의 G1sig과 G2sig의 차분의 절대값이 임계값을 넘고 있는 경우에, 가짜 색영역이라고 판별해도 된다.

[수학식 7]

단, 휘도신호가 작은 경우에는, G1sig과 G2sig의 값이 함께 작아지기 때문에, 휘도신호 생성회로(111)에서 생성된 대응하는 화소의 휘도신호에 따라, 이들 임계값을 변경하도록 하여도 된다.

혹은, 보간후의 G1sig으로 이루어진 화상신호에 있어서의 기울기와, 보간후의 G2sig로 이루어진 화상신호에 있어서의 기울기에 의한 판별 이외에, G1sig과 G2sig의 값의 차이에 의한 판별을 조합해도 된다.

더구나, 이들 판별 조건을, 화상신호 T01∼T03 사이에서 다르게 해도 된다.

더구나, 주목 화소 뿐만 아니라, 주변 영역에 위치하는 화소의 가짜 색영역의 판별 결과를 고려하여, 주목 화소가 가짜 색영역인지 아닌지를 판별하도록 하여도 된다.

또한, 본 실시형태에서는 4계층의 화상신호로부터 색차신호를 생성하고, 3계층의 화상신호에 있어서 가짜 색영역의 판별을 행하였지만, 계층의 수는 이것에 한정되는 것은 아니다. N+1계층의 주파수가 다른 화상신호로부터 색차신호를 생성하고, N계층의 주파수가 다른 화상신호에 있어서 가짜 색영역의 판별을 행하는 것이면 된다.

또한, 본 실시형태에서는 색 보간회로 300과 색 보간회로 350을 분리해서 기재하고 있지만, 특성이 공통되는 것이라면 한 개의 회로에서 겸용해도 상관없다. 마찬가지로, LPF 301∼303과 LPF 351∼353에 대해서도, 특성이 공통되는 것이라면 한 개의 회로에서 겸용해도 상관없다.

또한, 본 실시형태에서는 가짜 색을 억압하기 위해, 복수 계층의 주파수가 다른 화상신호에서 생성된 색차신호 중 어느 한개를 선택하는 예를 들어 설명을 행하였지만, 이것에 한정되는 것은 아니다. 상기 방법과 같은 방법에 의해, N+1계층의 주파수가 다른 화상신호로부터 휘도신호를 생성하고, N계층의 주파수가 다른 화상신호에 대해, 동일한 방법에 의해 가짜 색영역 대신에 모아레 영역을 검출함으로써, 휘도신호에 의한 모아레의 억압을 행하는 것도 가능하다. 즉, 본 실시형태는, 색신호에 의한 가짜 색 뿐만 아니라, 휘도에 의한 모아레에 대해서도 효과를 얻는 것이 가능하다. 또한, 화소수를 줄이는 리사이즈처리를 행한 화상신호를 대상으로 하여 본 실시형태의 처리를 행하면, 리사이즈처리에 의해 생기는 모아레나 가짜 색의 억압을 행하는 것도 가능하다.

이와 같이, 본 실시형태에 있어서의 화상 처리장치는, 우선, 베이어 배열의 촬상소자로부터 얻어진 화상신호로부터, 제1 색 필터인 G1필터의 화상신호와, 제2 색 필터인 G2필터의 화상신호를 추출하여, 보간한다. 이 G1필터와 G2필터는, 서로 동일한 주기로 화소가 배치되고, 또한, 그것의 공간적 위상이 비켜놓아져 있기 때문에, G1필터의 보간후의 화상신호와 G2필터의 보간후의 화상신호는, 고주파 영역에서는 도 8이나 도 10에 나타낸 것과 같이, 그것의 위상이 반전한다. 그 때문에, 화상 처리장치는, 이들 G1필터와 G2필터의 화상신호의 기울기, 및, G1필터와 G2필터의 화상신호의 차분의 적어도 한쪽으로부터, 주목 영역(주목 화소)이 고주파 영역인지 아닌지를 판별하는 것이 가능하다. 화상 처리장치는, 주목 화소가 고주파 영역이라고 판단된 경우에는, 주목 화소가 고주파 영역이라고 판단되지 않는 레벨까지 차단주파수를 낮게 한 화상신호로부터, 색차신호나 휘도신호 등의 소정의 신호를 생성함으로써, 가짜 색이나 모아레를 억압하는 것이 가능해진다.

또한, 화상 처리장치는, 이들 색차신호나 휘도신호 등의 소정의 신호를 생성하는 것은 후단의 장치에 맡기고, 주목 화소가 고주파 영역인지 아닌지의 판단 결을 표시하는 플래그를, 화상신호에 설정하도록 해도 상관없다.

(제2실시형태)

제2실시형태는, 선택회로(320)가 색차신호를 선택할 때에, 주목 화소가 엣지 영역인지 아닌지라고 하는 점을 판단에 추가한다고 하는 점에서 제1실시형태와 다르다. 제1 실시형태에서는 선택회로(320)는, 가짜 색 판별회로(360)에 의해 가짜 색영역이라고 판별되면, 보다 낮은 주파수의 화상신호로부터 생성된 색차신호를 선택하도록 하고 있다. 그 결과, 가짜 색영역이라고 판별된 영역이 엣지 영역이면, 엣지 영역의 색이 번지는 것 같이 보일 가능성이 있다.

본 실시형태에 있어서의 화상 처리장치의 구성은, 제1실시형태에 있어서의 화상 처리장치와 같기 때문에, 설명을 생략한다. 본 실시형태에서는, 도 1의 색차신호 생성회로(104)의 구성의 일부가 제1실시형태와 다르다.

도 12는 본 실시형태에 있어서의 색차신호 생성회로(104)의 구성을 나타낸 블록도다. 본 실시형태에 있어서의 색차신호 생성회로(104)는, 도 3에 나타낸 색차신호 생성회로의 구성에 대해, LPF 351∼353으로부터 출력되는 화상신호 T01∼T03이 입력되는 엣지 판별회로(370)가 추가되어 있다. 이 엣지 판별회로(370)에 의한 엣지 영역의 판별 결과는 선택회로(320)에 입력된다.

엣지 판별회로(370)는, LPF 351로부터 출력된 화상신호 T01에 포함되는 G1의 화상신호 및 G2의 화상신호로부터, 식 (14)을 사용해서 모든 화소에 있어서의 Gsig을 구한다.

[수학식 8]

그리고, 이 Gsig로 이루어진 화상신호의 수평방향과 수직방향의 기울기에 주목하여, 하기의 식 (15)을 충족시킬 때에는 그것의 주목 화소가 엣지 영역이라고 판별하고, 그 판별 결과를 선택회로(320)에 출력한다.

[수학식 9]

여기에서, ΔGh는 보간후의 Gsig로 이루어진 화상신호가 있어서의 수평방향의 기울기, ΔGv는 보간후의 G2sig로 이루어진 화상신호에 있어서의 수평방향의 기울기를 나타낸다. 이들 기울기는 도 5a, 수직방향은 도 5b에 각각 나타낸 것과 같은 공지의 디지털 필터에서 구할 수 있다. 이때, 기울기를 구하는 필터는 이것에 한정되는 것은 아니다. 또한, 화소 단위가 아니고, 복수의 화소로 이루어진 영역 단위로 엣지 영역을 판별하도록 하여도 된다. 영역 단위로 판별하는 경우에는, 그 영역에 포함되는 각화소를 사용해서 구한 화상신호의 기울기 중, 식 (15)을 만족시키지만 비율이 임계값 이상인 경우에, 그 영역이 엣지 영역이라고 판별하도록 하여도 된다.

마찬가지로, 엣지 판별회로(370)는, LPF 352로부터 출력된 화상신호 T02, LPF 353으로부터 출력된 화상신호 T03에 대해서도, 엣지 영역의 판별을 행한다.

이때, 여기에서는 엣지 영역의 판별 방법으로서, G1sig과 G2sig로부터 Gsig을 사용하는 예를 설명하였지만, 이 방법에 한정되지 않고, Rsig, Gsig, 및, Bsig으로부터 식 (7)을 사용해서 생성한 휘도신호를 사용해도 된다.

가짜 색 판별회로(360)는, 제1실시형태와 동일한 처리로 가짜 색영역의 판별을 행하고, 그 판별 결과를 선택회로(320)에 출력한다.

도 13은, 본 실시형태에 있어서의 선택회로(320)에 의한 색차신호의 선택처리를 나타낸 흐름도다. 선택회로(320)는, 화소 혹은 영역 단위로 이 선택처리를 행한다. 여기에서는, 선택회로(320)는 화소 단위로 이 선택처리를 행하는 것으로 한다.

선택회로(320)는, 스텝 S1301에 있어서, 주목 화소에 대응하는 화상신호 T01의 화소가, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되고, 또한, 엣지 판별회로(370)에서 엣지 영역이 아닌 것으로 판별되었는지 판정한다. 선택회로(320)는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별된 것이면, 스텝 S1304로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S11을 선택한다. 또는, 선택회로(320)는, 엣지 판별회로(370)에서 엣지 영역이라고 판별된 것이면, 스텝 S1304로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S11을 선택한다. 즉, 선택회로(320)는, 주목 화소가 가짜 색영역이라고 판별되었다고 하더라도, 엣지 영역이라고 판별되면, 엣지 영역의 색의 번짐을 억제하는 것을 우선하기 위해 색차신호 S11을 선택한다.

선택회로(320)는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되고, 또한, 엣지 판별회로(370)에서 엣지 영역이 아닌 것으로 판별되면, 스텝 S1302로 진행한다. 선택회로(320)는, 스텝 S1302에 있어서, 주목 화소에 대응하는 화상신호 T02의 화소가, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되고, 또한, 엣지 판별회로(370)에서 엣지 영역이 아닌 것으로 판별되었는지 판정한다. 선택회로(320)는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별된 것이면, 스텝 S1305로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S12를 선택한다. 또는, 선택회로(320)는, 엣지 판별회로(370)에서 엣지 영역이라고 판별된 것이면, 스텝 S1305로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S12를 선택한다. 즉, 선택회로(320)는, 주목 화소가 가짜 색영역이라고 판별되었다고 하더라도, 엣지 영역이라고 판별되면, 엣지 영역의 색의 번짐을 억제하는 것을 우선하기 위해 색차신호 S12를 선택한다.

선택회로(320)는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되고, 또한, 엣지 판별회로(370)에서 엣지 영역이 아닌 것으로 판별되면, 스텝 S1303으로 진행한다. 선택회로(320)는, 스텝 S1303에 있어서, 주목 화소에 대응하는 화상신호 T03의 화소가, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되고, 또한, 엣지 판별회로(370)에서 엣지 영역이 아닌 것으로 판별되었는지 판정한다. 선택회로(320)는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별된 것이면, 스텝 S1306으로 진행하고, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S13을 선택한다. 또는, 선택회로(320)는, 엣지 판별회로(370)에서 엣지 영역이라고 판별된 것이면, 스텝 S1306으로 진행하여, 주목 화소의 색차신호로서, 이 주목 화소에 대응하는 화소의 색차신호 S13을 선택한다. 즉, 선택회로(320)는, 주목 화소가 가짜 색영역이라고 판별되었다고 하더라도, 엣지 영역이라고 판별되면, 엣지 영역의 색의 번짐을 억제하는 것을 우선하기 위해 색차신호 S13을 선택한다.

반대로, 선택회로(320)는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되고, 또한, 엣지 판별회로(370)에서 엣지 영역이 아닌 것으로 판별되면, 스텝 S1307로 진행하여, 색차신호 S14를 선택한다.

이와 같이, 본 실시형태에서는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별된 경우에도, 그 영역이 엣지 영역인 경우에는, 엣지 영역이 아닌 것으로 판단된 경우보다도 주파수가 높은 계층의 화상신호로부터 생성된 색차신호를 선택한다.

이와 같이 함으로써, 제1실시형태의 구성에서 얻어진 효과 이외에, 엣지 영역에서 색이 번지는 것과 같이 보이는 것을 억제하는 것도 가능해진다.

(제3실시형태)

제3실시형태는, 색차신호 생성회로(104)가 색차신호 S11∼S14의 어느 1개를 출력하는 것이 아니고, 이들 색차신호 S11∼S14를 합성한 색차신호를 출력한다고 하는 점에서 제1실시형태와 다르다.

본 실시형태에 있어서의 화상 처리장치의 구성은, 제1실시형태에 있어서의 화상 처리장치와 같기 때문에, 설명을 생략한다. 본 실시형태에서는 도 1의 색차신호 생성회로(104)의 구성의 일부가 제1실시형태와 다르다.

도 14는 본 실시형태에 있어서의 색차신호 생성회로(104)의 구성을 나타낸 블록도다. 본 실시형태에 있어서의 색차신호 생성회로(104)는, 도 3에 나타낸 선택회로(320) 대신에 합성회로(380)를 갖고 있다.

도 15는, 본 실시형태에 있어서의 합성회로(380)에 의한 색차신호의 합성 처리를 나타낸 흐름도다. 합성회로(380)는, 화소 혹은 영역 단위로 이 선택처리를 행한다. 여기에서는, 합성회로(380)는 화소 단위로 이 선택처리를 행하는 것으로 한다. 이 합성회로(380)는, 화상신호 T01∼T03의 어느 것에서 가짜 색영역이 검출되었는지에 따라, 색차신호 S11∼S14의 가중값을 변경하여, 이들 색차신호 S11∼S14를 합성해서 출력한다.

합성회로(380)는, 스텝 S1501에 있어서, 주목 화소에 대응하는 화상신호 T01의 화소가, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되었는지 판정한다. 합성회로(380)는, 가짜 색 판별회로(360)에서 가짜 색영역이 아닌 것으로 판별된 것이면, 스텝 S1504로 진행하여, 이 주목 화소에 대응하는 화소의 색차신호 S11의 가중값을, 다른 색차신호의 가중값과 비교해서 최대가 되도록 설정한다.

합성회로(380)는, 스텝 S1501에 있어서, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되면, 스텝 S1502로 진행한다. 합성회로(380)는, 스텝 S1502에 있어서, 주목 화소에 대응하는 화상신호 T02의 화소가, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되었는지 판정한다. 합성회로(380)는, 가짜 색 판별회로(360)에서 가짜 색영역이 아닌 것으로 판별된 것이면, 스텝 S1505로 진행하여, 이 주목 화소에 대응하는 화소의 색차신호 S12의 가중값을, 다른 색차신호의 가중값과 비교해서 최대가 되도록 설정한다.

합성회로(380)는, 스텝 S1502에 있어서, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되면, 스텝 S1503으로 진행한다. 합성회로(380)는, 스텝 S1503에 있어서, 주목 화소에 대응하는 화상신호 T03의 화소가, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별되었는지 판정한다. 합성회로(380)는, 가짜 색 판별회로(360)에서 가짜 색영역이 아닌 것으로 판별된 것이면, 스텝 S1506으로 진행하여, 이 주목 화소에 대응하는 화소의 색차신호 S13의 가중값을, 다른 색차신호의 가중값과 비교해서 최대가 되도록 설정한다.

반대로, 합성회로(380)는, 가짜 색 판별회로(360)에서 가짜 색영역이라고 판별된 것이면, 스텝 S1507로 진행하여, 이 주목 화소에 대응하는 화소의 색차신호 S14의 가중값을, 다른 색차신호의 가중값과 비교해서 최대가 되도록 설정한다.

합성회로(380)는, 스텝 S1504∼S1507에서 설정된 가중값에 따라, 색차신호 S11∼S14를 하기의 어느 한 개의 식에 따라서 합성한다.

[수학식 10]

합성회로(380)는, 색차신호 S11의 가중값이 최대로 설정되어 있는 경우에는 식 (16)을 선택한다. 마찬가지로, 합성회로(380)는, 색차신호 S12, S13, S14의 가중값이 최대로 설정되어 있는 경우에는, 각각 식 (17), 식 (18), 식 (19)을 선택한다. 그리고, 합성회로(380)는, 이 합성 처리에서 얻어진 색차신호 R-G, B-G를 색 변환 매트릭스 회로(105)에 출력한다.

이때, 제2실시형태와 마찬가지로, 주목 화소가 엣지 영역인지 아닌지를 고려해도 된다. 즉, 주목 화소가 가짜 색영역으로 판별된 경우라도, 주목 화소가 엣지 영역이라고 판별된 것이면, 엣지 영역으로 판별된 화상신호 중에서 가장 차단주파수가 높은 화상신호로부터 생성된 색차신호의 가중값을 최대로 하면 된다.

이때, 합성회로(380)는, 화상신호 T01∼T03으로부터 검출된 가짜 색도에 따라, 색차신호 S11∼S14의 가중값을 변경하도록 하여도 된다. 가짜 색도는, 보간후의 G1sig 및 보간후의 G2sig로부터 구한 ΔG1h, ΔG1v, ΔG2h, ΔG2v, 및, G1sig과 G2sig의 값의 차분으로부터 구해진다. 즉, 합성회로(380)는, 보간후의 G1sig 및 보간후의 G2sig의 위상의 차이가 180도에 가까운 것으로 추정될수록, 값이 커지도록 가짜 색도를 설정한다. 그리고, 합성회로(380)는, 화상신호 T01∼T03의 가짜 색도에 따라, 색차신호 S11∼S14의 가중값을 설정하는 것도 가능하다.

(기타 실시형태)

본 발명의 목적은 다음과 같은 방법에 의해서도 달성된다. 즉, 전술한 각 실시형태의 기능을 실현하는 소프트웨어의 프로그램 코드를 기록한 기억매체(또는 기록매체)를, 시스템 혹은 장치에 공급한다. 그리고, 그 시스템 혹은 장치의 컴퓨터(또는 CPU나 MPU)가 기억매체에 격납된 프로그램 코드를 판독하여 실행한다. 이 경우, 기억매체로부터 판독된 프로그램 코드 자체가 전술한 실시형태의 기능을 실현함으로써, 그 프로그램 코드를 기억한 기억매체는 본 발명을 구성하게 된다. 또한, 컴퓨터가 판독한 프로그램 코드를 실행함으로써, 전술한 실시형태의 기능이 실현 될 뿐만 아니라, 본 발명에는 다음과 같을 경우도 포함된다. 즉, 프로그램 코드의 지시에 근거하여, 컴퓨터 상에서 가동하고 있는 오퍼레이팅 시스템(OS) 등이 실제의 처리의 일부 또는 전부를 행하고, 그 처리에 의해 전술한 실시형태의 기능이 실현된다.

또한, 다음과 같은 경우도 본 발명에 포함된다. 즉, 기억매체로부터 판독된 프로그램 코드가, 컴퓨터에 삽입된 기능 확장 카드나 컴퓨터에 접속된 기능 확장 유닛에 구비된 메모리에 기록된다. 그후, 그 프로그램 코드의 지시에 근거하여, 그 기능 확장 카드나 기능 확장 유닛에 구비된 CPU 등이 실제의 처리의 일부 또는 전부를 행하고, 그 처리에 의해 전술한 실시형태의 기능이 실현된다.

본 발명을 상기 기억매체에 적용하는 경우, 그 기억매체에는, 앞서 설명한 순서에 대응하는 프로그램 코드가 격납되게 된다.

101 촬상부
102 A/D 변환기
103 화이트 밸런스(WB)회로
104 색차신호 작성 회로
105 색 변환 매트릭스 회로
106 색 억압 회로
107 색 감마회로
108 크로마 니 회로
110 상관도 검출기
111 휘도신호 생성회로
112 휘도 감마회로
300, 350 색 보간회로
301, 302, 303, 304, 351, 352, 353 로우패스 필터(LPF)
311, 312, 313, 314 색차신호 산출회로
320 선택회로
360 가짜 색 판별회로
370 엣지 판별회로
380 합성회로

Claims

복수의 색 필터가 소정의 배열로 배치되고, 또한, 각각의 색 필터에 대응한 화소가 설치된 촬상소자로부터 얻어진 화상신호를, 색 필터마다의 화상신호로 분리하고, 각각의 색 필터의 화상신호에서 보간처리를 행하는 보간수단과,
주목 영역에 있어서, 상기 복수의 색 필터 중 제1 색 필터와 제2 색 필터의 각각의 화상신호에 있어서의 기울기, 및, 상기 제1 색 필터와 상기 제2 색 필터의 화상신호의 차분의 적어도 어느 한개로부터, 상기 주목 영역이 고주파 영역인지 아닌지를 판별하는 판별수단과,
상기 촬상소자로부터 얻어진 화상신호로부터 차단주파수가 다른 화상신호를 추출하는 추출수단과,
상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역에 대해, 고주파 영역이라고 판별되지 않은 경우와는 다른 화상처리를 행하는 처리수단을 갖고,
상기 제1 색 필터와 상기 제2 색 필터에 대응하는 화소는, 동일한 주기로, 또한, 공간적 위상을 비켜 놓아 배치된 것이고,
상기 처리수단은, 상기 주목 영역에 있어서의 소정의 신호를 생성해서 출력하는 것이며, 상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역이 고주파 영역이라고 판별되지 않은 경우보다도 차단주파수가 낮은 화상신호로부터 생성된 소정의 신호를 출력하는 것을 특징으로 하는 화상 처리장치.
제 1항에 있어서,
상기 판별수단은, 상기 주목 영역에 있어서, 상기 제1 색 필터의 화상신호의 기울기와 상기 제2 색 필터의 화상신호의 기울기의 부호가 반전하고 있는 경우에, 상기 주목 영역이 고주파 영역이라고 판별하는 것을 특징으로 하는 화상 처리장치.
제 1항에 있어서,
상기 판별수단은, 상기 주목 영역에 있어서, 상기 제1 색 필터의 화상신호의 기울기와 상기 제2 색 필터의 화상신호의 기울기의 부호가 반전하고, 또한, 상기 상기 제1 색 필터의 화상신호의 기울기의 크기와 상기 제2 색 필터의 화상신호의 기울기의 크기가 임계값을 초과하고 있는 경우에, 상기 주목 영역이 고주파 영역이라고 판별하는 것을 특징으로 하는 화상 처리장치.
제 1항에 있어서,
상기 판별수단은, 상기 주목 영역에 있어서, 상기 제1 색 필터의 화상신호와 상기 제2 색 필터의 화상신호의 차분이 임계값을 넘고 있는 경우에, 상기 주목 영역이 고주파 영역이라고 판별하는 것을 특징으로 하는 화상 처리장치.
제 1항에 있어서,
상기 제1 색 필터와 상기 제2 색 필터는, 동일한 색에 대응한 색 필터인 것을 특징으로 하는 화상 처리장치.
제 5항에 있어서,
상기 촬상소자는 적, 청, 녹의 색 필터를 베이어 배열로 배치한 것으로서, 제1 색 필터는 상기 적의 색 필터의 수평방향에 배치되고, 또한, 상기 청의 색 필터의 수직방향에 배치된 녹의 색 필터이며, 상기 제2 색 필터는 상기 적의 색 필터의 수직방향에 배치되고, 또한, 상기 청의 색 필터의 수평방향에 배치된 녹의 색 필터인 것을 특징으로 하는 화상 처리장치.
삭제
삭제
제 1항에 있어서,
상기 처리수단은, 상기 추출수단에서 추출된 차단주파수가 다른 복수의 화상신호의 각각에 대해, 상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별되었는지 아닌지를 판정하고, 상기 주목 영역이 고주파 영역이라고 판별되지 않은 화상신호 중, 가장 차단주파수가 높은 화상신호에 대응하는 차단주파수의 화상신호로부터 생성된 소정의 신호를 출력하는 것을 특징으로 하는 화상 처리장치.
제 1항에 있어서,
상기 주목 영역이 엣지 영역인지 아닌지를 판별하는 검출수단을 갖고,
상기 처리수단은, 상기 추출수단에서 추출된 차단주파수가 다른 복수의 화상신호의 각각에 대해, 상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별되었는지 아닌지, 및, 상기 검출수단에 의해 상기 주목 영역이 엣지 영역이라고 판별되었는지 아닌지를 판정하고, 상기 차단주파수가 다른 복수의 화상신호 중 어느 한개에 있어서 상기 주목 영역이 엣지 영역이라고 판별된 경우에는, 상기 주목 영역이 엣지 영역이라고 판별된 화상신호 중, 가장 차단주파수가 높은 화상신호에 대응하는 차단주파수의 화상신호로부터 생성된 소정의 신호를 출력하는 것을 특징으로 하는 화상 처리장치.
복수의 색 필터가 소정의 배열로 배치되고, 또한, 각각의 색 필터에 대응한 화소가 설치된 촬상소자로부터 얻어진 화상신호를, 색 필터마다의 화상신호로 분리하고, 각각의 색 필터의 화상신호에서 보간처리를 행하는 보간수단과,
주목 영역에 있어서, 상기 복수의 색 필터 중 제1 색 필터와 제2 색 필터의 각각의 화상신호에 있어서의 기울기, 및, 상기 제1 색 필터와 상기 제2 색 필터의 화상신호의 차분의 적어도 어느 한개로부터, 상기 주목 영역이 고주파 영역인지 아닌지를 판별하는 판별수단과,
상기 촬상소자로부터 얻어진 화상신호로부터 차단주파수가 다른 화상신호를 추출하는 추출수단과,
상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역에 대해, 고주파 영역이라고 판단되지 않은 경우와는 다른 화상처리를 행하는 처리수단을 갖고,
상기 제1 색 필터와 상기 제2 색 필터에 대응하는 화소는, 동일한 주기로, 또한, 공간적 위상을 비켜 놓아 배치된 것이며,
상기 처리수단은, 상기 주목 영역에 있어서의 소정의 신호를 생성해서 출력하는 것이며, 상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역이 고주파 영역이라고 판별되지 않은 경우보다도 차단주파수가 낮은 화상신호로부터 생성된 소정의 신호의 가중값을 크게 하고, 상기 차단주파수가 다른 화상신호로부터 생성된 소정의 신호를 합성해서 출력하는 것을 특징으로 하는 화상 처리장치.
제 11항에 있어서,
상기 처리수단은, 상기 추출수단에서 추출된 차단주파수가 다른 복수의 화상신호의 각각에 대해, 상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별되었는지 아닌지를 판정하고, 상기 주목 영역이 고주파 영역이라고 판별되지 않은 화상신호 중, 가장 차단주파수가 높은 화상신호에 대응하는 차단주파수의 화상신호로부터 생성된 소정의 신호의 가중값을, 다른 차단주파수의 화상신호로부터 생성된 소정의 신호보다도 크게 해서 합성하는 것을 특징으로 하는 화상 처리장치.
제 11항에 있어서,
상기 주목 영역이 엣지 영역인지 아닌지를 판별하는 검출수단을 갖고,
상기 처리수단은, 상기 추출수단에서 추출된 차단주파수가 다른 복수의 화상신호의 각각에 대해, 상기 판별수단에 의해 상기 주목 영역이 고주파 영역이라고 판별되었는지 아닌지, 및, 상기 검출수단에 의해 상기 주목 영역이 엣지 영역이라고 판별되었는지 아닌지를 판정하고, 상기 차단주파수가 다른 복수의 화상신호 중 어느 한개에 있어서 상기 주목 영역이 엣지 영역이라고 판별된 경우에는, 상기 주목 영역이 엣지 영역이라고 판별된 화상신호 중, 가장 차단주파수가 높은 화상신호에 대응하는 차단주파수의 화상신호로부터 생성된 소정의 신호의 가중값을, 다른 차단주파수의 화상신호로부터 생성된 소정의 신호보다도 크게 해서 합성하는 것을 특징으로 하는 화상 처리장치.
제 1항 또는 제 11항에 있어서,
상기 소정의 신호는 색차신호인 것을 특징으로 하는 화상 처리장치.
제 1항 또는 제 11항에 있어서,
상기 소정의 신호는 휘도신호인 것을 특징으로 하는 화상 처리장치.
삭제
복수의 색 필터가 소정의 배열로 배치되고, 또한, 각각의 색 필터에 대응한 화소가 설치된 촬상소자로부터 얻어진 화상신호를, 색 필터마다의 화상신호로 분리하고, 각각의 색 필터의 화상신호에서 보간을 행하는 보간공정과,
주목 영역에 있어서, 상기 복수의 색 필터 중 제1 색 필터와 제2 색 필터의 각각의 화상신호에 있어서의 기울기, 및, 상기 제1 색 필터와 상기 제2 색 필터의 화상신호의 차분의 적어도 어느 한개로부터, 상기 주목 영역이 고주파 영역인지 아닌지를 판별하는 판별공정과,
상기 촬상소자로부터 얻어진 화상신호로부터 차단주파수가 다른 화상신호를 추출하는 추출공정과,
상기 판별 공정에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역에 대해, 고주파 영역이라고 판별되지 않은 경우와는 다른 화상처리를 행하는 처리공정을 갖고,
상기 제1 색 필터와 상기 제2 색 필터에 대응하는 화소는, 동일한 주기로, 또한, 공간적 위상을 비켜 놓아 배치된 것이고,
상기 처리공정은, 상기 주목 영역에 있어서의 소정의 신호를 생성해서 출력하는 것이며, 상기 판별공정에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역이 고주파 영역이라고 판별되지 않은 경우보다도 차단주파수가 낮은 화상신호로부터 생성된 소정의 신호를 출력하는 것을 특징으로 하는 화상 처리방법.
삭제
청구항 17에 기재된 화상 처리방법을 화상 처리장치의 컴퓨터에 실행시키기 위한 프로그램이 격납된 컴퓨터에 의해 판독가능한 기록매체.
복수의 색 필터가 소정의 배열로 배치되고, 또한, 각각의 색 필터에 대응한 화소가 설치된 촬상소자로부터 얻어진 화상신호를, 색 필터마다의 화상신호로 분리하고, 각각의 색 필터의 화상신호에서 보간을 행하는 보간공정과,
주목 영역에 있어서의, 상기 복수의 색 필터 중 제1 색 필터와 제2 색 필터의 각각의 화상신호에 있어서의 기울기, 및, 상기 제1 색 필터와 상기 제2 색 필터의 화상신호의 차분의 적어도 어느 한개로부터, 상기 주목 영역이 고주파 영역인지 아닌지를 판별하는 판별공정과,
상기 촬상소자로부터 얻어진 화상신호로부터 차단주파수가 다른 화상신호를 추출하는 추출공정과,
상기 판별공정에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역에 대해, 고주파 영역이라고 판별되지 않은 경우와는 다른 화상처리를 행하는 처리공정을 갖고,
상기 제1 색 필터와 상기 제2 색 필터에 대응하는 화소는, 동일한 주기로, 또한, 공간적 위상을 비켜 놓아 배치된 것이고,
상기 처리공정은, 상기 주목 영역에 있어서의 소정의 신호를 생성해서 출력하는 것이며, 상기 판별공정에 의해 상기 주목 영역이 고주파 영역이라고 판별된 경우에, 상기 주목 영역이 고주파 영역이라고 판별되지 않은 경우보다도 차단주파수가 낮은 화상신호로부터 생성된 소정의 신호의 가중값을 크게 하고, 상기 차단주파수가 다른 화상신호로부터 생성된 소정의 신호를 합성해서 출력하는 것을 특징으로 하는 화상 처리방법.
삭제
청구항 20에 기재된 화상 처리방법을 화상 처리장치의 컴퓨터에 실행시키기 위한 프로그램이 격납된 컴퓨터에 의해 판독가능한 기록매체.