KR101085410B1

KR101085410B1 - 신호 처리 장치 및 신호 처리 방법, 및 기록 매체

Info

Publication number: KR101085410B1
Application number: KR1020040060311A
Authority: KR
Inventors: 곤도데츠지로
Original assignee: 소니 주식회사
Priority date: 2003-07-31
Filing date: 2004-07-30
Publication date: 2011-11-21
Also published as: CN1606359A; CN1606359B; US7595819B2; US20050052541A1; KR20050014750A

Abstract

본 발명은 신호 처리에 있어서 적절한 화상 신호를 구해 그 화상 신호를 신호 처리함으로써 고화질의 화상 신호를 얻는 것을 목적으로 한다. 본 발명의 신호 처리부(4)는 3개의 CMOS 센서 등을 가지는 3판식의 센서 수단으로서의 센서부(1)의 출력으로부터 얻어지는 제1 화상 신호에 대해 신호 처리를 수행함으로써 고화질의 제2 화상 신호를 출력한다. 센서부(1)가 갖는 3개의 CMOS 센서는 미리 행해진 학습에 의해 구할 수 있는, 신호 처리부(4)의 신호 처리로서 적절한 배치 위치에 배치된다. 그리고, 신호 처리부는 신호 처리부(404)와 마찬가지로, 제2 화상 신호를 평가하고 그 평가에 대응하여, 센서부(401)가 가지는 3개의 CMOS 센서의 배치 위치를 제어하도록 해도 된다. 또, 신호 처리부는 신호 처리부(604)와 마찬가지로, 예컨대 1 화소의 영역 또는 1 화면 전체 등의 소정 영역의 제1 디지털 화상 신호를 평가하고, 센서부(601)의 소정 영역의 제1 디지털 화상 신호에 대응하는 부분을 그 소정 영역의 제1 디지털 화상 신호의 평가에 따른 성능으로 변화시키는 것도 가능하다. 본 발명은, 예컨대 비디오 카메라나 스틸카메라 등에 적용할 수 있다. 또, 다른 실시예로서 가동량 제어부(827)는 CMOS 이미저(801)가 출력하는 제1 화상 신호의 레벨 분포에 따라 CMOS 이미저(801)를 제어한다. 이 경우, 예를 들어 CMOS 이미저가 형성된 원칩(one-chip)의 반도체 등에 적용할 수 있다.

Description

신호 처리 장치 및 신호 처리 방법, 및 기록 매체{SIGNAL PROCESSING APPARATUS AND SIGNAL PROCESSING METHOD, AND RECORDING MEDIUM}

도 1은 본 발명을 적용한 촬상 장치의 일실시예의 구성예를 나타내는 블록도.

도 2는 신호 처리부(4) 및 출력부(5)의 구성예를 나타내는 블록도.

도 3은 센서부(1)의 구성예를 나타내는 블록도.

도 4는 신호 처리부(11)의 구성예를 나타내는 블록도.

도 5는 촬상 장치의 동작을 설명하는 흐름도.

도 6은 화상 변환부(31)의 구성예를 나타내는 블록도.

도 7은 계수 출력부(124)의 구성예를 나타내는 블록도.

도 8은 탭 계수를 학습하는 학습 장치의 구성예를 나타내는 블록도.

도 9는 탭 계수를 학습하는 학습 처리를 설명하는 흐름도.

도 10은 화상 변환부(31)의 처리를 설명하는 흐름도.

도 11은 배치 위치를 학습하는 학습 장치로서의 촬상 장치의 일실시예의 구성예를 나타내는 블록도.

도 12는 센서부(231)의 구성예를 나타내는 블록도.

도 13의 (a)~(d)는 R수광부(256), G수광부(256G), B수광부(256B)의 배치 위치의 제어를 설명하는 도면.

도 14는 평가부(235)의 구성예를 나타내는 블록도.

도 15는 위치 결정부(236)의 구성예를 나타내는 블록도.

도 16은 학습 장치로서의 촬상 장치의 학습 처리를 설명하는 흐름도.

도 17은 본 발명을 적용한 컴퓨터의 일실시예의 구성예를 나타내는 블록도.

도 18은 본 발명을 적용한 촬상 장치의 다른 실시예의 구성예를 나타내는 블록도.

도 19는 신호 처리부(404) 및 출력부(405)의 구성예를 나타내는 블록도.

도 20은 센서부(401)의 구성예를 나타내는 블록도.

도 21의 (a)~(d)는 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치의 제어를 설명하는 도면.

도 22는 신호 처리부(411)의 구성예를 나타내는 블록도.

도 23은 평가부(433)의 제1 구성예를 나타내는 블록도.

도 24는 어긋남 양과 상관값의 관계를 나타낸 도면.

도 25는 촬상 장치의 동작을 설명하는 흐름도.

도 26은 평가부(433)에 의한 평가 처리를 설명하는 흐름도.

도 27은 본 발명을 적용한 촬상 장치의 다른 일실시예의 구성예를 나타내는 블록도.

도 28은 신호 처리부(411)의 구성예를 나타내는 블록도.

도 29는 화상 변환부(431)의 구성예를 나타내는 블록도.

도 30은 계수 출력부(124)의 다른 구성예를 나타내는 블록도.

도 31은 탭 계수 갱신 처리를 설명하는 흐름도.

도 32는 계수 종류 데이터를 학습하는 학습 장치의 제1 구성예를 나타내는 블록도.

도 33은 계수 종류 데이터를 학습하는 학습 방법을 설명하는 도면.

도 34는 계수 종류 데이터를 학습하는 학습 처리를 설명하는 흐름도.

도 35는 계수 종류 데이터를 학습하는 학습 방법을 설명하는 도면.

도 36은 계수 종류 데이터를 학습하는 학습 장치의 제2 구성예를 나타내는 블록도.

도 37은 신호 처리부(411)의 구성예를 나타내는 블록도.

도 38은 제어부(211)의 구성예를 나타내는 블록도.

도 39는 촬상 장치의 동작을 설명하는 흐름도.

도 40은 파라미터 테이블을 학습하는 학습 장치의 일실시예의 구성예를 나타내는 블록도.

도 41은 위치 결정부(535)의 구성예를 나타내는 블록도.

도 42는 파라미터 테이블을 학습하는 학습 처리를 설명하는 흐름도.

도 43은 위치 결정부(535)에 의한 평가 처리를 설명하는 흐름도.

도 44는 본 발명을 적용한 촬상 장치의 일실시예의 구성예를 나타내는 블록도.

도 45의 (a), (b)는 신호 처리부(604)가 출력하는 제어 신호에 의한 센서부(601)의 성능 변화에 대하여 설명하는 도면.

도 46은 센서부(601)의 구성예를 나타내는 블록도.

도 47은 신호 처리부(604)의 구성예를 나타내는 블록도.

도 48은 레벨 평가부(623)의 제1 구성예를 나타내는 블록도.

도 49는 촬상 장치의 동작을 설명하는 흐름도.

도 50은 레벨 평가부(623)의 처리를 설명하는 흐름도.

도 51은 촬상 장치의 동작을 설명하는 흐름도.

도 52는 레벨 평가부(623)의 제2 구성예를 나타내는 블록도.

도 53은 레벨 평가부(623)의 제3 의 구성예를 나타내는 블록도.

도 54는 화상 변환 처리의 대상으로 하는 영역을 나타낸 도면.

도 55는 본 발명을 적용한 센서 시스템의 일실시예의 구성예를 나타내는 블록도.

도 56은 DRC 회로(802)의 제1 구성예를 나타내는 블록도.

도 57의 (a) 및 (b)는 각각 클래스 탭과 예측 탭을 나타낸 도면.

도 58의 (a)~(c)는 본 발명을 적용한 센서 시스템의 구성예를 나타낸 도면.

도 59의 (a) 및 (b)는 집광 렌즈(852)의 위치 제어를 설명하기 위한 도면.

도 60의 (a) 및 (b)는 클래스 코드를 설명하는 도면.

도 61은 DRC 회로(802)의 처리를 설명하는 흐름도.

도 62는 제어 정보 생성 처리를 설명하는 흐름도.

도 63의 (a)~(c)는 집광 렌즈(852)의 위치의 제어를 설명하기 위한 도면.

도 64는 제어 정보 생성 처리를 설명하는 흐름도.

도 65는 DRC 회로(802)의 제2 구성예를 나타내는 블록도.

도 66의 (a) 및 (b)는 클래스 탭의 다이나믹 레인지를 설명하는 도면.

도 67은 DRC 회로(802)의 처리를 설명하는 흐름도.

도 68은 제어 정보 생성 처리를 설명하는 흐름도.

도 69는 제어 정보 생성 처리를 설명하는 흐름도.

도 70은 DRC 회로(802)의 제3 구성예를 나타내는 블록도.

< 도면의 주요부분에 대한 부호의 설명 >

1 : 센서부 2 : 신호 조정부

3 : A/D 변환부 4 : 신호 처리부

5 : 출력부 11 : 신호 처리부

23 : 수광부 31 : 화상 변환부

122 : 특징 추출부 121 : 예측 탭 추출부

123 : 클래스 분류부 124 : 계수 출력부

125 : 연산부 181 : 계수 메모리

131 : 교사 데이터 생성부 132 : 교사 데이터 기억부

133 : 학생 데이터 생성부 134 : 학생 데이터 기억부

135 : 예측 탭 추출부 139 : 탭 계수 산출부

231 : 센서부 232 : 신호 조정부

233 : A/D 변환부 234 : 신호 처리부

235 : 평가부 236 : 위치 결정부

237 : 위치 기억부 238 : 신호 조정부

239 : A/D 변환부 240 : 제어부

255 : 평가용 수광부 261 : 화상 기억부

262 : 상관 산출부 263 : 평가값 기억부

271 : 평가값 통합부 272 : 최적 위치 결정부

302 : CPU 303 : ROM

303 : RAM 304 : 하드디스크

306 : 출력부 307 : 입력부

308 : 통신부 309 : 드라이브

311 : 제거 가능한 기록매체 181 : 계수 메모리

182 : 계수 생성부 183 : 계수 종류 메모리

184 : 파라미터 메모리 185 : 조작부

191 : 파라미터 생성부 192 : 추가삽입부

193 : 계수 종류 산출부 221 : 제어신호 출력부

222 : 파라미터 테이블 기억부 543 : 판정 평가부

621 : 화상 변환부 622 : 화상 보정부

623 : 레벨 평가부 631 : 평가 화소 추출부

632 : 점유도 산출부 633 : 증폭률 결정부

641 : 액티비티 산출부 651 : 비교부

801 : CMOS 이미저 802 : DRC 회로

827 : 가동량 제어부 876 : 액티비티 검출부

본 발명은 신호 처리 장치와 신호 처리 방법, 프로그램, 및 기록 매체에 관한 것으로서, 특히 예를 들어 화상 신호의 신호 처리에 있어서 적절한 화상 신호를 획득하고 그 화상 신호에 대해 신호 처리를 행함으로써, 고화질의 화상 신호를 얻을 수 있는 촬상 장치, 신호 처리 장치 및 신호 처리 방법, 프로그램, 및 기록 매체에 관한 것이다.

예컨대, 디지털(스틸/비디오) 카메라 등의 촬상 장치에서는 피사체 광(피사체로부터의 광)을 감지하고, 광전 변환을 행함으로써, 그 피사체 광에 대응하는 전기 신호인 화상 신호를 출력하는 센서로서, 예컨대 CCD(Charge Coupled Device: 전하결합소자)나, CMOS(Complementary Metal Oxide Semiconductor: 상보성 금속 산화막 반도체) 이미저(CMOS 센서) 등을 가지는 센서 수단(또는 촬상 수단)에 있어서, 피사체 광이 수광되어 그 수광량에 따른 화상 신호가 출력된다.

센서 수단(촬상 수단)으로서는, 예를 들면 단판(single-plate)식이나 3판(three-plate)식으로 불리는 것이 있다. 단판식에서는, R(Red), G(Green), B(Blue)의 광을 투과하는 색 필터가, 예를 들어, 이른바 베이어 배열(Bayer arrangement)로 불리는 패턴으로 배치된 광학 필터를 사용하고, 센서의 화소에 R, G, B의 광 중 어느 하나가 입사된다. 따라서, 센서의 각 화소에서는 R, G, B의 광 중 하나가 수광되어, 1 화소에 대해 R, G, B 중 어느 하나의 신호 성분을 갖는 화상 신호가 출력된다. 이와 같이, 단판식에서는 센서로부터 얻어지는 화상을 구성하는 각 화소가 R, G, B 중 어느 하나의 신호 성분만 가지므로, 후단(next-stage)의 회로에 있어서, 각 화소가 가지고 있지 않은 신호 성분의 보간(interpolation)을 행한다. 즉, 예를 들면 R신호(성분)만 가지고 있는 화소에 주목하면, 그 주목 화소에 대하여는, 그 화소에 가까운 G신호만 가지는 화소와 B신호만 가지는 화소 등에 의해, 주목 화소의 G신호와 B신호가 예측된다(예를 들면, 일본 특허공개 2002-135797호 공보 참조).

또, 단판식의 CCD로부터 얻어지는, R, G, B신호 중 어느 하나만 가지는 화소를, 그 R, G, B신호 모두를 가지는 화소로 변환하는, 이른바 데모자이크로 불리는 신호 처리가 있다(예를 들면, 국제공개 WO 00/49812호 팜플렛 참조).

한편, 3판식에서는, 예를 들면 센서 수단이 R, G, B 각각을 이용하는 3개의 센서로 구성되며, R용의 센서로 R의 광이, G용의 센서로 G의 광이, B용의 센서로 B의 광이, 각각 수광되어 1 화소에 대해, R신호, G신호 및 B신호의 3 성분을 가지는 화상 신호가 출력된다.

여기서, 3판식의 촬상 장치에서, 어떤 광선에 주목하면, 그 주목 광선이 프리즘에 의해 R, G, B 각각의 광으로 분광되어 R의 광은 R용의 센서로, G의 광은 G용의 센서로, B의 광은 B용의 센서로 각각 수광된다. 따라서, R, G, B용의 센서는 주목 광선의 R, G, B 각각의 광이 R, G, B용의 센서의 동일 위치의 화소로 수광되도록 광학적으로 등가인(동일한) 위치에 배치된다.

또한, 수직 방향의 해상도가 향상한 화상 신호를 얻기 위해, G용의 센서를, R용의 센서 및 B용의 센서에 대해서, 1/2 화소분만큼 어긋난 위치에 배치한 촬상 장치도 제안되어 있다(예를 들면, 일본특허공개 평08-256345호 공보 참조).

또, 종래의 촬상 장치에서는, CCD(Charge Coupled Device)나, CMOS (Complementary Metal Oxide Semiconductor) 이미저(imager)(CMOS 센서) 등의 센서 수단의 출력을 증폭하여, 적정한 레벨의 화상 신호를 얻을 수 있도록 하고 있다.

센서 수단의 출력의 증폭은 AGC(Auto Gain Controller: 자동이득제어장치) 등의 증폭기에 의해 행해진다. 그러나, 피사체의 콘트라스트가 큰 경우에는, 1개의 증폭기로 적정한 레벨의 화상 신호를 얻는 것이 곤란한 경우가 있다. 그래서, 일본특허공개 평6-086155호 공보에서는, 상이한 이득을 갖는 2개의 증폭기 각각에 따라, 센서 수단의 출력을 증폭함으로써, 넓은 다이나믹 레인지(dynamic range)의 증폭을 용이하게 행하는 방법이 기재되어 있다.

그런데, 센서 수단의 후단에서는, 많은 경우 센서 수단이 출력하는 화상 신호의 화질을 개선하기 위한 신호 처리가 행해진다.

즉, 센서 수단(촬상 수단)이 가지는 센서로서의 CCD나 CMOS 센서 등은 입사하는 광(피사체 광)을, 화소에 대응하는 범위에서 어떤 노광 시간에 수광하고 그 수광량에 대응하는 화상 신호를 출력한다. 따라서, 센서는 시간적 및 공간적으로 연속인 광을, 화소에 대응하는 범위에서 노광 시간 동안만, 말하자면 샘플링하고, 그 샘플링 결과를, 화상 신호(화소값)로서 출력하고 있다고 할 수 있다.

이와 같이, 센서 수단이 출력하는 화상 신호는 시간적 및 공간적으로 연속인 광의 샘플링 결과이기 때문에, 원래의 광에 포함되어 있는 정보의 일부가 누락된다. 그러므로, 센서 수단이 출력하는 화상 신호는 원래의 광에 대응하는 화상의 화질보다 열화한 것으로 된다.

센서 수단의 후단에서는, 센서 수단이 출력하는, 전술한 바와 같이 원래의 광보다 열화한 화질의 화상 신호를 고화질로 하기 위한 신호 처리를 행하게 된다.

그런데, 종래에서의 센서 수단은 그 후단에서 행해지는 신호 처리에 관련 없이 제조되고, 또 그 후단에서 행해지는 신호 처리와 관련 없이 동작하고 화상 신호를 출력한다. 따라서, 센서 수단은 그 후단에서 행해지는 신호 처리와는 관련 없는(신호 처리가 고려되어 있지 않은) 특성을 갖게 된다.

이와 같이, 센서 수단은 그 후단에서 어떠한 신호 처리가 행해지는 지에 관계 없는 특성을 가지는 동시에 획일적으로 동작하여 화상 신호를 출력하게 된다. 따라서, 센서 수단의 후단에서 행해지는 신호 처리에서 개선되는 화질에는 어느 정도의 한계가 있다.

한편, 센서 수단에 있어서, 그 후단에서 행해지는 신호 처리에서 적절한 화상 신호가 출력되면, 그 신호 처리에 의해, 보다 화질이 개선된 화상 신호를 얻을 수 있다.

본 발명은, 이와 같은 상황을 감안하여 이루어진 것이며, 신호 처리에 있어 서, 적절한 화상 신호를 얻어 그 화상 신호를 신호 처리함으로써, 고화질의 화상 신호를 얻을 수 있도록 한 것이다.

본 발명의 제1 신호 처리 장치는, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단과, 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 수단을 구비하고, 센서 수단은 신호 처리에 대응하는 특성으로 설정되는 것을 특징으로 한다.

본 발명의 제1 신호 처리 방법은, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호를 취득하는 취득 단계와, 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 단계를 구비하고, 센서 수단은, 신호 처리에 대응한 특성으로 설정되는 것을 특징으로 한다.

본 발명의 제1 프로그램은, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호를 취득하는 취득 단계와, 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 단계를 구비하고, 센서 수단은 신호 처리에 대응하는 특성으로 설정되는 것을 특징으로 한다.

본 발명의 제1 기록 매체는, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호를 취득하는 취득 단계와, 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 단계를 구비하고, 센서 수단은 신호 처리에 대응하는 특성으로 설정되는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

본 발명의 제2 신호 처리 장치는, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단과, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 수단을 구비하고, 제1 및 제2 센서는 미리 행해진 학습에 의해 신호 처리에 대응하는 배치 상태로 되는 것을 특징으로 한다.

본 발명의 제2 신호 처리 방법은, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단이 출력하는 화상 신호를 취득하는 취득 단계와, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 단계를 구비하고, 제1 및 제2 센서는 미리 행해진 학습에 의해 신호 처리에 대응하는 배치 상태로 되는 것을 특징으로 한다.

본 발명의 제2 프로그램은, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단이 출력하는 화상 신호를 취득하는 취득 단계와, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 단계를 구비하고, 제1 및 제2 센서는 미리 행해진 학습에 의해, 신호 처리에 대응하는 배치 상태로 되는 것을 특징으로 한다.

본 발명의 제2 기록 매체는, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단이 출력하는 화상 신호를 취득하는 취득 단계와, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 단계를 구비하고, 제1 및 제2 센서는 미리 행해진 학습에 의해 신호 처리에 대응하는 배치 상태로 되는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

본 발명의 제3 신호 처리 장치는, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 수단과, 센서 수단의 특성을 제어하는 제어 수단과, 제어 수단에서 제어된 특성의 센서 수단의 출력에 대한 신호 처리의 결과를 평가하는 평가 수단과, 평가 수단에서의 평가 결과에 따라, 센서 수단의, 신호 처리에 대응하는 특성을 결정하고, 그 특성의 정보를 출력하는 결정 수단을 구비하는 것을 특징으로 한다.

본 발명의 제3 신호 처리 방법은, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 단계와, 센서 수단의 특성을 제어하는 제어 단계와, 제어 단계에서 제어된 특성의 센서 수단의 출력에 대한 신호 처리의 결과를 평가하는 평가 단계와, 평가 단계에서의 평가 결과에 따라, 센서 수단의, 신호 처리에 대응한 특성을 결정하고, 그 특성의 정보를 출력하는 결정 단계를 구비하는 것을 특징으로 한다.

본 발명의 제3 프로그램은, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 단계 와, 센서 수단의 특성을 제어하는 제어 단계와, 제어 단계에서 제어된 특성의 센서 수단의 출력에 대한 신호 처리의 결과를 평가하는 평가 단계와, 평가 단계에서의 평가 결과에 따라, 센서 수단의, 신호 처리에 대응한 특성을 결정하고, 그 특성의 정보를 출력하는 결정 단계를 구비하는 것을 특징으로 한다.

본 발명의 제3 기록 매체는, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호에 대해서 신호 처리를 행하는 신호 처리 단계와, 센서 수단의 특성을 제어하는 제어 단계와, 제어 단계에서 제어된 특성의 센서 수단의 출력에 대한 신호 처리의 결과를 평가하는 평가 단계와, 평가 단계에서의 평가 결과에 따라, 센서 수단의, 신호 처리에 대응한 특성을 결정하고, 그 특성의 정보를 출력하는 결정 단계를 구비하는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

본 발명의 제4 신호 처리 장치는, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 수단과, 제1 및 제2 센서의 배치 상태를 제어하는 제어 수단과, 제어 수단에서 제1 및 제2 센서의 배치 상태가 제어된 센서 수단의 출력에 대한 신호 처리에 의해 얻어지는 제2 디지털 화상 신호를 평가하는 평가 수단과, 평가 수단에서의 평가 결과에 따라, 신호 처리에 대응한 제1 또는 제2 센서의 배치 상태를 결정하고, 그 배치 상태의 정보를 출력하는 결정 수단을 구비하는 것을 특징으로 한다.

본 발명의 제4 신호 처리 방법은, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 단계와, 제1 및 제2 센서의 배치 상태를 제어하는 제어 단계와, 제어 단계에서 제1 및 제2 센서의 배치 상태가 제어된 센서 수단의 출력에 대한 신호 처리에 의해 얻어지는 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계에서의 평가 결과에 따라, 신호 처리에 대응하는 제1 또는 제2 센서의 배치 상태를 결정하고, 그 배치 상태의 정보를 출력하는 결정 단계를 구비하는 것을 특징으로 한다.

본 발명의 제4 프로그램은, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 단계와, 제1 및 제2 센서의 배치 상태를 제어하는 제어 단계와, 제어 단계에서 제1 및 제2 센서의 배치 상태가 제어된 센서 수단의 출력에 대한 신호 처리에 의해 얻어지는 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계에서의 평가 결과에 따라, 신호 처리에 대응하는 제1 또는 제2 센서의 배치 상태를 결정하고, 그 배치 상태의 정보를 출력하는 결정 단계를 구비하는 것을 특징으로 한다.

본 발명의 제4 기록 매체는, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 단계와, 제1 및 제2 센서의 배치 상태를 제어하는 제어 단계와, 제어 단계에서 제1 및 제2 센서의 배치 상태가 제어된 센서 수단의 출력에 대한 신호 처리에 의해 얻어지는 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계에서의 평가 결과에 따라, 신호 처리에 대응하는 제1 또는 제2 센서의 배치 상태를 결정하고, 그 배치 상태의 정보를 출력하는 결정 단계를 구비하는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

본 발명의 제1 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 있어서는, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단이 출력하는 신호에 대해 신호 처리가 행해진다. 이 경우에 있어서, 센서 수단은 신호 처리에 대응하는 특성으로 설정되어 있다.

본 발명의 제2 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 있어서는, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리가 행해지고, 제2 디지털 화상 신호가 출력된다. 이 경우에 있어서, 제1 및 제2 센서는 미리 행해진 학습에 의해 신호 처리에 대응하는 배치 상태로 되어 있다.

본 발명의 제3 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 있어서는, 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 센서 수단 이 출력하는 신호에 대해서, 신호 처리가 행해지는 한편, 센서 수단의 특성이 제어되어 그 제어된 특성의 센서 수단의 출력에 대한 신호 처리의 결과가 평가된다. 그리고, 그 평가 결과에 따라, 센서 수단의, 신호 처리에 대응한 특성이 결정되어 그 특성의 정보가 출력된다.

본 발명의 제4 신호 처리 장치 및 신호 처리 방법, 및 프로그램 및 기록 매체에 있어서는, 광을 감지하고, 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 신호 처리가 행해지고, 제2 디지털 화상 신호가 출력되는 한편, 제1 및 제2 센서의 배치 상태가 제어되어 그 배치 상태가 제어된 센서 수단의 출력에 대한 신호 처리에 의해 얻어지는 제2 디지털 화상 신호가 평가된다. 그리고, 그 평가 결과에 따라, 신호 처리에 대응하는 제1 또는 제2 센서의 배치 상태가 결정되어 그 배치 상태의 정보가 출력된다.

본 발명의 제5 신호 처리 장치는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 수단과, 제2 디지털 화상 신호를 평가하는 평가 수단과, 평가 수단의 평가에 대응하여 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 수단을 구비하는 것을 특징으로 한다.

본 발명의 제5 신호 처리 방법은, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출 력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계의 평가에 대응하여 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 단계를 구비하는 것을 특징으로 한다.

본 발명의 제5 프로그램은, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계의 평가에 대응하여 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 단계를 구비하는 것을 특징으로 한다.

본 발명의 제5 기록 매체는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계의 평가에 대응하여 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 단계를 구비하는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

본 발명의 제6 신호 처리 장치는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단에서의 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 소정 파라미터에 대응하여 제어 하는 제어 수단과, 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 수단을 구비하는 것을 특징으로 한다.

본 발명의 제6 신호 처리 방법은, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단에서의 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 소정 파라미터에 대응하여 제어하는 제어 단계와, 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계를 구비하는 것을 특징으로 한다.

본 발명의 제6 프로그램은, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단에서의 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 소정 파라미터에 대응하여 제어하는 제어 단계와, 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계를 구비하는 것을 특징으로 한다.

본 발명의 제6 기록 매체는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단에서의 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 소정 파라미터에 대응하여 제어하는 제어 단계와, 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력 하는 화상 변환 단계를 구비하는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

본 발명의 제7 신호 처리 장치는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 수단과, 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 수단과, 제2 디지털 화상 신호를 평가하는 평가 수단과, 평가 수단의 평가에 대응하여 소정 파라미터와 제1 또는 제2 센서의 배치 상태를 대응시켜 기억하는 기억 수단을 구비하는 것을 특징으로 한다.

본 발명의 제7 신호 처리 방법은, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 단계와, 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계의 평가에 대응하여 소정 파라미터와 제1 또는 제2 센서의 배치 상태를 대응시켜 기억하는 기억 단계를 구비하는 것을 특징으로 한다.

본 발명의 제7 프로그램은, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부 터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 단계와, 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계의 평가에 대응하여 소정 파라미터와 제1 또는 제2 센서의 배치 상태를 대응시켜 기억하는 기억 단계를 구비하는 것을 특징으로 한다.

본 발명의 제7 기록 매체는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태를 제어하는 제어 단계와, 제2 디지털 화상 신호를 평가하는 평가 단계와, 평가 단계의 평가에 대응하여 소정 파라미터와 제1 또는 제2 센서의 배치 상태를 대응시켜 기억하는 기억 단계를 구비하는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

본 발명의 제5 신호 처리 장치 및 신호 처리 방법, 프로그램, 및 기록 매체에 있어서는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리가 행해지고, 제2 디지털 화상 신호가 출력된다. 또한, 제2 디지털 화상 신호가 평가되고, 그 평가에 대응하여 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태가 제어된다.

본 발명의 제6 신호 처리 장치 및 신호 처리 방법, 프로그램, 및 기록 매체에 있어서는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단에서의 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태가 소정 파라미터에 대응하여 제어되는 동시에, 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리가 행해져서 제2 디지털 화상 신호가 출력된다.

본 발명의 제7 신호 처리 장치 및 신호 처리 방법, 프로그램, 및 기록 매체에 있어서는, 화상 신호의 제1 성분을 취득하는 제1 센서와 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 소정 파라미터에 대응하는 화상 변환 처리가 행해져서 제2 디지털 화상 신호가 출력된다. 또한, 제1 또는 제2 센서 중 적어도 한쪽의 배치 상태가 제어되는 동시에, 제2 디지털 화상 신호가 평가되고, 그 평가에 대응하여 소정 파라미터와 제1 또는 제2 센서의 배치 상태를 대응시켜 기억된다.

본 발명의 촬상 장치는, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 수단과, 소정 영역의 제1 디지털 화상 신호를 평가하는 평가 수단을 구비하고, 센서 수단의, 소정 영역의 디지털 화상 신호에 대응하는 부분을, 평가 수단에서의 평가에 따른 성능으로 변화시키는 것을 특징으로 한다.

본 발명의 제8 신호 처리 장치는, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출 력하는 화상 변환 수단과, 소정 영역의 제1 디지털 화상 신호를 평가하는 평가 수단을 구비하고, 센서 수단의, 소정 영역의 제1 디지털 화상 신호에 대응하는 부분을, 평가 수단에서의 평가에 따른 성능으로 변화시키는 것을 특징으로 한다.

본 발명의 제8 신호 처리 방법은, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 소정 영역의 제1 디지털 화상 신호를 평가하는 평가 단계를 구비하고, 센서 수단의, 소정 영역의 제1 디지털 화상 신호에 대응하는 부분을, 평가 단계에서의 평가에 따른 성능으로 변화시키는 것을 특징으로 한다.

본 발명의 제8 프로그램은, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 소정 영역의 제1 디지털 화상 신호를 평가하는 평가 단계를 구비하고, 센서 수단의, 소정 영역의 제1 디지털 화상 신호에 대응하는 부분을, 평가 단계에서의 평가에 따른 성능으로 변화시키는 것을 특징으로 한다.

본 발명의 제8 기록 매체에는, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대해서, 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 단계와, 소정 영역의 제1 디지털 화상 신호를 평가하는 평가 단계를 구비하고, 센서 수단의, 소정 영역의 제1 디지털 화상 신호에 대응하는 부분을, 평가 단계에서의 평가에 따른 성능으로 변화시키는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있다.

상술한 발명에 있어서는, 센서 수단의 출력으로부터 얻어지는 제1 디지털 화 상 신호에 대해서, 화상 변환 처리가 행해지고 제2 디지털 화상 신호가 출력된다. 한편, 소정 영역의 제1 디지털 화상 신호가 평가되어, 센서 수단의, 소정 영역의 제1 디지털 화상 신호에 대응하는 부분이, 그 소정 영역의 제1 디지털 화상 신호의 평가에 따른 성능으로 변화한다.

본 발명의 제9 신호 처리 장치는, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하는 클래스 분류 수단과, 제1 화상 신호의 레벨 분포에 따라 촬상 수단을 제어하는 제어 수단과, 학습에 의해 획득된 클래스마다의 탭 계수를 출력하는 탭 계수 출력 수단과, 제어 수단에서 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류 수단에서 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호를 구하는 연산 수단을 구비하는 것을 특징으로 한다.

본 발명의 제10 신호 처리 장치는, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하는 클래스 분류 수단과, 제1 화상 신호의 액티비티를 검출하는 액티비티 검출 수단과, 제1 화상 신호의 액티비티에 따라 촬상 수단을 제어하는 제어 수단과, 학습에 의해 획득된 클래스마다의 탭 계수를 출력하는 탭 계수 출력 수단과, 제어 수단에서 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류 수단에서 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호를 구하는 연산 수 단을 구비하는 것을 특징으로 한다.

본 발명의 제11 신호 처리 장치는, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하는 클래스 분류 수단과, 제2 화상 신호의 해상도를 나타내는 파라미터를 출력하는 파라미터 출력 수단과, 파라미터에 따라 촬상 수단을 제어하는 제어 수단과, 학습에 의해 획득된 계수 종류 데이터와 파라미터로부터 클래스마다의 탭 계수를 생성하는 탭 계수 생성 수단과, 제어 수단에서 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류 수단에서 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호를 구하는 연산 수단을 구비하는 것을 특징으로 한다.

본 발명의 제9 신호 처리 방법은, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하는 클래스 분류 단계와, 제1 화상 신호의 레벨 분포에 따라 촬상 수단을 제어하는 제어 단계와, 학습에 의해 획득된 클래스마다의 탭 계수를 출력하는 탭 계수 출력 단계와, 제어 단계에서 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류 단계에서 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호를 구하는 연산 단계를 구비하는 것을 특징으로 한다.

본 발명의 제10 신호 처리 방법은, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화 상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하는 클래스 분류 단계와, 제1 화상 신호의 액티비티를 검출하는 액티비티 검출 단계와, 제1 화상 신호의 액티비티에 따라 촬상 수단을 제어하는 제어 단계와, 학습에 의해 획득된 클래스마다의 탭 계수를 출력하는 탭 계수 출력 단계와, 제어 단계에서 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류 단계에서 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호를 구하는 연산 단계를 구비하는 것을 특징으로 한다.

본 발명의 제11 신호 처리 방법은, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하는 클래스 분류 단계와, 제2 화상 신호의 해상도를 나타내는 파라미터를 출력하는 파라미터 출력 단계와, 파라미터에 따라 촬상 수단을 제어하는 제어 단계와, 학습에 의해 획득된 계수 종류 데이터와 파라미터로부터 클래스마다의 탭 계수를 생성하는 탭 계수 생성 단계와, 제어 단계에서 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류 단계에서 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호를 구하는 연산 단계를 구비하는 것을 특징으로 한다.

본 발명의 제9 신호 처리 장치 및 신호 처리 방법에 있어서는, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류가 행해지고, 제1 화상 신호의 레벨 분포에 따라 촬상 수단이 제 어된다. 또한, 학습에 의해 획득된 클래스마다의 탭 계수가 출력되어 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류에 의해 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호가 요구된다.

본 발명의 제10 의 신호 처리 장치 및 신호 처리 방법에 있어서는, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 한다. 또한, 제1 화상 신호의 액티비티가 검출되어 그 액티비티에 따라 촬상 수단이 제어된다. 그리고, 학습에 의해 획득된 클래스마다의 탭 계수가 출력되며, 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류에 의해 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호가 요구된다.

본 발명의 제11 신호 처리 장치 및 신호 처리 방법에 있어서는, 피사체로부터의 광인 피사체 광을 화상 신호로 변환하는 촬상 수단이 출력하는 제1 화상 신호의 레벨 분포에 따라, 제2 화상 신호를, 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 한다. 또한, 제2 화상 신호의 해상도를 나타내는 파라미터가 출력되고 그 파라미터에 따라 촬상 수단이 제어된다. 또, 학습에 의해 획득된 계수 종류 데이터와 파라미터로부터 클래스마다의 탭 계수가 생성된다. 그리고, 제어된 촬상 수단이 출력하는 제1 화상 신호와, 클래스 분류에 의해 얻어진 클래스의 탭 계수를 사용하는 연산을 행함으로써, 제2 화상 신호가 요구된다.

이하 본 발명의 실시예를 설명한다.

도 1은 본 발명을 적용한 촬상 장치의 일실시예의 구성예를 나타내고 있다.

도 1의 촬상 장치는, 예를 들면 디지털 스틸카메라나 디지털 비디오카메라 등에 적용할 수 있다. 여기서, 도 1의 촬상 장치는, 예를 들어 디지털 비디오 카메라인 것으로 한다.

센서부(1)는 화소에 대응하는 복수개의 광전 변환 소자를 가지며, 입사하는 피사체 광을 감지하고, 그 피사체 광에 대응하는 화상 신호를 출력한다. 즉, 센서부(1)는 피사체 광을 수광하고, 그 수광량에 대응하는 전기 신호로서의 화상 신호를 신호 조정부(2)에 공급한다.

신호 조정부(2)는 센서부(1)로부터 출력되는 화상 신호에 포함되는, 이른바 리셋 노이즈를 제거하기 위한 CDS(Correlated Double Sampling)처리를 행하고, 그 처리의 결과 얻어지는 화상 신호를, A/D(Analog/Digital) 변환부(3)에 공급한다. A/D 변환부(3)는 신호 조정부(2)로부터 공급되는 화상 신호를 A/D(아날로그-디지털) 변환하고, 즉 화상 신호를 샘플링 처리하여 양자화하고, 그 결과 얻어지는 디지털 화상 신호를 신호 처리부(4)에 공급한다.

신호 처리부(4)는 A/D 변환부(3)로부터의 디지털 화상 신호(이하, 적절하고 간단하게, 화상 신호라고도 함)를 제1 화상 신호로서 제1 화상 신호에 대해서 소정 화상 변환 처리를 행하고, 그 결과 얻어지는 디지털 화상 신호를 제2 화상 신호로서 출력부(5)에 출력한다.

출력부(5)는 신호 처리부(4)가 출력하는 제2 화상 신호를 수신하여 출력한다. 즉, 출력부(5)는 신호 처리부(4)로부터의 제2 화상 신호를, 도시하지 않는 외 부 단자로부터 출력하거나, 도시하지 않는 모니터에 표시한다. 또, 출력부(5)는 제2 화상 신호를 광디스크, 자기 디스크, 광자기 디스크, 자기테이프, 반도체 메모리 등의 도시하지 않는 기록 매체에 기록하거나, 전화 회선, 인터넷, LAN, 기타 유선 또는 무선의 전송 매체를 통하여 송신한다.

이상과 같이 구성되는 촬상 장치에서는, 센서부(1)에 있어서, 피사체 광이 수광되고 그 수광량에 대응하는 전기 신호로서의 화상 신호가 신호 조정부(2) 및 A/D 변환부(3)를 통하여 신호 처리부(4)에 공급된다. 신호 처리부(4)는 센서부(1)로부터 신호 조정부(2) 및 A/D 변환부(3)를 통하여 공급되는 화상 신호를 제1 화상 신호로서, 그 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리 등의 신호 처리를 행하고, 그 결과 얻어지는 화질이 개선된 제2 화상 신호를, 출력부(5)에 출력한다. 출력부(5)에서는 신호 처리부(4)로부터 공급되는 제2 화상 신호가 출력된다.

여기서, 센서부(1)는 신호 처리부(4)로 행해지는 신호 처리에 대응하는 특성, 즉 신호 처리부(4)에서 행해지는 신호 처리에 있어서 센서부(1)로부터 적절한 화상 신호가 출력되는 특성으로 설정되어 있다.

즉, 센서부(1)는, 예를 들면 3판식의 센서 수단이며, 화상 신호의 R, G, B 각각의 성분을 취득하는 3개의 센서(후술하는 도 3의 R수광부(23R), G수광부(23G), B수광부(23B))로 구성된다. 따라서, 센서부(1)는 1 화소에 대해, R신호, G신호, B신호의 3성분을 가지는 화상 신호를 출력한다. 그리고, 후술하는 학습에 의해, 신호 처리부(4)로 행해지는 신호 처리에 있어서, 센서부(1)가 적절한 화상 신호를 출 력할 때의 센서부(1)의 특성 정보가, 미리 요구되어 있어 센서부(1)는 그와 같은 특성으로 설정되어 있다. 구체적으로, 센서부(1)의 특성으로서, 예를 들면 센서부(1)가 가지는 3개 센서의 1 이상의 배치 상태가, 신호 처리부(4)에서 행해지는 신호 처리에 있어, 센서부(1)가 적절한 화상 신호를 출력하는 상태, 즉 신호 처리부(4)에서 행해지는 신호 처리에 대응하는 배치 상태로 설정되어 있다. 여기에서, 센서의 배치 상태에는 센서의 배치 위치와 센서의 위치(회전 상태)가 포함된다. 단, 본 실시예에서는 설명을 간단하게 하기 위해, 센서부(1)의 특성으로서 센서부(1)가 가지는 센서의 배치 위치를 채용하는 것으로 한다. 그리고, 센서의 위치도 센서부(1)의 특성으로서 채용하는 것이 가능하다.

이상과 같이, 센서부(1)는 신호 처리부(4)의 신호 처리에 대응하는 특성으로 설정되어 있으므로, 센서부(1)로부터 신호 처리부(4)의 신호 처리에 적절한 화상 신호가 출력된다. 따라서, 신호 처리부(4)에 있어서, 그 화상 신호를 신호 처리함으로써 고화질의 화상 신호를 얻을 수 있다.

도 2는, 도 1의 신호 처리부(4) 및 출력부(5)의 구성예를 나타내고 있다.

신호 처리부(4)는 3개의 신호 처리부(11R, 11G, 11B)로 구성되어 있다.

신호 처리부(11R)는 A/D 변환부(3)로부터 공급되는 R, G, B신호를 가지는 제1 화상 신호를 수신하고, 그 제1 화상 신호에 신호 처리를 행하는 것으로, 제2 화상 신호의 R신호(성분)를 얻어 출력부(5)에 공급한다.

신호 처리부(11G)는 A/D 변환부(3)로부터 공급되는 R, G, B신호를 가지는 제1 화상 신호를 수신하고, 그 제1 화상 신호에 신호 처리를 행하는 것으로, 제2 화 상 신호의 G신호(성분)를 얻어 출력부(5)에 공급한다.

신호 처리부(11B)는 A/D 변환부(3)로부터 공급되는 R, G, B신호를 가지는 제1 화상 신호를 수신하고, 그 제1 화상 신호에 신호 처리를 행하는 것으로, 제2 화상 신호의 B신호(성분)를 얻어 출력부(5)에 공급한다.

출력부(5)는 출력부(12R, 12G, 12B)로 구성되어 있다. 출력부(12R, 12G, 12B)는 신호 처리부(11R, 11G, 11B)가 출력하는 제2 화상 신호의 R신호, G신호, B신호를 각각 수신하여 출력한다.

그리고, 이하 적당하게 신호 처리부(11R, 11G 또는 11B)를 신호 처리부(11)라고도 한다.

다음에, 도 3은 도 2(도 1)의 센서부(1)의 구성예를 나타내고 있다.

피사체 광은 렌즈(21)에 입사하고, 렌즈(21)는 그 피사체 광을 프리즘(22)을 통하여 R수광부(23R), G수광부(23G) 및 B수광부(23B) 상에 각각 집광시킨다.

즉, 렌즈(21)에 입사한 피사체 광은 프리즘(22)으로 출사된다. 프리즘(22)은 렌즈(21)로부터의 피사체 광을 R, G, B의 광으로 분광하고, 그 R, G, B의 광을 R수광부(23R), G수광부(23G), B수광부(23B)가 배치되어 있는 방향으로 출사한다.

R수광부(23R), G수광부(23G), B수광부(23B)는, 예를 들면 포토다이오드 등의 광전변환 소자로 구성되며, 프리즘(22)으로부터 R, G, B의 광을 수광함으로써, 그 수광량에 대응하는 전기 신호로서의 R신호, G신호, B신호를 취득하여 신호 조정부(2)에 출력한다.

여기서, R수광부(23R), G수광부(23G), 및 B수광부(23B)로서는, 예를 들어 CCD(Charge Coupled Device)를 채용할 수 있다. 단, R수광부(23R), G수광부(23G), 및 B수광부(23B)는 CCD로 한정되는 것이 아니고, CMOS(Complementary Metal Oxide Semiconductor) 센서나, a-Se(비정질 셀레늄(Amorphous Selenium)) 반도체의 광도전 타겟내에서 생기는 전자사태 증배현상을 이용한 촬상관인 HARP(High Gain Avalanche Rushing Amorphous Photoconductor) 등으로 하는 것도 가능하다.

이상과 같이 구성되는 센서부(1)에서는, R수광부(23R), G수광부(23G), B수광부(23B)의 배치 위치가, 신호 처리부(4)(신호 처리부 11R, 11G 및 11B)의 신호 처리에 있어, 적절한 화상 신호(이것의 R, G, B신호)가 출력되는 위치로 설정되어 있다. 즉, R수광부(23R), G수광부(23G), B수광부(23B)는 신호 처리부(4)의 신호 처리에 대응하는 위치에 배치되어 있다. 여기서, 신호 처리부(4)의 신호 처리에 대응하는 R수광부(23R), G수광부(23G), B수광부(23B)의 배치 위치는, 예를 들면 후술하는 학습이 행해지는 것에 의해 미리 요구된다.

그리고, 여기서는 설명을 간단하게 하기 위해 R수광부(23R)의 전체의 배치 위치가 학습에 의해 요구된 위치로 설정되어 있는 것으로 한다. 마찬가지로, G수광부(23G)와 B수광부(23B)에 대하여도, 각각의 전체의 배치 위치가 학습에 의해 요구된 위치로 설정되어 있는 것으로 한다. 단, 예를 들어 MEMS(Micro-Electro-Mechanical Systems)기술을 이용함으로써, R수광부(23R)로서 화소의 배치 위치를 실질적으로 변화(이동)시킬 수 있는 것을 채용하여, 신호 처리부(4)의 신호 처리에 대응하는 R수광부(23R)의 각각의 화소의 배치 위치를, 학습에 의해 미리 구하고, R수광부(23R)의 개개의 화소를 학습에 의해 요구한 위치에 배치하는 것도 가능하다. G수광부(23G) 및 G제어부(24G)에 대하여도 마찬가지이다.

다음에, 도 4는 도 2의 신호 처리부(11)의 구성예를 나타내고 있다.

신호 처리부(11R, 11G 및 11B)에는, 센서부(1)가 출력하는 화상 신호가 신호 조정부(2) 및 A/D 변환부(3)를 통하여 제1 화상 신호로서 공급된다.

신호 처리부(11R)는 화상 변환부(31R)로 구성되어 있다. 신호 처리부(11R)에 공급되는 제1 화상 신호는 화상 변환부(31R)에 공급된다. 화상 변환부(31R)는 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 행하고, 그 결과 얻어지는, 화질이 개선된 R의 디지털 화상 신호를 제2 화상 신호의 R 신호로서 출력부(5)에 공급한다.

신호 처리부(11G)는, 화상 변환부(31G)로 구성되어 있다. 신호 처리부(11G)에 공급되는 제1 화상 신호는 화상 변환부(31G)에 공급된다. 화상 변환부(31R)는 제1 화상 신호에 대해서, 예를 들어 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 행하고, 그 결과 얻어지는, 화질이 개선된 G의 디지털 화상 신호를 제2 화상 신호의 G 신호로서 출력부(5)에 공급한다.

신호 처리부(11B)는 화상 변환부(31B)와 화상 기억부(32B)로 구성되어 있다. 신호 처리부(11B)에 공급되는 제1 화상 신호는 화상 변환부(31B)에 공급된다. 화상 변환부(31B)는 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 가해, 그 결과 얻어지는, 화질이 개선된 B의 디지털 화상 신호를 제2 화상 신호의 B 신호로서 출력부(5)에 공급한다.

그리고, 화상 변환부(31R, 31G, 31B) 각각은 동일하게 구성되어 있고, 이하, 적절하게 화상 변환부(31R, 31G, 또는 31B)를 화상 변환부(31)라고도 한다.

다음에, 도 5의 흐름도를 참조하여, 도 2(도 1)의 촬상 장치의 동작에 대하여 설명한다.

촬상 장치에서는, 먼저 단계 S1에 있어서, 신호 처리부(4)가 신호 처리의 대상으로 하는 제1 화상 신호를 센서부(1)로부터 취득한다. 즉, 단계 S1에서는, 센서부(1)가 피사체 광을 수광하고, 광전 변환을 행함으로써, 전기 신호로서의 화상 신호를 취득하여(피사체를 촬상하여), 신호 조정부(2)에 공급한다. 신호 조정부(2)는 센서부(1)로부터 공급되는 화상 신호에 대해서, CDS 처리를 가해, A/D 변환부(3)에 공급한다. A/D 변환부(3)는 신호 조정부(2)로부터 공급되는 화상 신호를 A/D 변환하고, 제1 화상 신호로서 신호 처리부(4)에 공급하며, 이로써 신호 처리부(4)는 제1 화상 신호를 취득하여 단계 S1로부터 S2로 진행하게 된다.

단계 S2에서는, 신호 처리부(4)에 있어서, 신호 처리부(11)(도 4)의 화상 변환부(31)가 A/D 변환부(3)로부터 공급된 제1 화상 신호에 대해서, 신호 처리로서의 화상변환 처리를 행하여, 제1 화상 신호보다 화질이 개선된 제2 화상 신호를 얻어, 단계 S3으로 진행하게 된다.

단계 S3에서는, 신호 처리부(11)가 단계 S2에서 얻은 제2 화상 신호를 출력부(5)에 출력하여, 1 프레임(또는 1 필드)의 화상에 대한 처리를 종료한다.

촬상 장치에서는, 도 5의 흐름도에 따른 처리가, 예를 들면 사용자에 의해 촬상의 정지가 지시될 때까지 반복하여 행해진다.

전술한 바와 같이, 센서부(1)(도 3)의 R수광부(23R), G수광부(23G), B수광부 (23B)의 배치 위치는 신호 처리부(4)(신호 처리부 11R, 11G 및 11B)의 신호 처리에 있어, 적절한 화상 신호(의 R, G, B신호)가 출력되는 위치로 설정되어 있다. 즉, R수광부(23R), G수광부(23G), B수광부(23B)는 신호 처리부(4)의 신호 처리에 대응하는 위치에 배치되어 있다. 따라서, 센서부(1)로부터는 신호 처리부(4)의 신호 처리에 있어 적절한 화상 신호가 출력되므로, 신호 처리부(4)에 있어서, 그 화상 신호를 신호 처리함으로써 고화질의 화상 신호를 얻을 수 있다.

다음에, 도 6은 도 4의 화상 변환부(31)의 구성예를 나타내는 블록도이다.

화상 변환부(31)는 공급되는 제1 화상 신호에 대해서, 화상 변환 처리를 가해, 그 화상 변환 처리에 의해 얻어지는 제2 화상 신호를 출력한다.

여기서, 예를 들면 제1 화상 신호를 저해상도의 화상 신호로 하는 것과 동시에, 제2 화상 신호를 고해상도의 화상 신호로 하면, 화상 변환 처리는 해상도를 향상시키는 해상도 향상 처리라고 하는 것이 가능하게 된다. 또, 예를 들면 제1 화상 신호를 낮은 S/N(Signal/Noise)의 화상 신호로 하는 동시에 제2 화상 신호를 높은 S/N의 화상 신호로 하면, 화상 변환 처리는 노이즈를 제거하는 노이즈 제거 처리라고 할 수 있다. 또한, 예를 들면 제1 화상 신호를 소정 사이즈의 화상 신호로하고 제2 화상 신호를 제1 화상 신호의 사이즈를 크게 또는 작게 한 화상 신호로 하면, 화상 변환 처리는 화상의 리사이즈(확대 또는 축소)를 행하는 리사이즈(크기 재설정) 처리라고 할 수 있다.

화상 변환부(31)에 있어서는, 화상 변환 처리의 대상인 제1 화상 신호가 예측 탭 추출부(121) 및 특징 추출부(122)에 공급된다.

예측 탭 추출부(121)는 제2 화상 신호를 구성하는 화소를 순차적으로 주목 화소(注目畵素)로 하고, 또한 그 주목 화소(pixel of interest)의 화소값을 예측하는데 사용하는 제1 화상 신호를 구성하는 화소(또는 화소값)의 몇 개를 예측 탭으로서 추출한다.

구체적으로는, 예측 탭 추출부(121)는 주목 화소에 대응하는 제1 화상 신호의 화소(예를 들면, 주목 화소에 대해 공간적 및 시간적으로 가장 가까운 위치에 있는 제1 화상 신호의 화소)에 대해서 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소를, 제1 화상 신호로부터 예측 탭으로서 추출한다. 그리고, 예측 탭 추출부(121)는 주목 화소에 대한 예측 탭을 연산부(125)에 공급한다.

특징 추출부(122)는 주목 화소의 특징을 제1 화상 신호를 사용하여 추출하고 클래스 분류부(123)에 공급한다. 여기서, 주목 화소의 특징으로서는, 예를 들어 주목 화소에 대응하는 제1 화상 신호의 화소에 대해서, 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소의 화소값(제1 화상 신호)의 레벨 분포 등을 채용할 수 있다.

클래스 분류부(123)는 특징 추출부(122)로부터의 주목 화소의 특징에 근거하여, 주목 화소를 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 계수 출력부(124)에 공급한다. 즉, 클래스 분류부(123)는 주목 화소의 특징이 스칼라량으로 표현되는 경우, 그 스칼라량이나 그 스칼라량을 양자화해 얻어지는 양자화값을 클래스 코드로서 출력한다. 또, 주목 화소의 특징이 복수의 성분으로 이루어지는 벡터량으로 표현되는 경우, 클래스 분류부(123)는 그 벡터량을 벡터 양자화해 얻어지는 값이나, ADRC(Adaptive Dynamic Range Coding)를 행함으로써 얻어지는 값을 클래스 코드로서 출력한다.

여기서, K비트 ADRC에 있어서, 예를 들면 주목 화소의 특징을 나타내는 벡터량을 구성하는 성분의 최대값 MAX와 최소값 MIN가 검출되어 DR=MAX-MIN를, 집합의 국부적인 다이나믹 레인지로하고, 이 다이나믹 레인지(DR)에 따라, 주목 화소의 특징을 구성하는 성분이 K비트로 재양자화된다. 즉, 주목 화소의 특징을 구성하는 각 성분으로부터, 최소값 MIN가 감산되어 그 감산값이 DR/2^K 로 제산(양자화)된다. 그리고, 이상과 같이 하여 얻어지는, 주목 화소의 특징을 구성하는 K비트의 각 성분을 소정 순번으로 배열된 비트열이 ADRC 코드로서 출력된다. 따라서, 주목 화소의 특징을 나타내는 벡터량이, 예를 들면 1 비트 ADRC 처리되었을 경우에는, 그 주목 화소의 특징을 구성하는 각 성분은 최대값 MAX와 최소값 MIN와의 평균값으로 제산되고(소수점 이하 잘라 버리고), 이로써 각 성분이 1 비트(2치화)로 된다. 그리고, 그 1 비트의 성분을 소정 순번으로 배열한 비트열이, ADRC 코드로서 출력된다. 클래스 분류부(123)는, 예를 들면 주목 화소의 특징을 ADRC 처리하여 얻어지는 ADRC 코드를 클래스 코드로서 출력한다.

계수 출력부(124)는 클래스마다의 탭 계수를 기억하고, 또 그 기억한 탭 계수 중의 클래스 분류부(123)로부터 공급되는 클래스 코드의 클래스의 탭 계수를 연산부(125)에 출력한다.

여기서, 탭 계수란 디지털 필터에서의, 이른바 탭에서 입력 데이터와 승산되는 계수에 상당하는 것이다.

연산부(125)는 예측 탭 추출부(121)가 출력하는 예측 탭과 계수 출력부(124)가 출력하는 탭 계수를 취득하고, 그 예측 탭과 탭 계수를 사용하여, 주목 화소의 참값의 예측값을 구하는 소정의 예측 연산을 행한다. 이로써, 연산부(125)는 주목 화소의 화소값(또는 화소값의 예측값), 즉 제2 화상 신호를 구성하는 화소의 화소값을 요구해 출력한다.

다음에, 도 7은 도 6의 계수 출력부(124)의 구성예를 나타내고 있다.

도 7에 있어서, 계수 출력부(124)는 계수 메모리(181)로 구성되어 있다.

계수 메모리(181)는 후술하는 학습에 의해 미리 요구된 클래스마다의 탭 계수를 기억하고 있다. 그리고, 계수 메모리(181)는 클래스 분류부(123)로부터 클래스 코드가 주어지면, 그 클래스 코드의 클래스의 탭 계수를 판독하고, 연산부(125)에 공급한다.

다음에, 도 6의 연산부(125)에서의 예측 연산과 그 예측 연산에 이용되는, 도 7의 계수 메모리(181)에 기억되는 탭 계수의 학습에 대하여 설명한다.

고화질의 화상 신호(고화질 화상 신호)를 제2 화상 신호로 하고, 그 고화질 화상 신호를 LPF(저대역통과필터: Low Pass Filter)에 의해 필터링하는 등으로 하고 그 화질(해상도)을 저하시킨 저화질의 화상 신호(저화질 화상 신호)를 제1 화상 신호로서 저화질 화상 신호로부터 예측 탭을 추출하며, 그 예측 탭과 탭 계수를 사용하여, 고화질 화소의 화소값을, 소정 예측 연산에 의해 구하는(예측하는) 것을 고려한다.

소정 예측 연산으로서, 예를 들면 선형 1차 예측 연산을 채용하면, 고화질 화소의 화소값 y는 다음의 선형 1차식에 의해 구할 수 있게 된다.

다만, 수학식 1에 있어서, x_n은 고화질 화소 y에 대한 예측 탭을 구성하는, n번째의 저화질 화상 신호의 화소(이하, 적절히 저화질 화소라고 한다)의 화소값을 나타내며, w_n은, n번째의 저화질 화소(또는 화소의 화소값)와 승산되는 n번째의 탭 계수를 나타낸다.

그리고, 식 1에서는, 예측 탭이 N개의 저화질 화소 x₁, x₂, ···, x_N으로 구성되어 있다.

여기서, 고화질 화소의 화소값 y는 식 1에 나타낸 선형 1차식이 아니고, 2차 이상의 고차의 식에 의해 구하는 것도 가능하다.

제k 샘플의 고화질 화소의 화소값의 참값을 y_k로 나타내고, 식 1에 의해 얻어지는 그 참값 y_k의 예측값을 y_k＇로 나타내면, 그 예측 오차 e_k는 다음 식으로 표현된다.

식 2의 예측값 y_k＇는 식 1에 따라 구할 수 있기 때문에, 식 2의 y_k＇를 식 1에 따라 치환하면, 다음 식을 얻을 수 있다.

다만, 식 3에 있어서, x_n,k는, 제k 샘플의 고화질 화소에 대한 예측 탭을 구성하는 n번째의 저화질 화소를 나타낸다.

식 3(또는 식 2)의 예측 오차 e_k를 0으로 하는 탭 계수 w_n이 고화질 화소를 예측하는데 최적인 것으로 되지만, 모든 고화질 화소에 대하여, 그와 같은 탭 계수 w_n를 구하는 것은 일반적으로는 곤란하다.

그래서, 탭 계수 w_n이 최적인 것이라는 것을 나타내는 규범으로서, 예를 들면 최소자승법(Method of Least Squares)을 채용하는 것으로 하면, 최적인 탭 계수 wn은 다음 식으로 표현되는 자승 오차의 총합 E를 최소로하는 것으로 구할 수 있다.

다만, 식 4에 있어서, K는 고화질 화소 y_k와 그 고화질 화소 y_k에 대한 예측 탭을 구성하는 저화질 화소 x_1,k, x_2,k, ···, x_N,k의 세트의 샘플수(학습용의 샘플의 수)를 나타낸다.

식 4의 자승 오차의 총합 E의 최소값(극소값)은 식 5에 나타낸 바와 같이, 총합 E를 탭 계수 w_n으로 편미분 한 것을 0으로 하는 w_n에 의해 주어진다.

그래서, 전술한 식 3을 탭 계수 w_n으로 편미분 하면, 다음 식을 얻을 수 있다.

식 5와 6으로부터, 다음 식을 얻을 수 있다.

식 7의 e_k에, 식 3을 대입함으로써, 식 7은 식 8에 나타내는 정규 방정식(normal equation)으로 나타낼 수가 있다.

식 8의 정규 방정식은, 예를 들면 소거법(Gauss-Jordan의 소거법) 등을 사용함으로써, 탭 계수 w_n에 대하여 풀 수가 있다.

식 8의 정규 방정식을 클래스마다 세워 푸는 것으로, 최적인 탭 계수(여기서는, 자승 오차의 총합 E를 최소로하는 탭 계수) w_n을 클래스마다 구할 수 있다.

다음에, 도 8은 식 8의 정규 방정식을 세워 푸는 것으로 클래스마다의 탭 계수 w_n을 구하는 학습을 행하는 학습 장치의 구성예를 나타내고 있다.

학습 장치에는, 탭 계수 w_n의 학습에 이용되는 학습용 화상 신호가 입력되도록 되어 있다. 여기서, 학습용 화상 신호로서는, 예를 들면 해상도가 높은 고화질 화상 신호를 사용할 수 있다.

학습 장치에 있어서, 학습용 화상 신호는 교사 데이터 생성부(131)와 학생 데이터 생성부(133)에 공급된다.

교사 데이터 생성부(131)는 공급되는 학습용 화상 신호로부터 교사 데이터를 생성하여 교사 데이터 기억부(132)에 공급한다. 즉, 여기서 교사 데이터 생성부(131)는 학습용 화상 신호로서의 고화질 화상 신호를, 그대로 교사 데이터로서, 교사 데이터 기억부(132)에 공급한다.

교사 데이터 기억부(132)는 교사 데이터 생성부(131)로부터 공급되는 교사 데이터로서 고화질 화상 신호를 기억한다.

학생 데이터 생성부(133)는 학습용 화상 신호로부터 학생 데이터를 생성하여 학생 데이터 기억부(134)에 공급한다. 즉, 학생 데이터 생성부(133)는 학습용 화상 신호로서의 고화질 화상 신호를 필터링함으로써, 그 해상도를 저하시키는 것으로, 저화질 화상 신호를 생성하고, 이 저화질 화상 신호를 학생 데이터로서 학생 데이터 기억부(134)에 공급한다.

학생 데이터 기억부(134)는 학생 데이터 생성부(133)로부터 공급되는 학생 데이터를 기억한다.

예측 탭 추출부(135)는 교사 데이터 기억부(132)에 기억된 교사 데이터로서의 고화질 화상 신호를 구성하는 화소를, 순차적으로 주목 교사 화소로 하고, 그 주목 교사 화소에 대하여, 학생 데이터 기억부(134)에 기억된 학생 데이터로서의 저화질 화상 신호를 구성하는 저화질 화소 중의 소정의 화소를 추출함으로써, 도 6의 예측 탭 추출부(121)가 구성하는 것과 동일한 탭 구조의 예측 탭을 구성하고, 추가삽입부(38)에 공급한다.

특징 추출부(136)는 주목 교사 화소에 대하여 학생 데이터 기억부(134)에 기억된 학생 데이터로서의 저화질 화상 신호를 구성하는 저화질 화소를 사용하고, 도 6의 특징 추출부(122)에서의 경우와 같게 하여, 주목 교사 화소의 특징을 추출하여 클래스 분류부(137)에 공급한다.

클래스 분류부(137)는 특징 추출부(136)가 출력하는 주목 교사 화소의 특징에 근거하여, 도 6의 클래스 분류부(123)와 동일한 클래스 분류를 행하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 추가삽입부(138)에 출력한다.

추가삽입부(138)에는, 클래스 분류부(137)가 출력하는 주목 교사 화소에 대한 클래스 코드가 공급된다. 그리고, 추가삽입부(138)는 교사 데이터 기억부(132)로부터 주목 교사 화소를 판독하고, 그 주목 교사 화소라고 예측 탭 추출부(135)로부터 공급되는 주목 교사 화소에 대하여 구성된 예측 탭을 구성하는 학생 데이터를 대상으로 한 추가삽입을, 클래스 분류부(137)로부터 공급되는 클래스 코드마다 행한다.

즉, 추가삽입부(138)에는, 교사 데이터 기억부(132)에 기억된 교사 데이터 y_k, 예측 탭 추출부(135)가 출력하는 예측 탭 x_n,k, 클래스 분류부(137)가 출력하는 클래스 코드가 공급된다.

그리고, 추가삽입부(138)는 클래스 분류부(137)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측 탭(학생 데이터) x_n,k를 사용하고, 식 8)의 좌변의 행렬에서의 학생 데이터끼리의 승산(x_n,k x_n',k)과 합산(summation)(Σ)에 상당하는 연산을 행한다.

또한, 추가삽입부(138)는 클래스 분류부(137)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측 탭(학생 데이터)x_{n, k}와 교사 데이터 y_k를 사용하고, 식 8의 우변의 벡터에서의 학생 데이터 x_n,k 및 교사 데이터 y_k의 승산(x_n,k y_k)과 합산(Σ)에 상당하는 연산을 행한다.

즉, 추가삽입부(138)는 이전의 주목 교사 화소로 된 교사 데이터에 대하여 요구된 식 8에서의 좌변의 행렬의 요소(Σx_n,k x_n',k)와 우변의 벡터의 성분(Σx_n,k y_k)를, 그 내장하는 메모리(도시하지 않음)에 기억하고 있고, 그 행렬의 요소(Σx_n,k x_n',k) 또는 벡터의 성분(Σx_n,k y_k)에 대해서, 새롭게 주목 교사 화소로 된 교사 데이터에 대하여, 그 교사 데이터 y_k+1 및 학생 데이터 x_n,k+1을 사용하여 계산되는, 대응하는 성분 x_n,k+1 x_n',k+1 또는 x_n,k+1 y_k+1을 더하는 식 8의 합산으로 표현되는 가산을 행한다.

그리고, 추가삽입부(138)는 교사 데이터 기억부(132)에 기억된 교사 데이터 모든 것을 주목 교사 화소로서, 전술한 추가삽입을 행함으로써, 각 클래스에 대하여, 식 8에 나타낸 정규 방정식을 세우면, 그 정규 방정식을 탭 계수 산출부(139)에 공급한다.

탭 계수 산출부(139)는 추가삽입부(138)로부터 공급되는 각 클래스에 대한 정규 방정식을 푸는 것으로, 각 클래스에 대하여, 최적인 탭 계수 w_n을 요구해 출력 한다.

도 7의 계수 메모리(181)에는 도 8의 학습 장치로 요구되는 클래스마다의 탭 계수 w_m이 기억되어 있다.

그리고, 위와 같은 경우에, 학습용 화상 신호를 그대로 제2 화상 신호에 대응하는 교사 데이터로 하고 그 학습용 화상 신호의 해상도를 열화시킨 저화질 화상 신호를 제1 화상 신호에 대응하는 학생 데이터로서, 탭 계수의 학습을 행하도록 한 것으로부터, 탭 계수로서는 제1 화상 신호를 그 해상도를 향상시킨 제2 화상 신호로 변환하는 해상도 향상 처리로서의 화상 변환 처리를 행하는 것을 얻을 수 있다.

여기서, 제1 화상 신호에 대응하는 학생 데이터와, 제2 화상 신호에 대응하는 교사 데이터로 하는 화상 신호의 선택의 방법에 의해 탭 계수로서는 각종의 화상 변환 처리를 행하는 것을 얻을 수 있다.

즉, 예를 들면, 고화질 화상 신호를 교사 데이터로 하는 동시에 그 교사 데이터로서의 고화질 화상 신호에 대해서, 노이즈를 중첩한 화상 신호를 학생 데이터로서 학습 처리를 행함으로써, 탭 계수로서는 제1 화상 신호를 거기에 포함되는 노이즈를 제거(저감)한 제2 화상 신호로 변환하는 노이즈 제거 처리로서의 화상 변환 처리를 행하는 것을 얻을 수 있다.

또, 예를 들면 어느 화상 신호를 교사 데이터로 하는 동시에 그 교사 데이터로서의 화상 신호의 화소수를 선택제거한 화상 신호를 학생 데이터로서, 또는 소정 화상 신호를 학생 데이터로 하는 동시에 그 학생 데이터로서의 화상 신호의 화소를 소정의 선택제거율로 선택제거한 화상 신호를 교사 데이터로서 학습 처리를 행함으로써, 탭 계수로서는 제1 화상 신호를 확대 또는 축소한 제2 화상 신호로 변환하는 리사이즈(크기 재설정) 처리로서의 화상 변환 처리를 행하는 것을 얻을 수 있다. 그 외, 교사 데이터 및 학생 데이터로 하는 화상 신호를 소정의 것으로 함으로써, 탭 계수로서는 화소수의 변환이나 어스펙트비의 변환 그 외의 임의의 화상 변환을 행하는 것을 얻는 것이 가능하다.

다음에, 도 9의 흐름도를 참조하여, 도 8의 학습 장치의 처리(학습 처리)에 대하여 설명한다.

먼저, 단계 S51에 있어서, 교사 데이터 생성부(131)와 학생 데이터 생성부(133)가 학습용 화상 신호로부터 교사 데이터와 학생 데이터를 각각 생성하여 출력한다. 즉, 교사 데이터 생성부(131)는 학습용 화상 신호를 그대로 교사 데이터로서 출력한다. 또, 학생 데이터 생성부(131)는 학습용 화상 신호를 소정 차단 주파수의 LPF에 의해 필터링함으로써, 각 프레임의 교사 데이터(학습용 화상 신호)에 대하여 학생 데이터를 생성하여 출력한다.

교사 데이터 생성부(131)가 출력하는 교사 데이터는 교사 데이터 기억부(132)에 공급되어 기억되고, 학생 데이터 생성부(133)가 출력하는 학생 데이터는 학생 데이터 기억부(134)에 공급되어 기억된다.

그 후, 단계 S52로 진행되어, 예측 탭 추출부(135)는 교사 데이터 기억부(132)에 기억된 교사 데이터 중 아직 주목 교사 화소로서 없는 것을 주목 교사 화소로 한다. 또한, 단계 S52에서는, 예측 탭 추출부(135)가 주목 교사 화소에 대하 여 학생 데이터 기억부(134)에 기억된 학생 데이터로부터 예측 탭을 구성하고, 추가삽입부(138)에 공급하여, 단계 S53으로 진행한다.

단계 S53에서는, 특징 추출부(136)가 주목 교사 화소의 특징을 학생 데이터 기억부(134)에 기억된 학생 데이터를 사용하여 추출하고, 클래스 분류부(137)에 공급하여 단계 S54로 진행하게 된다.

단계 S54에서는, 클래스 분류부(137)는 특징 추출부(136)로부터의 주목 교사 화소에 대한 주목 화소의 특징에 근거하여, 주목 교사 화소의 클래스 분류를 행하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 추가삽입부(138)로 출력하여 단계 S55로 진행하게 된다.

단계 S55에서는, 추가삽입부(138)는 교사 데이터 기억부(132)로부터 주목 교사 화소를 판독하고, 그 주목 교사 화소와 예측 탭 추출부(135)로부터 공급되는 주목 교사 화소에 대하여 구성된 예측 탭을 구성하는 학생 데이터를 대상으로 한 식 8의 추가삽입을 클래스 분류부(137)로부터 공급되는 클래스 코드마다 행하고, 단계 S56으로 진행하게 된다.

단계 S56에서는, 예측 탭 추출부(135)가 교사 데이터 기억부(132)에 아직 주목 교사 화소로서 없는 교사 데이터가 기억되어 있는지 여부를 판정한다. 단계 S56에 있어서, 주목 교사 화소로서 없는 교사 데이터가, 아직 교사 데이터 기억부(132)에 기억되어 있는 것으로 판정된 경우, 예측 탭 추출부(135)는 아직 주목 교사 화소로서 없는 교사 데이터를 새롭게 주목 교사 화소로서 단계 S52로 복귀하여, 이하 마찬가지의 처리가 반복된다.

또, 단계 S56에 있어서, 주목 교사 화소로서 없는 교사 데이터가, 교사 데이터 기억부(132)에 기억되어 있지 않은 것으로 판정된 경우, 추가삽입부(138)는 지금까지의 처리에 의해 얻어진 클래스마다의 식 8에서의 좌변의 행렬과 우변의 벡터를 탭 계수 산출부(139)에 공급하고 단계 S57로 진행하게 된다.

단계 S57에서는, 탭 계수 산출부(139)는 추가삽입부(138)로부터 공급되는 클래스마다의 식 8에서의 좌변의 행렬과 우변의 벡터에 의해 구성되는 클래스마다의 정규 방정식을 푸는 것으로, 각 클래스마다 탭 계수 w_n을 요구해 출력하고, 처리를 종료한다.

그리고, 학습용 화상 신호의 수가 충분하지 않은 것 등에 기인하여, 탭 계수를 구하는데 필요한 수의 정규 방정식을 얻을 수 없는 클래스가 생기는 일이 있지만, 그와 같은 클래스에 대하여는, 탭 계수 산출부(139)가, 예를 들어 디폴트의 탭 계수를 출력하도록 되어 있다.

도 7의 계수 메모리(181)에는 이상과 같이 하여 얻어진 클래스마다의 탭 계수가 기억되어 있다.

단, 도 4의 화상 변환부(31R)의 계수 메모리(181)에는, 교사 데이터로서 화상 신호의 R신호만을 사용하는 동시에, 학생 데이터로서 화상 신호의 R, G, B신호의 모든 것을 사용하여 학습을 행함으로써 얻어지는 탭 계수가 기억된다. 또, 도 4의 화상 변환부(31G)의 계수 메모리(181)에는, 교사 데이터로서 화상 신호의 G신호만을 사용하는 동시에, 학생 데이터로서 화상 신호의 R, G, B신호의 모든 것을 사용하여 학습을 행함으로써 얻어지는 탭 계수가 기억된다. 마찬가지로, 도 4의 화상 변환부(31B)의 계수 메모리(181)에는, 교사 데이터로서 화상 신호의 B신호만을 사용하는 동시에, 학생 데이터로서 화상 신호의 R, G, B신호의 모든 것을 사용하여 학습을 행함으로써 얻어지는 탭 계수가 기억된다.

다음에, 도 10의 흐름도를 참조하여 도 6의 화상 변환부(31)에 의한 화상 변환 처리에 대하여 설명한다. 그리고, 도 10으로 설명하는 화상 변환 처리는 도 5의 단계 S2로 행해지는 처리이다.

단계 S61에 있어서, 예측 탭 추출부(121)는 제2 화상 신호를 구성하는 화소 중의 아직 주목 화소로서 없는 1개를 주목 화소로 하고, 또 그 주목 화소의 화소값(제2 화상 신호)을 예측하는데 사용하는 제1 화상 신호를 구성하는 화소(또는 이의 화소값)의 몇 개를 예측 탭으로서 추출하여 단계 S62로 진행한다.

단계 S62에서는, 특징 추출부(122)가 주목 화소의 특징을 제1 화상 신호를 사용하여 추출하고, 클래스 분류부(123)에 공급하여 단계 S63에 진행한다. 단계 S63에서, 클래스 분류부(123)는 특징 추출부(122)로부터의 주목 화소의 특징에 근거하여, 주목 화소를 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 계수 출력부(124)에 공급하여, 단계 S64로 진행한다. 단계 S64에서, 계수 출력부(124)는 클래스 분류부(123)로부터 공급되는 클래스 코드의 클래스의 탭 계수를 판독하고, 연산부(125)로 출력하여 단계 S65로 진행한다.

단계 S65에서, 연산부(125)는 예측 탭 추출부(121)로부터 공급되는 예측 탭 과 계수 출력부(124)가 출력한 주목 화소의 클래스의 탭 계수를 사용하고, 식 1의 연산을 행함으로써 주목 화소(이의 화소값)를 구한다.

그리고, 화상 변환부(31)에서는, 이상의 단계 S61 내지 S65의 처리가, 1 화면(프레임 또는 필드)의 제2 화상 신호의 화소 모든 것을, 주목 화소로서 행해지고 이후 복귀한다.

다음에, 도 11은 도 1의 신호 처리부(4)에서 행해지는 신호 처리에 있어, 센서부(1)가 적절한 화상 신호를 출력할 때의 센서부(1)의 특성의 정보, 즉 예를 들면, 신호 처리부(4)에서 행해지는 신호 처리에 대응하는 R수광부(23R), G수광부(23G), B수광부(23B)의 배치 상태 정보의 학습을 행하는 학습 장치로서의 촬상 장치의 일실시예의 구성예를 나타내고 있다.

센서부(231)는 화소에 대응하는 복수의 광전 변환 소자를 가지고, 거기에 입사하는 피사체 광을 감지하며, 그 피사체 광에 대응하는 화상 신호를 출력한다. 즉, 센서부(231)는 피사체 광을 수광하고, 그 수광량에 대응하는 전기 신호로서의 화상 신호를 취득하고, 신호 조정부(232 및 238)에 공급한다.

그리고, 센서부(231)는 어느 피사체 광에 대해서, 후술하는 바와 같이, 도 1의 센서부(1)가 취득하는 화상 신호에 상당하는 화상 신호(이하, 적절하게, 통상 화상 신호라고도 한다)와 도 1의 신호 처리부(4)가 출력하는 제2 화상 신호에 상당하는, 후술하는 평가부(235)에서 이용되는 고화질의 화상 신호(이하, 적절히 평가용 화상 신호라고 한다)를 취득하도록 되어 있다. 그리고, 센서부(231)는 통상 화상 신호를 신호 조정부(232)에 공급하는 동시에 평가용 화상 신호를 신호 조정부 (238)에 공급한다.

또, 센서부(231)에는 제어부(240)로부터 제어 신호가 공급되도록 되어 있다. 그리고, 센서부(231)는 제어부(240)로부터 공급되는 제어 신호에 따라, 그 특성을 변화시켜, 변화 후의 특성에 있어서, 피사체 광에 대응하는 통상 화상 신호를 취득한다.

신호 조정부(232)는 도 1의 신호 조정부(2)와 마찬가지로, 센서부(231)로부터 출력되는 통상 화상 신호에 대해서, CDS 처리를 가해, 그 처리의 결과 얻어지는 화상 신호를 A/D 변환부(233)에 공급한다.

A/D 변환부(233)는 도 1의 A/D 변환부(3)와 마찬가지로 신호 조정부(232)로부터 공급되는 통상의 화상 신호를 A/D 변환하고, 즉 통상 화상 신호를 샘플링해 양자화하고, 그 결과 얻어지는 디지털 화상 신호를 제1 화상 신호로서 신호 처리부(234)에 공급한다.

신호 처리부(234)는 도 2에 나타낸 신호 처리부(4)와 같게 구성되며, A/D 변환부(233)로부터의 제1 화상 신호에 대해서, 도 6 내지 도 10에서 설명한, 신호 처리로서의 화상 변환 처리를 행하는 것으로, 제2 화상 신호(이의 R, G, B신호)를 얻어, 평가부(235)에 공급한다.

평가부(235)에는 신호 처리부(234)로부터 제2 화상 신호가 공급되는 것 외에 제어부(240)로부터 센서부(231)의 특성을 제어하는 제어 신호가 공급되면 모두 A/D 변환부(239)로부터 평가용 화상 신호가 공급되도록 되어 있다. 평가부(235)는 A/D 변환부(239)로부터 공급되는 평가용 화상 신호를 사용하여, 신호 처리부(234)로부 터 공급되는 제2 화상 신호를 평가하고, 그 평가와 그 평가를 얻을 수 있었을 때의 제어 신호가 나타내는 센서부(231)의 특성, 즉 평가된 제2 화상 신호를 얻는데 신호 처리부(234)에서의 신호 처리의 대상이 된 제1 화상 신호가 취득되었을 때의 센서부(231)의 특성을 나타내는 특성 정보를 대응한다.

또한, 평가부(235)는 제1 화상 신호의 평가와 특성 정보와의 세트를 위치 결정부(236)에 공급한다.

위치 결정부(236)는 평가부(235)로부터 공급되는 제2 화상 신호의 평가와 특성 정보와의 세트에 따라, 신호 처리부(234)의 신호 처리에 있어 적절한 제1 화상 신호를 얻을 수 있을 때의 센서부(231)의 특성, 즉 신호 처리부(234)의 신호 처리에 대응하는 센서부(231)의 특성(나아가서는, 도 1의 신호 처리부(4)의 신호 처리에 대응한 센서부(1)의 특성)을 결정하고, 그 특성을 나타내는 특성 정보를 위치 기억부(237)에 공급한다.

위치 기억부(237)는 위치 결정부(236)로부터 공급되는 특성 정보를 기억한다.

신호 조정부(238)는 신호 조정부(232)와 마찬가지로 센서부(231)로부터 출력되는 평가용 화상 신호에 대해서, CDS 처리를 가해, 그 처리의 결과 얻어지는 평가용 화상 신호를 A/D 변환부(239)에 공급한다. 다만, 신호 조정부(232)가 통상의 화상 신호를 처리하는데 대해, 신호 조정부(238)는 통상의 화상 신호보다도 고화질의 평가용 화상 신호를 처리하기 때문에, 평가용 화상 신호의 화질을 유지하기 위해, 신호 조정부(238)는 신호 조정부(232)보다 고성능의 것으로 되어 있다.

A/D 변환부(239)는 A/D 변환부(233)와 마찬가지로 신호 조정부(238)로부터 공급되는 평가용 화상 신호를 A/D 변환하고, 즉 평가용 화상 신호를 샘플링해 양자화하고, 그 결과 얻어지는 디지털의 평가용 화상 신호를 평가부(235)에 공급한다. 단, A/D 변환부(233)가 통상의 화상 신호를 처리하는데 대해, A/D 변환부(239)는 통상의 화상 신호보다 고화질의 평가용 화상 신호를 처리하기 때문에, 평가용 화상 신호의 화질을 유지하기 위해서, A/D 변환부(239)는 A/D 변환부(233)보다 고성능의 것(예를 들면, 양자화 비트 사운드나 샘플링 주파수가 A/D 변환부(233)보다 큰 것)으로 되어 있다.

제어부(240)는 센서부(241)의 특성을 제어하는 제어 신호를 센서부(231)로 평가부(235)에 공급한다.

다음에, 도 12는 도 11의 센서부(231)의 구성예를 나타내고 있다.

피사체 광은, 렌즈(251)에 입사하고, 렌즈(251)는 그 피사체 광을 하프 미러(252) 및 프리즘(253)을 통하여, 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B) 상에 각각 집광시키고, 하프 미러(252) 및 프리즘(254)을 통하여, R수광부(256R), G수광부(256G), B수광부(256B) 상에 각각 집광시킨다.

즉, 렌즈(251)에 입사 한 피사체 광은 하프 미러(252)에 출사된다. 하프 미러(252)는 렌즈(251)로부터의 피사체 광 중 일부를 프리즘(253)으로 반사하는 동시에 나머지를 프리즘(254)에 투과한다.

프리즘(253)은 하프 미러(252)로부터의 피사체 광을, R, G, B의 광에 분광하고, 그 R, G, B의 광을 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수 광부(255B)가 배치되어 있는 방향에 각각 출사한다.

평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B)는, 예를 들면 포토다이오드 등의 광전변환소자로 구성되며, 프리즘(254)으로부터의 R, G, B의 광을 수광하고, 이로써 그 수광량에 대응하는 전기 신호로서의 R신호, G신호, B신호를 취득하고, 그 R신호, G신호, B신호로 이루어지는 화상 신호를 평가용 화상 신호로서 신호 조정부(238)(도 11)에 출력한다.

여기서, 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B)로서는, 예를 들면 CCD, CMOS 센서, HARP 등을 채용할 수 있다.

프리즘(254)은 렌즈(251)로부터의 피사체 광을 R, G, B의 광으로 분광하고, 그 R, G, B의 광을 R수광부(256R), G수광부(256G), B수광부(256B)가 배치되어 있는 방향으로 각각 출사한다.

R수광부(256R), G수광부(256G), B수광부(256B)는, 예를 들면 포토다이오드 등의 광전변환소자로 구성되며, 프리즘(254)으로부터의 R, G, B의 광을 수광하고, 이로써, 그 수광량에 대응하는 전기 신호로서의 R신호, G신호, B신호를 취득하여, 그 R신호, G신호, B신호로 이루어지는 화상 신호를 통상 화상 신호로서 신호 조정부(232)(도 11)에 출력한다.

여기서, R수광부(256R), G수광부(256G) 및 B수광부(256B)로서는, 예를 들면 CCD, CMOS 센서, HARP 등을 채용할 수 있다. 단, R수광부(256R), G수광부(256G), 및 B수광부(256B)는 도 3의 R수광부(23R), G수광부(23G) 및 B수광부(23B)와 동일 성능의 것이 바람직하다.

R제어부(257R), G제어부(257G, B제어부(257B)는 제어부(240)(도 11)로부터 공급되는 제어 신호에 따라, R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치를 이동시키는 제어를 각각 행하고, 이로써 센서부(251)의 특성을 변화시킨다.

그리고, 여기서는, 설명을 간단하게 하기 위해, R제어부(257R)가 R수광부(256R)의 전체의 배치 위치를 제어하는 것으로 한다. G제어부(257G)와 B제어부(257B)도, 마찬가지로 G수광부(256G)와 B수광부(256B) 각각의 전체의 배치 위치를 제어하는 것으로 한다. 단, 예를 들면 MEMS 기술을 이용함으로써, R수광부(256R)로서, 화소의 배치 위치를 실질적으로 변화(이동)시킬 수 있는 것을 채용하여, R제어부(257R)에 있어서는, R수광부(256R)의 개개의 화소의 배치 위치를 독립적으로 제어하도록 하는 것도 가능하다. G수광부(256G) 및 G제어부(257G)와, B수광부(256B) 및 B제어부(257B)에 대하여도 마찬가지이다.

또, 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B)는 고화질의 평가용 화상 신호를 얻기 위해, 통상의 화상 신호를 얻는 R수광부(256R), G수광부(256G), B수광부(256B) 보다 고성능의 것으로 되어 있다. 즉, 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B)는 R수광부(256R), G수광부(256G), B수광부(256B) 보다, 예를 들면 다이나믹 레인지나 화소수가 큰 것으로 되어 있다.

다음에, 도 13의 (a)~(d)를 참조하여, 도 12의 R제어부(257R), G제어부(257G), B제어부(257B)에 의한 R수광부(256R), G수광부(256G), B수광부(256B) 각각의 제어에 대하여 설명한다.

도 13의 (a)의 R수광부(256R), 도 13의 (b)의 G수광부(256G), 도 13의 (c)의 B수광부(256B)는 각각 유한의 면적을 가지는 화소(1개의 포토다이오드 등에 대응)를 가지고, 각 화소로 수광된 광량에 대응하는 화상 신호(화소값)를 출력한다.

그리고, 도 13의 (a)~(d)에서는, 화소는 한 변이 유한한 길이의 정방형의 형상으로 되어 있다.

R수광부(256R), G수광부(256G), B수광부(256B) 각각의 화소의 위치를, 그 화소인 정방형의 중심 위치에서 나타내는 것으로 하고, 각각의 화소를, ●표, ○표, ×표로 나타낸다. 비디오 카메라나 스틸카메라 등의 촬상 장치의 제조시에 있어서, R수광부(256R), G수광부(256G), B수광부(256B)는, 예를 들면 대응하는 화소의 위치가 광학적으로 동일 위치로 되도록 배치된다. 즉, R수광부(256R), G수광부(256G), B수광부(256B)는 어느 광선의 R, G, B 각각의 광이 대응하는 화소로 수광 되도록 광학적으로 등가인 (동일한)위치에 배치된다.

R제어부(257R), G제어부(257G), B제어부(257B)는 제어부(240)(도 11)로부터 공급되는 제어 신호에 따라, 센서부(241)의 특성으로서의 R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치를 이동시킨다.

즉, R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치는 고정이 아니고, 이동 가능하게 되어 있기 때문에, 센서부(241)에 있어서, R수광부(256R), G수광부(256G), B수광부(256B) 각각의 대응하는 화소는 광학적으로 동일 위치에 있다고는 할 수 없다.

도 13의 (d)에 나타낸 바와 같이, R수광부(256R)의 화소(도 13에 있어서 ● 표로 나타냄)의 위치를 기준으로 하여, G수광부(256G)의 화소(도 13에 있어서 ○표로 나타냄)의 수평 방향과 수직 방향의 어긋남 양을 Ph_G와 Pv_G로 나타내고, B수광부(256B)의 화소(도 13에 있어서 ×표로 나타냄)의 수평 방향과 수직 방향의 어긋남 양을 Ph_B와 Pv_B로 나타내는 것으로 한다.

R제어부(257R), G제어부(257G), 및 B제어부(257B)는 제어부(240)로부터 공급되는 제어 신호에 따른 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B 로 되도록, R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치를 이동한다.

그리고, 이 경우, 예를 들면 R수광부(256R)의 위치를 고정하여 G수광부(256G)와 B수광부(256B)만을 이동시키도록 할 수 있다. 단, R수광부(256R), G수광부(256G), B수광부(256B) 중의, R수광부(256R) 이외의 하나를 고정하여 다른 2개를 이동시킬 수도 있고, R수광부(256R), G수광부(256G), B수광부(256B)의 모든 것을 이동시키도록 하는 것도 가능하다.

또, 도 12의 센서부(241)에 있어서, R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치는 이동 가능하지만, 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B)는, 예를 들면 대응하는 화소의 위치가 광학적으로 동일 위치가 되도록 배치되어 있다. 즉, 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B)는 어느 광선의 R, G, B 각각의 광이 대응하는 화소로 수광되도록, 광학적으로 등가인 (동일한)위치에 배치되어 있다.

도 14는, 도 11의 평가부(235)의 구성예를 나타내고 있다.

평가부(235)는 화상 기억부(261), 상관 산출부(262) 및 평가값 기억부(263)로 구성된다.

화상 기억부(261)는 센서부(231)로부터 신호 조정부(238) 및 A/D 변환부(239)를 통하여 공급되는 어느 피사체 광에 대한 평가용 화상 신호를 기억한다.

상관 산출부(262)는 신호 처리부(234)로부터 공급되는 화상 기억부(261)에 기억된 평가용 화상 신호에 대응하는 통상 화상 신호로부터 얻어진 제2 화상 신호를, 화상 기억부(261)에 기억된 평가용 화상 신호를 사용하여 평가한다. 즉, 상관 산출부(262)는 신호 처리부(234)로부터 공급되는 제2 화상 신호와 화상 기억부(261)에 기억된 평가용 화상 신호의 상관값을 구하고, 그 상관값을 신호 처리부(234)로부터 공급되는 제2 화상 신호의 평가 결과 또는 평가값으로서, 평가값 기억부(263)에 공급한다.

여기서, 1 프레임(필드)의 제2 화상 신호와 평가용 화상 신호 사이의 상관 값으로서는, 예를 들면 그 제2 화상 신호와 평가용 화상 신호의 동일 위치의 화소의 화소값의 모두 또는 일부의 차분 절대값의 총합의 역수 등을 채용할 수 있다.

평가값 기억부(263)에는 상관 산출부(262)로부터 제2 화상 신호의 평가값이 공급되는 것 외에, 제어부(240)가 출력하는 제어 신호도 공급된다. 제어부(240)가 출력하는 제어 신호는 상관 산출부(262)가 출력하는 평가값의 제2 화상 신호를 얻는데 이용된 제1 화상 신호가 센서부(231)로 취득되었을 때의 센서부(231)의 특성, 즉 도 12의 R제어부(257R), G제어부(257G) 및 B제어부(257B)의 배치 위치를 나타낸다. 평가값 기억부(263)는 이 배치 위치와 상관 산출부(262)로부터의 제2 화상 신 호의 평가값을 대응시켜 기억한다. 그리고, 평가값 기억부(263)는 R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치로서, 미리 설정된 복수의 위치(이하, 적절히 설정 위치라고 한다) 각각에 대하여, 복수(화상)의 제2 화상 신호 각각마다의 평가값을 기억하면, 그 평가값을 위치 결정부(236)(도 11)에 공급한다.

그리고, 여기서는 도 11의 제어부(240)는 센서부(241)(도 12)의 R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치를 제어하는 제어 신호로서, 예를 들면 도 13으로 설명한, R수광부(256R)의 화소의 위치를 기준으로 한, G수광부(256G)의 화소의 어긋남 양 Ph_G 및 Pv_G, 및 B수광부(256B)의 화소의 어긋남 양 Ph _B 및 Pv_B(이하, 적당히 어긋남 양 P라고도 한다)를 나타내는 신호를 출력하는 것으로 한다.

다음에, 도 15는 도 11의 위치 결정부(236)의 구성예를 나타내고 있다.

평가값 통합부(271)에는 평가부(235)(이의 평가값 기억부(263))가 출력하는, 복수의 설정 위치 각각에 대하여, 복수의 제2 화상 신호 각각마다의 평가값이 공급된다. 평가값 통합부(271)는 복수의 설정 위치 각각에 대하여, 그 설정 위치에 대해서의 복수의 제2 화상 신호 각각마다의 평가값을 통합하고, 그 통합의 결과 얻어지는 평가값(이하, 적당히 통합 평가값이라고 한다)을, 최적 위치 결정부(272)에 공급한다.

최적 위치 결정부(272)는 평가값 통합부(271)로부터 공급되는 복수의 설정 위치 각각에 대한 통합 평가값에 따라, 신호 처리부(234)의 신호 처리에 대응하는 설정 위치, 즉 센서부(241)(도 12)의 R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치를 결정하고, 그 배치 위치를 신호 처리부(234)(나아가서는, 신호 처리부(4))의 신호 처리에 있어 최적인 최적 위치로서, 위치 기억부(237)(도 11)에 공급한다.

다음에, 도 16의 흐름도를 참조하여, 도 11의 촬상 장치에 의한 최적 위치의 학습의 처리(학습 처리)에 대하여 설명한다.

먼저, 단계 S201에 있어서, 제어부(240)는 센서부(241)(도 12)의 R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치로서 미리 설정된 복수의 설정 위치 중 아직 주목 배치 위치로서 없는 1개를 주목 배치 위치로 하고, 그 주목 배치 위치를 나타내는 제어 신호를 평가부(235)(도 14)의 평가값 기억부(263)에 공급한다. 또한, 단계 S201에서는, 제어부(240)가 주목 배치 위치를 나타내는 제어 신호를 센서부(241)의 R제어부(257R), G제어부(257G), B제어부(257B)에 공급하고, 이로써, R수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치를 주목 배치 위치로 이동시켜 단계 S202로 진행하게 된다.

단계 S202에서, 신호 처리부(234)는 센서부(231)가 출력하는 화상 신호를 취득한다. 즉, 단계 S202에서, 센서부(231)는 피사체 광을 수광하고 광전 변환을 행함으로써, 전기 신호로서의 화상 신호를 취득하여(피사체를 촬상하여), 신호 조정부(232, 238)에 공급한다. 신호 조정부(232)는 센서부(231)로부터 공급되는 화상 신호에 대해서, CDS 처리를 가해, A/D 변환부(233)에 공급한다. A/D 변환부(233)은, 신호 조정부(232)로부터 공급되는 화상 신호를 A/D 변환하고, 제1 화상 신호로 서 신호 처리부(234)에 공급한다. 한편, 신호 조정부(238)는 센서부(231)로부터 공급되는 화상 신호에 대해서, CDS 처리를 가해, A/D 변환부(239)에 공급한다. A/D 변환부(239)는 신호 조정부(238)로부터 공급되는 화상 신호를 A/D 변환하고, 평가용 화상 신호로서 평가부(235)에 공급한다.

즉, 센서부(231)에서는 주목 배치 위치에 배치된 R수광부(256R), G수광부(256G), B수광부(256B)가 입사하는 피사체 광에 대응하는 통상 화상 신호를 취득한다. 이 통상 화상 신호는 신호 조정부(232) 및 A/D 변환부(233)를 통하여 신호 처리부(234)에 공급된다.

또한, 센서부(231)에서는 평가용 R수광부(255R), 평가용 G수광부(255G), 평가용 B수광부(255B)가 동일한 피사체 광에 대응하는 평가용 화상 신호를 취득한다. 이 평가용 화상 신호는 신호 조정부(238) 및 A/D 변환부(239)를 통하여 평가부(235)에 공급된다. 평가부(235)(도 14)에서는 화상 기억부(261)에 있어서, 평가용 화상 신호가 기억된다.

그리고, 단계 S202로부터 S203으로 진행되어, 신호 처리부(234)가 A/D 변환부(232)를 통하여 공급된 제1 화상 신호에 대해서, 신호 처리로서의 도 1의 신호 처리부(4)와 동일한 화상 변환 처리를 가해, 제1 화상 신호 보다 화질이 개선된 제2 화상 신호를 얻어, 평가부(235)에 공급하고, 단계 S204로 진행하게 된다.

단계 S204에서, 평가부(235)는 신호 처리부(234)로부터 공급된 제2 화상 신호를 평가하는 평가 처리를 행하고, 단계 S205로 진행하게 된다.

즉, 평가부(235)(도 14)에서는 상관 산출부(262)가 화상 기억부(261)에 기억 된 평가용 화상 신호 중 신호 처리부(234)로부터 공급된 제2 화상 신호를 얻는데 이용된 통상 화상 신호의 피사체 광과 동일한 피사체 광으로부터 얻어진 평가용 화상 신호를 주목 평가용 화상 신호로서 판독한다. 또한, 상관 산출부(262)는 신호 처리부(234)로부터 공급된 제2 화상 신호와 주목 평가용 화상 신호의 상관값을 구하고, 그 상관값을 신호 처리부(234)로부터 공급된 제2 화상 신호의 평가값으로서 평가값 기억부(263)에 공급한다.

평가값 기억부(263)는 상관 산출부(262)로부터의 제2 화상 신호의 평가값을 직전의 단계 S201에 있어서 제어부(240)로부터 공급된 제어 신호가 나타내는 주목 설정 위치와 대응시켜 기억한다.

단계 S205에서는, 제어부(240)가 미리 결정된 소정 프레임 수의 화상의 각각에 대하여 주목 설정 위치에 대한 평가값을 얻을 수 있는지 여부를 판정한다.

단계 S205에 있어서, 아직 소정 프레임 수의 화상 각각에 대하여 주목 설정 위치에 대한 평가값을 얻지 못한 것으로 판정된 경우, 단계 S202로 복귀하여 센서부(231)가 그 타이밍에 입사하는 피사체 광을 수광하고, 광전 변환을 행함으로써, 전기 신호로서의 화상 신호를 취득하고, 이하 마찬가지의 처리가 반복된다.

또, 단계 S205에 있어서, 소정 프레임 수의 화상 각각에 대하여, 주목 설정 위치에 대한 평가값을 얻을 수 있는 것으로 판정된 경우, 단계 S206으로 진행되어, 제어부(240)가 복수의 설정 위치의 모든 것을 주목 설정 위치로 한 것인지 여부를 판정한다.

단계 S206에 있어서, 복수의 설정 위치의 모든 것을, 아직 주목 설정 위치가 없는 것으로 판정된 경우, 단계 S201로 복귀하여, 제어부(240)는 복수의 설정 위치 중 아직 주목 배치 위치가 없는 1개를 새롭게 주목 배치 위치로서, 이하 마찬가지의 처리를 반복한다.

또, 단계 S206에 있어서, 복수의 설정 위치의 모든 것을 주목 설정 위치로 한 것으로 판정된 경우, 즉 미리 결정된 소정 프레임 수의 화상 각각에 대하여, 복수의 설정 위치 각각에 대한 평가값을 얻을 수 있어 평가부(235)(도 14)의 평가값 기억부(263)에 기억되었을 경우, 평가값 기억부(263)는 기억하고 있는 소정 프레임 수의 화상 각각에 대하여 복수의 설정 위치 각각에 대한 평가값을 위치 결정부(236)에 공급하여 단계 S207로 진행하게 된다.

단계 S207에서는, 위치 결정부(236)(도 15)의 평가값 통합부(271)가 소정 프레임 수의 화상 각각에 대하여 복수의 설정 위치 각각에 대한 평가값을, 복수의 설정 위치 각각마다 통합하고, 이로써 복수의 설정 위치 각각에 대하여 통합 평가값을 요구해, 최적 위치 결정부(272)에 공급한다.

즉, 평가값 통합부(271)는 어느 설정 위치에 주목하면, 그 주목 설정 위치에 대해서, 소정 프레임 수의 화상 각각에 대해 얻어진 평가값의, 예를 들면 평균값, 최대값, 최소값 등을 주목 설정 위치에 대한 통합 평가값으로서 구하고, 최적 위치 결정부(272)에 공급한다.

그리고, 단계 S207로부터 S208로 진행되어, 최적 위치 결정부(272)는 평가값 통합부(271)로부터 공급되는 복수의 설정 위치 각각에 대한 통합 평가값에 따라, 신호 처리부(234)의 신호 처리에 대응하는 설정 위치, 즉 센서부(241)(도 12)의 R 수광부(256R), G수광부(256G), B수광부(256B)의 배치 위치를 결정한다.

즉, 단계 S208에서, 최적 위치 결정부(272)는, 예를 들면 평가값 통합부(271)로부터 공급되는 복수의 설정 위치 각각에 대한 통합 평가값 중 최대값을 구하고, 그 최대값의 통합 평가값에 대한 설정 위치를, 신호 처리부(234)의 신호 처리에 대응한 설정 위치, 즉 도 1의 신호 처리부(4)의 신호 처리에 최적인 센서부(1)(도 3)의 R수광부(23R), G수광부(23G), B수광부(23B)의 배치 위치(최적 위치)로서 결정한다.

또한, 단계 S208에서, 최적 위치 결정부(272)는 그 최적 위치를 나타내는 정보(전술한 특성 정보에 상당함)를 위치 기억부(237)에 공급하여 기억시키고, 처리를 종료한다.

도 1의 센서부(1)에 있어서는, R수광부(23R), G수광부(23G), B수광부(23B)(도 3)가, 상술한 학습 처리에 의해 위치 기억부(237)에 기억된 정보가 나타내는 최적 위치에 배치되어 있다.

따라서, 도 1의 센서부(1)에 있어서는, 신호 처리부(4)의 신호 처리에 적절한 화상 신호를 얻을 수 있으며, 신호 처리부(4)에 있어서, 그 센서부(1)에서 얻어지는 화상 신호를 신호 처리함으로써, 고화질의 화상 신호를 얻을 수 있다.

그리고, 전술한 경우에는, 제2 화상 신호의 평가를, 그 제2 화상 신호와 평가용 화상 신호의 상관을 구하는 것에 의해 행하도록 했지만, 제2 화상 신호의 평가는, 그 외, 예를 들면 제2 화상 신호의 S/N 등에 따라서 행하는 것 등도 가능하다. 또한, 제2 화상 신호의 평가는, 외부로부터 입력하도록 하여도 무방하다. 즉 , 예를 들면 제2 화상 신호를 표시하고, 그 표시 화상을 본 사용자로부터 제2 화상 신호의 평가를 입력받도록 해도 된다.

다음에, 전술한 신호 처리부(4, 234), 평가부(235), 위치 결정부(236), 제어부(240) 등의 일련의 처리는 전용의 하드웨어에 의해 행하는 것도 가능하고, 소프트웨어에 의해 행하는 것도 가능하다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 마이크로 컴퓨터, 범용의 컴퓨터 등에 인스톨된다.

그래서, 도 17은 전술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일실시예의 구성예를 나타내고 있다.

프로그램은 컴퓨터에 내장되어 있는 기록 매체로서의 하드디스크(305)나 ROM(303)에 미리 기록해 둘 수가 있다.

또, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto-Optical)디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 제거 가능한(휴대용) 기록 매체(311)에, 일시적 또는 영속적으로 저장(기록)해 둘 수가 있다. 이와 같은 제거 가능한 기록 매체(311)는, 이른바 패키지 소프트웨어로서 제공 할 수 있다.

그리고, 프로그램은 전술한 바와 같은 제거 가능한 기록 매체(311)로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 디지털 위성방송용의 인공위성을 통하여, 컴퓨터에 무선으로 전송하거나 LAN(Local Area Network), 인터넷이라고 하는 네트워크를 통하여, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는 그와 같이 전 송되어 오는 프로그램을, 통신부(308)에서 수신하여 내장 하드디스크(305)에 인스톨 할 수 있다.

컴퓨터는 CPU(Central Processing Unit)(302)를 내장하고 있다. CPU(302)에는, 버스(301)를 통하여 입출력 인터페이스(310)가 접속되어 있고, CPU(302)는 입출력 인터페이스(310)를 통하여 사용자에 의해 키보드, 마우스, 마이크 등으로 구성되는 입력부(307)의 조작 등에 의해 지시가 입력되면, 거기에 따라 ROM(Read Only Memory)(303)에 저장되어 있는 프로그램을 실행한다. 또, CPU(302)는 하드디스크(305)에 저장되어 있는 프로그램, 위성 또는 네트워크로부터 전송되어 통신부(308)에 수신되어 하드디스크(305)에 인스톨 된 프로그램, 또는 드라이브(309)에 장착된 제거 가능한 기록매체(311)로부터 판독되어 하드디스크(305)에 인스톨 된 프로그램을, RAM(Random Access Memory)(304)에 로딩해 실행한다. 이로써, CPU(302)는, 전술한 흐름도에 따른 처리 또는 전술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(302)는 그 처리 결과를, 필요에 따라, 예를 들면 입출력 인터페이스(310)를 통하여, LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(306)로부터 출력 또는 통신부(308)로부터 송신, 또 하드디스크305)에 기록 등을 시킨다.

본 명세서에 있어서, 컴퓨터에 각종의 처리를 실시하게 하기 위한 프로그램을 기술하는 처리 단계는, 반드시 흐름도로서 기재된 순서로 따라 시계열로 처리할 필요는 없고, 병렬적 또는 개별적으로 실행되는 처리(예를 들면, 병렬처리 또는 오브젝트에 의한 처리)도 포함하는 것이다.

또, 프로그램은 하나의 컴퓨터에 의해 처리되는 것도 가능하고, 복수의 컴퓨터에 의해 분산 프로세싱되는 것이라도 된다. 또한, 프로그램은 원격의 컴퓨터에 전송되어 실행되는 것이라도 된다.

그리고, 신호 처리부(4, 234)에서는, 전술한 화상 변환 처리 외에, 예를 들면 제1 화상 신호에 대해서, 디지털 클램프 처리, 화이트 밸런스 조정 처리, 감마 보정 처리, 선형 보간 처리 및 그 외의 처리를 가한 제2 화상 신호를 얻는 신호 처리를 행하는 것이 가능하다.

또, 본 실시예에서는, 센서부(1, 231)로서, 이른바 3판식의 센서 수단을 사용하는 것으로 하였으나, 센서부(1, 231)로서는, 단판식이나 2판 또는 4판 이상의 센서 수단을 채용하는 것도 가능하다.

또한, 본 실시예에서는, 광을 감지하고, 그 광에 대응하는 화상 신호를 출력하는 센서부(1, 231)를 채용하는 것으로 했지만, 센서부(1, 231)로서는, 그 외에도, 예를 들면 음을 감지하고, 그 음에 대응하는 음성 신호를 출력하는 마이크로폰(마이크), 또는 온도나 가속도 그 외의 임의의 정보를 감지하고, 그 정보에 대응하는 신호를 출력하는 것을 채용하는 것이 가능하다. 단, 센서부(1, 231)가 감지하는 정보에 의해 그 후단에서 행해지는 신호 처리는 상이하다.

또, 센서부(1)(센서부(231)에 대하여도 마찬가지)의 특성으로서는, R수광부(23R), G수광부(23G), B수광부(23B)의 배치 상태 외에, 그러한 각 화소 상에 광을 집광하는 온칩(on-chip) 렌즈의 배치 위치나, 각 화소가 축적한 전하에 대응하는 전압(전류)의 증폭률 등이 있다.

이하에 본 발명의 다른 실시예를 설명한다.

도 18은, 본 발명을 적용한 촬상 장치의 일실시예의 구성예를 나타내고 있다.

그리고, 도 18의 촬상 장치는, 예를 들면 디지털 스틸카메라나 디지털 비디오 카메라 등에 적용 할 수 있다.

센서부(401)는 도 1의 센서부(1)와 마찬가지로 화소에 대응하는 복수의 광전 변환 소자를 가지고, 거기에 입사하는 피사체 광을 수광하고, 그 수광량에 대응하는 전기 신호로서의 화상 신호를 신호 조정부(402)에 공급한다. 또, 센서부(401)는 도 1의 센서부(1)와 달리, 신호 처리부(404)로부터 공급되는 제어 신호에 따라 그 상태를 변화시킨다.

신호 조정부(402)는 센서부(401)로부터 출력되는 화상 신호에 포함되는, 리셋 노이즈를 제거하기 위한 CDS 처리를 행하고, 그 처리의 결과 얻어지는 화상 신호를 A/D 변환부(403)에 공급한다. A/D 변환부(403)는 신호 조정부(402)로부터 공급되는 화상 신호를 A/D 변환하고, 즉 화상 신호를 샘플링해 양자화하고, 그 결과 얻어지는 디지털 화상 신호를 신호 처리부(404)에 공급한다.

신호 처리부(404)는 A/D 변환부(403)로부터의 디지털 화상 신호(이하, 적절히, 화상 신호라고도 한다)를, 제1 화상 신호로서, 그 제1 화상 신호에 대해서, 소정 화상 변환 처리를 가해, 그 결과 얻어지는 디지털 화상 신호를 제2 화상 신호로서, 출력부(405)에 출력한다. 또, 신호 처리부(404)는 화상 변환 처리의 결과 얻어진 제2 화상 신호를 평가하고, 그 평가에 대응하여 센서부(401)의 상태를 제어하 는 제어 신호를 센서부(401)에 공급한다.

출력부(405)는 신호 처리부(404)가 출력하는 제2 화상 신호를 수신하여 출력한다. 즉, 출력부(405)는 신호 처리부(404)로부터의 제2 화상 신호를 도시하지 않는 외부 단자로부터 출력하고, 또는 도시하지 않는 모니터에 표시시킨다. 또, 출력부(405)는 제2 화상 신호를, 광디스크, 자기 디스크, 광자기 디스크, 자기테이프, 반도체 메모리 등의 도시하지 않는 기록 매체에 기록하거나, 전화 회선, 인터넷, LAN 그 외의 유선 또는 무선의 전송 매체를 통하여 송신한다.

이상과 같이 구성되는 촬상 장치에서는, 센서부(401)에 있어서, 피사체 광이 수광되고 그 수광량에 대응한 전기 신호로서의 화상 신호가, 신호 조정부(402) 및 A/D 변환부(403)를 통하여 신호 처리부(404)에 공급된다. 신호 처리부(404)는 센서부(401)로부터 신호 조정부(402) 및 A/D 변환부(403)를 통하여 공급되는 화상 신호를 제1 화상 신호로서 그 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 가해, 그 결과 얻어지는 화질이 개선된 제2 화상 신호를 출력부(405)에 출력한다. 출력부(405)에서는, 신호 처리부(404)로부터 공급되는 제2 화상 신호가 출력된다.

또, 신호 처리부(404)는 센서부(401)로부터의 제1 화상 신호에 대해서 화상 변환 처리를 행하는 것으로 얻어진 제2 화상 신호를 평가한다. 또한, 신호 처리부(404)는 그 평가에 대응하여 센서부(401) 상태를 제어하는 제어 신호를 센서부(401)에 공급한다.

센서부(401)는 신호 처리부(404)로부터 공급되는 제어 신호에 따라, 그 상태 를 변화시켜, 그 변화 후의 상태에서 얻어지는 화상 신호를 출력한다.

즉, 센서부(401)는, 예를 들면, 3판식의 촬상 수단에 의해 있어서, 화상 신호의 R, G, B 각각의 성분을 취득하는 3개의 센서(후술하는 도 20의 R수광부(423R), G수광부(423G), B수광부(423B))로 구성된다. 따라서, 센서부(401)는 하나의 화소에 대해, R신호, G신호, B신호를 가지는 화상 신호를 출력한다. 그리고, 센서부(401)는 신호 처리부(404)로부터 공급되는 제어 신호에 따라 3개의 센서의 1 이상의 배치 상태를 변경한다. 따라서, 신호 처리부(404)의 제어 신호에 의해 센서부(401)가 가지는 센서의 배치 상태가 제어된다. 여기서, 센서의 배치 상태에는 센서의 배치 위치와 센서의 위치(회전 상태)가 포함된다. 단, 본 실시예에서는 설명을 간단하게 하기 위해, 신호 처리부(404)의 제어 신호에 의해 센서부(401)가 가지는 센서의 배치 위치를 제어하는 것으로 한다. 그리고, 센서의 위치를 제어하는 일도 가능하다.

도 19는 도 18의 신호 처리부(404) 및 출력부(405)의 구성예를 나타내고 있다.

신호 처리부(404)는 3개의 신호 처리부(411R, 411G, 411B)로 구성되어 있다.

신호 처리부(411R)는 A/D 변환부(403)로부터 공급되는 R, G, B신호를 가지는 제1 화상 신호를 수신하고, 그 제1 화상 신호에 화상 변환 처리를 행하는 것으로, 제2 화상 신호의 R신호(성분)를 얻어, 출력부(405)에 공급한다.

신호 처리부(411G)는 A/D 변환부(403)로부터 공급되는 R, G, B신호를 가지는 제1 화상 신호를 수신하고, 그 제1 화상 신호에 화상 변환 처리를 행하는 것으로 제2 화상 신호의 G신호(성분)를 얻어, 출력부(405)에 공급한다. 또한, 신호 처리부(411G)는 제2 화상 신호의 G신호를 평가하고, 그 평가에 대응하여 센서부(401)의 센서의 배치 상태를 제어한다.

신호 처리부(411B)는 A/D 변환부(403)로부터 공급되는 R, G, B신호를 가지는 제1 화상 신호를 수신하고, 그 제1 화상 신호에 화상 변환 처리를 행하는 것으로, 제2 화상 신호의 B신호(성분)를 얻어, 출력부(405)에 공급한다.

그리고, 여기서는, 신호 처리부(411G)에 있어서, 제2 화상 신호의 G신호를 평가하고, 그 평가에 대응하여 센서부(401)의 센서의 배치 상태를 제어하도록 했지만, 센서부(401)의 제어는, 그 외, 예를 들면 제2 화상 신호의 G신호 이외의 R신호 또는 B신호 중 어느 하나를 평가해 행하는 것도 가능하고, 제2 화상 신호의 R, G, B신호 중 2 이상을 평가해 행하는 것도 가능하다.

출력부(405)는 출력부(412R, 412G, 412B)로 구성되어 있다. 출력부(412R, 412G, 412B)는, 신호 처리부(411R, 411G, 411B)가 출력하는 제2 화상 신호의 R신호, G신호, B신호를 각각 수신하여 출력한다.

그리고, 이하 적당히, 신호 처리부(411R, 411G, 또는 411B)를, 신호 처리부(411)라고도 기재한다.

다음에, 도 20은 도 19(도 18)의 센서부(401)의 구성예를 나타내고 있다.

피사체 광은 렌즈(421)에 입사하고, 렌즈(421)는 그 피사체 광을 프리즘(422)을 통하여, R수광부(423R), G수광부(423G), B수광부(423B) 상에 각각 집광시킨다.

즉, 렌즈(421)에 입사 한 피사체 광은 프리즘(422)으로 출사된다. 프리즘(422)은 렌즈(421)로부터의 피사체 광을, R, G, B의 광으로 분광하고, 그 R, G, B의 광을, R수광부(423R), G수광부(423G), B수광부(423B)가 배치되어 있는 방향으로 출사한다.

R수광부(423R), G수광부(423G), B수광부(423B)는, 예를 들면 포토다이오드 등의 광전 변환 소자로 구성되며, 프리즘(422)으로부터의 R, G, B의 광을 수광하고, 이로써 그 수광량에 대응하는 전기 신호로서의 R신호, G신호, B신호를 취득하여, 신호 조정부(402)에 출력한다.

여기서, R수광부(423R), G수광부(423G) 및 B수광부(423B)로서는, 예를 들어 CCD를 채용할 수 있다. 단, R수광부(423R), G수광부(423G) 및 B수광부(423B)는 CCD에 한정되는 것이 아니며, CMOS 센서나, HARP 등으로 하는 것도 가능하다.

R제어부(424R), G제어부(424G), B제어부(424B)는 신호 처리부(411G)로부터 공급되는 제어 신호에 따라, R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 이동시키는 제어를 각각 행한다.

그리고, 여기서 설명을 간단하게 하기 위해, R제어부(424R)는 R수광부(423R)의 전체의 배치 위치를 제어하는 것으로 한다. G제어부(424G)와 B제어부(424B)도 마찬가지로, G수광부(423G)와 B수광부(423B) 각각의 전체 배치 위치를 제어하는 것으로 한다. 단, 예를 들어 MEMS 기술을 이용함으로써, R수광부(423R)로서, 화소의 배치 위치를 실질적으로 변화(이동)시킬 수 있는 것을 채용하여, R제어부(424R)에 있어서는, R수광부(423R)의 개개의 화소의 배치 위치를 독립적으로 제어하도록 하 는 것도 가능하다. G수광부(423G) 및 G제어부(424G)와 B수광부(423B) 및 B제어부(424B)에 대하여도 마찬가지이다.

다음에, 도 21의 (a)~(d)를 참조하여, R제어부(424R), G제어부(424G), B제어부(424B)에 의한 도 21의 (a)의 R수광부(423R), 도 21 (b)의 G수광부(423G), 도 21 (c)의 B수광부(423B) 각각의 제어에 대하여 설명한다.

도 21 (a)~(c)에 나타낸 바와 같이, R수광부(423R), G수광부(423G), B수광부(423B)는 각각 유한한 면적을 가지는 화소(1개의 포토다이오드 등에 대응)를 가지고 각 화소에 수광된 광량에 대응하는 화상 신호(화소값)를 출력한다.

그리고, 도 21에서, 화소는 한 변이 유한한 길이의 정방형의 형상으로 되어 있다.

R수광부(423R), G수광부(423G), B수광부(423B) 각각의 화소의 위치를 그 화소인 정방형의 중심 위치에서 나타내는 것으로 하고, 각각의 화소를, ●표, ○표, ×표로 나타낸다. 비디오 카메라나 스틸카메라 등의 촬상 장치의 제조시에 있어서, R수광부(423R), G수광부(423G), B수광부(423B)는 대응하는 화소의 위치가, 광학적으로 동일 위치가 되도록 배치된다. 즉, R수광부(423R), G수광부(423G), B수광부(423B)는 어느 광선의 R, G, B 각각의 광이 대응하는 화소로 수광되도록, 광학적으로 등가인 (동일한)위치에 배치된다.

R제어부(424R), G제어부(424G), B제어부(424B)는 신호 처리부(411G)로부터 공급되는 제어 신호에 따라, R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 이동시킨다.

즉, R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치는, 고정이 아니고, 이동 가능하기 때문에, 센서부(401)에 있어서, R수광부(423R), G수광부(423G), B수광부(423B) 각각의 대응하는 화소는 광학적으로 동일 위치에 있다고는 할 수 없다.

도 21의 (d)에 나타낸 바와 같이, R수광부(423R)의 화소(도 21에 있어서 ●표로 나타냄)의 위치를 기준으로 한, G수광부(423G)의 화소(도 21에 있어서 ○표로 나타냄)의 수평 방향과 수직 방향의 어긋남 양을, Ph_G와 Pv_G로 나타내는 것과 동시에, B수광부(423B)의 화소(도 21에 있어서 ×표로 나타냄)의 수평 방향과 수직 방향의 어긋남 양을, Ph_B와 Pv_B로 나타내는 것으로 한다.

R제어부(424R), G제어부(424G) 및 B제어부(424B)는 신호 처리부(411G)로부터 공급되는 제어 신호에 따른 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B로 되도록, R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 이동한다.

그리고, 이 경우, 예를 들면 R수광부(423R)의 위치를 고정하여, G수광부(423G)와 B수광부(423B)만을 이동시키면 좋다. 단, R수광부(423R), G수광부(423G), B수광부(423B) 중 R수광부(423R) 이외의 하나를 고정하여, 다른 2개를 이동시킬 수도 있고, R수광부(423R), G수광부(423G), B수광부(423B)의 모든 것을 이동시키도록 하는 것도 가능하다.

다음에, 도 22는 도 19의 신호 처리부(411)의 구성예를 나타내고 있다.

신호 처리부(411R, 411G 및 411B)에는, 센서부(401)가 출력하는 화상 신호가 신호 조정부(402) 및 A/D 변환부(403)를 통하여 제1 화상 신호로서 공급된다.

신호 처리부(411R)는 화상 변환부(431R)와 화상 기억부(432R)로 구성되어 있다.

신호 처리부(411R)에 공급되는 제1 화상 신호는 화상 변환부(431R)에 공급된 다. 화상 변환부(431R)는 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 가해, 그 결과 얻어지는, 화질이 개선된 R의 디지털 화상 신호를 제2 화상 신호의 R 신호로서 화상 기억부(432R)에 공급한다.

화상 기억부(432R)는 화상 변환부(431R)로부터 공급되는 제2 화상 신호를 일시 기억한다. 또한, 화상 기억부(432R)는 기억한 제2 화상 신호 중에서 신호 처리부(411G)(이의 평가부(433))로부터 공급되는, 화상을 선택하는 선택 정보에 따른 제2 화상 신호를 판독하고, 출력부(405)에 공급한다.

신호 처리부(411G)는 화상 변환부(431G), 화상 기억부(432G) 및 평가부(433)로 구성되어 있다.

신호 처리부(411G)에 공급되는 제1 화상 신호는 화상 변환부(431G)에 공급된다. 화상 변환부(431G)는 제1 화상 신호에 대해, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 가해, 그 결과 얻어지는 화질이 개선된 G의 디지털 화상 신호를 제2 화상 신호의 G 신호로서 화상 기억부(432G)와 평가부(433)에 공급한다.

화상 기억부(432G)는 화상 변환부(431G)로부터 공급되는 제2 화상 신호를 일 시 기억한다. 또한, 화상 기억부(432G)는 기억한 제2 화상 신호 중에서, 평가부(433)로부터 공급되는, 화상을 선택하는 선택 정보에 따른 제2 화상 신호를 판독하고, 출력부(405)에 공급한다.

평가부(433)는 화상 변환부(431G)로부터 공급되는 제2 화상 신호(이의 G신호)를 평가하고, 그 평가에 대응하여, 센서부(401)에 제어 신호를 공급함으로써, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 제어한다. 또한, 평가부(433)는 제2 화상 신호의 평가에 대응하여, 선택 정보를 화상 기억부(432G)에 공급하는 동시에 신호 처리부(411R)의 화상 기억부(432R) 및 신호 처리부(411B)의 화상 기억부(432B)에 공급한다.

신호 처리부(411B)는 화상 변환부(431B)와 화상 기억부(432B)로 구성되어 있다.

신호 처리부(411B)에 공급되는 제1 화상 신호는 화상 변환부(431B)에 공급된다. 화상 변환부(431B)는 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 가해, 그 결과 얻어지는, 화질이 개선된 B의 디지털 화상 신호를 제2 화상 신호의 B 신호로서, 화상 기억부(432B)에 공급한다.

화상 기억부(432B)는 화상 변환부(431B)로부터 공급되는 제2 화상 신호를 일시 기억한다. 또한, 화상 기억부(432B)는 기억한 제2 화상 신호 중에서, 신호 처리부(411G)(이것의 평가부(433))로부터 공급되는, 화상을 선택하는 선택 정보에 따른 제2 화상 신호를 판독하고, 출력부(405)에 공급한다.

그리고, 화상 변환부(431R, 431G, 431B) 각각은, 마찬가지로 구성되어 있고, 이하, 적당히 화상 변환부(431R, 431G 또는 431B)를 화상 변환부(431)로 기재한다. 또, 화상 기억부(432R, 432G, 432B) 각각도, 마찬가지로 구성되어 있고, 이하, 적당히 화상 기억부(432R, 432G, 또는 432B)를 화상 기억부(432)로 기재한다.

도 23은 도 22의 평가부(433)의 구성예를 나타내고 있다.

평가부(433)는 기억부(441), 상관 산출부(442), 판정 평가부(443) 및 제어 신호 출력부(444)로 구성되며, 화상 변환부(431G)로부터 공급되는 제2 화상 신호(이것의 G신호)의 화질을 평가한다.

즉, 기억부(441)는 화상 변환부(431G)로부터 공급되는 제2 화상 신호를 일시 기억한다.

상관 산출부(442)는 기억부(441)에 기억된 화상 변환부(431G)로부터 이전에 공급된 제2 화상 신호와 화상 변환부(431G)로부터 현재 공급된 제2 화상 신호의 상관을 연산하고, 그 연산의 결과 얻어지는 상관값을 판정 평가부(443)에 공급한다.

판정 평가부(443)는 상관 산출부(442)로부터 공급되는 상관값에 따라, 화상 변환부(431G)가 출력한 제2 화상 신호를 평가하고, 그 제2 화상 신호의 화질이 높다는 또는 낮다는 취지의 평가 결과를 얻는다. 또한, 판정 평가부(443)는 제2 화상 신호의 평가 결과를 제어 신호 출력부(444)에 공급하는 동시에, 그 평가 결과에 대응하여 도 22의 화상 기억부(432R, 432G 및 432B)에 선택 정보를 출력한다.

제어 신호 출력부(444)는 판정 평가부(443)로부터의 제2 화상 신호의 평가 결과에 대응하여, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부 (423B)의 배치 위치를 제어하는 제어 신호를, 센서부(401)[이것의 R제어부(424R), G제어부(424G), B제어부(424B)]에 공급하고, 이로써 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 제어한다.

이상과 같이 구성되는 평가부(433)에서, 기억부(441)는 화상 변환부(431G)로부터 공급되는 제2 화상 신호를 순차 기억한다. 그리고, 상관 산출부(442)는 화상 변환부(431G)로부터 제2 화상 신호가 새롭게 공급되면, 그 제2 화상 신호와 이전의 화상 변환부(431G)로부터 공급되어 기억부(441)에 기억된 제2 화상 신호간의 상관값을 연산한다.

여기서, 2개의 화상 신호[2 프레임(필드)의 화상 신호]의 상관값으로서는, 예를 들면 그 2개의 화상 신호의 동일 위치의 화소의 화소값의 모두 또는 일부의 차분 절대값의 총합의 역수 등을 채용할 수 있다.

상관 연산부(442)는 얻어진 상관값을 판정 평가부(443)에 공급한다. 판정 평가부(443)는 상관 산출부(442)로부터 공급되는 상관값에 따라, 화상 변환부(431G)가 출력한 제2 화상 신호를 평가하고, 그 제2 화상 신호의 화질이 높다는 또는 낮다는 취지의 평가 결과를 얻는다. 판정 평가부(443)는 제2 화상 신호의 화질이 낮다는 취지의 평가 결과를 얻었을 경우, 그 평가 결과를 제어 신호 출력부(444)에 공급한다.

제어 신호 출력부(444)는 판정 평가부(443)로부터의 제2 화상 신호의 화질이 낮다는 취지의 평가 결과를 수신하면, 그 평가 결과에 대응하여, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 제어하는 제어 신호, 즉 도 21에서 설명한, R수광부(423R)의 화소의 위치를 기준으로 한, G수광부(423G)의 화소의 어긋남 양 Ph_G 및 Pv_G, 및 B수광부(23B)의 화소의 어긋남 양 Ph_B 및 Pv_B를, 지금까지와 상이한 값으로 하는 제어 신호를 센서부(1)에 공급한다. 그리고, 현재의 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 성분으로 하는 4차원의 벡터를 벡터 P(=Ph_G, Pv_G, Ph_B, Pv_B)로 나타내는 것과 동시에, 4차원의 미소벡터를 벡터 △P로 나타내는 것으로 하면, 제어 신호 출력부(444)는 어느 프레임의 촬영시에 있어서, 아직 설정하고 있지 않은 벡터 P＋△P를 새롭게 설정하고, 그 벡터 P＋△P의 성분의 값으로 되는 어긋남 양에, R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 제어하는 제어 신호를 출력한다. 여기서, 미소벡터 ΔP의 성분은, 예를 들면 난수로 할 수 있다.

이 경우, 센서부(401)(도 20)에서는 제어 신호 출력부(444)로부터 공급된 제어 신호에 따라, R수광부(423R), G수광부(423G) 또는 B수광부(423B)의 배치 위치가 이동된다. 또한, 센서부(401)에서는 그 이동 후의 R수광부(423R), G수광부(423G) 및 B수광부(423B)에서, 피사체 광이 수광되어 그 수광량에 대응하는 화상 신호가 출력된다. 센서부(401)가 출력하는 화상 신호는 신호 조정부(402) 및 A/D 변환부(403)를 통하여 새로운 제1 화상 신호로서 신호 처리부(411)에 공급된다. 신호 처리부(411)(도 22)의 화상 변환부(431)는 그 새로운 제1 화상 신호에 대해서, 화상 변환 처리를 가해, 그 결과 얻어지는 새로운 제2 화상 신호를 화상 기억부(432)에 공급하여 기억시킨다. 또한, 화상 변환부(431R)는 새로운 제2 화상 신호를 평가부 (433)에 공급한다.

평가부(433)에서는 상관 산출부(442)가 화상 변환부(431R)로부터의 새로운 제2 화상 신호를 수신하고, 그 제2 화상 신호와 이전의 화상 변환부(431G)로부터 공급되어 기억부(441)에 기억된 제2 화상 신호 사이의 상관값을 연산하여, 판정 평가부(443)에 공급한다.

이상의 처리가 반복되는 것에 따라, 판정 평가부(443)에서는, 각 값의 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에 있어서 촬상된 제1 화상 신호로부터 얻어진 제2 화상 신호에 대한 상관값이 취득된다.

여기서, 도 24는 각 값의 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B와 그 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에 있어서 촬상된 제1 화상 신호로부터 얻어진 제2 화상 신호를 사용하여 요구된 상관값과의 관계를 나타내고 있다.

상관값은 어느 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B로 얻어진 제2 화상 신호와 그 어긋남 양으로부터 전술한 미소벡터 △P에 대응하는 미소한 양만 어긋난 어긋남 양Ph_G＇, Pv_G＇, Ph_B＇, Pv_B＇로 얻어진 제2 화상 신호와의 상관을 나타낸다.

따라서, 어느 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에서의 상관값이 낮다고 하는 것은, 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B로 얻어진 제2 화상 신호가 에지 등이 무디어져서 명확하지 않은 낮은 화질로 된 것이라고 할 수 있다. 한편, 어느 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에서의 상관값이 높다고 하는 것은, 그 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B로 얻어진 제2 화상 신호가 에지 등이 명확하여 높은 화질로 된 것이라고 할 수 있다.

그래서, 도 23의 판정 평가부(443)는 상관 산출부(442)로부터 공급되는 상관값이 낮은 경우에는, 제2 화상 신호의 화질이 낮다고 평가하고, 상관값이 높은 경우, 즉 예를 들면, 도 24에 나타낸 바와 같이, 상관값의 극대값(또는 최대값)을 얻을 수 있었을 경우에는, 제2 화상 신호의 화질이 높다고 평가한다. 그리고, 판정 평가부(443)는 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 있었을 경우, 그 평가 결과를 얻을 수 있었을 때의 상관값의 연산에 이용된 2개의 제2 화상 신호 중 어느 한쪽을 선택하는 취지의 선택 정보를 화상 기억부(432)(도 22)에 출력한다.

화상 기억부(432R, 432G, 432B) 각각에서는, 전술한 바와 같이, 기억된 제2 화상 신호 중에서 선택 정보에 따른 제2 화상 신호, 즉 화질이 높다는 취지의 평가 결과를 얻을 수 있던 제2 화상 신호가 판독되어 출력부(405)에 공급된다.

다음에, 도 25의 흐름도를 참조하여, 도 19(도 18)의 촬상 장치의 동작에 대하여 설명한다.

촬상 장치에서는, 먼저 단계 S101에 있어서, 센서부(401)가 피사체 광을 수광하고, 광전 변환을 행함으로써, 전기 신호로서의 화상 신호를 취득하여(피사체를 촬상하여), 신호 조정부(402)에 공급한다. 신호 조정부(402)는 센서부(401)로부터 공급되는 화상 신호에 대해서, CDS 처리를 가해, A/D 변환부(403)에 공급한다. A/D 변환부(403)는 신호 조정부(402)로부터 공급되는 화상 신호를 A/D 변환하고, 제1 화상 신호로서, 신호 처리부(4011)에 공급하여, 단계 S101로부터 S102로 진행하게 된다.

단계 S102에서는, 신호 처리부(411)(도 22)의 화상 변환부(431)가 A/D 변환부(403)로부터 공급된 제1 화상 신호에 대해서, 화상 변환 처리를 가해, 제1 화상 신호 보다 화질이 개선된 제2 화상 신호를 화상 기억부(432)에 공급하여 기억시킨다. 또한, 단계 S102에서는, 화상 변환부(431G)가 화상 변환 처리의 결과 얻어진 제2 화상 신호를 평가부(433)에 공급하고, 단계 S103로 진행하게 된다.

단계 S103에서, 평가부(433)는 화상 변환부(431G)로부터 공급되는 제2 화상 신호를 평가하는 평가 처리를 행하고, 단계 S104로 진행하게 된다. 단계 S104에서는, 평가부(433)는 직전의 단계 S103에서의 제2 화상 신호의 평가 결과로서, 그 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 있었는지 여부를 판정한다.

단계 S104에 있어서, 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 없었다고 판정된 경우, 단계 S105로 진행되어, 평가부(433)는 센서부(401)에 대해서, 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 지정하는 제어 신호를 공급함으로써, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 이동시켜, 단계 S101로 복귀한다.

단계 S101에서는, 직전의 단계 S105로 이동된 배치 위치의 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)에 있어서, 화상 신호가 취득되어, 이하 마찬가지의 처리가 반복된다.

그리고, 단계 S104에 있어서, 제2 화상 신호가 화질이 높다는 취지의 평가 결과를 얻을 수 있었다고 판정된 경우, 평가부(433)는 그 평가 결과를 얻을 수 있던 제2 화상 신호를 선택하는 취지의 선택 정보를 화상 기억부(432)에 공급하고, 단계 S106으로 진행하게 된다.

단계 S106에서, 화상 기억부(432R, 432G, 432B)는, 단계 S102에 있어서 지금까지 기억한 제2 화상 신호 중에서, 평가부(433)로부터의 선택 정보에 따른 제2 화상 신호, 즉 화질이 높은 제2 화상 신호를 선택하여 판독하고, 출력부(405)에 출력하여, 1 프레임(또는 1 필드)의 화상에 대한 처리를 종료한다.

촬상 장치에서는, 도 25의 흐름도에 따른 처리가, 예를 들면 사용자에 의해 촬상의 정지가 지시될 때까지 반복해 행해진다.

다음에, 도 26의 흐름도를 참조하여, 도 25의 단계 S103에 있어서 도 23의 평가부(433)가 행하는 평가 처리에 대하여 설명한다.

평가 처리에서는, 먼저 단계 S311에 있어서, 기억부(441)가 직전의 단계 S102(도 25)로 화상 변환부(431G)로부터 공급되는 제2 화상 신호를 기억하는 동시에 상관 산출부(442)가 그 제2 화상 신호를 수신한다.

또한, 단계 S311에서, 상관 산출부(442)는 화상 변환부(431G)로부터 공급된 제2 화상 신호와, 기억부(441)가 이전의 단계 S311에서 기억한 제2 화상 신호와의 상관값을 연산하고, 판정 평가부(443)에 공급하여, 단계 S312로 진행하게 된다.

단계 S312에서는, 판정 평가부(443)는 상관 산출부(442)로부터 공급되는 상관값을, 그 상관값을 구하는데 이용된 2개의 제2 화상 신호 중 어느 하나가 촬상되었을 때의 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B와 대응시켜, 일시 기억하고, 단계 S313으로 진행하게 된다. 여기서, 판정 평가부(443)는 상관 산출부(442)로부터 공급되는 상관값을 구하는데 이용된 2개의 제2 화상 신호 중 어느 한쪽이 촬상되었을 때의 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를, 제어 신호 출력부(444)로부터 취득한다.

단계 S313에서, 판정 평가부(443)는 지금까지의 단계 S312에서 기억한 상관값과 어긋남 양과의 관계에 대하여, 상관값의 극대값을 얻을 수 있었는지 여부를 판정한다. 단계 S313에 있어서, 상관값의 극대값을 얻지 못하고 있다고 판정된 경우, 단계 S314로 진행되고, 판정 평가부(443)는 제2 화상 신호가 저화질이라는 취지의 평가를 행하고, 도 25의 단계 S104로 복귀한다.

이 경우, 도 25의 단계 S104에서, 판정 평가부(443)는 제2 화상 신호가 화질이 높다는 취지의 평가 결과를 얻을 수 없었다고 판정하고, 그 평가 결과, 즉 제2 화상 신호가 화질이 낮다는 취지의 평가 결과를 제어 신호 출력부(444)에 공급하여, 단계 S105로 진행하게 된다. 그리고, 단계 S105에 있어서, 제어 신호 출력부(444)는 판정 평가부(443)로부터의 제2 화상 신호가 화질이 낮다는 취지의 평가 결과를 수신하고, 그 평가 결과에 대응하여, 센서부(401)에 대해, 새로운 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 지정하는 제어 신호를 공급한다.

도 26으로 복귀하여, 단계 S313에 있어서, 상관값의 극대값을 얻을 수 있었 다고 판정된 경우, 단계 S315에 진행되고, 판정 평가부(443)는 제2 화상 신호가 고화질이라는 취지의 평가를 행하고, 도 25의 단계 S104로 복귀한다.

이 경우, 도 25의 단계 S104에서, 판정 평가부(443)는 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 있었다고 판정하고, 그 평가 결과를 얻을 수 있던 제2 화상 신호, 즉 극대값의 상관값을 구하는데 이용된 2개의 제2 화상 신호 중의 어느 한쪽을 선택하는 취지의 선택 정보를 화상 기억부(432)에 공급하고, 단계 S106으로 진행하게 된다.

그리고, 단계 S106에서, 전술한 바와 같이, 화상 기억부(432R, 432G, 432B)는, 단계 S102에서 지금까지 기억한 제2 화상 신호 중에서, 평가부(433)로부터의 선택 정보에 따른 제2 화상 신호, 즉 화질이 높은 제2 화상 신호를 선택하여 판독한다.

이상과 같이, 제2 디지털 화상 신호를 평가하고, 그 평가에 대응하여 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 제어함으로써, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 제어하도록 했으므로, 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에 대응하는 위치에 배치된 R수광부(423R), G수광부(423G) 및 B수광부(423B)를 가지는 센서부(401)에서, 화상 변환부(431)에서의 화상 변환 처리로서, 적절한 화상 신호가 출력되고, 그 결과 화상 변환부(431)에 있어서, 고화질의 제2 화상 신호를 얻을 수 있다.

그리고, 전술한 경우에는, 단계 S313에 있어서, 상관값의 극대값을 얻을 수 있었다고 판정된 경우에, 제2 화상 신호가 고화질이라는 취지의 평가를 행하는 것으로 하였으나, 그 외, 단계 S313에 있어서, 소정 임계치 이상의 상관값의 극대치를 얻을 수 있었다고 판정된 경우에, 제2 화상 신호가 고화질이라는 취지의 평가를 행하도록 하는 것 등도 가능하다.

또, 전술한 경우에는, 제2 화상 신호의 평가를, 상관값에 따라 행하도록 했지만, 제2 화상 신호의 평가는, 그 외 예를 들면, 각 값의 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에 대해서 얻어지는 제2 화상 신호의 S/N 등에 따라서 행하는 것 등도 가능하다. 또한, 제2 화상 신호의 평가는, 외부로부터 입력하도록 하여도 된다. 즉, 예를 들면, 제2 화상 신호를 표시하고, 그 표시 화상을 본 사용자로부터, 제2 화상 신호의 평가를 입력받도록 해도 된다.

또한, 어긋남 양에 대하여는, 미리 몇개의 값을 준비해 두고, 그 몇개의 값의 어긋남 양 모두에 대한 상관값을 구하여, 가장 높은 상관값을 얻을 수 있었을 때의 2개의 제2 화상 신호의 한쪽을, 도 25의 단계 S106에서 출력하도록 하는 것이 가능하다.

또, 1 프레임(필드)의 기간 중에 가능한 횟수만큼, 도 25의 단계 S101 내지 S105의 루프 처리를 행하고, 그 루프 처리에 있어서 얻어진 상관값 중의 가장 높은 상관이 상이한 때의 2개의 제2 화상 신호 중의 한쪽을 단계 S106에 있어서 출력하도록 하는 것도 가능하다.

그리고, 도 22의 화상 변환부(31)는 도 4의 화상 변환부(31)와 같게 구성되 어 있으므로, 여기서의 그 설명은 생략한다(도 6 ~ 도 10 및 그 설명을 참조).

다음에, 도 27은 본 발명을 적용한 촬상 장치 외의 일실시예의 구성예를 나타내고 있다. 그리고, 도면 중, 도 18 또는 도 19에서와 대응하는 부분에 대하여는 동일한 부호를 부여하고 있어, 이하에서 그 설명은 적절히 생략한다. 즉, 도 27의 촬상 장치는 조작부(185)가 새롭게 형성되어 있는 것 외에는 기본적으로 도 18 또는 도 19에서와 같게 구성되어 있다.

조작부(185)는, 예를 들면 사용자에 의해 조작되는 조작부 등이며, 그 조작에 대응한 파라미터를 신호 처리부(404)에 출력한다.

그리고, 도 27에 있어서, 신호 처리부(404)는 도 19에 나타낸 것과 마찬가지로 신호 처리부(411R, 411G, 411B)로 구성되어 있다.

도 28은 도 27의 신호 처리부(404)를 구성하는 신호 처리부(411R, 411G, 411B)의 구성예를 나타내고 있다. 그리고, 도면 중, 도 22에서와 대응하는 부분에 대하여는, 동일한 부호를 부여하고 있어, 이하 그 설명은 적당히 생략한다. 즉, 도 28에 있어서, 신호 처리부(411R, 411G, 411B)는, 도 22에서의 경우와 마찬가지로 구성되어 있다. 단, 화상 변환부(431)(431R, 431G, 431B)에 대해서, 조작부(185)가 출력하는 파라미터가 공급되도록 되어 있어 화상 변환부(431)는 그 파라미터에 대응한 화상 변환 처리를 행한다.

도 29는 도 28의 화상 변환부(431)의 구성예를 나타내고 있다. 그리고, 도면 중 도 6에서와 대응하는 부분에 대하여는 동일한 부호를 부여하고 있어, 이하에서 그 설명은 적당히 생략한다. 즉, 도 22의 화상 변환부(431)는 도 4의 화상 변 환부(31)로 마찬가지의 구성이며, 도 4의 화상 변환부(31)는 도 6 ~ 도 10으로 설명되어 있다. 단, 계수 출력부(124)에 대해서, 조작부(185)가 출력하는 파라미터가 공급되도록 되어 있다.

도 30은, 도 29의 계수 출력부(124)의 구성예[계수 출력부(124) 외의 구성예]를 나타내고 있다. 그리고, 도면 중 도 7에서와 대응하는 부분에 대하여는 동일한 부호를 부여하고 있다.

도 7에서는, 계수 출력부(124)에 미리 학습에 의해 요구한 클래스마다의 탭 계수를 기억하게 하도록 했지만, 도 30에서는 계수 출력부(124)에 있어서, 탭 계수의, 소위 종류가 되는 계수 종류 데이터와, 소정 파라미터로부터 원하는 화질의 화상을 얻을 수 있는 클래스마다의 탭 계수를 생성하도록 되어 있다.

계수 메모리(181)는 계수 생성부(182)로부터 공급되는 클래스마다의 탭 계수를 기억한다. 그리고, 계수 메모리(181)는 클래스 분류부(123)로부터 클래스 코드가 공급되면, 그 클래스 코드가 나타내는 클래스의 탭 계수를 기억하고 있는 클래스마다의 탭 계수 중에서 판독하여 연산부(125)에 출력한다.

계수 생성부(182)는 계수 종류 메모리(183)에 기억되어 있는 계수 종류 데이터와 파라미터 메모리(184)에 기억된 파라미터에 따라 클래스마다의 탭 계수를 생성하고, 계수 메모리(181)에 공급하여 중복기재하는 형태로 기억시킨다.

계수 종류 메모리(183)는 후술하는 계수 종류 데이터의 학습에 의해 얻어지는 클래스마다의 계수 종류 데이터를 기억하고 있다. 여기서, 계수 종류 데이터는 탭 계수를 생성하는, 말하자면 종류가 되는 데이터이다.

파라미터 메모리(184)는 사용자가 조작부(185)를 조작했을 경우에, 그 조작에 따라 조작부(185)가 출력하는 파라미터를 중복기재하는 형태로 기억한다.

도 30의 계수 출력부(124)에 있어서는, 사용자에 의한 조작부(185)의 조작에 따라, 계수 메모리(181)에 기억(세트)되는 클래스마다의 탭 계수, 즉 연산부(125)로 이용되는 클래스마다의 탭 계수가 갱신된다.

그래서, 도 31의 흐름도를 참조하여, 도 30의 계수 출력부(124)에서 행해지는 클래스마다의 탭 계수를 갱신하는 처리(탭 계수 갱신 처리)에 대하여 설명한다.

먼저, 단계 S171에 있어서, 파라미터 메모리(184)는 조작부(185)로부터 파라미터가 공급되었는지 여부를 판정하고, 공급되었다고 판정한 경우, 단계 S172로 진행되고, 파라미터 메모리(184)는 그 공급된 파라미터를 중복기재하는 형태로 기억하고, 단계 S173으로 진행하게 된다.

또, 단계 S171에 있어서, 조작부(185)로부터 파라미터가 공급되지 않은 것으로 판정된 경우, 단계 S172를 건너뛰고(스킵하여), 단계 S173으로 진행하게 된다.

따라서, 파라미터 메모리(184)에서는, 사용자에 의해 조작부(185)가 조작되어, 조작부(185)로부터 그 사용자에 의한 조작에 대응한 파라미터가 공급되었을 경우, 그 공급된 파라미터에 의해 기억 내용이 갱신된다.

단계 S173에서는, 계수 생성부(182)가 계수 종류 메모리(183)로부터 클래스마다의 계수 종류 데이터를 판독하고, 파라미터 메모리(184)로부터 파라미터를 판독함에 따라, 계수 종류 데이터와 파라미터를 취득하여 그 계수 종류 데이터와 파라미터에 따라 클래스마다의 탭 계수를 구한다. 그리고, 단계 S174로 진행되어, 계수 생성부(182)가 그 클래스마다의 탭 계수를 계수 메모리(181)에 공급하고, 중복기재하는 형태로 기억시킨다. 그리고, 단계 S174로부터 S171로 복귀하여, 이하 동일한 처리가 반복된다.

도 29의 화상 변환부(431)에서는, 이상과 같이 파라미터를 사용하여 갱신되는 탭 계수를 사용하고, 전술한 식 1에 의해, 제1 화상 신호를 제2 화상 신호로 변환하는 화상 변환 처리, 즉 파라미터에 대응하는 화상 변환 처리를 한다.

그리고, 도 31에 있어서, 단계 S173 및 S174의 처리는, 파라미터 메모리(184)에 새로운 파라미터가 중복기재되었을 경우에 행하고, 다른 경우는 스킵하는 것이 가능하다.

다음에, 계수 생성부(182)에서의 탭 계수의 생성과 계수 종류 메모리(183)에 기억시키는 계수 종류 데이터의 학습에 대하여 설명한다.

고화질의 화상 신호(고화질 화상 신호)를 제2 화상 신호로 하는 동시에 그 고화질 화상 신호를 LPF(Low Pass Filter)에 의해 필터링하는 등, 화질(해상도)을 저하시킨 저화질의 화상 신호(저화질 화상 신호)를 제1 화상 신호로서, 저화질 화상 신호로부터 예측 탭을 추출하고 그 예측 탭과 탭 계수를 사용하여 고화질 화소의 화소값을, 예를 들면 식 1의 선형 1차 예측 연산에 의해 구한(예측한) 것으로 고려된다.

여기서, 고화질 화소의 화소값 y는, 식 1에 나타낸 선형 1차식이 아니고, 2차 이상의 고차의 식에 의해 구하는 것도 가능하다.

한편, 계수 생성부(182)에서는, 탭 계수 w_n이 계수 종류 메모리(183)에 기억된 계수 종류 데이터와, 파라미터 메모리(184)에 기억된 파라미터로부터 생성되지만, 이 계수 생성부(182)에서의 탭 계수 w_n의 생성이, 계수 종류 데이터와 파라미터를 사용한, 예를 들면 다음 식에 의해 행해지는 것으로 한다.

단, 식 9에 있어서, β_m,n는 n번째의 탭 계수 w_n을 구하는데 이용되는 m번째의 계수 종류 데이터를 나타내며, z는 파라미터를 나타낸다. 그리고, 식 9에서는 탭 계수 w_n이 M개의 계수 종류 데이터β_n,1, β_n,2, ···, β_n,M를 사용하여 요구되게 되어 있다.

여기서, 계수 종류 데이터 β_m,n와 파라미터 z로부터 탭 계수 w_n을 구하는 식은, 식 9로 한정되는 것은 아니다.

식 9에서의 파라미터 z에 의해 정해지는 값 z^m-1을, 새로운 변수 t_m를 도입하여, 다음 식으로 정의한다.

식 10을 식 9에 대입함으로써, 다음 식을 얻을 수 있다.

식 11에 의하면, 탭 계수 w_n은 계수 종류 데이터 β_m,n와 변수 t_m과의 선형 1차 식에 의해 구할 수 있게 된다.

그런데, 제k 샘플의 고화질 화소의 화소값의 참값을 y_k로 나타내고, 식 1에 의해 얻어지는 그 참값 y_k의 예측값을 y_k＇로 나타내면, 그 예측 오차 e_k는 다음 식으로 표현된다.

식 12의 예측값 y_k＇는, 식 1에 따라 구할 수 있기 때문에, 식 12의 y_k＇를 식 1에 치환하면, 다음 식을 얻을 수 있다.

단, 식 13에 있어서, x_n,k는 제k 샘플의 고화질 화소에 대한 예측 탭을 구성하는 n번째의 저화질 화소를 나타낸다.

식 13의 w_n에, 식 11을 대입함으로써, 다음 식을 얻을 수 있다.

식 14의 예측 오차 e_k를 0으로하는 계수 종류 데이터 β_{m, n}이 고화질 화소를 예측하는데 최적인 것으로 되지만, 모든 고화질 화소에 대하여 그와 같은 계수 종류 데이터 β_m,n을 구한다 것은 일반적으로는 곤란하다.

그래서, 계수 종류 데이터 β_m,n이 최적인 것을 나타내는 규범으로서, 예를 들면 최소제곱법을 채용하는 것으로 하면, 최적인 계수 종류 데이터 β_m,n은 다음 식으로 표현되는 자승 오차의 총합 E를 최소로 하는 것으로 구할 수 있다.

단, 식 15에 있어서, K는 고화질 화소 y_k와 그 고화질 화소 y_k에 대한 예측 탭을 구성하는 저화질 화소 x _1,k, x _2,k, ···, x _N,k와의 세트의 샘플수(학습용의 샘플의 수)를 나타낸다.

식 15의 자승 오차의 총합 E의 최소값(극소치)은 식 16에 나타낸 바와 같이, 총합 E를 계수 종류 데이터 β_m,n으로 편미분한 것을 0으로 하는 β_m,n에 의해 주어진 다.

식 13을 식 16에 대입함으로써, 다음 식을 얻을 수 있다.

X_i,p,j,q 와 Y_i,p를, 식 18과 식 19에 나타낸 바와 같이 정의한다.

이 경우, 식 17은, X_i,p,j,q와 Y_i,p를 사용한 식 20에 나타내는 정규 방정식으로 나타낼 수가 있다.

식 20의 정규 방정식은, 예를 들면 소거법(Gauss-Jordan의 소거법) 등을 사용함으로써, 계수 종류 데이터 β_m,n에 대하여 풀 수가 있다.

도 29의 계수 종류 메모리(183)에 있어서는, 다수의 고화질 화소 y₁, y₂, ···, y_K를 학습의 교사로 되는 교사 데이터로 하는 동시에 각 고화질 화소 y_k에 대한 예측 탭을 구성하는 저화질 화소 x_1,k, x_2,k, ···, x_N,k를 학습의 학생으로 되는 학생 데이터로서, 식 20을 푸는 학습을 행함으로써 요구된 계수 종류 데이터 β_m,n이 기억되어 있고, 계수 생성부(182)에서는 그 계수 종류 데이터 β_m,n과 파라미터 메모리(184)에 기억된 파라미터 z로부터, 식 9에 따라, 탭 계수 w_n이 생성된다. 그리고, 연산부(125)에 있어서, 그 탭 계수 w_n과 고화질 화소로서의 주목 화소에 대한 예측 탭을 구성하는 저화질 화소(제1 화상 신호의 화소) x_n를 사용하여, 식 1이 계산됨으로써, 고화질 화소로서의 주목 화소의 화소값(이에 가까운 예측값)이 요구된 다.

다음에, 도 32는 식 20의 정규 방정식을 세워 푸는 것으로 계수 종류 데이터 β_m,n을 구하는 학습을 행하는 학습 장치의 구성예를 나타내고 있다. 그리고, 도면 중 도 8과 대응하는 부분에 대하여는 동일한 부호를 부여하고 있어, 이하에서 그 설명은 적당히 생략한다.

학습 장치에는, 계수 종류 데이터 β_m,n의 학습에 이용되는 학습용 화상 신호가 입력되도록 되어 있다. 여기서, 학습용 화상 신호로서는, 예를 들어 해상도가 높은 고화질 화상 신호를 사용할 수 있다.

학습 장치에 있어서, 학습용 화상 신호는 교사 데이터 생성부(131)로 학생 데이터 생성부(133)에 공급된다.

교사 데이터 생성부(131)는 공급되는 학습용 화상 신호로부터 교사 데이터를 생성하고, 교사 데이터 기억부(132)에 공급한다. 즉, 여기서, 교사 데이터 생성부(131)는 학습용 화상 신호로서의 고화질 화상 신호를 그대로 교사 데이터로서 교사 데이터 기억부(132)에 공급한다.

교사 데이터 기억부(132)는 교사 데이터 생성부(131)로부터 공급되는 교사 데이터로서의 고화질 화상 신호를 기억한다.

학생 데이터 생성부(133)는 학습용 화상 신호로부터 학생 데이터를 생성하고, 학생 데이터 기억부(134)에 공급한다. 즉, 학생 데이터 생성부(133)는 학습용 화상 신호로서의 고화질 화상 신호를 필터링함으로써, 그 해상도를 저하시키는 것 으로 저화질 화상 신호를 생성하고, 이 저화질 화상 신호를 학생 데이터로서, 학생 데이터 기억부(134)에 공급한다.

여기서, 학생 데이터 생성부(133)에는 학습용 화상 신호 외에, 도 30의 파라미터 메모리(184)에 공급되는 파라미터 z가 취할 수 있는 범위의 몇개의 값이, 파라미터 생성부(191)로부터 공급되도록 되어 있다. 즉, 파라미터 z가 취할 수 있는 값이 0 내지 Z의 범위의 실수라고 하면, 학생 데이터 생성부(133)에는, 예를 들어 z = 0, 1, 2, ···, Z가 파라미터 생성부(191)로부터 공급되도록 되어 있다.

학생 데이터 생성부(133)는 학습용 화상 신호로서의 고화질 화상 신호를 공급되는 파라미터 z에 대응하는 차단 주파수의 LPF에 의해 필터링함으로써, 학생 데이터로서의 저화질 화상 신호를 생성한다.

따라서, 이 경우, 학생 데이터 생성부(133)에서는 도 33에 나타낸 바와 같이, 학습용 화상 신호로서의 고화질 화상 신호에 대하여, Z+1 종류의 해상도가 상이한 학생 데이터로서의 저화질 화상 신호가 생성된다.

그리고, 여기서는, 예를 들면 파라미터 z의 값이 커지는 만큼, 차단 주파수가 높은 LPF를 사용하여, 고화질 화상 신호를 필터링하고, 학생 데이터로서의 저화질 화상 신호를 생성하는 것으로 한다. 따라서, 여기서는 값이 큰 파라미터 z에 대응하는 저화질 화상 신호만큼 해상도가 높아지게 된다.

또, 본 실시예에서는, 설명을 간단하게 하기 위해서, 학생 데이터 생성부(133)에 있어서, 고화질 화상 신호의 수평 방향 및 수직 방향의 양방향의 해상도를, 파라미터 z에 대응하는 부분만큼 저하시킨 저화질 화상 신호를 생성하는 것으 로 한다.

도 32에 있어서, 학생 데이터 기억부(134)는 학생 데이터 생성부(133)로부터 공급되는 학생 데이터를 기억한다.

예측 탭 추출부(135)는 교사 데이터 기억부(132)에 기억된 교사 데이터로서의 고화질 화상 신호를 구성하는 화소를, 순차적으로 주목 교사 화소로 하고 그 주목 교사 화소에 대하여, 학생 데이터 기억부(134)에 기억된 학생 데이터로서의 저화질 화상 신호를 구성하는 저화질 화소 중 소정의 것을 추출함으로써, 도 29의 예측 탭 추출부(121)가 구성하는 것과 동일한 탭 구조의 예측 탭을 구성하고, 추가삽입부(192)에 공급한다.

특징 추출부(136)는 주목 교사 화소의 특징을 학생 데이터 기억부(134)에 기억된 학생 데이터로서의 저화질 화상 신호를 사용하고, 도 29의 특징 추출부(122)에서의 경우와 같게 추출하고, 클래스 분류부(137)에 공급한다.

그리고, 예측 탭 추출부(135)와 특징 추출부(136)에는, 파라미터 생성부(191)가 생성하는 파라미터 z가 공급되도록 되어 있어 예측 탭 추출부(135)와 특징 추출부(136)는, 파라미터 생성부(191)로부터 공급되는 파라미터 z에 대응하여 생성된 학생 데이터(여기서는, 파라미터 z에 대응하는 차단 주파수의 LPF를 사용하여 생성된 학생 데이터로서의 저화질 화상 신호)를 사용하여, 예측 탭을 구성하고, 또 주목 교사 화소의 특징을 추출한다.

클래스 분류부(137)는 특징 추출부(136)가 출력하는 주목 교사 화소의 특징에 근거하여, 도 29의 클래스 분류부(123)에서 동일한 클래스 분류를 행하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 추가삽입부(192)에 출력한다.

추가삽입부(192)는 교사 데이터 기억부(132)로부터 주목 교사 화소를 판독하고, 그 주목 교사 화소, 예측 탭 추출부(135)로부터 공급되는 주목 교사 화소에 대하여 구성된 예측 탭을 구성하는 학생 데이터 및 그 학생 데이터를 생성했을 때의 파라미터 z를 대상으로 한 추가삽입을 클래스 분류부(137)로부터 공급되는 클래스 코드마다 행한다.

즉, 추가삽입부(192)에는 교사 데이터 기억부(132)에 기억된 교사 데이터 y_k, 예측 탭 추출부(135)가 출력하는 예측 탭 x_i,k (x_j,k), 및 클래스 분류부(137)가 출력하는 클래스 코드 외에, 그 예측 탭을 구성하는데 이용된 학생 데이터를 생성했을 때의 파라미터 z도, 파라미터 생성부(191)로부터 공급되도록 되어 있다.

그리고, 추가삽입부(192)는 클래스 분류부(137)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측 탭(학생 데이터) x_i,k (x_j,k)와 파라미터 z를 사용하고, 식 20의 좌변의 행렬에서의, 식 18에서 정의되는 성분 X_i,p,j,q를 구하기 위한 학생 데이터 및 파라미터 z의 승산(x_i,k t_p x_j,k t_q)과 합산(Σ)에 상당하는 연산을 행한다. 그리고, 식 18의 t_p는 식 10에 따라, 파라미터 z로부터 계산된다. 식 18의 t_q도 마찬가지이다.

또한, 추가삽입부(192)는 클래스 분류부(137)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측 탭(학생 데이터) x_i,k, 교사 데이터 y_k, 및 파라미터 z를 사용하고, 식 20의 우변의 벡터에서의, 식 19에서 정의되는 성분 Y_i,p를 구하기 위한 학생 데이터 x_i,k, 교사 데이터 y_k, 및 파라미터 z의 승산(x_i,k t_p y_k)과 합산(Σ)에 상당하는 연산을 행한다. 그리고, 식 19의 t_p는 식 10에 따라 파라미터 z로부터 계산된다.

즉, 추가삽입부(192)는 이전의 주목 교사 화소로 된 교사 데이터에 대하여 요구된 식 20에서의 좌변의 행렬의 요소 X_i,p,j,q와 우변의 벡터의 성분 Y_i,p를, 그 내장 메모리(도시하지 않음)에 기억하고 있고, 그 행렬의 요소 X_i,p,j,q 또는 벡터의 성분 Y_i,p에 대해서, 새롭게 주목 교사 화소로 된 교사 데이터에 대하여, 그 교사 데이터 y_k, 학생 데이터 x_i,k (x_j,k), 및 파라미터 z를 사용하여 계산되는, 대응하는 성분 x_i,k t_p x_j,k t_q 또는 x_i,k t_p y _k를 추가삽입하는 식 18의 성분 X_i,p,j,q 또는 식 19의 성분 Y_i,p에서의 합산으로 표현되는 가산을 행한다.

그리고, 추가삽입부(192)는 0, 1, ···, Z의 모든 값의 파라미터 z에 대해, 교사 데이터 기억부(132)에 기억된 교사 데이터 모두를 주목 교사 화소로서, 전술한 추가삽입을 행함으로써, 각 클래스에 대하여 식 20에 나타낸 정규 방정식을 세우고, 그 정규 방정식을 계수 종류 산출부(193)에 공급한다.

계수 종류 산출부(193)는 추가삽입부(192)로부터 공급되는 클래스마다의 정규 방정식을 푸는 것으로, 각 클래스마다의 계수 종류 데이터 β_m,n를 요구해 출력 한다.

파라미터 생성부(191)는 도 30의 파라미터 메모리(184)에 공급되는 파라미터 z가 취할 수 있는 범위의 몇개의 값으로서의, 예를 들면 전술한 바와 같은 z = 0, 1, 2, ···, Z를 생성하여 학생 데이터 생성부(133)에 공급한다. 또, 파라미터 생성부(191)는 생성한 파라미터 z를 예측 탭 추출부(135) 및 특징 추출부(136) 및 추가삽입부(192)에도 공급한다.

다음에, 도 34의 흐름도를 참조하여, 도 32의 학습 장치의 처리(학습 처리)에 대하여 설명한다.

먼저, 단계 S181에 있어서, 교사 데이터 생성부(131)와 학생 데이터 생성부(133)가 학습용 화상 신호로부터 교사 데이터와 학생 데이터를 각각 생성하여 출력한다. 즉, 교사 데이터 생성부(131)는 학습용 화상 신호를 그대로 교사 데이터로서 출력한다. 또, 학생 데이터 생성부(131)에는, 파라미터 생성부(191)가 생성하는 Z＋1개 값의 파라미터 z가 공급되고, 학생 데이터 생성부(131)는 학습용 화상 신호를 파라미터 생성부(191)로부터의 Z＋1개의 값(0, 1, ···, Z)의 파라미터 z에 대응하는 차단 주파수의 LPF에 의해 필터링함으로써, 각 프레임의 교사 데이터(학습용 화상 신호)에 대하여, Z+1 프레임의 학생 데이터를 생성하여 출력한다.

그 후, 단계 S182로 진행되어, 파라미터 생성부(191)는 파라미터 z를 초기값 으로서의, 예를 들면 0으로 세트하고, 예측 탭 추출부(135) 및 특징 추출부(136)와 추가삽입부(192)에 공급하여 단계 S183으로 진행하게 된다. 단계 S183에서, 예측 탭 추출부(135)는 교사 데이터 기억부(132)에 기억된 교사 데이터 중 아직 주목 교사 화소가 아닌 것을 주목 교사 화소로 한다. 또한, 단계 S183에서, 예측 탭 추출부(135)는 주목 교사 화소에 대하여 학생 데이터 기억부(134)에 기억된, 파라미터 생성부(191)가 출력하는 파라미터 z에 대한 학생 데이터(주목 교사 화소로 되어 있는 교사 데이터에 대응하는 학습용 화상 신호를, 파라미터 z에 대응하는 차단 주파수의 LPF에 의해 필터링함으로써 생성된 학생 데이터)로부터 예측 탭을 구성하고, 추가삽입부(192)에 공급하여, 단계 S184로 진행하게 된다.

단계 S184에서, 특징 추출부(136)는 주목 교사 화소에 대하여, 학생 데이터 기억부(134)에 기억된, 파라미터 생성부(191)가 출력하는 파라미터 z에 대한 학생 데이터를 사용하여 주목 교사 화소의 특징을 추출하고, 클래스 분류부(137)에 공급하여, 단계 S185로 진행하게 된다.

단계 S185에서, 클래스 분류부(137)는 특징 추출부(136)로부터의 주목 교사 화소의 특징에 근거하여 주목 교사 화소의 클래스 분류를 행하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 추가삽입부(192)에 출력하여 단계 S186으로 진행하게 된다.

단계 S186에서, 추가삽입부(192)는 교사 데이터 기억부(132)로부터 주목 교사 화소를 판독하고, 그 주목 교사 화소, 예측 탭 추출부(135)로부터 공급되는 예측 탭, 파라미터 생성부(191)가 출력하는 파라미터 z를 사용하고, 식 20에서의 좌 변의 행렬의 요소 x_i,K t_p x_j,K t_q와 우변의 벡터의 성분 x _i,K t_p y_K를 계산한다. 또한, 추가삽입부(192)는 이미 얻은 행렬의 요소와 벡터의 성분 중, 클래스 분류부(137)으로부터의 클래스 코드에 대응하는 것에 대해서, 주목 화소, 예측 탭 및 파라미터 z로부터 요구된 행렬의 요소 x_i,K t_p x_j,K t_q와 벡터의 성분 x_i,K t_p y_K를 더해 단계 S187로 진행하게 된다.

단계 S187에서, 파라미터 생성부(191)는 자신이 출력하고 있는 파라미터 z가 그 취할 수 있는 값의 최대값인 Z와 동일한가 여부를 판정한다. 단계 S187에 있어서, 파라미터 생성부(191)가 출력하고 있는 파라미터 z가 최대값 Z와 동일하지 않다(최대값 Z 미만이다)라고 판정된 경우, 단계 S188로 진행되어, 파라미터 생성부(191)는 파라미터 z에 1을 가산하고, 그 가산값을 새로운 파라미터 z로서, 예측 탭 추출부(135) 및 특징 추출부(136)와 추가삽입부(192)에 출력한다. 그리고, 단계 S183으로 돌아와, 이하 마찬가지의 처리가 반복된다.

또, 단계 S187에 있어서, 파라미터 z가 최대값 Z와 동일한 것으로 판정된 경우, 단계 S189로 진행되어, 예측 탭 추출부(135)가 교사 데이터 기억부(132)에, 아직 주목 교사 화소가 아닌 교사 데이터가 기억되어 있는 화소인지 여부를 판정한다. 단계 S189에 있어서, 주목 교사 화소가 아닌 교사 데이터가, 아직 교사 데이터 기억부(132)에 기억되어 있다고 판정된 경우, 예측 탭 추출부(135)는 아직 주목 교사 화소가 아닌 교사 데이터를, 새롭게 주목 교사 화소로서 단계 S182로 복귀하여, 이하 마찬가지의 처리가 반복된다.

또, 단계 S189에 있어서, 주목 교사 화소가 아닌 교사 데이터가 교사 데이터 기억부(132)에 기억되어 있지 않은 것으로 판정된 경우, 추가삽입부(192)는 지금까지의 처리에 의해 얻어진 클래스마다의 식 20에서의 좌변의 행렬과 우변의 벡터를 계수 종류 산출부(193)에 공급하고 단계 S190으로 진행하게 된다.

단계 S190에서, 계수 종류 산출부(193)는 추가삽입부(192)로부터 공급되는 클래스마다의 식 20에서의 좌변의 행렬과 우변의 벡터에 의해 구성되는 클래스마다의 정규 방정식을 푸는 것으로, 각 클래스마다 계수 종류 데이터 β_m,n를 요구해 출력하고, 처리를 종료한다.

그리고, 학습용 화상 신호의 수가 충분하지 않은 것 등에 기인하여, 계수 종류 데이터를 구하는데 필요한 수의 정규 방정식을 얻을 수 없는 클래스가 생기는 경우가 있지만, 그와 같은 클래스에 대하여는, 계수 종류 산출부(193)는, 예를 들면 디폴트의 계수 종류 데이터를 출력하도록 되어 있다.

그런데, 도 32의 학습 장치에서는, 도 33에 나타낸 것과 마찬가지로, 학습용 화상 신호로서의 고화질 화상 신호를 교사 데이터로 하는 동시에 그 고화질 화상 신호에 파라미터 z에 대응하여 해상도를 열화시킨 저화질 화상 신호를 학생 데이터로서, 식 11에 의해 계수 종류 데이터 β_m,n과 파라미터 z에 대응하는 변수 t_m으로 표현되는 탭 계수 w_n, 및 학생 데이터 x_n으로부터, 식 1의 선형 1차식으로 예측되는 교사 데이터의 예측값 y의 자승 오차의 총합을 최소로 하는 계수 종류 데이터 β_m,n 를 직접 구하는 학습을 행하도록 했지만, 계수 종류 데이터 β_m,n의 학습은 그 외, 예를 들면 도 35에 나타낸 바와 같이 행하는 것도 가능하다.

즉, 도 35의 실시예에서는, 도 33의 실시예에서의 경우와 마찬가지로, 학습용 화상 신호로서의 고화질 화상 신호를 교사 데이터로 하는 동시에 그 고화질 화상 신호를 파라미터 z에 대응하는 차단 주파수를 갖는 LPF에 의해 필터링함으로써, 그 수평 해상도 및 수직 해상도를 저하시킨 저화질 화상 신호를 학생 데이터로서, 먼저 탭 계수 w_n, 및 학생 데이터 x_n을 사용하여 식 1의 선형 1차 예측식에서 예측되는 교사 데이터의 예측값 y의 자승 오차의 총합을 최소로 하는 탭 계수 w_n이 파라미터 z의 값(여기서는, z = 0, 1, ···, Z)마다 요구된다. 또한, 도 35의 실시예에서는, 요구된 탭 계수 w_n을 교사 데이터로 하는 동시에 파라미터 z를 학생 데이터로서, 식 11에 의해 계수 종류 데이터 β_m,n, 및 학생 데이터인 파라미터 z에 대응하는 변수 t_m으로부터 예측되는 교사 데이터로서의 탭 계수 wn의 예측값의 자승 오차의 총합을 최소로 하는 계수 종류 데이터 β_m,n을 구하는 학습을 한다.

여기서, 식 1의 선형 1차 예측식에서 예측되는 교사 데이터의 예측값 y의 자승 오차의 총합 E를 최소(극소)로 하는 탭 계수 w_n은 도 8의 학습 장치에서의 경우와 마찬가지로, 식 8의 정규 방정식을 세워 푸는 것으로, 각 클래스에 대하여 파라미터 z의 값(z = 0, 1, ···, Z)마다 구할 수 있다.

그런데, 여기서는, 식 11에 나타낸 것과 같이, 계수 종류 데이터 β_m,n과 파라미터 z에 대응하는 변수 t^m으로부터 탭 계수가 요구되지만, 이 식 11에 의해 구할 수 있는 탭 계수를, w_n＇로 나타내는 것으로 하면, 다음의 식 21에서 표현되는, 최적의 탭 계수 w_n과 식 11에 의해 요구되는 탭 계수 w_n＇와의 오차 e_n을 0으로 하는 계수 종류 데이터 β_m,n이 최적인 탭 계수 w_n을 구하는데 최적인 계수 종류 데이터로 되지만, 모든 탭 계수 w_n에 대하여, 그와 같은 계수 종류 데이터 β_m,n을 구하는 것은 일반적으로는 곤란하다.

리고, 식 21은, 식 11에 의해 다음 식과 같이 변형될 수 있다.

그래서, 계수 종류 데이터 βm,n이 최적이라는 것을 나타내는 규범으로서, 예를 들어 최소제곱법을 채용하는 것으로 하면, 최적의 계수 종류 데이터 β_m,n은 다음 식으로 표현되는 자승 오차의 총합 E를 최소로 하는 것으로 구할 수 있다.

식 23의 자승 오차의 총합 E의 최소값(극소치)는, 식 24에 나타낸 바와 같이, 총합 E를 계수 종류 데이터 β_m,n으로 편미분 한 것을 0으로 하는 β_m,n에 의해 주어진다.

식 22를 식 24에 대입함으로써 다음 식을 얻을 수 있다.

X_i,j 와 Y_i를 식 26과 27에 나타낸 바와 같이 정의한다.

이 경우, 식 25는 X_i,j와 Y_i를 사용한 식 28에 나타내는 정규 방정식으로 나타낼 수 있다.

식 28의 정규 방정식도, 예를 들면 소거법(Gauss-Jordan의 소거법) 등을 사용함으로써, 계수 종류 데이터 β_m,n에 대하여 풀 수가 있다.

다음에, 도 36은 식 28의 정규 방정식을 세워 푸는 것으로 계수 종류 데이터 β_n,m을 구하는 학습을 행하는 학습 장치의 구성예를 나타내고 있다. 그리고, 도면 중, 도 8 또는 도 32와 대응하는 부분에 대하여는 동일한 부호를 부여하고 있어, 이하 그 설명은 적당히 생략한다.

추가삽입부(138)에는 클래스 분류부(137)가 출력하는 주목 교사 화소에 대한 클래스 코드와 파라미터 생성부(191)가 출력하는 파라미터 z가 공급되도록 되어 있다. 그리고, 추가삽입부(138)는 교사 데이터 기억부(132)로부터 주목 교사 화소를 판독하고, 그 주목 교사 화소와 예측 탭 추출부(135)로부터 공급되는 주목 교사 화소에 대하여 구성된 예측 탭을 구성하는 학생 데이터를 대상으로 한 추가삽입을 클래스 분류부(137)로부터 공급되는 클래스 코드마다, 또한 파라미터 생성부(191)가 출력하는 파라미터 z의 값마다 행한다.

즉, 추가삽입부(138)에는 교사 데이터 기억부(132)에 기억된 교사 데이터 y_k, 예측 탭 추출부(135)가 출력하는 예측 탭 x_n,k, 클래스 분류부(137)가 출력하는 클래스 코드 및 파라미터 생성부(191)가 출력하는 예측 탭 x_n,k를 구성하는데 이용된 학생 데이터를 생성했을 때의 파라미터 z가 공급된다.

그리고, 추가삽입부(138)는 클래스 분류부(137)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 또 파라미터 생성부(191)가 출력하는 파라미터 z의 값마다, 예측 탭(학생 데이터) x_n,k를 사용하고, 식 8의 좌변의 행렬에서의 학생 데이터 끼리의 승산(x_n,k x_n',k)과 합산(Σ)에 상당하는 연산을 행한다.

또한, 추가삽입부(138)는 클래스 분류부(137)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 또 파라미터 생성부(191)가 출력하는 파라미터 z의 값마다, 예측 탭(학생 데이터) x_n,k와 교사 데이터 y_k를 사용하고, 식 8의 우변의 벡터에서의 학생 데이터 x_n,k 및 교사 데이터 y_k의 승산(x_n,k y_k)과 합산(Σ)에 상당하는 연산을 행한다.

즉, 추가삽입부(138)는 이전의 주목 교사 화소로 된 교사 데이터에 대하여 요구된 식 8에서의 좌변의 행렬의 요소(Σx_n,k x_n',k)와 우변의 벡터의 성분(Σx_n,k y_k)를, 그 내장 메모리(도시하지 않음)에 기억하고, 그 행렬의 요소(Σx_n,kx_n',k) 또는 벡터의 성분(Σx_n,ky_k)에 대해서, 새롭게 주목 교사 화소로 된 교사 데이터에 대하여, 그 교사 데이터 y_k+1 및 학생 데이터 x_n,k+1을 사용하여 계산되는, 대응하는 성분 x_n,k+1 x_n',k+1 또는 x_n,k+1 y_k+1을 더하는 식 8의 합산으로 표현되는 가산을 행한다.

그리고, 추가삽입부(138)는 교사 데이터 기억부(132)에 기억된 교사 데이터 모두를 주목 교사 화소로서, 전술한 추가삽입을 행함으로써, 각 클래스에 대하여 파라미터 z의 각 값마다, 식 8에 나타낸 정규 방정식을 세우고, 그 정규 방정식을 탭 계수 산출부(139)에 공급한다.

탭 계수 산출부(139)는 추가삽입부(138)로부터 공급되는 각 클래스에 대한, 파라미터 z의 값마다의 정규 방정식을 푸는 것으로, 각 클래스에 대하여 파라미터 z의 값마다의 최적인 탭 계수 w_n을 구하여 추가삽입부(201)에 공급한다.

추가삽입부(201)는 각 클래스마다, 파라미터 z(에 대응하는 변수 t_m와 최적의 탭 계수 w_n를 대상으로 한 추가삽입을 행한다.

즉, 추가삽입부(201)는 파라미터 z로부터 식 10에 의해 구할 수 있는 변수 t_i(t_j)를 사용하고, 식 28의 좌변의 행렬에서 식 26으로 정의되는 성분 X_i,j를 구하기 위한 파라미터 z에 대응하는 변수 t_i(t_j)끼리의 승산(t_it_j)과 합산(Σ)에 상당하 는 연산을 클래스마다 행한다.

여기서, 성분 X_i,j는 파라미터 z에 의해서만 정해지는 것이며, 클래스와는 관계가 없기 때문에, 성분 X_i,j의 계산은, 실제로는 클래스마다 행할 필요는 없고, 1회 행하는 것으로 끝난다.

또한, 추가삽입부(201)는 파라미터 z로부터 식 10에 의해 구할 수 있는 변수 t_i와 최적인 탭 계수 w_n를 사용하고, 식 28의 우변의 벡터에서의, 식 27에서 정의되는 성분 Y_i를 구하기 위한 파라미터 z에 대응하는 변수 t_i 및 최적인 탭 계수 w_n의 승산(t_iw_n)과 합산(Σ)에 상당하는 연산을 클래스마다 행한다.

추가삽입부(201)는 각 클래스마다, 식 26에서 표현되는 성분 X_i,j와 식 27에서 표현되는 성분 Y_i를 구하는 것에 따라, 각 클래스에 대하여 식 28의 정규 방정식을 세우면 그 정규 방정식을 계수 종류 산출부(202)에 공급한다.

계수 종류 산출부(202)는 추가삽입부(201)로부터 공급되는 클래스마다의 식 28의 정규 방정식을 푸는 것으로, 각 클래스마다의 계수 종류 데이터 β_m,n를 요구해 출력한다.

도 30의 계수 종류 메모리(183)에는, 이상과 같이 하여구할 수 있던 클래스마다의 계수 종류 데이터 β_m,n를 기억하게 하도록 할 수도 있다.

여기서, 도 30의 계수 출력부(124)에 있어서는, 예를 들면 계수 종류 메모리 (183)를 준비하지 않고, 도 36의 탭 계수 산출부(139)가 출력하는 파라미터 z의 각 값마다의 최적인 탭 계수 w_n를 메모리에 기억하게 해, 파라미터 메모리(184)에 기억된 파라미터 z에 따라, 메모리에 기억된 최적인 탭 계수를 선택하여, 계수 메모리(181)에 세트하도록 하는 것도 가능하다. 단, 이 경우, 파라미터 z가 취할 수 있는 값의 수에 비례한 큰 용량의 메모리가 필요하다. 이것에 대해서, 계수 종류 메모리(183)를 설치하고, 계수 종류 데이터를 기억하게 하는 경우에는, 계수 종류 메모리(183)의 기억 용량은, 파라미터 z가 취할 수 있는 값의 수에 의존하지 않기 때문에, 계수 종류 메모리(183)로서 작은 용량의 메모리를 채용할 수 있다. 또한, 계수 종류 데이터 β_m,n를 기억하게 하는 경우에는, 그 계수 종류 데이터 β_m,n와 파라미터 z의 값으로부터, 식 9에 의해 탭 계수 w_n가 생성되는 것으로부터, 파라미터 z의 값에 따른, 말하자면 연속적인 탭 계수 w_n를 얻을 수 있다. 그리고, 그 결과 연산부(125)가 제2 화상 신호로서 출력하는 고화질 화상 신호의 화질을 단계없이 원활하게 조정하는 것이 가능해진다.

그리고, 전술한 경우에는, 학습용 화상 신호를 그대로 제2 화상 신호에 대응하는 교사 데이터로 하는 동시에, 그 학습용 화상 신호의 해상도를 열화시킨 저화질 화상 신호를 제1 화상 신호에 대응하는 학생 데이터로서, 계수 종류 데이터의 학습을 행하도록 한 것으로부터, 계수 종류 데이터로서는 제1 화상 신호를 그 해상도를 향상시킨 제2 화상 신호로 변환하는 해상도 향상 처리로서의 화상 변환 처리를 행하는 것을 얻을 수 있다.

이 경우, 화상 변환부(431)에서는, 파라미터 z에 대응하여 화상 신호의 수평 해상도 및 수직 해상도를 향상시킬 수가 있다. 따라서, 이 경우, 파라미터 z는 해상도에 대응하는 파라미터라고 할 수 있다.

여기서, 제1 화상 신호에 대응하는 학생 데이터와 제2 화상 신호에 대응하는 교사 데이터로 하는 화상 신호의 선택의 방법에 의해, 계수 종류 데이터로서는 각종의 화상 변환 처리를 행하는 것을 얻을 수 있다.

즉, 예를 들면 고화질 화상 신호를 교사 데이터로 하는 동시에 그 교사 데이터로서의 고화질 화상 신호에 대해서, 파라미터 z에 대응하는 레벨의 노이즈를 중첩한 화상 신호를 학생 데이터로서 학습 처리를 행함으로써, 계수 종류 데이터로서는 제1 화상 신호를 거기에 포함되는 노이즈를 제거(저감)한 제2 화상 신호로 변환하는 노이즈 제거 처리로서의 화상 변환 처리를 행하는 것을 얻을 수 있다.

또, 예를 들면 어느 화상 신호를 교사 데이터로 하는 동시에, 그 교사 데이터로서의 화상 신호의 화소수를 파라미터 z에 대응하여 선택제거한 화상 신호를 학생 데이터로서, 또 파라미터 z에 대응하는 사이즈의 화상 신호를 학생 데이터로 하는 동시에 그 학생 데이터로서의 화상 신호의 화소를 소정 선택제거율로 선택제거낸 화상 신호를 교사 데이터로서 학습 처리를 행함으로써, 계수 종류 데이터로서는, 제1 화상 신호를 확대 또는 축소한 제2 화상 신호로 변환하는 리사이즈(크기 재설정) 처리로서의 화상 변환 처리를 행하는 것을 얻을 수 있다.

계수 종류 메모리(183)에 노이즈 제거 처리용의 계수 종류 데이터나 리사이즈 처리용의 계수 종류 데이터를 기억하게 하는 경우, 화상 변환부(31)에서는 파라 미터 z에 대응하여, 화상 신호의 노이즈 제거나 리사이즈(확대 또는 축소)를 행할 수 있다.

그리고, 전술한 경우에는, 탭 계수 w_n을 식 9에 나타낸 것과 마찬가지로, β_1,n z⁰ ＋ β_2,n z¹ ＋···＋ β_M,n z^M-1로 정의하고, 이 식 9에 의해, 수평 및 수직 방향의 해상도를, 모두 파라미터 z에 대응하여 향상시키기 위한 탭 계수 w_n를 구하도록 했지만, 탭 계수 w_n으로서는, 수평 해상도와 수직 해상도를 독립의 파라미터 z_x와 z_y에 대응하여, 각각 독립적으로 향상시키는 것을 구하도록 하는 것도 가능하다.

즉, 탭 계수 w_n를 식 9에 대신하여, 예를 들면 3차식 β_1,n z_x ⁰ z_y ⁰＋β_2,n z_x ¹ z_y ⁰＋β_3,n z_x ² z_y ⁰＋β _4,n z_x ³ z_y ⁰＋β_5,n z_x ⁰ z_y ¹＋β_6,n z_x ⁰ z_y ²＋β_7,n z_x ⁰ z_y ³＋β_8,n z_x ¹ z_y ¹＋β_9,n z_x ² z_y ¹＋β_10,n z_x ¹ z_y ²로 정의하는 동시에 식 10에서 정의한 변수 t_m를 식 10에 대신하여, t₁=z_x ⁰z_y ⁰, t₂=z_x ¹z_y ⁰, t₃=z_x ²z_y ⁰, t₄=z_x ³z_y ⁰, t₅=z_x ⁰z_y ¹, t₆=z_x ⁰z_y ², t₇=z_x ⁰z_y ³, t₈=z_x ¹z_y ¹, t₉=z_x ²z_y ¹, t₁₀=z_x ¹z_y ²로 정의한다. 이 경우도, 탭 계수 wn는 최종적으로는, 식 11에서 나타낼 수가 있어, 따라서 학습 장치(도 32, 도 36)에 있어서, 파라미터 zx와 zy에 대응하여, 교사 데이터의 수평 해상도와 수직 해상도를 각각 열화시킨 화상 신호를, 학생 데이터로서 사용하여 학습을 행하여, 계수 종류 데이터 β_m,n를 구하는 것에 따라, 수평 해상도와 수직 해상도를 독립의 파라미터 z_x와 z_y에 대응하여 각각 독립적으로 향상시키는 탭 계수 w_n를 구할 수 있다.

그 외, 예를 들면 수평 해상도와 수직 해상도 각각 대응하는 파라미터 z_x와 z_y에 더해, 또 시간 방향의 해상도에 대응하는 파라미터 z_t를 도입함으로써, 수평 해상도, 수직 해상도, 시간 해상도를 독립의 파라미터 z_x, z_y, z_t에 대응하여 각각 독립적으로 향상시키는 탭 계수 w_n를 구한다 것이 가능해진다.

또, 리사이즈 처리에 대하여도, 해상도 향상 처리에서의 경우와 같게, 수평 및 수직 방향을 모두 파라미터 z에 대응하는 확대율(또는 축소율)로 리사이즈하는 탭 계수 w_n 외에, 수평과 수직 방향을, 각각 파라미터 z_x와 zy에 대응하는 확대율로 독립적으로 리사이즈하는 탭 계수 w_n를 구한다 것이 가능하다.

또한, 학습 장치(도 32, 도 36)에 있어서, 파라미터 z_x에 대응하여 교사 데이터의 수평 해상도 및 수직 해상도를 열화시키면, 모두 파라미터 z_y에 대응하여 교사 데이터에 노이즈를 부가한 화상 신호를 학생 데이터로서 사용하여 학습을 행하여, 계수 종류 데이터 β_m,n를 구한다 것에 따라, 파라미터 z_x에 대응하여 수평 해상도 및 수직 해상도를 향상시키면, 모두 파라미터 z_y에 대응하여 노이즈 제거를 행하 는 탭 계수 w_n를 구할 수 있다.

그리고, 도 28의 화상 변환부(431R)의 계수 종류 메모리(183)(도 30)에는 교사 데이터로서 화상 신호의 R신호만을 사용하는 동시에, 학생 데이터로서 화상 신호의 R, G, B신호 모두를 사용하여 학습을 행함으로써 얻어지는 계수 종류 데이터가 기억된다. 또, 도 28의 화상 변환부(431G)의 계수 종류 메모리(183)(도 30)에는 교사 데이터로서 화상 신호의 G신호만을 사용하는 동시에, 학생 데이터로서 화상 신호의 R, G, B신호 모두를 사용하여 학습을 행함으로써 얻어지는 계수 종류 데이터가 기억된다. 마찬가지로, 도 28의 화상 변환부(431B)의 계수 종류 메모리(183)(도 30)에는 교사 데이터로서 화상 신호의 B신호만을 사용하는 동시에, 학생 데이터로서 화상 신호의 R, G, B신호 모두를 사용하여 학습을 행함으로써 얻어지는 계수 종류 데이터가 기억된다.

다음에, 도 37은 도 27의 신호 처리부(404)를 구성하는 신호 처리부(411R, 411G, 411B) 외의 구성예를 나타내고 있다. 그리고, 도면 중 도 28에 대응하는 부분에 대하여는 동일한 부호를 부여하고 있어, 이하 그 설명은 적당히 생략한다. 즉, 도 37의 신호 처리부(411R, 411G, 411B)는, 화상 기억부(432R, 432G, 432B)가 설치되지 않고, 신호 처리부(411G)에 있어서, 평가부(433)에 대신하여, 제어부(211)가 형성되어 있는 것 외에는 도 28과 같게 구성되어 있다.

도 37에 있어서, 제어부(211)에는 화상 변환부(431G)가 출력하는 제2 화상 신호가 아니라, 조작부(185)가 출력하는 파라미터가 공급되도록 되어 있다. 그리 고, 제어부(211)는 조작부(185)가 출력하는 파라미터를 취득하고, 그 파라미터에 따라, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 제어한다.

즉, 도 38은 도 37의 제어부(211)의 구성예를 나타내고 있다.

제어 신호 출력부(221)는 조작부(185)로부터 공급되는 파라미터를 취득하고, 파라미터 테이블 기억부(222)에 기억된 파라미터 테이블에 있어서, 조작부(185)로부터 취득한 파라미터와 대응하고 있는 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 인식한다. 또한, 제어 신호 출력부(221)는 전술한 제어 신호 출력부(444)와 마찬가지로, 파라미터 테이블을 사용하여 인식한 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 센서부(401)로 지정하는 제어 신호를 센서부(401)에 공급하고, 이로써 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 제어한다.

파라미터 테이블 기억부(222)는 조작부(185)를 조작함으로써 입력되는 파라미터와 그 파라미터에 대응하는 화상 변환 처리에 있어 적절한 화상 신호를 얻을 수 있을 때의 센서부(401)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치를 나타내는 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 대응시킨 파라미터 테이블을 기억하고 있다. 이 파라미터 테이블은 후술하는 파라미터 테이블의 학습에 의해 미리 요구된 것이다.

따라서, 제어 신호 출력부(221)에서는 파라미터 테이블에 있어서, 조작부(185)로부터 취득한 파라미터와 대응하고 있는 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 지정 하는 제어 신호를 센서부(401)에 공급함으로써, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치가 제어되므로, 센서부(401)로부터는, 조작부(185)로부터 취득한 파라미터에 대응하는 화상 변환 처리에 있어, 적절한 화상 신호가 출력되게 된다. 그리고, 그와 같은 화상 신호에 대해서, 조작부(185)로부터 취득한 파라미터에 대응한 화상 변환 처리를 행하는 것으로부터 고화질의 화상 신호를 얻을 수 있다.

다음에, 도 39의 흐름도를 참조하여 도 27의 신호 처리부(404)를 구성하는 신호 처리부(411)가 도 37에 나타낸 것과 같이 구성되는 경우의, 도 27의 촬상 장치의 동작에 대하여 설명한다.

먼저, 단계 S191에 있어서, 제어부(211)(도 38)의 제어 신호 출력부(221)는 조작부(185)가 출력하는 파라미터를 취득하고, 단계 S192로 진행하게 된다. 단계 S192에서, 제어부(211)는 파라미터 테이블 기억부(222)에 기억된 파라미터 테이블에 있어서, 조작부(185)로부터 취득한 파라미터와 대응하는 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 인식하고, 그 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B를 지정하는 제어 신호를 센서부(401)에 공급하여 단계 S193으로 진행하게 된다. 이로써, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치가 제어된다.

단계 S193에서, 센서부(401)는 피사체 광을 수광하고 광전 변환을 행함으로써, 전기 신호로서의 화상 신호를 취득하여(피사체를 촬상하여), 신호 조정부(402)에 공급한다. 신호 조정부(402)는 센서부(401)로부터 공급되는 화상 신호에 대해 서, CDS 처리를 가해, A/D 변환부(403)에 공급한다. A/D 변환부(403)는 신호 조정부(402)로부터 공급되는 화상 신호를 A/D 변환하고, 제1 화상 신호로서 신호 처리부(411)에 공급하여, 단계 S193으로부터 S194로 진행하게 된다.

즉, 지금의 경우, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치는, 파라미터 테이블에 있어서, 조작부(185)가 출력하는 파라미터와 대응하는 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에 대응하는 위치로 되어 있다. 따라서, 단계 S193에 있어서, 센서부(401)에서, 조작부(185)가 출력하는 파라미터에 대응한 화상 변환 처리로서, 적절한 화상 신호가 출력되어 그 화상 신호가 제1 화상 신호로서 신호 처리부(411)에 공급된다.

단계 S194에서, 신호 처리부(411)(도 37)의 화상 변환부(431)(도 29)가 A/D 변환부(403)로부터 공급된 제1 화상 신호에 대해서, 조작부(185)가 출력하는 파라미터에 대응한 화상 변환 처리를 가해, 제1 화상 신호 보다 화질이 개선된 제2 화상 신호를 얻어, 단계 S195로 진행하게 된다.

여기서, 화상 변환부(431)에 공급되는 제1 화상 신호는, 전술한 바와 같이 조작부(185)가 출력하는 파라미터에 대응한 화상 변환 처리에 있어, 적절한 화상 신호이며, 따라서 단계 S194에 있어서, 그 제1 화상 신호에 대해서 조작부(185)로부터 취득한 파라미터에 대응한 화상 변환 처리를 행하는 것으로부터 고화질의 화상 신호를 얻을 수 있다.

단계 S195에서는, 화상 변환부(431)가 화상 변환 처리에 의해 얻어진 제2 화 상 신호를 출력부(405)에 출력하여 1 프레임(또는 1필드)의 화상에 대한 처리를 종료한다.

촬상 장치에서는, 도 39의 흐름도에 따른 처리가, 예를 들면 사용자에 의해 촬상의 정지가 지시될 때까지 반복하여 행해진다.

다음에, 도 40은 도 38의 파라미터 테이블 기억부(222)에 기억시키는 파라미터 테이블의 학습을 행하는 학습 장치의 일실시예의 구성예를 나타내고 있다.

센서부(531), 신호 조정부(532) 및 A/D 변환부(533)는 도 27의 센서부(401), 신호 조정부(402) 및 A/D 변환부(403)과 각각 동일하게 구성된다. 단, 도 27의 촬상 장치에 있어서는, 센서부(401)(도 20)의 R수광부(423R), G수광부(423G), B수광부(423B)의 배치 위치가, 신호 처리부(404)[이를 구성하는 신호 처리부(411G)(도 37)의 제어부(211)]가 출력하는 제어 신호에 의해 제어되도록 되어 있었지만, 도 40의 학습 장치에서는, 제어부(537)가 출력하는 제어 신호에 의해, 센서부(531)의 R수광부(423R), G수광부(423G), B수광부(423B)에 각각 대응하는 수광부의 배치 위치(이하, 적당히 센서부(231)에서의 배치 위치라고 한다)가 제어되도록 되어 있다.

화상 변환부(534)는 도 29에 나타낸 화상 변환부(431)(431G)와 동일하게 구성되어 있다. 단, 도 29의 화상 변환부(431)에서는 조작부(185)가 출력하는 파라미터에 대응하는 화상 변환 처리를 하지만, 도 40의 화상 변환부(534)에서는, A/D 변환부(533)가 출력하는 제1 화상 신호에 대해서, 제어부(537)가 출력하는 파라미터에 대응한 화상 변환 처리가 행해지도록 되어 있다.

위치 결정부(535)는 제어부(537)가 출력하는 파라미터와 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B(이하, 적당히, 어긋남 양 P라고 기재한다)를 지정하는 제어 신호를 취득한다. 또한, 위치 결정부(535)는 센서부(531)에 있어서, 제어부(537)가 출력하는 제어 신호에 대응하는 배치 상태(제어 신호에 의해 지정되는 어긋남 양 P가 나타내는 배치 상태)로 촬상된 제1 화상 신호에 대해서, 제어부(537)가 출력하는 파라미터에 대응하는 화상 변환 처리가 행해지는 것에 따라 얻어지는 제2 화상 신호(이하, 적당히 제어 신호와 파라미터에 대응하는 제2 화상 신호라고도 한다)를 화상 변환 처리부(534)로부터 취득한다. 그리고, 위치 결정부(535)는 화상 변환부(534)로부터 공급되는 제2 화상 신호를 평가하고, 그 평가 결과에 대응하여 제어부(537)가 출력하는 파라미터와 제어 신호가 나타내는 어긋남 양 P를 대응시켜, 위치 기억부(536)에 공급한다.

위치 기억부(536)는 위치 결정부(535)로부터 공급되는 대응 파라미터와 어긋남 양 P, 즉 파라미터와 어긋남 양 P의 세트를 기억한다. 여기서, 위치 기억부(536)에서는 제어부(537)가 출력하는 파라미터 z의 복수의 값 각각에 대하여, 파라미터와 그 파라미터에 대응하는 어긋남 양의 세트가 기억되지만, 이 복수의 파라미터와 어긋남 양의 세트의 일람(조사)이 파라미터 테이블이다.

제어부(537)는 도 32의 파라미터 생성부(191)와 마찬가지로, 파라미터 z가 취할 수 있는 범위의 몇개의 값으로서의, 예를 들면 전술한 바와 같은 z = 0, 1, 2, ···, Z를 생성한다. 또한, 제어부(537)는 생성한 파라미터의 하나의 값에 대해서, 어긋남 양 P가 취할 수 있는 범위의 몇개의 값(p₁, p₂, ···, p_N)(N는 2 이상의 값)을 생성한다. 그리고, 제어부(537)는 생성한 파라미터의 값을 순차적으로 주목 파라미터 값으로 하고, 주목 파라미터값 z와 그 주목 파라미터값에 대해서 생성한 복수의 값 각각의 어긋남 양 P를 위치 결정부(535)에 공급한다. 또한, 제어부(537)는 위치 결정부(535)에 공급한 어긋남 양 P를 지정하는 제어 신호를 센서부(531)에 공급한다.

도 41은 도 40의 위치 결정부(535)의 구성예를 나타내고 있다.

위치 결정부(535)는 기억부(541), 상관 산출부(542) 및 판정 평가부(543)로 구성된다. 기억부(541), 상관 산출부(542), 판정 평가부(543)는 도 23의 기억부(441), 상관 산출부(442), 판정 평가부(443)와 각각 동일하게 구성되어 있다.

단, 판정 평가부(543)에는 제어부(537)(도 40)가 출력하는 파라미터(주목 파라미터값)와 어긋남 양이 공급되도록 되어 있다. 그리고, 판정 평가부(543)는 도 23의 판정 평가부(443)과 마찬가지로, 상관 산출부(542)로부터 공급되는 상관값에 따라, 화상 변환부(534)(도 40)가 출력하는 제2 화상 신호를 평가하고, 그 제2 화상 신호의 화질이 높다 또는 낮다는 취지의 평가 결과를 얻는다. 또한, 판정 평가부(543)는 그 평가 결과에 대응하여, 제어부(537)로부터 공급된 파라미터와 어긋남 양을 대응시키고 그 대응시킨 파라미터와 어긋남 양의 세트를 위치 기억부(536)(도 40)에 공급한다.

다음에, 도 42의 흐름도를 참조하여 도 40의 학습 장치에 의한 파라미터 테 이블의 학습의 처리(학습 처리)에 대하여 설명한다.

먼저, 단계 S320에 있어서, 제어부(537)는 파라미터 z가 취할 수 있는 범위의 몇개의 값 중 어느 값을 주목 파라미터값 z로 하고, 화상 변환부(534)와 위치 결정부(535)(도 41)의 판정 평가부(543)로 공급한다. 또한, 단계 S320에서, 화상 변환부(534)와 판정 평가부(543)가 제어부(537)로부터 공급되는 주목 파라미터값 z를 취득하여 단계 S321로 진행하게 된다.

단계 S321에서는, 센서부(531)가 피사체 광을 수광하고, 광전 변환을 행함으로써, 전기 신호로서의 화상 신호를 취득하여(피사체를 촬상하여), 신호 조정부(532)에 공급한다. 신호 조정부(532)는 센서부(531)로부터 공급되는 화상 신호에 대해서, CDS 처리를 가해, A/D 변환부(533)에 공급한다. A/D 변환부(533)는 신호 조정부(532)로부터 공급되는 화상 신호를 A/D 변환하고, 제1 화상 신호로서 화상 변환부(534)에 공급하여, 단계 S321로부터 S322로 진행하게 된다.

단계 S322에서, 화상 변환부(534)는 A/D 변환부(532)로부터 공급된 제1 화상 신호에 대해서, 제어부(537)로부터 취득한 주목 파라미터값 z에 대응하는 화상 변환 처리를 가해, 제1 화상 신호 보다 화질이 개선된 제2 화상 신호를 위치 결정부(535)에 공급하고, 단계 S323으로 진행하게 된다.

단계 S323에서, 위치 결정부(535)는 화상 변환부(534)로부터 공급되는 제2 화상 신호를 평가하는 평가 처리를 행하고, 단계 S324로 진행하게 된다. 그리고, 단계 S323의 평가 처리의 상세한 것에 대하여는 도 43을 참조하여 후술한다.

단계 S324에서, 위치 결정부(535)(도 41)의 판정 평가부(543)는 직전 단계 S323에서의 제2 화상 신호의 평가 결과로, 그 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 있었는지 여부를 판정한다.

단계 S324에서, 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 없었다고 판정된 경우, 단계 S325로 진행하고, 제어부(537)는 센서부(531)에 대해서, 어긋남 양 P를 지정하는 제어 신호를 공급함으로써, 센서부(531)에서의 배치 위치를 변경한다(이동시킨다). 그리고, 제어부(537)는 제어 신호에 의해 추정하는 어긋남 양 P를, 예를 들면 도 23의 제어 신호 출력부(444)와 동일하게 하여 설정한다. 또한, 단계 S324에서, 제어부(537)는 센서부(531)에 공급한 어긋남 양 P를 위치 결정부(535)(이것의 평가 판정부(543))에도 공급하고, 단계 S321로 복귀한다.

단계 S321에서는, 직전의 단계 S325로 배치 위치가 변경된 센서부(531)에서, 화상 신호가 취득되어, 이하 단계 S321내지 S325의 처리가 반복된다.

단계 S321내지 S325의 처리가 반복되는 것에 따라, 화상 변환부(534)에서는 복수의 배치 위치에서의 센서부(531) 각각에 대해 취득된 제1 화상 신호에 대해서, 주목 파라미터값 z에 대응한 화상 변환 처리가 행해지고, 복수의 배치 위치, 즉 복수의 어긋남 양 각각에 대해, 주목 파라미터값 z에 대응하는 화상 변환 처리의 결과로서의 제2 화상 신호를 얻을 수 있다. 또한, 주목 파라미터값 z에 대하여 얻어진 복수의 어긋남 양에 대한 제2 화상 신호 각각이, 단계 S323에서 평가된다. 그리고, 단계 S320의 처리 후, 최초에 단계 S321의 처리를 하는 경우, 센서부(531)는 소정 디폴트의 배치 위치에서 화상 신호를 취득한다.

그 후, 단계 S324에서, 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 있었다고 판정된 경우, 단계 S326으로 진행되고, 위치 결정부(535)의 판정 평가부(543)는 주목 파라미터값 z와 그 평가 결과를 얻을 수 있었을 때에 제어부(537)로부터 공급된 어긋남 양 P, 즉 화질이 높다는 취지의 평가 결과를 얻을 수 있던 제2 화상 신호에 대응하는 제1 화상 신호를 취득했을 때의 센서부(531)에서의 배치 상태를 나타내는 어긋남 양 P를 대응시키고 위치 기억부(536)에 공급하여 기억시킨다. 이로써, 위치 기억부(536)에 있어서는, 주목 파라미터값 z에 대응하는 화상 변환 처리에 있어 적절한 제1 화상 신호를 취득할 수 있는 어긋남 양(이하, 적당히, 최적의 어긋남 양이라고 한다) P가, 주목 파라미터값 z에 대응시켜 기억된다.

그리고, 단계 S326으로부터 S327로 진행되고, 제어부(537)는 파라미터 z가 취할 수 있는 범위의 몇개의 값 모두를 주목 파라미터값 z로서, 최적의 어긋남 양 P가 요구되었는지 여부를 판정한다. 단계 S327에서, 파라미터 z가 취할 수 있는 범위의 몇개의 값 모두에 대해서, 아직 최적의 어긋남 양 P가 요구되지 않았다고 판정된 경우, 단계 S320으로 복귀하고, 제어부(537)는 파라미터 z가 취할 수 있는 범위의 몇개의 값 중, 아직 주목 파라미터값이 아닌 것을 새로운 주목 파라미터값으로서, 이하 마찬가지의 처리를 반복한다.

또, 단계 S327에서, 파라미터 z가 취할 수 있는 범위의 몇개의 값 모두에 대해서, 최적 어긋남 양 P가 요구되었다고 판정된 경우, 즉 위치 기억부(536)에 파라미터 z가 취할 수 있는 범위의 몇개의 값 각각과 최적 어긋남 양 P의 세트인 파라미터 테이블이 기억되었을 경우, 처리를 종료한다.

이상과 같이, 파라미터 z의 복수의 값 각각에 대하여, 복수의 어긋남 양 P 각각에 대응하는 배치 위치의 센서부(531)에서 얻어진 제1 화상 신호 각각에 대해, 파라미터 z에 대응하는 화상 변환 처리를 가해, 그 화상 변환 처리에 의해 얻어지는 제2 화상 신호를 평가하고, 화질의 높은 제2 화상 신호를 얻을 수 있을 때의 어긋남 양인 최적의 어긋남 양 P를 구하도록 했기 때문에, 파라미터 z와 그 파라미터 z에 대응하는 화상 변환 처리에 있어 적절한 제1 화상 신호를 얻을 수 있을 때의 최적 어긋남 양 P와의 대응 관계로서의 파라미터 테이블을 구할 수 있다. 그리고, 도 37 내지 도 39에서 설명한 것처럼, 파라미터 테이블에 근거하여 센서부(401)의 배치 위치를 조작부(185)가 출력하는 파라미터 z에 대응하는 어긋남 양이 나타내는 위치로서, 제1 화상 신호를 촬상함으로써, 파라미터 z에 대응하는 화상 변환 처리에 있어 적절한 화상 신호를 얻을 수 있고, 또 그 파라미터 z에 대응하는 화상 변환 처리에 의해, 보다 고화질의 제2 화상 신호를 얻을 수 있다.

그리고, 도 42의 학습 처리에서는, 파라미터 z가 취할 수 있는 범위의 몇개의 값에 대하여 파라미터 테이블을 구하기 때문에, 도 38의 파라미터 테이블 기억부(222)에 기억된 파라미터 테이블에는 조작부(185)가 출력하는 파라미터와 동일한 값이 기억되어 있지 않은 경우가 있다. 이 경우, 제어 신호 출력부(221)는 파라미터 테이블 기억부(222)에 기억된 파라미터 테이블에 있는 파라미터와 어긋남 양의 관계를, 예를 들면 선형보간하는 것 등에 의해, 조작부(185)가 출력하는 파라미터에 대응하는 어긋남 양을 구하도록 되어 있다.

다음에, 도 43의 흐름도를 참조하여 도 42의 단계 S323에 있어서 도 41의 위 치 결정부(535)가 행하는 평가 처리에 대하여 설명한다.

평가 처리에서는, 먼저 단계 S330에서, 기억부(541)가 직전의 단계 S322(도 42)에서 화상 변환부(534)로부터 공급되는 제2 화상 신호를 기억하는 동시에 상관 산출부(542)가 제2 화상 신호를 수신한다. 또한, 단계 S330에서, 상관 산출부(542)는 화상 변환부(534)로부터 공급된 제2 화상 신호와 기억부(541)가 이전 단계 S330에서 기억한 제2 화상 신호의 상관값을 연산하며, 판정 평가부(543)에 공급하고, 단계 S331로 진행하게 된다.

단계 S331에서, 판정 평가부(543)는 상관 산출부(542)로부터 공급되는 상관값을 그 상관값을 구하는데 이용된 2개의 제2 화상 신호 중 어느 한쪽이 촬상되었을 때의 어긋남 양 P에 대응시켜, 일시 기억하고, 단계 S332로 진행하게 된다. 여기서, 상관 산출부(542)로부터 공급되는 상관값을 구하는데 이용된 2개의 제2 화상 신호 중 어느 한쪽이 촬상되었을 때의 어긋남 양 P는 제어부(537)(도 40)로부터 판정 평가부(543)에 공급된다.

단계 S332에서, 판정 평가부(543)는 지금까지의 단계 S331에서 기억한 상관값과 어긋남 양의 관계에 대하여, 상관값의 극대치를 얻을 수 있었는지 여부를 판정한다. 단계 S332에서, 상관값의 극대치를 얻지 못하고 있는 것으로 판정된 경우, 단계 S333으로 진행되어, 판정 평가부(543)는 제2 화상 신호가 저화질이라는 취지의 평가를 행하고, 도 42의 단계 S324로 복귀한다.

이 경우, 도 42의 단계 S324에서, 판정 평가부(543)는 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 없었다고 판정하고, 단계 S325로 진행하게 된다. 그리고, 단계 S325에서, 제어부(537)는 센서부(531)에 대해, 지금까지의 상이한 어긋남 양 P를 지정하는 제어 신호를 공급하는 동시에 그 어긋남 양 P를 판정 평가부(543)에 공급한다.

도 43으로 돌아와, 단계 S332에서, 상관값의 극대치를 얻을 수 있었다고 판정된 경우, 단계 S334로 진행하고, 판정 평가부(543)에 의해 제2 화상 신호가 고화질이라는 취지의 평가를 행하여 도 42의 단계 S324로 복귀한다.

이 경우, 도 42의 단계 S324에서, 판정 평가부(543)는 제2 화상 신호의 화질이 높다는 취지의 평가 결과를 얻을 수 있었다고 판정하고, 단계 S326으로 진행하게 된다. 그리고, 단계 S326에서, 전술한 바와 같이 판정 평가부(543)는 주목 파라미터값 z와 그 평가 결과를 얻을 수 있었을 때에 제어부(537)로부터 공급된 어긋남 양 P, 즉 화질이 높다는 취지의 평가 결과를 얻을 수 있던 제2 화상 신호에 대응하는 제1 화상 신호를 취득했을 때의 센서부(401)에서의 배치 상태를 나타내는 어긋남 양(최적 어긋남 양 P)를 대응시키고 위치 기억부(536)에 공급하여 기억시킨다.

그리고, 전술한 경우에, 단계 S332에 있어서, 상관값의 극대치를 얻을 수 있었다고 판정된 경우, 제2 화상 신호가 고화질이라는 취지의 평가를 행하는 것으로 하였으나, 그 외에, 단계 S332에 있어서, 소정 임계치 이상의 상관값의 극대치를 얻을 수 있었다고 판정된 경우, 제2 화상 신호가 고화질이라는 취지의 평가를 행하도록 하는 것 등도 가능하다.

또, 전술한 경우, 제2 화상 신호의 평가를 상관값에 따라 행하도록 했지만, 제2 화상 신호의 평가는, 그 외에, 예를 들면 각 값의 어긋남 양 Ph_G, Pv_G, Ph_B, Pv_B에 대해서 얻어지는 제2 화상 신호의 S/N 등에 따라서 행하는 것 등도 가능하다. 또한, 제2 화상 신호의 평가는 외부로부터 입력하도록 하여도 된다. 즉, 예를 들면 제2 화상 신호를 표시하고, 그 표시 화상을 본 사용자로부터 제2 화상 신호의 평가를 입력받도록 해도 된다.

그리고, 전술한 신호 처리부(404)나 화질 변환부(534), 위치 결정부(535), 제어부(537) 등의 일련의 처리는, 전용의 하드웨어에 의해 행하는 것도 가능하고, 소프트웨어에 의해 행하는 것도 가능하다. 일련의 처리를 소프트웨어에 의해 행하는 경우, 그 소프트웨어를 구성하는 프로그램이 도 17을 사용하여 상술한 마이크로컴퓨터나 범용의 컴퓨터 등에 인스톨된다.

그리고, 화상 변환부(431 및 534)에서는, 전술한 화상 변환 처리 외에, 예를 들면 제1 화상 신호에 대해서, 디지털 클램프 처리, 화이트 밸런스 조정 처리, 감마 보정 처리, 선형보간 처리 등의 처리를 행한 제2 화상 신호를 얻는 화상 변환 처리를 행하는 것이 가능하다.

또, 본 실시예에서, 센서부(401 및 531)로서, 이른바 3판식의 촬상 수단을 사용하는 것으로 하였으나, 센서부(401 및 531)로서는, 단판식이나 2판 또는4판 이상의 촬상 수단을 채용하는 것도 가능하다.

또한, 본 실시예에서, 제2 화상 신호의 평가를 그 G신호(성분)를 사용하여 행하도록 했지만, 제2 화상 신호의 평가는 그 R신호나 B신호, 또는 R, G, B신호 중 2 이상을 사용하여 행하는 것도 가능하다.

다음에, 본 발명의 다른 실시예를 도 44를 사용하여 설명한다.

도 44는 본 발명을 적용한 촬상 장치의 일실시예의 구성예를 나타내고 있다.

그리고, 촬상 장치(44)는 도 18의 촬상 장치 등과 마찬가지로, 예를 들어 디지털 스틸카메라나 디지털 비디오 카메라 등에 적용할 수 있다.

센서부(601)는 화소에 대응하는 복수의 광전 변환 소자를 가지며, 도시하지 않는 광학계를 통하여 입사하는 피사체 광을 수광하고, 그 수광량에 대응하는 전기 신호로서의 화상 신호를 신호 조정부(602)에 공급한다. 또, 센서부(601)는 신호 처리부(604)로부터 공급되는 제어 신호에 따라 그 성능을 변화시킨다.

신호 조정부(602)는 도 18의 신호 조정부(402)와 마찬가지로 센서부(601)로부터 출력되는 화상 신호에 포함되는, 이른바 리셋 노이즈를 제거하기 위한 CDS 처리를 행하고, 그 처리 결과 얻어지는 화상 신호를 A/D 변환부(603)에 공급한다. A/D 변환부(603)는 도 18의 A/D 변환부(403)와 마찬가지로, 신호 조정부(602)로부터 공급되는 화상 신호를 A/D 변환하고, 즉 화상 신호를 샘플링해 양자화하고, 그 결과 얻어지는 디지털 화상 신호를 신호 처리부(604)에 공급한다.

신호 처리부(604)는 A/D 변환부(603)로부터의 디지털 화상 신호(이하, 적당히 화상 신호라고도 한다)를 제1 화상 신호로서 그 제1 화상 신호에 대해서 소정 화상 변환 처리를 가해, 그 결과 얻어지는 디지털 화상 신호를 제2 화상 신호로서 출력부(605)에 출력한다. 또, 신호 처리부(604)는 1 화면(1 프레임 또는 1 필드)중 소정 영역마다 제1 화상 신호를 평가하고, 그 평가에 대응하는 제어 신호를 센 서부(601)에 공급한다.

출력부(605)는 도 18의 출력부(405)와 마찬가지로 신호 처리부(604)가 출력하는 제2 화상 신호를 수신하여 출력한다. 즉, 출력부(605)는 신호 처리부(604)로부터의 제2 화상 신호를 도시하지 않는 외부 단자로부터 출력하거나 도시하지 않는 모니터에 표시시킨다. 또, 출력부(605)는 제2 화상 신호를 광디스크, 자기 디스크, 광자기 디스크, 자기테이프, 반도체 메모리 등의 도시하지 않는 기록 매체에 기록하거나 전화 회선, 인터넷, LAN 등의 유선 또는 무선의 전송 매체를 통하여 송신한다.

이상과 같이 구성되는 촬상 장치에서, 센서부(601)는 피사체 광이 수광되어 그 수광량에 대응한 전기 신호로서의 화상 신호가 신호 조정부(602) 및 A/D 변환부(603)를 통하여 신호 처리부(604)에 공급된다. 신호 처리부(604)는 센서부(601)로부터 신호 조정부(602) 및 A/D 변환부(603)를 통하여 공급되는 화상 신호를 제1 화상 신호로서 그 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 가해, 그 결과 얻어지는 화질이 개선된 제2 화상 신호를 출력부(605)에 출력한다. 출력부(605)에서는 신호 처리부(604)로부터 공급되는 제2 화상 신호가 출력된다.

또, 신호 처리부(604)는 센서부(601)로부터의 제1 화상 신호를 그 1 화면의 소정 영역마다 평가한다. 즉, 신호 처리부(604)는 센서부(601)로부터의, 예를 들면 1 화면마다의 제1 화상 신호를 평가한다. 또한, 신호 처리부(604)는 그 평가에 대응하는 제어 신호를 센서부(601)에 공급한다.

센서부(601)는 신호 처리부(604)로부터 공급되는 제어 신호에 따라, 1 화면(수광면 전체)중 소정 영역의 제1 화상 신호에 대응하는 화소마다의 성능을 변화시킨다. 따라서, 그 후 센서부(601)는 그 변화 후의 성능을 갖는 화소로부터 얻어지는 화상 신호를 출력한다.

다음에, 도 45의 (a) 및 (b)를 참조하여, 신호 처리부(604)가 출력하는 제어 신호에 의한 센서부(601)의 성능의 변화에 대하여 설명한다.

센서부(601)가 출력하는 화상 신호는, 전술한 바와 같이 A/D 변환부(603)에서 양자화된다. 따라서, 1 화면 중 소정 영역이 평탄화됨으로써, 센서부(601)가 출력하는 소정 영역의 화상 신호의 신호 레벨의 변화가, 도 45의 (a)에 나타낸 바와 같이, A/D 변환부(603)에서의 양자화의 양자화 단계내에 포함되도록 미소한 것인 경우에는, 그 소정 영역의 화상 신호가 A/D 변환부(603)에 있어서, 모두 동일한 값으로 양자화되고, 이로써, 미소한 변화는 없어진다. 그리고, 신호 처리부(604)에 있어서, 이와 같은 동일한 값에 양자화된 디지털 화상 신호를 대상으로 화상 변환 처리를 행한 경우, 고해상도의 화상을 얻는 것이 곤란한 경우가 있다.

그래서, 신호 처리부(604)는 화상 변환 처리에 의해 적절한 화상 신호가 출력되도록, 즉 예를 들면, 화상 변환 처리에 의해 고해상도의 화상을 얻을 수 있는 화상 신호가 출력되도록, 센서부(601)의 성능을 변화시키는 제어 신호를 센서부(601)에 공급하고, 이로써 센서부(601)의 성능을 변화시킨다.

즉, 신호 처리부(604)는 센서부(601)가 출력하는 소정 영역의 화상 신호를 평가하고, 그 평가에 의해 그 화상 신호의 신호 레벨의 변화가, 예를 들면 도 45의 (a)에 나타낸 것과 마찬가지로 미소한 것이라는 것을 인식했을 경우에는, 도 45의 (b)에 나타낸 바와 같이, 센서부(601)가 출력하는 화상 신호의 신호 레벨 변화가 크게 되도록, 센서부(601)의 성능을 변화시킨다. 이 경우, 신호 처리부(604)에는, 신호 레벨의 변화가 나타난 화상 신호가 입력되고, 그와 같은 화상 신호를 대상으로 하여 화상 변환 처리를 함으로써 고해상도의 화상을 얻을 수 있게 된다.

도 46은 성능이 변화하는 센서부(601)의 구성예를 나타내고 있다.

센서부(601)는 다수의 화소가 수평 및 수직 방향에 배열됨으로써 수광면이 구성되어 있다. 1 화소는, 예를 들면 도 46에 나타낸 바와 같이, 수광부(611)와 제어부(612)로 구성되어 있다.

수광부(611)는, 예를 들면 포토다이오드 등의 광전 변환 소자로 구성되며, 광의 수광량에 따른 전하에 대응하는 전기 신호를 제어부(612)에 출력한다. 제어부(612)는, 예를 들면 트랜지스터 등으로 구성되며, 수광부(611)로부터의 전기 신호를 소정 증폭률로 증폭하고, 신호 조정부(602)에 출력한다. 또, 제어부(612)에는 신호 처리부(604)로부터 제어 신호가 공급되도록 되어 있어, 제어부(612)는 그 제어 신호에 따라 수광부(601)로부터의 전기 신호를 증폭할 때의 증폭률을 제어한다.

제어부(612)는 신호 처리부(604)로부터의 제어 신호에 따라 그 성능으로서의 증폭률을 변화시킴으로써, 신호 처리부(604)의 화상 변환 처리에 있어 적절한 신호 레벨 변화가 있는 화상 신호를 출력한다.

여기서, 이상과 같은 수광부(611)로 제어부(612)를 가지는 화소로 이루어지 는 센서부(601)는, 예를 들면 CMOS 센서에, MEMS 기술을 적용함으로써 구성할 수 있다.

그리고, 센서부(601)는 CMOS 센서로 한정되는 것이 아니고, 예를 들어 CCD나, a-Se(비정질 셀레늄) 반도체의 광 도전 타겟내에서 생기는 전자의 사태증배현상을 이용한 (TV 카메라의)촬상관인 HARP로 구성하는 것도 가능하다. 또, 센서부(601)는 그 외에, 예를 들면, 전체 또는 1 화소 이상의 단위로, 화상 신호를 증폭하는 증폭부를 가지며, 그 증폭부의 증폭률을 제어 신호에 따라 변화시킬 수가 있는 디바이스로 구성 할 수 있다.

다음에, 도 47은 도 44의 신호 처리부(604)의 구성예를 나타내고 있다.

도 47에서는 신호 처리부(604)가 화상 변환부(621), 화상 보정부(622) 및 레벨 평가부(623)로 구성되어 있다.

신호 처리부(604)에는, 센서부(601)가 출력하는 화상 신호가 신호 조정부(602) 및 A/D 변환부(603)를 통하여, 제1 화상 신호로서 공급된다. 제1 화상 신호는 화상 변환부(621)로 레벨 평가부(623)에 공급된다.

화상 변환부(621)는 제1 화상 신호에 대해서, 예를 들면 해상도를 향상시키는 등의 화질을 개선하는 화상 변환 처리를 가해, 그 결과 얻어지는 화질이 개선된 디지털 화상 신호를 제2 화상 신호로서 화상 보정부(622)에 공급한다.

화상 보정부(622)에는 화상 변환부(621)로부터 제2 화상 신호가 공급되는 것 외에, 레벨 평가부(623)로부터 증폭률 정보와 영역 정보가 공급된다. 화상 보정부(622)는 레벨 평가부(623)로부터 공급되는 증폭률 정보와 영역 정보에 따라, 화상 변환부(621)로부터 공급되는 제2 화상 신호를 보정하고, 그 보정 후의 제2 화상 신호를 출력부(605)에 공급한다.

레벨 평가부(623)는 제1 화상 신호를 1 화면의 소정 영역의 부분마다 평가한다. 또한, 레벨 평가부(623)는 그 평가에 따라 도 46의 제어부(612)에서의 증폭의 증폭률을 결정하고, 그 증폭률을 나타내는 증폭률 정보와 평가를 행한 소정 영역을 나타내는 영역 정보를 화상 보정부(622)에 공급한다. 또, 레벨 평가부(623)는 센서부(601)를 구성하는 화소 중 소정 영역을 구성하는 화소의 제어부(612)에 대해서 증폭률 정보를 제어 신호로서 공급한다.

즉, 레벨 평가부(623)는 1 화면 중 소정 영역마다의 제1 화상 신호가 화상 변환부(621)에서의 화상 변환 처리에 적절한지 여부를 평가한다. 구체적으로는, 레벨 평가부(623)가 소정 영역마다의 제1 화상 신호의 신호 레벨(휘도 또는 색)을 인식하고, 그 신호 레벨의 변화의 대소를 평가한다. 또한, 레벨 평가부(623)는 신호 레벨의 변화가 너무 작다고 하는 평가를 얻은 영역을 구성하는 화소에 대해서, 값이 큰 증폭률을 결정하고, 또 신호 레벨의 변화가 너무 크다고 하는 평가를 얻은 영역을 구성하는 화소에 대해서는 값이 작은 증폭률을 결정하고, 그 증폭률을 나타내는 증폭률 정보를 각 영역의 화소의 제어부(612)(도 46)에 제어 신호로서 공급한다.

도 46의 제어부(612)에서는 레벨 평가부(623)로부터의 제어 신호에 따른 증폭률로 수광부(611)의 출력 신호가 증폭되고, 이로써 센서부(601)로부터는 화상 변환부(621)에서의 화상 변환 처리에 있어 적절한 신호 레벨의 변화를 가지는 화상 신호가 출력된다.

한편, 레벨 평가부(623)는 센서부(601)의 제어부(612)에 제어 신호로서 공급한 증폭률 정보와 그 증폭률 정보가 나타내는 증폭률에서의 증폭을 하는 화소로 구성되는 영역을 나타내는 영역 정보를 대응시키고 화상 보정부(622)에 공급한다. 화상 보정부(622)는 화상 변환부(621)가 제1 화상 신호를 대상으로 화상 변환 처리를 행함으로써 얻어지는 제2 화상 신호를 레벨 평가부(623)로부터 공급되는 증폭률 정보와 영역 정보에 따라 보정한다.

즉, 영역 정보가 나타내는 영역의 제1 화상 신호는 그 영역 정보에 대응하는 증폭률 정보가 나타내는 증폭률에 대응하는 이득만큼 센서부(601)의 수광부(611)가 출력하는 신호와 상이한 값으로 되어 있다. 그러므로, 화상 보정부(622)는 영역 정보가 나타내는 영역의 제2 화상 신호를 그 영역 정보에 대응하는 증폭률 정보가 나타내는 증폭률에 따라 보정하고, 센서부(1)의 수광부(611)가 출력한 신호를 대상으로 화상 변환 처리를 했을 경우에 얻어진 것이라고 할 수 있는 화상 신호와 동일한 이득의 제2 화상 신호로 한다. 구체적으로는, 화상 보정부(622)가, 예를 들면 영역 정보가 나타내는 영역의 제2 화상 신호를 그 영역 정보에 대응하는 증폭률 정보가 나타내는 증폭률에 비례하는 값만큼 이득을 감소시킴으로써 보정한다.

그리고, 레벨 평가부(623)에 있어서, 평가의 단위로 하는 소정 영역은 1 화면(프레임 또는 필드)전체로 해도 되고, 1 화소나 복수 화소로 이루어지는 영역으로 해도 된다.

여기서, 레벨 평가부(623)에 있어서, 평가의 단위로 하는 소정 영역을, 1 화 면 이외의, 1 화소나 복수 화소로 이루어지는 영역으로 한 경우, 화상 변환부(21)에서는, 소정 영역마다 증폭률이 상이한 제1 화상 신호를 대상으로 화상 변환 처리를 하게 된다. 화상 변환 처리에서는, 여러 가지의 연산을 하지만, 그 연산이 증폭률이 상이한 제1 화상 신호를 사용하여 행해지는 경우는, 그 증폭률의 차이를 고려하여 연산을 행할 필요가 있다. 여기서는, 설명을 간단하게 하기 위해, 레벨 평가부(623)에서의 평가의 단위로 하는 소정 영역을, 예를 들면 1 화면으로 한다.

다음에, 도 48은 도 47의 레벨 평가부(623)의 제1 구성예를 나타내고 있다.

도 48에 있어서는, 레벨 평가부(623)는 평가 화소 추출부(631), 점유도 산출부(632) 및 증폭률 결정부(633)로 구성되어 있다.

평가 화소 추출부(631)에는, 센서부(601)로부터 신호 조정부(602) 및 A/D 변환부(603)를 통하여 신호 처리부(604)에 공급된 제1 화상 신호가 공급된다. 평가 화소 추출부(631)는 평가의 단위인 1 화면을 구성하는 화소로부터 그 1 화면의 제1 화상 신호의 평가에 사용하는 화소를 평가 화소로서 추출하고, 점유도 산출부(632)에 공급한다.

점유도 산출부(632)는 평가의 단위인 1 화면에 평가 화소가 차지하는 비율인 점유도를 산출하고, 증폭률 결정부(633)에 공급한다.

증폭률 결정부(633)는 점유도 산출부(632)로부터 공급되는 점유도에 따라, 평가의 단위인 1 화면의 제1 화상 신호를 평가하고, 그 평가에 따른 증폭률을 센서부(601)의 1 화면의 화상 신호에 대응하는 화소의 제어부(612)에서의 증폭률로서 결정한다. 또한, 증폭률 결정부(633)는 그 증폭률을 나타내는 증폭률 정보를, 제 어 신호로서, 센서부(601)(이것의 제어부(612))에 공급한다. 또, 증폭률 결정부(633)는 증폭률 정보와, 센서부(601)에 있어서 그 증폭률 정보가 나타내는 증폭률에서 증폭이 행해지는 화소로 구성되는 영역인 1 화면을 나타내는 영역 정보를 대응시키고, 화상 보정부(622)(도 47)에 공급한다.

다음에, 도 49의 흐름도를 참조하여 도 44의 촬상 장치의 동작에 대하여 설명한다.

촬상 장치에서는, 먼저 단계 S401에 있어서, 센서부(601)의 수광부(611)가 피사체 광을 수광하고 광전 변환을 행함으로써, 전기 신호로서의 1 화면의 화상 신호를 얻어(피사체를 촬상하여), 제어부(612)가 그 화상 신호를 소정 증폭률로 증폭하고, 신호 조정부(602)에 공급하여, 단계 S402로 진행하게 된다. 그리고, 촬상 장치의 전원 투입 후의 최초에, 센서부(601)로 촬상을 하는 경우에는, 센서부(601)의 제어부(612)에서의 증폭률은 소정 디폴트의 값이 되는 것으로 한다.

단계 S402에서, 신호 조정부(602)는 센서부(601)로부터 공급되는 1 화면의 화상 신호에 대해서, CDS 처리 등의 신호 조정 처리를 가해, A/D 변환부(603)에 공급하고, 단계 S403으로 진행하게 된다. 단계 S403에서, A/D 변환부(603)는 신호 조정부(602)로부터 공급되는 1 화면의 화상 신호를 A/D 변환하고, 제1 화상 신호로서 신호 처리부(604)에 공급하고, 단계 S404로 진행하게 된다.

단계 S404에서, 신호 처리부(604)(도 47)의 레벨 평가부(623)는 A/D 변환부(603)로부터 공급된 1 화면의 제1 화상 신호를 평가하고, 그 평가에 따라, 도 46의 제어부(612)에서의 증폭의 증폭률을 결정한다. 또한, 단계 S404에서, 레벨 평가부 (623)는 그 증폭률을 나타내는 증폭률 정보와 평가를 행한 1 화면을 나타내는 영역 정보를 화상 보정부(622)에 공급하는 동시에, 증폭률 정보를 센서부(601)의 1 화면을 구성하는 화소의 제어부(612)에 대해 제어 신호로서 공급하고, 단계 S405로 진행하게 된다. 여기서, 단계 S404의 처리의 상세한 것에 대하여는 후술한다.

단계 S405에서, 센서부(601)의 각 화소의 제어부(612)는 직전의 단계 S404에서 레벨 평가부(623)로부터 공급된 제어 신호에 따라, 수광부(611)의 출력을 증폭하는 증폭률을 제어하고, 단계 S406으로 진행하게 된다.

단계 S406에서, 신호 처리부(604)(도 47)의 화상 변환부(621)는 A/D 변환부(603)로부터 공급된 제1 화상 신호에 대해서, 화상 변환 처리를 가해, 제1 화상 신호 보다 화질이 개선된 제2 화상 신호를 화상 보정부(622)에 공급하고, 단계 S407로 진행하게 된다.

단계 S407에서, 화상 보정부(622)는 화상 변환부(621)로부터 공급되는 제2 화상 신호를 직전의 단계 S404에서 레벨 평가부(623)로부터 공급된 증폭률 정보와 영역 정보에 따라 보정하고, 그 보정 후의 제2 화상 신호를 출력부(605)에 공급하여 단계 S408로 진행하게 된다.

단계 S408에서, 출력부(605)는 신호 처리부(604)(이것의 화상 보정부(622))로부터 공급된 제2 화상 신호를 출력하고, 1 화면의 화상에 대한 처리를 종료한다.

즉, 도 44의 촬상 장치에서는, 도 49의 흐름도에 따른 1 화면의 화상에 대한 처리가, 예를 들면 사용자에 의해 촬상의 정지가 지시될 때까지 반복하여 행해진다.

따라서, 다음에 행해지는 단계 S401에서는, 센서부(601)에 있어서, 이전에 행해진 단계 S404에서 제어된 증폭률로 수광부(611)가 출력하는 화상 신호가 증폭되고, 이에 의해, 화상 변환부(621)에는 화상 변환 처리에 적절한 제1 화상 신호가 공급된다.

다음에, 도 50의 흐름도를 참조하여 도 49의 단계 S404의 처리(평가 처리)의 대하여 상세하게 설명한다.

평가 처리에서는, 먼저 단계 S421에 있어서, 레벨 평가부(도 48)의 평가 화소 추출부(631)가 평가의 단위인 1 화면을 구성하는 화소로부터, 그 1 화면의 제1 화상 신호의 평가에 사용하는 화소를 평가 화소로서 추출한다. 즉, 평가 화소 추출부(631)는, 예컨대 1 화면을 구성하는 화소로부터, 제1 화상 신호가 제1 레벨 보다 높은 화소와 제2 레벨 보다 낮은 화소를 평가 화소로서 추출한다.

여기서, 제1 레벨로서는 제1 화상 신호가 취할 수 있는 값의 최대치에 가까운, 그 최대치 이하의 값을 채용할 수 있다. 또, 제2 레벨로서는, 제1 화상 신호가 취할 수 있는 값의 최소치에 가까운, 그 최소치 이상의 값을 채용할 수 있다.

또, 이하, 적당히 제1 화상 신호가 제1 레벨 보다 높은 화소를 고레벨 화소라고 하고, 제1 화상 신호가 제2 레벨 보다 낮은 화소를 저레벨 화소라고 한다.

단계 S421에 있어서, 평가 화소 추출부(631)는 평가의 단위인 1 화면을 구성하는 화소로부터, 고레벨 화소와 저레벨 화소를 평가 화소로서 추출하면, 그 평가 화소를 점유도 산출부(632)에 공급하여, 단계 S422로 진행하게 된다.

단계 S422에서, 점유도 산출부(632)는 평가의 단위인 1 화면에 있어서, 평가 화소 추출부(631)로부터 공급된 평가 화소인 고레벨 화소와 저레벨 화소 각각이 차지하는 비율을, 각각 고레벨 점유도와 저레벨 점유도로서 산출하고, 증폭률 결정부(633)에 공급하여, 단계 S423으로 진행하게 된다.

단계 S423에서, 증폭률 결정부(633)는 점유도 산출부(632)로부터 공급된 고레벨 점유도와 저레벨 점유도에 따라, 평가의 단위인 1 화면의 제1 화상 신호를 평가하고, 그 평가에 따른 증폭률을 센서부(601)의 1 화면의 화상 신호에 대응하는 화소의 제어부(612)에서의 증폭률로서 결정한다.

즉, 증폭률 결정부(633)는, 예컨대 고레벨 점유도가 저레벨 점유도와 비교하여 충분히 큰 경우에는 1 화면에 있어서, 고레벨 화소가 다수 존재하는 것으로부터 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적합하지 않다고 평가하고, 그 평가에 따라, 현재보다도 낮은 값의 증폭률을 제어부(612)에서의 증폭률로서 결정한다. 또, 증폭률 결정부(633)는 저레벨 점유도가 고레벨 점유도와 비교하여 충분히 큰 경우는 1 화면에 있어서, 저레벨 화소가 다수 존재하는 것으로부터 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적합하지 않다고 평가하고, 그 평가에 따라, 현재보다도 높은 값의 증폭률을 제어부(612)에서의 증폭률로서 결정한다. 또한, 증폭률 결정부(633)는, 예컨대 그 외의 경우는 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적절하다고 평가하고, 그 평가에 따라 이전과 동일한 증폭률을 제어부(612)에서의 증폭률로서 결정한다.

단계 S423에서, 증폭률 결정부(633)는, 또한 결정한 증폭률을 나타내는 증폭 률 정보를 제어 신호로서 센서부(601)(이것의 제어부(612))에 공급하는 동시에, 증폭률 정보와, 센서부(601)에 있어서 그 증폭률 정보가 나타내는 증폭률에서의 증폭을 하는 화소로 구성되는 영역인 1 화면을 나타내는 영역 정보를 대응시키고, 화상 보정부(622)(도 47)에 공급하여, 복귀한다.

이 경우, 센서부(601)로부터는, 화상 변환부(621)의 화상 변환 처리에 있어, 적정한 레벨의 화상 신호가 출력되고, 그 결과 화상 변환 처리에 의해, 보다 화질이 향상한 제2 화상 신호를 얻을 수 있게 된다.

그리고, 고레벨 화소에 대해서만 낮은 증폭률을 결정하고, 저레벨 화소에 대해서만 높은 증폭률을 결정하는 것 등도 가능하다.

다음에, 도 49의 실시예에서는, 단계 S401에 있어서, 센서부(601)가 이전에 행해진 단계 S404에서 제어된 증폭률로 수광부(611)가 출력하는 화상 신호를 증폭하므로, 센서부(601)에서는 현재의 프레임 또는 필드의 화상 신호가, 그 1 프레임 또는 1 필드 이전에 촬상된 화상을 평가함으로써 결정된 증폭률로 증폭된다.

한편, 센서부(601)에서는 현재의 프레임 또는 필드의 화상 신호를 그 프레임 또는 필드에서 촬상된 화상을 평가함으로써 결정된 증폭률로 증폭하는 것도 가능하다.

그래서, 도 51의 흐름도를 참조하여, 센서부(601)에 있어서, 현재의 프레임 또는 필드의 화상 신호를 그 프레임 또는 필드에서 촬상된 화상을 평가함으로써 결정된 증폭률로 증폭하는 경우의, 도 44의 촬상 장치의 동작에 대하여 설명한다.

이 경우, 단계 S431 내지 S435에서는 도 49의 단계 S401 내지 S405에서의 경 우와 마찬가지의 처리를 하고 단계 S436으로 진행하게 된다.

단계 S436에서는, 도 49의 단계 S401에 대응하는 단계 S431에서의 경우와 마찬가지로, 센서부(601)의 수광부(611)가 피사체 광을 수광하고, 광전 변환을 행함으로써, 전기 신호로서의 1 화면의 화상 신호를 얻는다. 또한, 단계 S636에서는 제어부(612)가 수광부(611)에서 얻어진 화상 신호를 직전의 단계 S635에서 제어된 증폭률로 증폭하고, 신호 조정부(602) 및 A/D 변환부(603)를 통하여 신호 처리부(604)에 공급하여, 단계 S437로 진행하게 된다.

그리고, 단계 S437 내지 S439로 순차 진행되어, 도 49의 단계 S406 내지 S408에서의 경우와 마찬가지의 처리를 하여, 1 프레임 또는 1 필드의 화상에 대한 처리를 종료한다.

도 44의 촬상 장치에서는 도 51의 흐름도에 따른 처리가, 예를 들면 사용자에 의해 촬상의 정지가 지시될 때까지 반복하여 행해진다.

도 51의 흐름도에 따른 처리에서, 센서부(601)는 1 프레임 또는 1 필드의 기간에, 단계 S431과 S436에서 2회의 촬상을 행한다.

그리고, 단계 S434에서, 1회째의 촬상으로 얻어진 화상 신호가 평가되어 단계 S435에 있어서, 그 평가에 따라 2번째의 촬상시의 증폭률이 결정된다. 따라서, 센서부(601)에서는, 현재의 프레임 또는 필드의 2번째의 촬상에 의해 얻어지는 화상 신호가 그 프레임 또는 필드의 1회째의 촬상에 의해 얻어진 화상 신호를 평가 함으로써 결정된 증폭률로 증폭된다.

그리고, 도 49의 흐름도에 따른 처리에서, 센서부(601)는 1 프레임(필드)의 기간에, 1번의 촬상을 실시하면 되지만, 도 51의 흐름도에 따른 처리에서는 1 프레임(필드)의 기간에 적어도 2번의 촬상을 행할 필요가 있다.

다음에, 도 52는 도 47의 레벨 평가부(623)의 제2 구성예를 나타내고 있다.

도 52에 있어서, 레벨 평가부(623)는 액티비티 산출부(641)와 증폭률 결정부(642)로 구성되어 있다.

액티비티 산출부(641)에는, 센서부(601)로부터 신호 조정부(602) 및 A/D 변환부(603)를 통하여 신호 처리부(604)에 공급된 제1 화상 신호가 공급된다. 액티비티 산출부(641)는 평가의 단위인 1 화면의 제1 화상 신호의 액티비티를 산출하고, 증폭률 결정부(642)에 공급한다.

여기서, 1 화면의 제1 화상 신호의 액티비티로서는, 그 1 화면의 제1 화상 신호의 최대치와 최소치와의 차이(다이나믹 레인지)나, 인접하는 화소의 제1 화상 신호끼리의 차분의 절대치화, 1 화면의 제1 화상 신호의 분산 등을 채용할 수 있다.

증폭률 결정부(642)는 액티비티 산출부(641)로부터 공급되는 액티비티에 따라 평가의 단위인 1 화면의 제1 화상 신호를 평가하고, 그 평가에 따른 증폭률을 센서부(601)의 1 화면의 화상 신호에 대응하는 화소의 제어부(612)에서의 증폭률로서 결정한다.

즉, 증폭률 결정부(642)는, 예를 들면 액티비티 산출부(641)로부터의 액티비티가 큰 경우, 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적합하지 않다고 평가하고, 그 평가에 따라, 현재 보다 낮은 값의 증폭률을 제어부 (612)에서의 증폭률로 결정한다. 또, 증폭률 결정부(642)는, 예를 들면 액티비티 산출부(641)로부터의 액티비티가 작은 경우, 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적합하지 않다고 평가하고, 그 평가에 따라, 현재 보다 높은 값의 증폭률을 제어부(612)에서의 증폭률로 결정한다. 또한, 증폭률 결정부(642)는, 예컨대 액티비티 산출부(641)로부터의 액티비티가 큰 것도 작은 것도 아닌 경우, 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적절하다고 평가하고, 그 평가에 따라, 이전과 동일한 증폭률을 제어부(612)에서의 증폭률로 결정한다.

그리고, 증폭률 결정부(642)는 결정한 증폭률을 나타내는 증폭률 정보를 제어 신호로서, 센서부(601)(이것의 제어부(612))에 공급하는 동시에, 증폭률 정보와 센서부(601)에 있어서 그 증폭률 정보가 나타내는 증폭률에서 증폭을 하는 화소로 구성되는 영역인 1 화면을 나타내는 영역 정보를 대응시키고, 화상 보정부(622)(도 47)에 공급한다.

이 경우도, 센서부(601)로부터는 화상 변환부(621)의 화상 변환 처리에 있어, 적정한 레벨의 화상 신호가 출력되고, 그 결과 화상 변환 처리에 의해, 보다 화질이 향상한 제2 화상 신호를 얻을 수 있게 된다.

다음에, 도 53은 도 47의 레벨 평가부(623)의 제3의 구성예를 나타내고 있다.

도 53에 있어서, 레벨 평가부(623)는 비교부(651)와 증폭률 결정부(652)로 구성되어 있다.

비교부(651)에는, 센서부(601)로부터 신호 조정부(602) 및 A/D 변환부(603)을 통하여 신호 처리부(604)에 공급된 제1 화상 신호가 공급된다. 비교부(651)는 평가의 단위인 1 화면의 제1 화상 신호와 소정 임계치를 비교하고, 그 비교 결과를 증폭률 결정부(652)에 공급한다.

여기서, 비교부(651)에 있어서, 제1 화상 신호와 비교하는 임계치로서는, 예를 들면 화상 변환부(621)의 화상 변환 처리의 대상으로 하는 경우에는(화상 변환 처리에 있어서는), 작은 값인 제1 임계치과 큰 값인 제2 임계치를 채용할 수 있다.

또, 비교부(651)에 있어서, 제1 와 제2 임계치과 비교하는 제1 화상 신호로서는, 예를 들면 평가의 단위인 1 화면내의 임의의 화소의 제1 화상 신호나, 그 1 화면에 있어서 가장 많은 값의 화소의 제1 화상 신호, 1 화면의 제1 화상 신호의 평균치 등을 채용할 수 있다.

증폭률 결정부(652)는 비교부(651)로부터 공급되는 임계치와의 비교 결과에 따라, 평가의 단위인 1 화면의 제1 화상 신호를 평가하고, 그 평가에 따른 증폭률을 센서부(601)의 1 화면의 화상 신호에 대응하는 화소의 제어부(612)에서의 증폭률로 결정한다.

즉, 증폭률 결정부(652)는 비교부(651)로부터의 비교 결과가 제1 화상 신호가 제1 임계치이하라고 할 수 있는 경우, 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적합하지 않다고 평가하고, 그 평가에 따라, 현재 보다 높은 값의 증폭률을 제어부(612)에서의 증폭률로 결정한다. 또, 증폭률 결정부(652)는 비교부(651)로부터의 비교 결과가 제1 화상 신호가 제2 임계치 이상이라고 할 수 있는 경우, 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적합하지 않다고 평가하고, 그 평가에 따라, 현재 보다 낮은 값의 증폭률을 제어부(612)에서의 증폭률로 결정한다. 또한, 증폭률 결정부(652)는 비교부(651)로부터의 비교 결과가 제1 화상 신호가 제1 임계치로부터 제2 임계치까지의 범위내의 값이라고 하는 경우, 1 화면의 제1 화상 신호가 화상 변환부(621)의 화상 변환 처리에 적절하다고 평가하고, 그 평가에 따라 이전과 동일한 증폭률을 제어부(612)에서의 증폭률로 결정한다.

그리고, 증폭률 결정부(652)는 결정한 증폭률을 나타내는 증폭률 정보를 제어 신호로서 센서부(601)(이것의 제어부(612))에 공급하는 동시에, 증폭률 정보와 센서부(601)에 있어서, 그 증폭률 정보가 나타내는 증폭률에서의 증폭을 하는 화소로 구성되는 영역인 1 화면을 나타내는 영역 정보를 대응시키고, 화상 보정부(622)(도 47)에 공급한다.

이 경우도, 센서부(601)으로부터는 화상 변환부(621)의 화상 변환 처리에 있어, 적정한 레벨의 화상 신호가 출력되고, 그 결과 화상 변환 처리에 의해, 보다 향상된 화질의 제2 화상 신호를 얻을 수 있게 된다.

그리고, 제1 화상 신호와 임계치의 비교를 화소 단위로 실시한다. 그 비교 결과에 따라, 화소마다 증폭률을 결정하는 일도 가능하다. 도 47의 화상 변환 처리(621)의 구성에 대하여는, 도 6의 화상 변환 처리(21)의 구성과 같기 때문에, 여기서는 설명을 생략한다(도 6 ~ 도 10 및 대응하는 설명을 참조). 또, 촬상 장치로서, 도 27과 같이 조작부(185)를 설치하고, 도 47의 화상 변환 처리(621)의 구성 을 도 29의 화상 변환 처리(431)의 구성과 마찬가지로 하는 것도 가능하다(도 29 ~ 도 36 및 대응하는 설명 참조).

이와 같은 구성으로 했을 경우, 신호 처리부(604)가 센서부(601)에 제어 신호로서 공급하는 증폭률 정보가 나타내는 증폭률은, 예를 들면 파라미터에 따라 보정하는 것이 가능하다.

즉, 증폭률은, 예컨대 파라미터에 대응하는 해상도가 높은만큼, 큰 값으로 보정하는 것이 가능하다.

또, 전술한 경우, 화상 변환 처리에 있어서, 1 프레임 또는 1 필드 전체를 제1 화상 신호로부터 제2 화상 신호로 변환하도록 했지만, 예컨대 도 54에 나타낸 바와 같이, 1 프레임 또는 1필드의 일부의 영역의 제1 화상 신호를 제2 화상 신호로 변환하는 것도 가능하다.

그리고, 전술한 신호 처리부(604)의 일련의 처리는 전용의 하드웨어에 의해 행하는 것도 가능하고, 소프트웨어에 의해 행하는 것도 가능하다. 일련의 처리를 소프트웨어에 의해 행하는 경우, 그 소프트웨어를 구성하는 프로그램이 도 17을 사용하여 상술한 마이크로컴퓨터나 범용의 컴퓨터 등에 인스톨된다.

다음에 본 발명의 다른 실시예를 설명한다

도 55는 본 발명을 적용한 센서 시스템(여기서, 시스템이란 복수의 장치가 논리적으로 집합한 것을 말하며, 각 구성의 장치가 동일 케이스에 있는지 여부는 상관없다)의 일실시예의 구성예를 나타내고 있다.

이 센서 시스템은, CMOS 이미저(imager; 또는 촬상장치)(801)로 DRC(Digital Reality Creation)회로(802)로 구성되며, 피사체로부터의 광(피사체 광)을 센싱하고, 그 피사체에 대응하는 고화질의 화상 신호를 출력하도록 되어 있다.

즉, CMOS 이미저(801)는 피사체 광을 수광하고, 그 수광량에 따른 전기 신호로서의 화상 신호를 DRC 회로(802)에 공급한다.

DRC 회로(802)는 CMOS 이미저(801)로부터 공급되는 화상 신호를 대상으로 신호 처리를 행하고, 그 화상 신호 보다 고화질의 화상 신호(이하, 적당히 고화질 화상 신호라고 한다)를 얻어 출력한다. 또한, DRC 회로(802)는 CMOS 이미저(801)로부터 공급되는 화상 신호에 따라 CMOS 이미저(801)를 제어한다. 이로써, CMOS 이미저(801)는 DRC 회로(802)로 행해지는 신호 처리에 있어 적절한 화상 신호를 출력하도록 제어된다.

따라서, 도 55의 센서 시스템에 의하면, CMOS 이미저(801)는 DRC 회로(802)로 행해지는 신호 처리에 있어 적절한 화상 신호를 출력하므로, DRC 회로(802)는 그 화상 신호를 대상으로 해 신호 처리를 행함으로써, 고화질의 화상 신호를 얻을 수 있다.

도 56은 도 55의 DRC 회로(802)의 제1 구성예를 나타내고 있다.

도 56에 있어서, DRC 회로(802)는 CMOS 이미저(801)가 출력하는 화상 신호에 대해서, 신호 처리를 행하는 DRC부(811)와 CMOS 이미저(801)로부터 공급되는 화상 신호에 따라, CMOS 이미저(801)를 제어하는 제어부(812)로 구성되어 있다.

DRC부(811)는 각종의 신호 처리를 행하는데, 또 그 중 하나로서 화상 신호를 제1 화상 신호로부터 제2 화상 신호로 변환하는 화상 변환 처리가 있다. 이 화상 변환 처리는 상술한 화상 변환 처리와 동일한 구성으로 실현되지만, CMOS 이미저(801)의 제어의 설명을 포함해 이하 일부 중복하여 설명한다.

여기서, 예를 들면 제1 화상 신호를 저해상도의 화상 신호로 하는 동시에 제2 화상 신호를 고해상도의 화상 신호로 하면, 화상 변환 처리는 해상도를 향상시키는 해상도 향상 처리라고 할 수 있다. 또, 예를 들면 제1 화상 신호를 낮은 S/N의 화상 신호로 하는 동시에 제2 화상 신호를 높은 S/N의 화상 신호로 하면, 화상 변환 처리는 노이즈를 제거하는 노이즈 제거 처리라고 할 수 있다. 또한, 예를 들면 제1 화상 신호를 소정 사이즈의 화상 신호로 하는 동시에 제2 화상 신호를 제1 화상 신호의 사이즈를 크고 또는 작게 한 화상 신호로 하면, 화상 변환 처리는 화상의 리사이즈(확대 또는 축소)를 행하는 리사이즈 처리라고 할 수 있다.

따라서, 화상 변환 처리에 의하면, 제1 및 제2 화상 신호를 어떻게 정의하느냐에 의해 여러 가지 처리를 실현할 수 있다.

DRC부(811)는 CMOS 이미저(801)가 출력하는 화상 신호를 제1 화상 신호로서, 그 제1 화상 신호를 제2 화상 신호로서의 고화질의 화상 신호로 변환한다.

즉, DRC부(811)에서는 CMOS 이미저(801)로부터 공급되는 화상 신호가, 제1 화상 신호로서 예측 탭 추출부(821) 및 클래스 탭 추출부(822)에 공급된다.

예측 탭 추출부(821)는 제2 화상 신호를 구성하는 화소를 순차적으로 주목 화소로 하고, 또 그 주목 화소의 화소값을 예측하는데 사용하는 제1 화상 신호를 구성하는 화소(이것의 화소값)의 몇개를 예측 탭으로 추출한다.

구체적으로는, 예측 탭 추출부(821)가 주목 화소에 대응하는 제1 화상 신호 의 화소(예를 들면, 주목 화소에 대해서 공간적 및 시간적으로 가장 가까운 위치에 있는 제1 화상 신호의 화소)에 대해서, 공간적 또는 시간적으로 가까운 위치에 있는 복수의 화소를, 제1 화상 신호로부터 예측 탭으로 추출한다.

클래스 탭 추출부(822)는 주목 화소를 몇개의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하는데 사용하는 제1 화상 신호를 구성하는 화소의 몇개를 클래스 탭으로 추출한다.

여기서, 예측 탭과 클래스 탭은 동일한 탭 구조를 가지는 것으로 하는 것도, 상이한 탭 구조를 가지는 것으로 하는 것도 가능하다. 그리고, 클래스 탭 추출부(822)는 도 6의 특징량 추출부(122)에 대응하고 있다.

예측 탭 추출부(821)에서 얻어진 예측 탭은 예측 연산부(825)에 공급되고, 클래스 탭 추출부(822)에서 얻어진 클래스 탭은 클래스 코드 발생부(823)에 공급된다.

클래스 코드 발생부(823)는 클래스 탭 추출부(822)로부터의 클래스 탭을 구성하는 화소의 레벨 분포에 근거하여, 주목 화소를 복수의 클래스 중 어느 하나의 클래스로 분류하는 클래스 분류를 행하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 발생하여, 계수 발생부(824)에 공급한다. 그리고, 클래스 코드 발생부(823)는 도 6의 클래스 분류부(123)에 대응한다.

여기서, 클래스 분류를 행하는 방법으로서, 예를 들면 상술한 바와 같이 ADRC 등을 채용할 수 있다.

ADRC를 사용하는 방법에서는, 클래스 탭을 구성하는 화소의 화소값이 ADRC 처리되어 그 결과 얻어지는 ADRC 코드에 따라 주목 화소의 클래스가 결정된다.

그리고, K비트 ADRC에 있어서는, 예를 들면 클래스 탭을 구성하는 화소의 화소값의 최대치 MAX와 최소치 MIN가 검출되어 DR=MAX-MIN를, 집합의 국부적인 다이나믹 레인지로 하고, 이 다이나믹 레인지 DR에 따라 클래스 탭을 구성하는 화소값이 K비트로 재양자화된다. 즉, 클래스 탭을 구성하는 각 화소의 화소값으로부터 최소치 MIN가 감산되어 그 감산치가 DR/2^K로 제산(양자화)된다. 그리고, 이상과 같이 하여 얻어지는, 클래스 탭을 구성하는 K비트의 각 화소의 화소값을 소정 순번으로 배열한 비트열이 ADRC 코드로서 출력된다. 따라서, 클래스 탭이, 예를 들면 1 비트 ADRC 처리되었을 경우, 그 클래스 탭을 구성하는 각 화소의 화소값은 최대치 MAX와 최소치 MIN의 평균치로 제산되고(소수점 이하 잘라 버리고), 이로써 각 화소의 화소값이 1 비트로 된다(2치화 된다). 그리고, 그 1 비트의 화소값을 소정 순번으로 나란하게 한 비트열이 ADRC 코드로서 출력된다. 클래스 코드 발생부(823)는, 예를 들면 클래스 탭을 ADRC 처리하여 얻어지는 ADRC 코드를 클래스 코드로서 발생(출력)한다.

그리고, 클래스 코드 발생부(823)에는, 예를 들면 클래스 탭을 구성하는 화소의 화소값 레벨 분포의 패턴을 그대로 클래스 코드로서 출력시키는 것도 가능하다. 그러나, 이 경우, 클래스 탭이 N개의 화소의 화소값으로 구성되며, 각 화소의 화소값에, K비트가 할당되어 있다고 하면, 클래스 코드 발생부(23)가 출력하는 클래스 코드의 경우의 수는, (2^N)^K 로 되어, 화소의 화소값의 비트수 K에 지수적으로 비례하는 큰 수로 된다.

따라서, 클래스 코드 발생부(823)에 있어서는, 클래스 탭의 정보량을 전술한 ADRC 처리나 벡터 양자화 등에 의해 압축함으로써, 클래스 분류를 행하는 것이 바람직하다.

여기서, 클래스 탭 추출부(822)에서, CMOS 이미저(801)가 출력하는 화상 신호로부터 클래스 탭을 얻을 수 있으며, 클래스 코드 발생부(823)에 있어서, 그 클래스 탭으로부터 클래스 코드를 얻을 수 있다. 따라서, 클래스 탭 추출부(822) 및 클래스 코드 발생부(823)에 있어서, 클래스 분류를 행하는 클래스 분류부가 구성되어 있는 것으로 볼 수도 있다.

계수 발생부(824)는 학습에 의해 구할 수 있던 클래스마다의 탭 계수를 기억하고, 또 그 기억한 탭 계수 중 클래스 코드 발생부(823)로부터 공급되는 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수(클래스 코드 발생부(823)로부터 공급되는 클래스 코드가 나타내는 클래스의 탭 계수)를 예측 연산부(825)에 공급(출력)한다.

여기서, 탭 계수란 디지털 필터에서의, 이른바 탭에 있어서 입력 데이터와 승산되는 계수에 상당하는 것이다.

예측 연산부(825)는 예측 탭 추출부(821)가 출력하는 예측 탭과 계수 발생부(824)가 출력하는 탭 계수를 취득하고, 그 예측 탭과 탭 계수를 사용하여, 주목 화소의 참값의 예측값을 구하는 소정 예측 연산을 행한다. 이로써, 예측 연산부(825)는 주목 화소의 화소값(이것의 예측값), 즉 제2 화상 신호를 구성하는 화소의 화소값을 요구해 출력한다.

제어부(812)는 CMOS 이미저(801)가 출력하는 화상 신호의 레벨 분포에 따라, CMOS 이미저(801)를 제어한다.

즉, 제어부(812)에는 CMOS 이미저(801)가 출력하는 화상 신호로부터 추출된 클래스 탭의 클래스 코드가 클래스 코드 발생부(823)로부터 공급된다. 제어부(812)에서는, DL(Delay Line)(826)이 클래스 코드 발생부(823)로부터 공급되는 클래스 코드를 일시 기억하고, 그 기억한 클래스 코드를 가동량 제어부(827)에 공급한다.

가동량 제어부(827)는 DL(826)로부터 공급되는 클래스 코드에 따라, CMOS 이미저(801)를 제어한다.

여기서, 클래스 코드 발생부(823)는, 예를 들면 전술한 바와 같이, 클래스 탭을 ADRC 처리함으로써 클래스 코드를 발생한다. 이 클래스 코드는 CMOS 이미저(801)가 출력한 화상 신호로부터 추출된 클래스 탭을 구성하는 복수의 화소(이것의 화소값)를 재양자화한 재양자화값의 나열이기 때문에, 그 클래스 탭을 구성하는 복수의 화소, 즉 CMOS 이미저(801)가 출력한 화상 신호의 레벨 분포를 나타내 있는 것으로 할 수 있다. 따라서, 클래스 코드에 따라 CMOS 이미저(801)를 제어하는 가동량 제어부(827)은 CMOS 이미저(801)가 출력한 화상 신호의 레벨 분포에 따라, CMOS 이미저(801)를 제어하고 있다고 할 수 있다.

다음에, 도 57의 (a) 및 (b)는 각각 예측 탭과 클래스 탭의 탭 구조의 예를 나타내고 있다.

도 57의 (a)는 클래스 탭의 탭 구조의 예를 나타내고 있다. 도 57의 (a)에서는 9개의 화소로 클래스 탭이 구성되어 있다. 즉, 도 57의 (a)에서는 CMOS 이미저(801)가 출력하는 화상 신호 중 주목 화소에 대응하는 화소와 그 화소의 상방향, 하방향, 좌방향, 우방향으로 인접하는 2 화소 각각으로부터, 소위 십자 형상의 클래스 탭이 구성되어 있다.

도 57의 (b)는 예측 탭의 탭 구조의 예를 나타내고 있다. 도 57의 (b)에서는 13개의 화소로 예측 탭이 구성되어 있다. 즉, 도 57의 (b)에서는 CMOS 이미저(801)가 출력하는 화상 신호 중 주목 화소에 대응하는 화소를 중심으로 하여 종방향으로 배열된 5개 화소, 주목 화소에 대응하는 화소의 왼쪽과 오른쪽으로 인접하는 화소 각각을 중심으로 하여 종방향으로 배열된 3개 화소 및 주목 화소에 대응하는 화소로부터 왼쪽과 오른쪽으로 1 화소만큼 이격된 화소 각각으로부터, 소위 마름모 형상의 클래스 탭이 구성되어 있다.

그리고, 도 56의 예측 연산부(825)에서의 예측 연산은 도 6의 연산부(125)와 마찬가지로 처리되어 그 예측 연산에 이용되는 탭 계수의 학습에 대하여, 도 7의 계수 메모리(181)에 기억되는 탭 계수의 학습과 동일하게 얻을 수 있으므로, 그 설명에 대하여는 생략한다(도 8 ~ 도 10을 참조). 그리고, 대응하는 학습 장치의 구성은 도 8의 학습 장치와 마찬가지이지만, 특징량 추출부(136)는 클래스 탭 추출부(822)가 구성하는 것과 동일한 탭 구조의 클래스 탭을 구성하고, 클래스 분류부(137)에 공급한다. 그리고, 클래스 분류부(137)는 클래스 코드 발생부(823)가 구성하는 것과 동일한 클래스 코드를 발생한다.

다음에, 도 58의 (a) ~ (c)는, 도 55의 센서 시스템의 구성예를 나타내고 있다.

도 58의 (a)는 도 55의 센서 시스템의 평면도이다.

센서 시스템은, 예를 들면 반도체 프로세스에 의해, 원칩상에 구성되어 있다. 도 58에서는, 1 칩의 오른쪽 윗부분에, CMOS 이미저(801)가 구성되며, 다른 부분에는 DRC 회로(802) 등의 전자 회로가 구성되어 있다.

CMOS 이미저(801)는 도 58의 (b)에 나타낸 바와 같이, 화소에 상당하는 이른바 셀이 다수 격자형으로 배치되어 구성되어 있다. CMOS 이미저(801)의 각 화소는 도 58의 (c)에 나타낸 바와 같이, 포토다이오드(851), 집광 렌즈(852) 및 MEMS부(853) 등으로 구성되어 있다.

포토다이오드(851)는 입사하는 광을 수광하고 그 수광량에 따른 전기 신호를 발생해 출력한다. 이 포토다이오드(851)가 출력하는 전기 신호는 각 화소의 화소값이다.

집광 렌즈(852)는, 이른바 온칩 렌즈(On Chip Lens)로서, 포토다이오드(851)의 수광면에 대향하는 위치에 배치되어 있다. 집광 렌즈(852)는 광을 집광하고, 그 집광한 광을 포토다이오드(851)로 출사한다. 집광 렌즈(852)에서, 광을 집광하고 포토다이오드(851)에 출사하는 것에 따라, 포토다이오드(851)에서의 광의 이용 효율을 향상시킬 수 있다.

MEMS부(853)는 MEMS 기술에 의해 구성된 가동 부품이며 집광 렌즈(852)를 유지하고 있다. MEMS부(853)가 구동됨으로써, 포토다이오드(851)의 수광면에 대한 집광 렌즈(852)의 위치가 이동한다.

그리고, CMOS 이미저(801)의 화소는, 기타 앰프 등의 전자 회로도 구비하고 있지만 그 도시는 생략한다.

도 56의 제어부(812)에서의 가동량 제어부(827)는 MEMS부(853)를 구동함으로써 집광 렌즈(852)의 위치를 제어한다.

그래서, 도 59 및 도 60을 참조하여, 가동량 제어부(827)에 의한 집광 렌즈(852)의 위치의 제어에 대하여 설명한다.

예를 들면, 도 59의 (a) 및 (b)에 나타낸 바와 같이, MEMS부(853)를 구동함으로써, 집광 렌즈(852)의 위치를 포토다이오드(851)에 가까운 위치와 먼 위치와의 2가지 위치로 이동시킬 수 있는 것으로 한다. 또한, 여기서, 도 59의 (a)에 나타낸 바와 같이, 집광 렌즈(852)의 위치가 포토다이오드(851)로부터 먼 위치인 경우에는, 좁은 범위의 피사체 광이 집광 렌즈(852)로부터 포토다이오드(851)에 출사되는 것으로 한다. 또, 도 59(b)에 나타낸 바와 같이, 집광 렌즈(852)의 위치가 포토다이오드(851)으로부터 가까운 위치인 경우에는, 넓은 범위의 피사체 광이 집광 렌즈(852)로부터 포토다이오드(851)에 출사되는 것으로 한다. 그리고, 집광 렌즈(852)의 위치와 집광 렌즈(852)로부터 포토다이오드(851)에 출사되는 피사체 광의 범위와의 관계는 전술한 경우와 역의 경우에 있는 경우도 있다.

포토다이오드(851)에서는 집광 렌즈(852)로부터 출사되는 피사체 광이 수광되어 그 수광량의 적분치에 대략 비례하는 전기 신호가 화소값으로 출력된다. 이와 같이, 포토다이오드(851)에 있어서, 수광량이 적분되어 화소값으로 되는 것으로 부터, 그 화소값에 있어서, 피사체 광의 미세한 변화가 없어진다(양자화된다). 이 적분에 의해, 피사체 광의 미세한 변화가 없어지는 것을, 이하 적절하게 적분 효과라고 한다. 포토다이오드(851)에 있어서 수광되는 피사체 광의 범위가 넓을수록, 적분 효과가 크게되어, 피사체 광의 미세한 변화가 많이 없어져 해상도가 낮은 화상(또는 움직임이 둔해진 화상)을 얻을 수 있다.

피사체 광에 대응하는 화상이 레벨 변화가 작은 평탄한 화상(평탄부)인 경우에는 노이즈가 눈에 띈다. 그래서, 이 경우, 포토다이오드(851)에 넓은 범위의 피사체 광을 수광시킴으로써, 적분 효과에 의해 포토다이오드(851)가 출력하는 화소값에 의한 화상에 포함되는 노이즈를 저감 할 수 있다.

또, 피사체 광에 대응하는 화상이 레벨 변화가 비교적 큰 화상(레벨 변화가 비교적 심한 화상)(비평탄부)인 경우에는, 포토다이오드(851)에 넓은 범위의 피사체 광을 수광시키면, 적분 효과에 의해 포토다이오드(851)가 출력하는 화소값에 의한 화상은 큰 레벨 변화가, 소위 무디어진 것이 되어, 해상도가 열화되는 것으로 된다. 그래서, 이 경우, 포토다이오드(851)에 좁은 범위의 피사체 광을 수광시킴으로써, 포토다이오드(851)가 출력하는 화소값에 의한 화상을 피사체 광의 큰 레벨 변화가 비교적 충실히 반영된 것으로 할 수 있다.

한편, DRC부(811)가 행하는 신호 처리(화상 변환 처리)에서는, 포토다이오드(851)가 출력하는 화소값으로부터 예측 탭이 구성되며, 그 예측 탭을 사용한 연산에 의해 주목 화소(이것의 화소값)가 예측된다. 따라서, 평탄한 화상으로부터 구성(추출)된 예측 탭의 화소에 노이즈가 포함되어 있는 경우, 주목 화소의 예측 정밀도가 열화된다. 또, 예측 탭의 화소가, 본래는 레벨 변화가 큰 화상의 화소인데, 레벨 변화가 무디어진 화상의 화소로 되어 있는 경우, 주목 화소의 예측 정밀도가 열화된다.

즉, DRC부(811)에 있어서, 고정밀도로 주목 화소를 예측하고, 보다 고화질의 화상 신호를 얻을 수 있도록, 적절한 신호 처리를 행하기 위해서는, 평탄한 화상에 대하여, 노이즈가 보다 적은 화소로 예측 탭을 구성할 필요가 있다. 또, 레벨 변화가 큰 화상에 대하여는, 그 레벨 변화가 보다 충실히 반영된 화소로 예측 탭을 구성할 필요가 있다.

전술한 바와 같이, 포토다이오드(851)에 넓은 범위의 피사체 광을 수광시킴으로써, 포토다이오드(851)가 출력하는 화소값에 의한 화상에 포함되는 노이즈를 저감할 수 있다. 또, 포토다이오드(851)에 좁은 범위의 피사체 광을 수광시킴으로써, 포토다이오드(851)가 출력하는 화소값에 의한 화상을, 피사체 광의 큰 레벨 변화가 비교적 충실히 반영된 것으로 할 수 있다.

따라서, 평탄한 화상에 대하여는, 포토다이오드(851)에 넓은 범위의 피사체 광을 수광시켜, 레벨 변화가 큰 화상에 대하여는 포토다이오드(851)에 좁은 범위의 피사체 광을 수광시킴으로써, DRC부(811)에 있어서 고정밀도로 주목 화소를 예측하고, 보다 고화질의 화상 신호를 얻을 수 있도록 적절한 신호 처리를 행할 수 있다.

그래서, 가동량 제어부(827)는 클래스 코드 발생부(823)로부터 DL(826)을 통하여 공급되는 클래스 코드에 따라, 집광 렌즈(852)의 위치를 다음과 같이 제어한다.

즉, 도 60은 클래스 코드 발생부(823)가 출력하는 클래스 코드의 예를 나타내고 있다. 그리고, 도 60은 도 57의 (a)에 나타낸 십자 형상의 클래스 탭이 1 비트 ADRC 처리됨으로써 얻어지는 클래스 코드를 나타내고 있다. 또, 도 60에서는 도 57의 (a)에 나타낸 클래스 탭을 구성하는 9 화소를, 화소 P1 내지 P9로, 그 화소값을 화소 P1 내지 P9의 순서로 1열로 배열하여 나타내고 있다.

1 비트 ADRC 처리에 의하면, 클래스 탭을 구성하는 화소의 최대값(최대의 화소값 MAX와 최소치(최소의 화소값MIN)의 평균값으로 클래스 탭을 구성하는 각 화소(이것의 화소값)가 재양자화된다. 즉, 최대치 MAX와 최소치 MIN의 평균값 미만의 화소(값)는 0으로 되고, 그 평균값 이상의 화소는 1로 된다.

따라서, 화상의 평탄 부분으로부터 추출된 클래스 탭에 대하여는 그 클래스 탭을 구성하는 화소 P1 내지 P9의 화소값의 변화가 작기 때문에, 예를 들면 도 60의 (a)에 나타낸 바와 같이, "000000001"과 같은, 인접하는 비트에 있어서 비트 반전이 거의 생기지 않는 클래스 코드를 얻을 수 있다.

한편, 화상의 변화의 큰 부분으로부터 추출된 클래스 탭에 대하여는 그 클래스 탭을 구성하는 화소 P1 내지 P9의 화소값의 변화가 크기 때문에, 예를 들면 도 60의 (b)에 나타낸 바와 같이, "1011010101"과 같은, 인접하는 비트에 있어서 비트 반전이 생긴 횟수가 많은 클래스 코드를 얻을 수 있다.

따라서, 클래스 코드에 의하면, 인접하는 비트에서의 비트 반전의 횟수가 적은 경우에는 화상이 평탄하다 것을 알 수 있고, 비트 반전의 횟수가 많은 경우에는 화상의 레벨 변화가 크다는 것을 알 수 있다.

그래서, 가동량 제어부(827)는 클래스 코드에서의 비트 반전의 횟수가 적은 경우, 포토다이오드(851)에서 얻어지는 화소값에 의한 화상이 평탄하다라고 하고, 집광 렌즈(852)의 위치를 도 59의 (b)에 나타낸 것과 마찬가지로, 포토다이오드(851)에 가까운 위치로 제어하고, 이에 의하여 포토다이오드(851)에 넓은 범위의 피사체 광을 수광시킨다. 또, 가동량 제어부(827)는 클래스 코드에서의 비트 반전의 횟수가 많은 경우에는 포토다이오드(851)에서 얻어지는 화소값에 의한 화상이 레벨 변화가 큰 화상이라고 하고, 집광 렌즈(852)의 위치를 도 59의 (a)에 나타낸 것과 마찬가지로, 포토다이오드(851)로부터 먼 위치로 제어하고, 이에 의하여 포토다이오드(851)에 좁은 범위의 피사체 광을 수광시킨다.

다음에, 도 61의 흐름도를 참조하여, 도 56의 DRC 회로(802)의 신호 처리에 대하여 설명한다.

그리고, 여기서는, DRC부(811)에서 제N+1 프레임(또는 필드)이 있는 화소를 주목 화소로 그 주목 화소를 예측하는 것으로 한다.

이 경우, CMOS 이미저(801)로부터, 제N 프레임의 화상 신호가 출력되면, 클래스 탭 추출부(822)는 단계 S511에 있어서 CMOS 이미저(801)가 출력한 제N 프레임의 화상 신호로부터, 주목 화소의 위치에 가장 가까운 위치의 화소를 중심으로 하는 십자 형상의 화소를 주목 화소의 클래스 탭(도 57의 (a))으로 추출하고, 클래스 코드 발생부(823)에 공급하여, 단계 S512로 진행하게 된다.

즉, 여기서는, 제N+1 프레임의 주목 화소의 클래스 탭이 그 1 프레임 전의 제N 프레임의 화상 신호로부터 추출된다.

단계 S512에서, 클래스 코드 발생부(823)는 클래스 탭 추출부(822)로부터 공급되는 클래스 탭을 1 비트 ADRC 처리함으로써, 주목 화소의 클래스 코드를 구하고, 계수 발생부(824)에 공급하는 동시에 DL(826)을 통하여 가동량 제어부(827)에 공급하여, 단계 S513으로 진행하게 된다.

단계 S513에서, 가동량 제어부(827)는 DL(826)을 통해 공급되는 클래스 코드에 대응하여, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성(결정)하고, 단계 S514로 진행하게 된다. 단계 S514에서, 가동량 제어부(827)는 직전 단계 S513에서 생성한 제어 정보에 따라, 주목 화소의 예측 탭으로 되는 화소에서의 MEMS부(853)를 제어함으로써, 그 화소의 집광 렌즈(852)를 포토다이오드(851)에 가까운 위치 또는 먼 위치로 이동시킨다.

그 후, 제N+1 프레임의 촬상 타이밍으로 되고, CMOS 이미저(801)에 있어서, 제N+1 프레임의 화상 신호가 촬상되어 출력되면, 단계 S514로부터 S515로 진행되며, 예측 탭 추출부(821)는 CMOS 이미저(801)가 출력하는 제N+1 프레임의 화상 신호로부터, 주목 화소의 위치에 가장 가까운 위치의 화소를 중심으로 하는 마름모 형상의 화소를 주목 화소의 예측 탭(도 57의 (b)으로 추출하고, 예측 연산부(825)에 공급하여, 단계 S516으로 진행하게 된다.

즉, 단계 S514에서는 주목 화소의 예측 탭으로 되는 화소에서의 MEMS부(853)를 제어함으로써, 그 화소의 집광 렌즈(852)의 위치가 제어된다. 따라서, 단계 S515에서는, 그와 마찬가지로 집광 렌즈(852)의 위치가 제어된 화소의 포토다이오드(851)로부터 출력되는 화소값으로 주목 화소의 예측 탭이 구성된다.

단계 S516에서는, 계수 발생부(824)가 클래스 코드 발생부(823)로부터 공급되는 주목 화소의 클래스 코드가 나타내는 클래스의 탭 계수를 출력한다. 즉, 계수 발생부(824)는, 예를 들어 전술한 학습 장치에서의 학습에 의해 미리 획득된 클래스마다의 탭 계수를 기억하고 있고, 그 클래스마다의 탭 계수 중에서, 주목 화소의 클래스 코드가 나타내는 클래스의 탭 계수를 판독하고, 예측 연산부(825)에 출력한다.

그리고, 단계 S516으로부터 S517로 진행되고, 예측 연산부(825)는 예측 탭 추출부(821)로부터 공급되는 예측 탭과 계수 발생부(824)로부터 공급되는 탭 계수를 사용하고, 상기 식 1의 연산을 행함으로써, 주목 화소(이것의 화소값)를 구하고, 처리를 종료한다.

이상의 처리가, 제N+1 프레임의 화소를 순차적으로 주목 화소로 행하고, 또한 제N+2 프레임 이후에 대하여도 행해진다.

그리고, 여기서는, 주목 화소의 클래스 탭을 그 주목 화소의 프레임인 제N+1 프레임의 1 프레임 전의 제N 프레임의 화상 신호로부터 추출하도록 했지만, 주목 화소의 클래스 탭은 그 주목 화소의 프레임인 제N+1 프레임의 화상 신호로부터 추출하도록 하는 것도 가능하다.

또, 제N+1 프레임에 있어서, 어느 화소 ＃A가 주목 화소가 되었을 경우와 그 화소에 가까운 화소 ＃B가 주목 화소가 되었을 경우에서, CMOS 이미저(801)의 동일 화소의 집광 렌즈(852)가 상이한 위치에 제어되는 경우가 있다. 이 경우는, 예를 들면 CMOS 이미저(801)에 있어서, 화소 ＃A가 주목 화소가 되었을 경우의 집광 렌 즈(852)의 위치와 화소 ＃B가 주목 화소가 되었을 경우의 집광 렌즈(852)의 위치에 있어서, 제N+1 프레임의 화상 신호를 시분할로 촬상하면 된다. 또는, 예를 들면 이전 또는 이후에 주목 화소가 된 화소에 대한 집광 렌즈(852)의 위치를 우선시켜도 된다.

또한, 여기서는, 주목 화소의 예측 탭으로 되는 화소에서의 MEMS부(853)를 제어함으로써 그 화소의 집광 렌즈(852)의 위치를 제어하는 것으로 했지만, 그 외에, 예를 들면 주목 화소에 가장 가까운 화소만 또는 그 화소로부터 임의의 거리의 범위에 있는 화소 모두 등으로 집광 렌즈(852)의 위치를 제어하도록 하는 것도 가능하다.

다음에, 도 62의 흐름도를 참조하여, 도 61의 단계 S513의 처리(클래스 코드에 대응하여 제어 정보를 생성하는 제어 정보 생성 처리)에 대하여 상세히 설명한다.

먼저, 단계 S521에 있어서, 가동량 제어부(827)는 주목 화소의 클래스 코드의 인접하는 비트에서의 비트 반전의 횟수를 산출하여, 단계 S522로 진행하게 된다.

즉, 예를 들면 도 60의 (a)에 나타낸 것과 마찬가지로, 클래스 코드가"000000001"인 경우에는, 선두(MSB(Most Significant bit: 최상위비트))로부터 8번째와 9번째의 비트에서, 0에서 1로 1번만 반전하고 있으므로, 비트 반전의 횟수로서, 1이 산출된다. 또, 예를 들면 도 60의 (b)에 나타낸 것과 마찬가지로, 클래스 코드가 "101101010"인 경우에는, 선두로부터 1번째와 2번째의 비트가 1에서 0으로 반전하고, 선두로부터 2번째와 3번째의 비트가 0에서 1로 반전하고, 선두로부터 4번째와 5번째의 비트가 1에서 0으로 반전하고, 선두로부터 5번째와 6번째의 비트가 0에서 1로 반전하고, 선두로부터 6번째와 7번째의 비트가 1에서 0으로 반전하고, 선두로부터 7번째와 8번째의 비트가 0에서 1로 반전하고, 선두로부터 8번째와 9번째의 비트가 1에서 0으로 반전하고 있으므로, 비트 반전의 횟수로서, 7이 산출된다.

단계 S522에서, 가동량 제어부(827)는 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 소정 임계치보다 큰지 여부를 판정한다. 여기서, 클래스 코드가 전술한 바와 같이 9비트의 경우(또는 클래스 탭을 구성하는 화소수가 9화소의 경우)는, 소정 임계치로서, 예를 들면 3 등을 채용할 수 있다.

단계 S522에 있어서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 소정 임계치로부터 크다고 판정된 경우, 즉, 예를 들면 클래스 코드가 도 60의 (b)에 나타낸 것과 마찬가지로 "101101010"이며, 그 비트 반전의 횟수가 7로서 소정 임계치인 3보다 큰 경우에는, 단계 S523에 진행되어 가동량 제어부(827)가 CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근의 레벨 변화가 크다고 하여, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 먼 위치로 하는(먼 위치로 이동시키는) 제어 정보, 즉 포토다이오드(851)에 좁은 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

한편, 단계 S522에 있어서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 소정 임계치보다 크지 않다고 판정된 경우, 즉, 예를 들면 클래스 코드가 도 60의 (b)에 나타낸 것과 마찬가지로 "000000001"이며, 그 비트 반전의 횟수가 1로서, 소정 임계치인 3보다 크지 않은 경우, 단계 S524로 진행되어, 가동량 제어부(827)가 CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근이 평탄하다라고 하여, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 가까운 위치로 하는(가까운 위치에 이동시키는) 제어 정보, 즉 포토다이오드(851)에 넓은 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

그리고, 여기서는, CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근의 레벨 분포를 나타내는 정보로서, 클래스 탭으로부터 얻어지는 클래스 코드를 사용하는 것으로 하였으나, 클래스 탭 이외에도, 예를 들면 예측 탭, 기타 주목 화소의 위치 부근의 임의의 복수의 화소를 주목 화소의 위치 부근의 레벨 분포를 나타내는 정보로서 사용하는 것이 가능하다.

또, 전술한 경우에는, MEMS부(853)를 구동함으로써, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 가까운 위치와 먼 위치의 2개 위치의 어느 하나로 제어하도록 했지만, 집광 렌즈(852)의 위치는, 그 외에도 3개 이상의 위치의 어느 하나로 제어하는 것도 가능하다.

즉, 도 63의 (a) ~ (c)는 포토다이오드(851)로부터 어떤 거리의 위치를 기준 위치로서, 집광 렌즈(852)의 위치를 기준 위치, 포토다이오드(851)으로부터 가까운 위치, 먼 위치의 3개의 위치 각각을 제어하는 상태를 나타내고 있다.

그리고, 여기에서도, 전술한 바와 같이, 집광 렌즈(852)의 위치가 포토다이 오드(851)로부터 멀 수록, 좁은 범위의 피사체 광이 집광 렌즈(852)로부터 포토다이오드(851)에 출사되고, 집광 렌즈(852)의 위치가 포토다이오드(851)로부터 가까운만큼, 넓은 범위의 피사체 광이 집광 렌즈(852)로부터 포토다이오드(851)에 출사되는 것으로 한다.

가동량 제어부(827)는 도 63에 나타낸 것과 마찬가지로 집광 렌즈(852)의 위치를, 기준 위치, 포토다이오드(851)로부터 가까운 위치, 먼 위치의 3개의 위치 중의 어느 하나의 위치로 제어하는 경우도, 클래스 코드에 대응하여 집광 렌즈(852)의 위치를 제어한다.

즉, 클래스 코드에서의 비트 반전의 횟수가 적고, 따라서 CMOS 이미저(801)가 출력하는 화상 신호 중 주목 화소의 위치 부근이 평탄 부분인 경우, 가동량 제어부(827)는 집광 렌즈(852)의 위치를 도 63의 (c)에 나타낸 바와 같이, 포토다이오드(851)로부터 가까운 위치로 제어하고, 이에 의하여, 포토다이오드(851)에 넓은 범위의 피사체 광을 수광시키도록 한다. 또, 클래스 코드에서의 비트 반전의 횟수가 많고, 따라서 CMOS 이미저(801)가 출력하는 화상 신호 중의 주목 화소의 위치 부근의 레벨 변화가 큰 경우에는, 가동량 제어부(827)는 집광 렌즈(852)의 위치를 도 63의 (a)에 나타낸 바와 같이, 포토다이오드(851)로부터 먼 위치로 제어하고, 이로써, 포토다이오드(851)에 좁은 범위의 피사체 광을 수광시키도록 한다. 또한, 클래스 코드에서의 비트 반전의 횟수가 많지도 적지도 않아서, CMOS 이미저(801)가 출력하는 화상 신호 중의 주목 화소의 위치 부근의 레벨 변화가 크지는 않지만, 그만큼 작은 것도 아닌, 말하자면 중간의 경우에는, 가동량 제어부(827)가 집광 렌즈 (852)의 위치를 도 63의 (b)에 나타낸 바와 같이, 기준 위치로 제어하고, 이로써, 포토다이오드(851)에 좁지는 않지만 넓지도 없는, 말하자면 중간 범위의 피사체 광을 수광시키도록 한다.

다음에, 도 64의 흐름도를 참조하여, 도 63에 나타낸 것과 마찬가지로 집광 렌즈(852)의 위치가 기준 위치, 포토다이오드(851)로부터 가까운 위치, 먼 위치의 3개의 위치 중의 어느 하나로 제어되는 경우의, 도 61의 단계 S513의 제어 정보 생성 처리에 대하여 설명한다.

먼저, 단계 S531에 있어서, 가동량 제어부(827)는 주목 화소의 클래스 코드의 인접하는 비트에서의 비트 반전의 횟수를 산출하여, 단계 S532로 진행하게 된다. 그리고, 여기에서도, 도 62에서의 경우와 마찬가지로 클래스 코드가 9비트로 구성되는 것으로 한다. 이 경우, 클래스 코드에서의 비트 반전의 횟수는 최소 0회이며, 최대 8회이다.

단계 S532에서, 가동량 제어부(827)는 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 비교적 적은, 예를 들면 0 내지 2의 범위에 속하는 횟수인지 여부를 판정한다.

단계 S532에서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 0 내지 2의 범위의 횟수라고 판정된 경우, 단계 S533으로 진행되어, 가동량 제어부(827)가 CMOS 이미저(801)로 촬상되는 화상의 주목 화소의 위치 부근의 레벨 변화가 작은 것으로 하고, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 가까운 위치로 하는(가까운 위치로 이동시키는) 제어 정보, 즉 포토다이오드(851)에 넓은 범위의 피 사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

또, 단계 S532에서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 0 내지 2의 범위의 횟수가 아니라고 판정된 경우, 단계 S534로 진행되어, 가동량 제어부(827)가 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 비교적 많은, 예를 들면, 6 내지 8의 범위의 횟수인지 여부를 판정한다.

단계 S534에서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 6 내지 8의 범위의 횟수라고 판정된 경우, 단계 S535로 진행되어, 가동량 제어부(827)가 CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근의 레벨 변화가 크다고 하고, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 먼 위치로 하는(먼 위치로 이동시키는)제어 정보, 즉 포토다이오드(851)에 좁은 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

또, 단계 S534에 있어서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 6 내지 8의 범위의 횟수가 아니라고 판정된 경우, 단계 S536으로 진행되어, 가동량 제어부(827)가 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 많지도 적지도 않은, 예를 들면 3 내지 5의 범위의 횟수인지 여부를 판정한다.

단계 S536에 있어서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 3 내지 5의 범위의 횟수라고 판정된 경우, 단계 S537로 진행되어, 가동량 제어부(827)가 CMOS 이미저(801)에서 촬상되는 화상의, 주목 화소의 위치 부근의 레벨 변화가 아니라고 하고, 집광 렌즈(852)의 위치를 기준 위치로 하는(기준 위치로 이동 시키는) 제어 정보, 즉 포토다이오드(851)에 중간 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

또, 단계 S536에 있어서, 주목 화소의 클래스 코드에서의 비트 반전의 횟수가 6 내지 8의 범위의 횟수가 아니라고 판정된 경우, 가동량 제어부(827)는 에러라고 하며, 제어 정보를 생성하지 않고, 복귀한다. 그리고, 이 경우 집광 렌즈(852)의 위치는, 예를 들면 이전 위치에 유지된다.

그리고, 전술한 바와 같이, 클래스 코드를 9비트로 하고 그 클래스 코드에서의 비트 반전의 횟수에 따라, 집광 렌즈(852)의 위치를 제어하는 경우에는, 집광 렌즈(852)의 위치는 최대로 9개로 할 수 있다.

다음에, 도 65는 도 55의 DRC 회로(802)의 제2 구성예를 나타내고 있다. 그리고, 도면 중 도 56에서와 대응하는 부분에 대하여는 동일한 부호를 부여하고 있어, 이하 그 설명은 생략한다. 즉, 도 65의 DRC 회로(802)는 제어부(812)를 대신하여, 제어부(862)가 형성되어 있는 것 외에, 기본적으로 도 56에서의 경우와 동일하게 구성되어 있다.

제어부(862)는 액티비티 검출부(876) 및 가동량 제어부(877)로 구성되어 있다.

액티비티 검출부(876)에는 클래스 탭 추출부(822)가 출력하는 주목 화소의 클래스 탭이 공급되도록 되어 있다. 액티비티 검출부(876)는 클래스 탭 추출부(822)로부터 공급되는 주목 화소의 클래스 탭으로부터, CMOS 이미저(801)가 출력하는 화상 신호에서의 주목 화소의 위치 부근의 액티비티를 검출하고, 가동량 제어부 (877)에 공급한다. 여기서, 액티비티로서는, 예를 들면 주목 화소의 클래스 탭을 구성하는 화소의 다이나믹 레인지(클래스 탭을 구성하는 화소의 최대 화소값과 최소 화소값의 차이)나, 주목 화소의 클래스 탭을 구성하는 화소의 인접하는 것끼리의 차분 절대치의 총합, 주목 화소의 클래스 탭을 구성하는 화소 각각과 그 평균값의 차분의 절대치의 총합 등을 채용할 수 있다.

그리고, 여기서는 액티비티로서, 예를 들면 주목 화소의 클래스 탭을 구성하는 화소의 다이나믹 레인지를 채용하는 것으로 한다.

가동량 제어부(877)는 액티비티 검출부(876)로부터 공급되는 액티비티에 따라, 도 56의 가동량 제어부(827)와 마찬가지로, CMOS 이미저(801)를 제어한다. 즉, 가동량 제어부(877)는 액티비티 검출부(876)로부터 공급되는 액티비티에 따라, 주목 화소의 예측 탭으로 되는 화소의 집광 렌즈(852)의 위치를 제어한다.

즉, 도 66은 클래스 탭 추출부(822)가 출력하는 클래스 탭의 예를 나타내고 있다. 그리고, 도 66에서는 도 57의 (a)에 나타낸 클래스 탭을 구성하는 9화소를 화소 P1 내지 P9로, 그 화소값을 화소 P1 내지 P9의 순서로 1열로 배열하여 나타내고 있다.

화상의 평탄 부분으로부터 추출된 클래스 탭에 대하여는 그 클래스 탭을 구성하는 화소 P1 내지 P9의 화소값의 변화가 작기 때문에, 예를 들면 도 66의 (a)에 나타낸 바와 같이, 그 다이나믹 레인지 DR은 임의의 작은 값으로 된다.

한편, 화상의 변화가 큰 부분으로부터 추출된 클래스 탭에 대하여는 그 클래스 탭을 구성하는 화소 P1 내지 P9의 화소값의 변화가 크기 때문에, 예를 들면 도 66의 (b)에 나타낸 바와 같이, 그 다이나믹 레인지 DR은 임의의 큰 값으로 된다.

따라서, 클래스 탭의 다이나믹 레인지가 작은 경우에는 화상이 평탄하다는 것을 알 수 있고, 다이나믹 레인지가 큰 경우에는 화상의 레벨 변화가 크다는 것을 알 수 있다.

그래서, 가동량 제어부(877)는 클래스 탭의 다이나믹 레인지가 작은 경우에는, 포토다이오드(851)에서 얻어지는 화소값에 의한 화상이 평탄하다라고 하여, 집광 렌즈(852)의 위치를 도 59의 (b)에 나타낸 것과 마찬가지로, 포토다이오드(851)에 가까운 위치로 제어하고, 이에 의하여 포토다이오드(851)에 넓은 범위의 피사체 광을 수광시킨다. 또, 가동량 제어부(877)는 클래스 탭의 다이나믹 레인지가 큰 경우, 포토다이오드(851)에서 얻어지는 화소값에 의한 화상이 레벨 변화가 큰 화상이라고 하여, 집광 렌즈(852)의 위치를 도 59의 (a)에 나타낸 것과 마찬가지로, 포토다이오드(851)로부터 먼 위치로 제어하고, 이에 의하여 포토다이오드(851)에 좁은 범위의 피사체 광을 수광시킨다.

다음에, 도 67의 흐름도를 참조하여 도 65의 DRC 회로(802)의 신호 처리에 대하여 설명한다.

그리고, 여기서는, 도 61에서의 경우와 마찬가지로, DRC부(811)에 있어서, 제N+1 프레임(또는 필드)이 있는 화소를 주목 화소로 하고, 그 주목 화소를 예측하는 것으로 한다.

이 경우, CMOS 이미저(801)로부터 제N 프레임의 화상 신호가 출력되면, 클래스 탭 추출부(822)는 단계 S541에 있어서, CMOS 이미저(801)가 출력한 제N 프레임 의 화상 신호로부터, 주목 화소의 위치에 가장 가까운 위치의 화소를 중심으로 하는 십자 형상의 화소를 주목 화소의 클래스 탭(도 57의 (a))으로서 추출하고, 클래스 코드 발생부(823)에서 액티비티 검출부(876)에 공급하여, 단계 S542로 진행하게 된다. 즉, 여기에서도, 도 61에서의 경우와 마찬가지로, 제N+1 프레임의 주목 화소의 클래스 탭이 그 1 프레임 전의 제N 프레임의 화상 신호로부터 추출된다.

단계 S542에서는, 클래스 코드 발생부(823)가 클래스 탭 추출부(822)로부터 공급되는 클래스 탭을, 예를 들면 1비트 ADRC 처리하는 것 등에 의해, 주목 화소의 클래스 코드를 구하고, 계수 발생부(824)에 공급하여, 단계 S543으로 진행하게 된다.

단계 S543에서, 액티비티 검출부(876)는 클래스 탭 추출부(822)로부터의 주목 화소의 클래스 탭의 다이나믹 레인지를 액티비티로서 검출하고, 가동량 제어부(877)에 공급하여, 단계 S544로 진행하게 된다.

단계 S543에서, 가동량 제어부(877)는 액티비티 검출부(876)로부터 공급되는 클래스 탭의 다이나믹 레인지에 대응하여, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성(결정)하고, 단계 S545로 진행하게 된다. 단계 S545에서, 가동량 제어부(877)는 직전 단계 S543에서 생성한 제어 정보에 따라, 주목 화소의 예측 탭으로 되는 화소에서의 MEMS부(853)를 제어함으로써, 그 화소의 집광 렌즈(852)를 소정 위치로 이동시킨다.

그 후, 제N+1 프레임의 촬상 타이밍으로 되어, CMOS 이미저(801)에 있어서, 제N+1 프레임의 화상 신호가 촬상되어 출력되면, 단계 S545로부터 S546으로 진행되 고, 예측 탭 추출부(821)는 CMOS 이미저(801)가 출력하는 제N+1 프레임의 화상 신호로부터 주목 화소의 위치에 가장 가까운 위치의 화소를 중심으로 하는 마름모 형상의 화소를 주목 화소의 예측 탭(도 57B))으로서 추출하고, 예측 연산부(825)에 공급하여, 단계 S547로 진행하게 된다.

즉, 단계 S545에서, 주목 화소의 예측 탭으로 되는 화소에서의 MEMS부(853)를 제어함으로써, 그 화소의 집광 렌즈(852)의 위치가 제어된다. 따라서, 단계 S546에서, 위와 같이 집광 렌즈(852)의 위치가 제어된 화소의 포토다이오드(851)로부터 출력되는 화소값으로 주목 화소의 예측 탭이 구성된다.

단계 S547에서, 계수 발생부(824)는 클래스 코드 발생부(823)로부터 공급되는 주목 화소의 클래스 코드가 나타내는 클래스의 탭 계수를 예측 연산부(825)에 출력하여, 단계 S548로 진행하게 된다.

단계 S548에서, 예측 연산부(825)는 예측 탭 추출부(821)로부터 공급되는 예측 탭과 계수 발생부(824)로부터 공급되는 탭 계수를 사용하고, 상기 식 1의 연산을 행함으로써, 주목 화소(이것의 화소값)를 구하고, 처리를 종료한다.

이상의 처리가, 제N+1 프레임의 화소를 순차적으로 주목 화소로 하여 행해지고, 또한 제N+2 프레임 이후에 대하여도 행해진다.

또, 제N+1 프레임에 있어서, 어느 화소 ＃A가 주목 화소가 되었을 경우와 그 화소에 가까운 화소 ＃B가 주목 화소가 되었을 때, CMOS 이미저(801)의 동일 화소의 집광 렌즈(852)가 상이한 위치로 제어되는 경우가 있다. 이 경우는, 예를 들면 CMOS 이미저(801)에 있어서, 화소 ＃A가 주목 화소가 되었을 경우의 집광 렌즈(852)의 위치와 화소 ＃B가 주목 화소가 되었을 경우의 집광 렌즈(852)의 위치에 있어서, 제N+1 프레임의 화상 신호를 촬상하면 된다. 또는, 예를 들면 이전 또는 이후에 주목 화소가 된 화소에 대한 집광 렌즈(852)의 위치를 우선시켜도 된다.

또한, 여기서는, 주목 화소의 예측 탭으로 되는 화소에서의 MEMS부(853)를 제어함으로써, 그 화소의 집광 렌즈(852)의 위치를 제어하는 것으로 했지만, 그 외에도, 예를 들면 주목 화소에 가장 가까운 화소만큼이나 그 화소로부터 임의의 거리의 범위에 있는 화소 모두 등의 집광 렌즈(852)의 위치를 제어하도록 하는 것도 가능하다.

다음에, 도 68의 흐름도를 참조하여, 도 59에 나타낸 것과 마찬가지로, 집광 렌즈(852)의 위치가 포토다이오드(851)로부터 가까운 위치와 먼 위치의 2개의 위치 중 어느 하나의 위치로 제어되는 경우의, 도 67의 단계 S544의 처리(클래스 탭의 액티비티에 대응하여 제어 정보를 생성하는 제어 정보 생성 처리)에 대하여 설명한다.

먼저, 단계 S551에 있어서, 가동량 제어부(877)는 최대 다이나믹 레인지에 의해, 주목 화소의 클래스 탭의 다이나믹 레인지를 정규화하여, 단계 S552로 진행하게 된다. 즉, 가동량 제어부(877)는 클래스 탭의 다이나믹 레인지를 CMOS 이미 저(801)가 출력하는 화상 신호가 취할 수 있는 최대값과 최소값의 차이인 최대 다이나믹 레인지로 제산함으로써, 클래스 탭의 다이나믹 레인지를 정규화한다. 여기서, 이하 정규화된 클래스 탭의 다이나믹 레인지를 정규화 다이나믹 레인지라고 한다. 그리고, 클래스 탭의 다이나믹 레인지의 정규화는 반드시 행할 필요는 없다.

단계 S552에서, 가동량 제어부(877)는 정규화 다이나믹 레인지가 소정 임계치보다 큰지 여부를 판정한다. 여기서, 소정 임계치로서는, 예를 들면 0.5 등을 채용할 수 있다.

단계 S552에 있어서, 정규화 다이나믹 레인지가 소정 임계치보다 크다고 판정된 경우, 단계 S553으로 진행되고, 가동량 제어부(877)는 CMOS 이미저(801)로 촬상되는 화상의 주목 화소의 위치 부근의 레벨 변화가 크다고 하고, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 먼 위치로 하는(먼 위치로 이동시키는) 제어 정보, 즉 포토다이오드(851)에 좁은 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

한편, 단계 S552에 있어서, 정규화 다이나믹 레인지가 소정 임계치보다 크지 않다고 판정된 경우, 단계 S553으로 진행되어 가동량 제어부(877)는 CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근이 평탄하다고 하여, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 가까운 위치로 하는(가까운 위치로 이동시키는) 제어 정보, 즉 포토다이오드(851)에 넓은 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

그리고, 여기서는, CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근의 액티비티를 나타내는 정보로서, 클래스 탭의 다이나믹 레인지를 사용하는 것으로 하였으나, 클래스 탭 이외에도, 예를 들면 예측 탭 외의 주목 화소의 위치 부근의 임의의 복수의 화소의 최대값과 최소값의 차이를, 주목 화소의 위치 부근의 액티비티를 나타내는 정보로서 사용하는 것이 가능하다.

또, 전술한 경우, MEMS부(853)를 구동함으로써, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 가까운 위치와 먼 위치의 2개의 위치 중 어느 하나의 위치로 제어하도록 했지만, 집광 렌즈(852)의 위치는, 그 외에도 3개 이상의 위치의 어느 하나의 위치로 제어하는 것도 가능하다.

즉, 도 69는 도 63에 나타낸 것과 마찬가지로, 집광 렌즈(852)의 위치를 기준 위치, 포토다이오드(851)로부터 가까운 위치, 먼 위치의 3개의 위치 중 어느 하나의 위치로 제어하는 경우의, 도 67의 단계 S544의 제어 정보 생성 처리를 설명하는 흐름도가다.

먼저, 단계 S561에 있어서, 가동량 제어부(877)는 주목 화소의 클래스 탭의 다이나믹 레인지를 정규화함으로써, 주목 화소의 클래스 탭의 다이나믹 레인지의, 최대 다이나믹 레인지에 대한 비율인 정규화 다이나믹 레인지를 구하고, 단계 S562로 진행하게 된다.

단계 S562에서, 가동량 제어부(877)는 정규화 다이나믹 레인지가 비교적 작은, 예를 들면 0.3 미만의 값인지 여부를 판정한다.

단계 S562에 있어서, 정규화 다이나믹 레인지가 0.3 미만의 값이라고 판정된 경우, 단계 S563으로 진행되어, 가동량 제어부(877)는 CMOS 이미저(801)로 촬상되 는 화상의 주목 화소의 위치 부근의 레벨 변화가 작은 것으로 하고, 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 가까운 위치로 하는(가까운 위치로 이동시키는) 제어 정보, 즉 포토다이오드(851)에 넓은 범위의 피사체 광을 입사시키도록 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

또, 단계 S562에 있어서, 정규화 다이나믹 레인지가 0.3 미만의 값이 아니라고 판정된 경우, 단계 S564로 진행되어, 가동량 제어부(877)는 정규화 다이나믹 레인지가 작지도 크지도 않은, 예를 들면 0.3 이상 0.6 미만의 값인지 여부를 판정한다.

단계 S564에 있어서, 정규화 다이나믹 레인지가 0.3 이상 0.6 미만의 값이라고 판정된 경우, 단계 S565로 진행되어, 가동량 제어부(877)는 CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근의 레벨 변화가 아닌 것으로 하고, 집광 렌즈(852)의 위치를 기준 위치로 하는(기준 위치로 이동시키는) 제어 정보, 즉 포토다이오드(851)에 중간의 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

또, 단계 S564에 있어서, 정규화 다이나믹 레인지가 0.3 이상 0.6 미만의 값이 아닌 것으로 판정된 경우, 단계 S566으로 진행되어, 가동량 제어부(877)는 정규화 다이나믹 레인지가 비교적 큰, 예를 들면 0.6 이상의 값인지 여부를 판정한다.

단계 S566에 있어서, 정규화 다이나믹 레인지가 0.6 이상의 값이라고 판정된 경우, 단계 S567로 진행되어, 가동량 제어부(877)는 CMOS 이미저(801)로 촬상되는 화상의, 주목 화소의 위치 부근의 레벨 변화가 크다고 하고, 집광 렌즈(852)의 위 치를 포토다이오드(851)로부터 먼 위치로 하는(먼 위치로 이동시키는) 제어 정보, 즉 포토다이오드(851)에 좁은 범위의 피사체 광을 입사시키도록, 집광 렌즈(852)의 위치를 제어하는 제어 정보를 생성하고, 복귀한다.

또, 단계 S566에 있어서, 정규화 다이나믹 레인지가 0.6 이상의 값이 아니라고 판정된 경우, 가동량 제어부(877)는 에러인 것으로 하고, 제어 정보를 생성하지 않고, 복귀한다. 그리고, 이 경우, 집광 렌즈(852)의 위치는, 예를 들면 이전의 위치에 유지된다.

전술한 경우에는, 도 56이나 도 65의 계수 발생부(824)에 미리 학습에 의해 요구한 클래스마다의 탭 계수를 기억하게 하도록 했지만, 계수 발생부(824)에서는 그 외에도, 예를 들면 탭 계수의, 소위 종류가 되는 계수 종류 데이터와, 소정 파라미터로부터 원하는 화질의 화상을 얻을 수 있는 클래스마다의 탭 계수를 생성하는 것이 가능하다. 그리고, 계수 종류 데이터와 소정 파라미터로부터 클래스마다의 탭 계수의 생성하는 계수 발생부의 구성은 도 30의 계수 출력부(124)의 구성과 동일하기 때문에, 여기서는 그 설명을 생략한다(도 30 ~ 도 36 및 그 설명 참조). 또, 대응하는 학습 장치의 구성은 도 20의 학습 장치와 마찬가지이지만, 특징량 추출부(136)는 클래스 탭 추출부(822)가 구성하는 것과 동일한 탭 구조의 클래스 탭을 구성하고 클래스 분류부(137)에 공급한다. 그리고, 클래스 분류부(137)는 클래스 코드 발생부(823)가 구성하는 것과 동일한 클래스 코드를 발생한다.

다음에, 계수 출력부(124)에 있어서, 도 30에 나타낸 것과 마찬가지로, 해상도 등에 대응하는 파라미터에 따라 클래스마다의 탭 계수를 생성하도록 했을 경우 에는, CMOS 이미저(801)를 클래스 코드나 클래스 탭의 액티비티에 따라 제어하는 것이 아니라, 파라미터에 따라 제어하도록 하는 것이 가능하다.

도 70은 파라미터에 따라 CMOS 이미저(801)를 제어하는 DRC 회로(802)의 구성예를 나타내고 있다. 그리고, 도면 중 도 56 또는 도 65와 대응하는 부분에 대하여는, 동일한 부호를 부여하고 있어, 이하 그 설명은 생략한다. 즉, 도 70의 DRC 회로(802)는 제어부(812)에서의 DL(826) 및 가동량 제어부(827)를 대신하여, 가동량 제어부(917)가 형성되어 있는 것 외에는, 기본적으로 도 56과 동일하게 구성되어 있다.

도 70에 있어서, 사용자가 조작부(985)를 조작함으로써, 그 조작에 따른 파라미터 z가 계수 발생부(824)와 가동량 제어부(917)에 공급된다. 계수 발생부(824)는 도 30에 나타낸 것과 동일하게 구성되어 있고, 조작부(985)로부터 공급되는 파라미터 z에 따라, 클래스마다의 탭 계수를 생성하고, 그 탭 계수 중 클래스 코드 발생부(823)로부터 공급되는 클래스 코드가 나타내는 클래스의 탭 계수를 예측 연산부(825)에 출력한다.

가동량 제어부(917)는 조작부(985)로부터 공급되는 파라미터 z에 따라, CMOS 이미저(801)를 제어한다.

즉, 계수 발생부(824)에서는 파라미터 z가 큰 경우 해상도를 크게 향상시키는 탭 계수가 생성되고, 파라미터 z가 작은 경우 해상도를 다소 향상시키는 탭 계수가 생성된다. DRC부(811)에 있어서, 해상도를 크게 향상시키는 탭 계수가 이용되는 경우에는, 예측 탭으로 되는 화소도 해상도가 높지만, DRC부(811)에서 행해지 는 신호 처리에서는 적절하다. 또, DRC부(811)에 있어서, 해상도를 다소 향상시키는 탭 계수가 이용되는 경우에는, 예측 탭으로 되는 화소의 해상도는 그다지 높지 않은 것이, DRC부(811)에서 행해지는 신호 처리에서는 적절하다.

그래서, 가동량 제어부(917)는 파라미터 z가 크고 해상도를 크게 향상시키는 탭 계수가 생성되는 경우에는, 포토다이오드(851)에 좁은 범위의 피사체 광을 입사시키도록, 예를 들면 집광 렌즈(852)의 위치를 포토다이오드(851)로부터 먼 위치로 제어한다. 또, 가동량 제어부(917)는 파라미터 z가 작고 해상도를 다소 향상시키는 탭 계수가 생성되는 경우에는, 포토다이오드(851)에 넓은 범위의 피사체 광을 입사시키도록, 예를 들면 집광 렌즈(852)의 위치를 포토다이오드(851)에 가까운 위치로 제어한다.

그리고, DRC 회로(802)는 전용 하드웨어에 의해 실현될 수도 있고, CPU(Central Processing Unit)[DSP(Digital Signal Processor)를 포함]나 반도체 메모리 등으로 되는 마이크로 컴퓨터 등의 컴퓨터에, 전술한 처리를 실시하게 하는 프로그램을 실행시킴으로써 실현될 수도 있다.

프로그램은 컴퓨터에 미리 인스톨(설치)해 두는 것 외에도, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical)디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 제거 가능한(휴대의) 기록 매체에 기록하고, 이른바 패키지 소프트웨어로서 제공 할 수도 있다.

또, 프로그램은 전술한 바와 같은 제거 가능한 기록 매체로부터 마이크로 컴퓨터에 인스톨하는 것 외에도, 다운로드 사이트로부터 디지털 위성방송용의 인공위 성을 통하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통하여, 다운로드하여 인스톨할 수 있다.

본 명세서에 있어서, 컴퓨터에 각종의 처리를 실시하게 하기 위한 프로그램을 기술하는 처리 단계는, 반드시 흐름도에 기재된 순서로 따라 시계열로 처리할 필요는 없으며, 병렬적 또는 개별적으로 실행되는 처리(예를 들어, 병렬처리 또는 오브젝트에 의한 처리)도 포함하는 것이다.

또, 프로그램은 하나의 컴퓨터에 의해 처리되는 것이라도 되고, 복수의 컴퓨터에 의해 분산 프로세싱되는 것이라도 된다.

이상과 같이, CMOS 이미저(801)에 있어서, 그 후단의 DRC부(811)에서 행해지는 신호 처리에 있어 적절한 화상 신호가 출력되도록, CMOS 이미저(801)를 제어하도록 했으므로, DRC부(811)의 신호 처리에 의해, 보다 개선된 화질의 화상 신호를 얻을 수 있다.

그리고, 본 실시예에서는, CMOS 이미저(CMOS 센서)에 의해 화상을 촬상하도록 했지만, 화상을 촬상하는 수단으로서는, 그 외에도, 예를 들면 CCD를 사용하는 것도 가능하다.

또, 본 실시예에서는, CMOS 이미저(801)와 DRC 회로(802)를 원칩상에 형성하도록 했지만, CMOS 이미저(801)와 DRC 회로(802)를 상이한 칩 상에 형성하는 것도 가능하다.

또한, 본 실시예에서는, 집광 렌즈(852)의 위치를 제어함으로써 포토다이오드(851)에 입사하는 피사체 광의 범위를 제어했지만, 포토다이오드(851)에 입사하 는 피사체 광의 범위를 제어하는 방법은 집광 렌즈(852)의 위치를 제어하는 방법에 한정되는 것은 아니다. 즉, 예를 들면 CMOS 이미저(801)의 각 화소에 MEMS 기술에 의한 조리개 기구를 설치하고, 조리개를 조정하는 것 등에 의해, 포토다이오드(851)에 입사하는 피사체 광의 범위를 제어하는 것이 가능하다. 또, 포토다이오드(851)에 입사하는 피사체 광의 범위를 제어하는 것 외에도, 예를 들면 포토다이오드(851)에서의 피사체 광의 수광 시간(노광 시간) 등을 제어하는 것도 가능하다.

이와 같이, 본 발명에 의하면, 신호 처리에 있어 적절한 신호를 얻을 수 있으며, 또한 그 신호를 신호 처리함으로써, 예컨대 고화질의 화상 신호 등을 얻을 수 있다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
광을 감지하고, 상기 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와, 상기 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단과,

상기 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대하여 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 수단

을 구비하고,

상기 제1 및 제2 센서는, 미리 행해진 학습에 따라서, 상기 신호 처리에 대응한 배치 상태로 되어있고,

상기 신호 처리 수단은,

상기 제1 디지털 화상 신호를 이용하여 주목 화소의 특징을 추출하는 특징 추출 수단과,

상기 주목 화소의 특징에 따라, 상기 주목 화소의 클래스를 나누는 클래스 분류 수단과,

상기 주목 화소의 클래스에 따르는 계수를 출력하는 계수 출력 수단과,

상기 주목 화소의 클래스에 따르는 계수와, 상기 제1 디지털 화상 신호를 이용한 연산에 의하여, 상기 주목 화소의 상기 제2의 디지털 신호를 구하는 연산 수단을 구비하는,

신호 처리 장치.
제18항에 있어서.

상기 계수 출력 수단은, 복수의 클래스마다의 상기 계수를 기억하고 있는 기억 수단을 가지는, 신호 처리 장치.
광을 감지하고, 상기 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와, 상기 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단이 출력하는 상기 화상 신호를 취득하는 취득 스텝과,

상기 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대하여 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 스텝

을 포함하고,

상기 제1 및 제2 센서는, 미리 행해진 학습에 따라서, 상기 신호 처리에 대응한 배치 상태로 되어있고,

상기 신호 처리 스텝은,

상기 제1 디지털 화상 신호를 이용하여, 주목 화소의 특징을 추출하는 특징 추출 스텝과,

상기 주목 화소의 특징에 따라, 상기 주목 화소의 클래스를 분류하는 클래스 분류 스텝과,

상기 주목 화소의 클래스에 따르는 계수를 출력하는 계수 출력 스텝과,

상기 주목 화소의 클래스에 따르는 계수와, 상기 제1 디지털 화상 신호를 이용한 연산에 의하여, 상기 주목 화소의 상기 제2 디지털 신호를 구하는 연산 스텝을 포함하는,

신호 처리 방법.
광을 감지하고, 상기 광에 대응하는 화상 신호의 제1 성분을 출력하는 제1 센서와, 상기 화상 신호의 제2 성분을 출력하는 제2 센서를 적어도 가지는 센서 수단이 출력하는 상기 화상 신호를 취득하는 취득 스텝과,

상기 센서 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대하여 신호 처리를 행하여 제2 디지털 화상 신호를 출력하는 신호 처리 스텝

을 포함하고,

상기 제1 및 제2 센서는, 미리 행해진 학습에 따라서, 상기 신호 처리에 대응한 배치 상태로 되어있고,

상기 신호 처리 스텝은,

상기 제1 디지털 화상 신호를 이용하여 주목 화소의 특징을 추출하는 특징 추출 스텝과,

상기 주목 화소의 특징에 따라, 상기 주목 화소의 클래스를 분류하는 클래스 분류 스텝과,

상기 주목 화소의 클래스에 따르는 계수를 출력하는 계수 출력 스텝과,

상기 주목 화소의 클래스에 따르는 계수와, 상기 제1 디지털 화상 신호를 이용한 연산에 의하여, 상기 주목 화소의 상기 제2의 디지털 신호를 구하는 연산 스텝을 포함하는 처리를 컴퓨터에 행하게 하기 위한 프로그램이 기록되어 있는,

기록 매체.
화상 신호의 제1 성분을 취득하는 제1 센서와, 상기 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대하여 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 수단과,

상기 제2 디지털 화상 신호를 평가하는 평가 수단과,

상기 평가 수단의 평가에 대응하여, 상기 제1 또는 제2 센서 중의 적어도 한편의 배치 상태를 제어하는 제어 수단

을 구비하고,

상기 화상 변환 수단은,

상기 제1 디지털 화상 신호를 이용하여 주목 화소의 특징을 추출하는 특징 추출 수단과,

상기 주목 화소의 특징에 따라, 상기 주목 화소의 클래스를 분류하는 클래스 분류 수단과,

상기 주목 화소의 클래스에 따르는 계수를 출력하는 계수 출력 수단과,

상기 주목 화소의 클래스에 따르는 계수와, 상기 제1 디지털 화상 신호를 이용한 연산에 의하여 상기 주목 화소의 상기 제2 디지털 신호를 구하는 연산 수단을 구비하는,

신호 처리 장치.
제22항에 있어서,

상기 계수 출력 수단은, 복수의 클래스마다의 상기 계수를 기억하고 있는 기억 수단을 가지는, 신호 처리 장치.
제22항에 있어서,

상기 계수 출력 수단은,

상기 계수의 종류가 되는 종류 데이터를 기억하고 있는 기억 수단과,

소정의 파라미터와, 상기 종류 데이터로부터, 복수의 클래스마다의 상기 계수를 생성하는 생성 수단을 구비하는, 신호 처리 장치.
화상 신호의 제1 성분을 취득하는 제1 센서와, 상기 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대하여 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 스텝과,

상기 제2 디지털 화상 신호를 평가하는 평가 스텝과,

상기 평가 스텝의 평가에 대응하여 상기 제1 또는 제2 센서 중의 적어도 한편의 배치 상태를 제어하는 제어 스텝

을 포함하고,

상기 화상 변환 스텝은,

상기 제1 디지털 화상 신호를 이용하여 주목 화소의 특징을 추출하는 특징 추출 스텝과,

상기 주목 화소의 특징에 따라, 상기 주목 화소의 클래스를 분류하는 클래스 분류 스텝과,

상기 주목 화소의 클래스에 따르는 계수를 출력하는 계수 출력 스텝과,

상기 주목 화소의 클래스에 따르는 계수와, 상기 제1 디지털 화상 신호를 이용한 연산에 의하여, 상기 주목 화소의 상기 제2 디지털 신호를 구하는 연산 스텝을 포함하는,

신호 처리 방법.
화상 신호의 제1 성분을 취득하는 제1 센서와, 상기 화상 신호의 제2 성분을 취득하는 제2 센서를 적어도 가지는 촬상 수단의 출력으로부터 얻어지는 제1 디지털 화상 신호에 대하여 화상 변환 처리를 행하여 제2 디지털 화상 신호를 출력하는 화상 변환 스텝과,

상기 제2 디지털 화상 신호를 평가하는 평가 스텝과,

상기 평가 스텝의 평가에 대응하여 상기 제1 또는 제2 센서 중의 적어도 한편의 배치 상태를 제어하는 제어 스텝

을 포함하고,

상기 화상 변환 스텝은,

상기 제1 디지털 화상 신호를 이용하여 주목 화소의 특징을 추출하는 특징 추출 스텝과,

상기 주목 화소의 특징에 따라, 상기 주목 화소의 클래스를 분류하는 클래스 분류 스텝과,

상기 주목 화소의 클래스에 따르는 계수를 출력하는 계수 출력 스텝과,

상기 주목 화소의 클래스에 따르는 계수와, 상기 제1 디지털 화상 신호를 이용한 연산에 의하여, 상기 주목 화소의 상기 제2 디지털 신호를 구하는 연산 스텝을 포함하는 신호 처리를 컴퓨터에 행하게 하기 위한 프로그램이 기록되어 있는,

기록 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제