JP4281453B2 - 信号処理装置および信号処理方法 - Google Patents

Description

本発明は、信号処理装置および信号処理方法に関し、特に、例えば、画像信号の信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにする信号処理装置および信号処理方法に関する。

従来の画像信号を処理する信号処理装置では、例えば、被写体光（被写体からの光）を電気信号である画像信号に変換することにより被写体を撮像するCCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)イメージャ（CMOSセンサ）などの撮像手段が出力する画像信号が信号処理される。

信号処理は、多くの場合、撮像手段が出力する画像信号の画質を改善するために行われる。このような信号処理としては、例えば、単板のCCDから得られる、R(red),G(green),B(blue)信号のうちのいずれかだけ有する画素を、そのR,G,B信号のすべてを有する画素に変換する、いわゆるデモザイクと呼ばれる信号処理がある（例えば、特許文献１参照）。

国際公開第００／４９８１２号パンフレット。

ところで、CCDやCMOSイメージャなどの撮像手段は、そこに入射する光（被写体光）を、画素に対応する範囲（面積）で、ある露光時間の間に受光し、その受光量に対応する画像信号を出力する。従って、撮像手段は、時間的および空間的に連続な光を、画素に対応する範囲で、露光時間の間だけ、いわばサンプリングし、そのサンプリング結果を、画像信号として出力しているということができる。

このように、撮像手段が出力する画像信号は、時間的および空間的に連続な光のサンプリング結果であるから、元の光に含まれる情報の一部が欠落したものとなっている。このため、撮像手段が出力する画像信号は、元の光に対応する画像の画質よりも劣化したものとなる。

撮像手段の後段では、例えば、上述のように、元の光よりも画質の劣化した画像信号を、元の光の画質に近づける信号処理が行われるが、従来においては、撮像手段は、その後段で行われる信号処理に無関係に動作し、画像信号を出力する。

即ち、撮像手段は、その後段でどのような信号処理が行われるかに無関係に、いわば画一的に動作して、画像信号を出力する。従って、撮像手段の後段で行われる信号処理において改善される画質には、ある程度の限界がある。

一方、撮像手段において、その後段で行われる信号処理にとって適切な画像信号が出力されれば、その信号処理によって、より画質の改善した画像信号を得ることができる。

本発明は、このような状況に鑑みてなされたものであり、信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにするものである。

本発明の第１の信号処理装置は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出手段と、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生手段と、クラスタップを構成する画素のレベル分布に応じて、撮像手段を制御する制御手段と、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップを、制御手段において制御された撮像手段が出力する第１の画像信号から抽出する予測タップ抽出手段と、学習により獲得されたクラスごとのタップ係数から、注目画素のクラスに対応するタップ係数を出力するタップ係数出力手段と、予測タップ抽出手段において抽出された予測タップと、タップ係数出力手段から出力されるタップ係数との積和演算を行うことにより、第２の画像信号の注目画素を求める演算手段とを備え、撮像手段は、被写体光を集光する集光レンズと、集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、制御手段は、注目画素の位置付近における第１の画像信号のレベル変化が小である場合には、注目画素の集光レンズの位置をフォトダイオードから近い位置に移動させる制御を行い、注目画素の位置付近における第１の画像信号のレベル変化が大である場合には、注目画素の集光レンズの位置をフォトダイオードから遠い位置に移動させる制御を行うことを特徴とする。

本発明の第２の信号処理装置は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出手段と、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生手段と、第１の画像信号における注目画素の位置付近のアクティビティを検出するアクティビティ検出手段と、第１の画像信号における注目画素の位置付近のアクティビティに応じて、撮像手段を制御する制御手段と、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップを、制御手段において制御された撮像手段が出力する第１の画像信号から抽出する予測タップ抽出手段と、学習により獲得されたクラスごとのタップ係数から、注目画素のクラスに対応するタップ係数を出力するタップ係数出力手段と、予測タップ抽出手段において抽出された予測タップと、タップ係数出力手段から出力されるタップ係数との積和演算を行うことにより、第２の画像信号の注目画素を求める演算手段とを備え、撮像手段は、被写体光を集光する集光レンズと、集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、制御手段は、注目画素の位置付近における第１の画像信号のアクティビティが小である場合には、注目画素の集光レンズの位置をフォトダイオードから近い位置に移動させる制御を行い、注目画素の位置付近における第１の画像信号のアクティビティが大である場合には、注目画素の集光レンズの位置をフォトダイオードから遠い位置に移動させる制御を行うことを特徴とする。

本発明の第３の信号処理装置は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出手段と、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生手段と、第２の画像信号の解像度を表すパラメータを出力するパラメータ出力手段と、パラメータに応じて、撮像手段を制御する制御手段と、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップを、制御手段において制御された撮像手段が出力する第１の画像信号から抽出する予測タップ抽出手段と、学習により獲得された係数種データと、パラメータとから、注目画素のクラスに対応するタップ係数を生成するタップ係数生成手段と、予測タップ抽出手段において抽出された予測タップと、タップ係数生成手段において得られたクラスのタップ係数との積和演算を行うことにより、第２の画像信号の注目画素を求める演算手段とを備え、撮像手段は、被写体光を集光する集光レンズと、集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、制御手段は、第２の画像信号の解像度を表すパラメータが小である場合には、集光レンズの位置をフォトダイオードから近い位置に移動させる制御を行い、第２の画像信号の解像度を表すパラメータが大である場合には、集光レンズの位置をフォトダイオードから遠い位置に移動させる制御を行うことを特徴とする。

本発明の第１の信号処理方法は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出ステップと、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生ステップと、クラスタップを構成する画素のレベル分布に応じて、撮像手段を制御する制御ステップと、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップを、制御ステップにおいて制御された撮像手段が出力する第１の画像信号から抽出する予測タップ抽出ステップと、学習により獲得されたクラスごとのタップ係数から、注目画素のクラスに対応するタップ係数を出力するタップ係数出力ステップと、予測タップ抽出ステップにおいて抽出された予測タップと、タップ係数出力ステップにおいて出力されるタップ係数との積和演算を行うことにより、第２の画像信号の注目画素を求める演算ステップとを備え、撮像手段は、被写体光を集光する集光レンズと、集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、制御ステップにおいて、注目画素の位置付近における第１の画像信号のレベル変化が小である場合には、注目画素の集光レンズの位置をフォトダイオードから近い位置に移動させる制御が行われ、注目画素の位置付近における第１の画像信号のレベル変化が大である場合には、注目画素の集光レンズの位置をフォトダイオードから遠い位置に移動させる制御が行われることを特徴とする。

本発明の第２の信号処理方法は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出ステップと、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生ステップと、第１の画像信号における注目画素の位置付近のアクティビティを検出するアクティビティ検出ステップと、第１の画像信号における注目画素の位置付近のアクティビティに応じて、撮像手段を制御する制御ステップと、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップを、制御ステップにおいて制御された撮像手段が出力する第１の画像信号から抽出する予測タップ抽出ステップと、学習により獲得されたクラスごとのタップ係数から、注目画素のクラスに対応するタップ係数を出力するタップ係数出力ステップと、予測タップ抽出ステップにおいて抽出された予測タップと、タップ係数出力ステップにおいて出力されるタップ係数との積和演算を行うことにより、第２の画像信号の注目画素を求める演算ステップとを備え、撮像手段は、被写体光を集光する集光レンズと、集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、制御ステップにおいて、注目画素の位置付近における第１の画像信号のアクティビティが小である場合には、注目画素の集光レンズの位置をフォトダイオードから近い位置に移動させる制御が行われ、注目画素の位置付近における第１の画像信号のアクティビティが大である場合には、注目画素の集光レンズの位置をフォトダイオードから遠い位置に移動させる制御が行われることを特徴とする。

本発明の第３の信号処理方法は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出ステップと、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生ステップと、第２の画像信号の解像度を表すパラメータを出力するパラメータ出力ステップと、パラメータに応じて、撮像手段を制御する制御ステップと、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップを、制御ステップにおいて制御された撮像手段が出力する第１の画像信号から抽出する予測タップ抽出ステップと、学習により獲得された係数種データと、パラメータとから、注目画素のクラスに対応するタップ係数を生成するタップ係数生成ステップと、予測タップ抽出ステップにおいて抽出された予測タップと、タップ係数出力ステップにおいて出力されるタップ係数との積和演算を行うことにより、第２の画像信号の注目画素を求める演算ステップとを備え、撮像手段は、被写体光を集光する集光レンズと、集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、制御ステップにおいて、第２の画像信号の解像度を表すパラメータが小である場合には、集光レンズの位置をフォトダイオードから近い位置に移動させる制御が行われ、第２の画像信号の解像度を表すパラメータが大である場合には、集光レンズの位置をフォトダイオードから遠い位置に移動させる制御が行われることを特徴とする。

本発明の第１の信号処理装置および信号処理方法においては、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出される。また、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードが発生され、クラスタップを構成する画素のレベル分布に応じて、撮像手段が制御される。また、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップが、制御された撮像手段が出力する第１の画像信号から抽出される。さらに、学習により獲得されたクラスごとのタップ係数から、前記注目画素のクラスに対応するタップ係数が出力され、予測タップとタップ係数との積和演算を行うことにより、第２の画像信号の注目画素が求められる。そして、注目画素の位置付近における第１の画像信号のレベル変化が小である場合には、撮像手段が有する注目画素の集光レンズの位置をフォトダイオードから近い位置に移動させる制御が行われ、注目画素の位置付近における第１の画像信号のレベル変化が大である場合には、注目画素の集光レンズの位置をフォトダイオードから遠い位置に移動させる制御が行われる。

本発明の第２の信号処理装置および信号処理方法においては、被写体からの光である被
写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出される。また、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードが発生され、クラスタップを構成する画素のアクティビティが検出され、そのアクティビティに応じて、撮像手段が制御される。また、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップが、制御された撮像手段が出力する第１の画像信号から抽出される。そして、学習により獲得されたクラスごとのタップ係数から、前記注目画素のクラスに対応するタップ係数が出力され、予測タップとタップ係数との積和演算を行うことにより、第２の画像信号の注目画素が求められる。そして、注目画素の位置付近における第１の画像信号のアクティビティが小である場合には、撮像手段が有する注目画素の集光レンズの位置をフォトダイオードから近い位置に移動させる制御が行われ、注目画素の位置付近における第１の画像信号のアクティビティが大である場合には、注目画素の集光レンズの位置をフォトダイオードから遠い位置に移動させる制御が行われる。

本発明の第３の信号処理装置および信号処理方法においては、被写体からの光である被
写体光を画像信号に変換する撮像手段が出力する第１の画像信号から、第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出される。また、クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードが発生される。さらに、第２の画像信号の解像度を表すパラメータが出力され、そのパラメータに応じて、撮像手段が制御される。また、注目画素を求める積和演算に用いる、注目画素に近い位置にある複数の画素からなる予測タップが、制御された撮像手段が出力する第１の画像信号から抽出される。また、学習により獲得された係数種データと、パラメータとから、注目画素のクラスに対応するタップ係数が生成される。そして、予測タップとタップ係数との積和演算を行うことにより、第２の画像信号が求められる。そして、第２の画像信号の解像度を表すパラメータが小である場合には、撮像手段が有する集光レンズの位置をフォトダイオードから近い位置に移動させる制御が行われ、第２の画像信号の解像度を表すパラメータが大である場合には、集光レンズの位置をフォトダイオードから遠い位置に移動させる制御が行われる。

本発明によれば、信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることが可能となる。

図１は、本発明を適用したセンサシステム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。

このセンサシステムは、CMOSイメージャ１とDRC(Digital Reality Creation)回路２から構成され、被写体からの光（被写体光）をセンシングし、その被写体に対応する高画質の画像信号を出力するようになっている。

即ち、CMOSイメージャ１は、被写体光を受光し、その受光量に応じた電気信号としての画像信号を、DRC回路２に供給する。

DRC回路２は、CMOSイメージャ１から供給される画像信号を対象に信号処理を行い、その画像信号よりも高画質の画像信号（以下、適宜、高画質画像信号という）を得て出力する。さらに、DRC回路２は、CMOSイメージャ１から供給される画像信号に応じて、CMOSイメージャ１を制御する。これにより、CMOSイメージャ１は、DRC回路２で行われる信号処理にとって適切な画像信号を出力するように制御される。

従って、図１のセンサシステムによれば、CMOSイメージャ１は、DRC回路２で行われる信号処理にとって適切な画像信号を出力するので、DRC回路２は、その画像信号を対象として信号処理を行うことにより、高画質の画像信号を得ることができる。

図２は、図１のDRC回路２の第１の構成例を示している。

図２においては、DRC回路２は、CMOSイメージャ１が出力する画像信号に対して、信号処理を施すDRC部１１と、CMOSイメージャ１から供給される画像信号に応じて、CMOSイメージャ１を制御する制御部１２とから構成されている。

DRC部１１は、各種の信号処理を行うが、そのうちの１つとして、画像信号を、第１の画像信号から第２の画像信号に変換する画像変換処理がある。

ここで、例えば、第１の画像信号を低解像度の画像信号とするとともに、第２の画像信号を高解像度の画像信号とすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像信号を低Ｓ／Ｎ(Siginal/Noise)の画像信号とするとともに、第２の画像信号を高Ｓ／Ｎの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像信号を所定のサイズの画像信号とするとともに、第２の画像信号を、第１の画像信号のサイズを大きくまたは小さくした画像信号とすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。

従って、画像変換処理によれば、第１および第２の画像信号をどのように定義するかによって、様々な処理を実現することができる。

DRC部１１は、CMOSイメージャ１が出力する画像信号を第１の画像信号として、その第１の画像信号を、第２の画像信号としての高画質の画像信号に変換する。

即ち、DRC部１１では、CMOSイメージャ１から供給される画像信号が、第１の画像信号として、予測タップ抽出部２１およびクラスタップ抽出部２２に供給される。

予測タップ抽出部２１は、第２の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像信号を構成する画素（の画素値）の幾つかを、予測タップとして抽出する。

具体的には、予測タップ抽出部２１は、注目画素に対応する第１の画像信号の画素（例えば、注目画素に対して空間的および時間的に最も近い位置にある第１の画像信号の画素）に対して、空間的または時間的に近い位置にある複数の画素を、第１の画像信号から、予測タップとして抽出する。

クラスタップ抽出部２２は、注目画素を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる第１の画像信号を構成する画素の幾つかを、クラスタップとして抽出する。

なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。

予測タップ抽出部２１で得られた予測タップは、予測演算部２５に供給され、クラスタップ抽出部２２で得られたクラスタップは、クラスコード発生部２３に供給される。

クラスコード発生部２３は、クラスタップ抽出部２２からのクラスタップを構成する画素のレベル分布に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを発生して、係数発生部２４に供給する。

ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。

ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラスコード発生部２３は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして発生（出力）する。

なお、クラスコード発生部２３には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラスコード発生部２３が出力するクラスコードの場合の数は、（２^N）^K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。

従って、クラスコード発生部２３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。

ここで、クラスタップ抽出部２２において、CMOSイメージャ１が出力する画像信号からクラスタップが得られ、クラスコード発生部２３において、そのクラスタップからクラスコードが得られる。従って、クラスタップ抽出部２２およびクラスコード発生部２３において、クラス分類を行うクラス分類部が構成されているとみることができる。

係数発生部２４は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生部２３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラスコード発生部２３から供給されるクラスコードが表すクラスのタップ係数）を、予測演算部２５に供給（出力）する。

ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。

予測演算部２５は、予測タップ抽出部２１が出力する予測タップと、係数発生部２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部２５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。

制御部１２は、CMOSイメージャ１が出力する画像信号のレベル分布に応じて、CMOSイメージャ１を制御する。

即ち、制御部１２には、CMOSイメージャ１が出力する画像信号から抽出されたクラスタップのクラスコードが、クラスコード発生部２３から供給される。制御部１２では、DL(Delay Line)２６が、クラスコード発生部２３から供給されるクラスコードを一時記憶し、その記憶したクラスコードを、可動量制御部２７に供給する。

可動量制御部２７は、DL２６から供給されるクラスコードに応じて、CMOSイメージャ１を制御する。

ここで、クラスコード発生部２３は、例えば、上述したように、クラスタップをADRC処理することによって、クラスコードを発生する。このクラスコードは、CMOSイメージャ１が出力した画像信号から抽出されたクラスタップを構成する複数の画素（の画素値）を再量子化した再量子化値の並びであるから、そのクラスタップを構成する複数の画素、即ち、CMOSイメージャ１が出力した画像信号のレベル分布を表しているということができる。従って、クラスコードに応じてCMOSイメージャ１を制御する可動量制御部２７は、CMOSイメージャ１が出力した画像信号のレベル分布に応じて、CMOSイメージャ１を制御しているということができる。

次に、図３は、予測タップとクラスタップのタップ構造の例を示している。

図３左側は、クラスタップのタップ構造の例を示している。図３では、９個の画素で、クラスタップが構成されている。即ち、図３では、CMOSイメージャ１が出力する画像信号のうちの、注目画素に対応する画素と、その画素の上方向、下方向、左方向、右方向に隣接する２画素それぞれとから、いわば十字形状のクラスタップが構成されている。

図３右側は、予測タップのタップ構造の例を示している。図３では、１３個の画素で、予測タップが構成されている。即ち、図３では、CMOSイメージャ１が出力する画像信号のうちの、注目画素に対応する画素を中心として縦方向に並ぶ５画素、注目画素に対応する画素の左と右に隣接する画素それぞれを中心として縦方向に並ぶ３画素、および注目画素に対応する画素から左と右に１画素だけ離れた画素それぞれから、いわばひし形状のクラスタップが構成されている。

次に、図２の予測演算部２５における予測演算と、その予測演算に用いられるタップ係数の学習について説明する。

いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。

いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。

・・・（１）

但し、式（１）において、ｘ_nは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像信号の画素（以下、適宜、低画質画素という）の画素値を表し、ｗ_nは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。

ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第ｋサンプルの高画質画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。

・・・（２）

いま、式（２）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（２）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。

・・・（３）

但し、式（３）において、ｘ_n,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。

式（３）（または式（２））の予測誤差ｅ_kを０とするタップ係数ｗ_nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。

そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（４）

但し、式（４）において、Ｋは、高画質画素ｙ_kと、その高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（１４）に示すように、総和Ｅをタップ係数ｗ_nで偏微分したものを０とするｗ_nによって与えられる。

・・・（５）

そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。

・・・（６）

式（５）と（６）から、次式が得られる。

・・・（７）

式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。

・・・（８）

式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗ_nについて解くことができる。

式（８）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗ_nを、クラスごとに求めることができる。

次に、図４は、式（８）の正規方程式をたてて解くことによりクラスごとのタップ係数ｗ_nを求める学習を行う学習装置の構成例を示している。

学習装置には、タップ係数ｗ_nの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。

学習装置において、学習用画像信号は、教師データ生成部３１と生徒データ生成部３３に供給される。

教師データ生成部３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部３２に供給する。即ち、ここでは、教師データ生成部３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部３２に供給する。

教師データ記憶部３２は、教師データ生成部３１から供給される教師データとしての高画質画像信号を記憶する。

生徒データ生成部３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部３４に供給する。即ち、生徒データ生成部３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部３４に供給する。

生徒データ記憶部３４は、生徒データ生成部３３から供給される生徒データを記憶する。

予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２の予測タップ抽出部２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部３８に供給する。

クラスタップ抽出部３６は、注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２のクラスタップ抽出部２２が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部３７に供給する。

クラスコード発生部３７は、クラスタップ抽出部３６が出力するクラスタップに基づき、図２のクラスコード発生部２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力する。

足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラスコード発生部３７から供給されるクラスコードごとに行う。

即ち、足し込み部３８には、教師データ記憶部３２に記憶された教師データｙ_k、予測タップ抽出部３５が出力する予測タップｘ_n,k、クラスコード発生部３７が出力するクラスコードが供給される。

そして、足し込み部３８は、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_n,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部３８は、やはり、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_n,kと教師データｙ_kを用い、式（８）の右辺のベクトルにおける生徒データｘ_n,kおよび教師データｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

即ち、足し込み部３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目教師画素とされた教師データについて、その教師データｙ_k+1および生徒データｘ_n,k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（８）のサメーションで表される加算を行う）。

そして、足し込み部３８は、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部３９に供給する。

タップ係数算出部３９は、足し込み部３８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗ_nを求めて出力する。

図１のDRC部１１における係数発生部２４には、例えば、以上のようにして求められたクラスごとのタップ係数ｗ_mが記憶されている。

なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。

ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、タップ係数としては、各種の画像変換処理を行うものを得ることができる。

即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。

また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を間引いた画像信号を生徒データとして、または、所定の画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。

次に、図５のフローチャートを参照して、図４の学習装置の処理（学習処理）について、説明する。

まず最初に、ステップＳ１において、教師データ生成部３１と生徒データ生成部３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部３１は、学習用画像信号を、所定のカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレーム（またはフィールド）の教師データ（学習用画像信号）について、生徒データを生成して出力する。

教師データ生成部３１が出力する教師データは、教師データ記憶部３２に供給されて記憶され、生徒データ生成部３３が出力する生徒データは、生徒データ記憶部３４に供給されて記憶される。

その後、ステップＳ２に進み、予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ２では、予測タップ抽出部３５が、注目教師画素について、生徒データ記憶部３４に記憶された生徒データから予測タップを構成し、足し込み部３８に供給するとともに、クラスタップ抽出部３６が、やはり、注目教師画素について、生徒データ記憶部３４に記憶された生徒データからクラスタップを構成し、クラスコード発生部３７に供給する。

そして、ステップＳ３に進み、クラスコード発生部３７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力して、ステップＳ４に進む。

ステップＳ４では、足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラスコード発生部３７から供給されるクラスコードごとに行い、ステップＳ５に進む。

ステップＳ５では、予測タップ抽出部３５が、教師データ記憶部３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ５において、注目教師画素としていない教師データが、まだ、教師データ記憶部３２に記憶されていると判定された場合、予測タップ抽出部３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ５において、注目教師画素としていない教師データが、教師データ記憶部３２に記憶されていないと判定された場合、足し込み部３８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部３９に供給し、ステップＳ６に進む。

ステップＳ６では、タップ係数算出部３９は、足し込み部３８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗ_nを求めて出力し、処理を終了する。

なお、学習用画像信号の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部３９は、例えば、デフォルトのタップ係数を出力するようになっている。

次に、図６は、図１のセンサシステムの構成例を示している。

図６左側は、図１のセンサシステムの平面図である。

センサシステムは、例えば、半導体プロセスにより、１チップ上に構成されている。図６では、１チップの右上部分に、CMOSイメージャ１が構成され、他の部分に、DRC回路２その他の電子回路が構成されている。

CMOSイメージャ１は、図６右上に示すように、画素に相当する、いわゆるセルが多数格子状に配置されて構成されている。CMOSイメージャ１の各画素は、図６右下に示すように、フォトダイオード５１、集光レンズ５２、およびMEMS部５３などから構成されている。

フォトダイオード５１は、そこに入射する光を受光し、その受光量に応じた電気信号を発生して出力する。このフォトダイオード５１が出力する電気信号が、個々の画素の画素値である。

集光レンズ５２は、いわゆるオンチップレンズ(On Chip Lens)で、フォトダイオード５１の受光面に対向する位置に配置されている。集光レンズ５２は、光を集光し、その集光した光を、フォトダイオード５１に出射する。集光レンズ５２において光を集光し、フォトダイオード５１に出射することにより、フォトダイオード５１における光の利用効率を向上させることができる。

MEMS部５３は、MEMS技術により構成された可動部品であり、集光レンズ５２を保持している。MEMS部５３が駆動されることにより、フォトダイオード５１の受光面に対する集光レンズ５２の位置が移動する。

なお、CMOSイメージャ１の画素は、その他、アンプなどの電子回路も有しているが、その図示は省略する。

図２の制御部１２における可動量制御部２７は、MEMS部５３を駆動することにより、集光レンズ５２の位置を制御する。

そこで、図７および図８を参照して、可動量制御部２７による集光レンズ５２の位置の制御について説明する。

いま、例えば、図７に示すように、MEMS部５３を駆動することにより、集光レンズ５２の位置を、フォトダイオード５１に近い位置と、遠い位置との２通りの位置に移動させることができることとする。さらに、ここでは、図７左側に示すように、集光レンズ５２の位置が、フォトダイオード５１から遠い位置である場合には、狭い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射されるものとする。また、図７右側に示すように、集光レンズ５２の位置が、フォトダイオード５１から近い位置である場合には、広い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射されるものとする。なお、集光レンズ５２の位置と、集光レンズ５２からフォトダイオード５１に出射される被写体光の範囲との関係は、上述した場合と逆の場合であることもあり得る。

フォトダイオード５１では、集光レンズ５２から出射される被写体光が受光され、その受光量の積分値にほぼ比例する電気信号が画素値として出力される。このように、フォトダイオード５１において、受光量が積分されて画素値とされることから、その画素値においては、被写体光の微細な変化が失われる（量子化される）。この積分によって、被写体光の微細な変化が失われることを、以下、適宜、積分効果という。フォトダイオード５１において受光される被写体光の範囲が広いほど、積分効果が大となり、被写体光の微細な変化が多く失われ、解像度の低い画像（あるいは動きボケのある画像）が得られる。

被写体光に対応する画像が、レベル変化が小さい平坦な画像（平坦部）である場合には、ノイズが目立つ。そこで、この場合、フォトダイオード５１に、広い範囲の被写体光を受光させることにより、積分効果によって、フォトダイオード５１が出力する画素値による画像に含まれるノイズを低減することができる。

また、被写体光に対応する画像が、レベル変化の比較的大きな画像（レベル変化の比較的激しい画像）（非平坦部）である場合には、フォトダイオード５１に、広い範囲の被写体光を受光させると、積分効果によって、フォトダイオード５１が出力する画素値による画像は、大きなレベル変化が、いわば鈍ったものとなり、解像度が劣化することになる。そこで、この場合、フォトダイオード５１に、狭い範囲の被写体光を受光させることにより、フォトダイオード５１が出力する画素値による画像を、被写体光の大きなレベル変化が比較的忠実に反映されたものとすることができる。

一方、DRC部１１が行う信号処理（画像変換処理）では、フォトダイオード５１が出力する画素値から予測タップが構成され、その予測タップを用いた演算によって、注目画素（の画素値）が予測される。従って、平坦な画像から構成（抽出）された予測タップの画素にノイズが含まれている場合には、注目画素の予測精度が劣化する。また、予測タップの画素が、本来は、レベル変化の大きい画像の画素であるのに、レベル変化が鈍った画像の画素となっている場合にも、注目画素の予測精度が劣化する。

即ち、DRC部１１において、高精度で注目画素を予測し、より高画質の画像信号を得ることができるように、適切な信号処理を行うためには、平坦な画像については、ノイズがより少ない画素から予測タップを構成する必要がある。また、レベル変化の大きい画像については、そのレベル変化がより忠実に反映された画素から予測タップを構成する必要がある。

上述したように、フォトダイオード５１に、広い範囲の被写体光を受光させることにより、フォトダイオード５１が出力する画素値による画像に含まれるノイズを低減することができる。また、フォトダイオード５１に、狭い範囲の被写体光を受光させることにより、フォトダイオード５１が出力する画素値による画像を、被写体光の大きなレベル変化が比較的忠実に反映されたものとすることができる。

従って、平坦な画像については、フォトダイオード５１に、広い範囲の被写体光を受光させ、レベル変化の大きい画像については、フォトダイオード５１に、狭い範囲の被写体光を受光させることにより、DRC部１１において、高精度で注目画素を予測し、より高画質の画像信号を得ることができるように、適切な信号処理を行うことができる。

そこで、可動量制御部２７は、クラスコード発生部２３からDL２６を介して供給されるクラスコードに応じて、集光レンズ５２の位置を、次のように制御する。

即ち、図８は、クラスコード発生部２３が出力するクラスコードの例を示している。なお、図８は、図３左側に示した十字形状のクラスタップが１ビットADRC処理されることにより得られるクラスコードを示している。また、図８では、図３左側に示したクラスタップを構成する９画素を、画素Ｐ１乃至Ｐ９として、その画素値を、画素Ｐ１乃至Ｐ９の順で１列に並べて示してある。

１ビットADRC処理によれば、クラスタップを構成する画素の最大値（最大の画素値）MAXと、最小値（最小の画素値）MINとの平均値で、クラスタップを構成する各画素（の画素値）が再量子化される。即ち、最大値MAXと最小値MINとの平均値未満の画素（値）は０とされ、その平均値以上の画素は１とされる。

従って、画像の平坦部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が小さいために、例えば、図８左側に示すように、"000000001"のような、隣接するビットにおいてビット反転がほとんど生じないクラスコードが得られる。

一方、画像の変化の大きい部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が大きいために、例えば、図８右側に示すように、"1011010101"のような、隣接するビットにおいてビット反転が生じている回数が多いクラスコードが得られる。

従って、クラスコードによれば、隣接するビットにおけるビット反転の回数が少ない場合には、画像が平坦であることを認識することができ、ビット反転の回数が多い場合には、画像のレベル変化が大きいことを認識することができる。

そこで、可動量制御部２７は、クラスコードにおけるビット反転の回数が少ない場合には、フォトダイオード５１で得られる画素値による画像が平坦であるとして、集光レンズ５２の位置を、図７右側に示したように、フォトダイオード５１に近い位置に制御し、これにより、フォトダイオード５１に、広い範囲の被写体光を受光させる。また、可動量制御部２７は、クラスコードにおけるビット反転の回数が多い場合には、フォトダイオード５１で得られる画素値による画像がレベル変化が大の画像であるとして、集光レンズ５２の位置を、図７左側に示したように、フォトダイオード５１から遠い位置に制御し、これにより、フォトダイオード５１に、狭い範囲の被写体光を受光させる。

次に、図９のフローチャートを参照して、図２のDRC回路２の信号処理について説明する。

なお、ここでは、DRC部１１において、第Ｎ＋１フレーム（またはフィールド）のある画素を注目画素として、その注目画素を予測するものとする。

この場合、CMOSイメージャ１から、第Ｎフレームの画像信号が出力されると、クラスタップ抽出部２２は、ステップＳ１１において、CMOSイメージャ１が出力した第Ｎフレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とする十字形状の画素を、注目画素のクラスタップ（図３）として抽出し、クラスコード発生部２３に供給して、ステップＳ１２に進む。即ち、ここでは、第Ｎ＋１フレームの注目画素のクラスタップが、その１フレーム前の第Ｎフレームの画像信号から抽出される。

ステップＳ１２では、クラスコード発生部２３は、クラスタップ抽出部２２から供給されるクラスタップを１ビットADRC処理することによって、注目画素のクラスコードを求め、係数発生部２４に供給するとともに、DL２６を介して可動量制御部２７に供給して、ステップＳ１３に進む。

ステップＳ１３では、可動量制御部２７は、DL２６を介して供給されるクラスコードに対応して、集光レンズ５２の位置を制御する制御情報を生成（決定）し、ステップＳ１４に進む。ステップＳ１４では、可動量制御部２７は、直前のステップＳ１３で生成した制御情報にしたがい、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２を、フォトダイオード５１に近い位置または遠い位置に移動させる。

その後、第Ｎ＋１フレームの撮像タイミングとなって、CMOSイメージャ１において、第Ｎ＋１フレームの画像信号が撮像されて出力されると、ステップＳ１４からＳ１５に進み、予測タップ抽出部２１は、CMOSイメージャ１が出力する第Ｎ＋１フレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とするひし形状の画素を、注目画素の予測タップ（図３）として抽出し、予測演算部２５に供給して、ステップＳ１６に進む。

即ち、ステップＳ１４では、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置が制御されている。従って、ステップＳ１５では、そのように集光レンズ５２の位置が制御された画素のフォトダイオード５１から出力される画素値から、注目画素の予測タップが構成される。

ステップＳ１６では、係数発生部２４が、クラスコード発生部２３から供給される注目画素のクラスコードが表すクラスのタップ係数を出力する。即ち、係数発生部２４は、例えば、図４の学習装置における学習によってあらかじめ獲得されたクラスごとのタップ係数を記憶しており、そのクラスごとのタップ係数の中から、注目画素のクラスコードが表すクラスのタップ係数を読み出し、予測演算部２５に出力する。

そして、ステップＳ１６からＳ１７に進み、予測演算部２５は、予測タップ抽出部２１から供給される予測タップと、係数発生部２４から供給されるタップ係数とを用い、式（１）の演算を行うことにより、注目画素（の画素値）を求め、処理を終了する。

以上の処理が、第Ｎ＋１フレームの画素を、順次、注目画素として行われ、さらには、第Ｎ＋２フレーム以降についても行われる。

なお、ここでは、注目画素のクラスタップを、その注目画素のフレームである第Ｎ＋１フレームの１フレーム前の第Ｎフレームの画像信号から抽出するようにしたが、注目画素のクラスタップは、その注目画素のフレームである第Ｎ＋１フレームの画像信号から抽出するようにすることも可能である。

また、第Ｎ＋１フレームにおいて、ある画素＃Ａが注目画素となった場合と、その画素に近い画素＃Ｂが注目画素になった場合とで、CMOSイメージャ１の同一画素の集光レンズ５２が、異なる位置に制御されることがあり得る。この場合は、例えば、CMOSイメージャ１において、画素＃Ａが注目画素となった場合の集光レンズ５２の位置と、画素＃Ｂが注目画素となった場合の集光レンズ５２の位置において、第Ｎ＋１フレームの画像信号を時分割で撮像すればよい。あるいは、例えば、先または後に注目画素となった画素に対する集光レンズ５２の位置を優先させてもよい。

さらに、ここでは、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置を制御することとしたが、その他、例えば、注目画素に最も近い画素だけや、その画素から任意の距離の範囲にある画素すべてなどの集光レンズ５２の位置を制御するようにすることも可能である。

次に、図１０のフローチャートを参照して、図９のステップＳ１３の処理（クラスコードに対応して制御情報を生成する制御情報生成処理）について、詳述する。

まず最初に、ステップＳ２１において、可動量制御部２７は、注目画素のクラスコードの隣接するビットにおけるビット反転の回数を算出して、ステップＳ２２に進む。

即ち、例えば、図８左側に示したように、クラスコードが"000000001"である場合には、先頭(MSB(Most Significant bit))から８番目と９番目のビットにおいて、０から１に１度だけ反転しているので、ビット反転の回数として、１が算出される。また、例えば、図８右側に示したように、クラスコードが"101101010"である場合には、先頭から１番目と２番目のビットが１から０に反転し、先頭から２番目と３番目のビットが０から１に反転し、先頭から４番目と５番目のビットが１から０に反転し、先頭から５番目と６番目のビットが０から１に反転し、先頭から６番目と７番目のビットが１から０に反転し、先頭から７番目と８番目のビットが０から１に反転し、先頭から８番目と９番目のビットが１から０に反転しているので、ビット反転の回数として、７が算出される。

ステップＳ２２では、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、所定の閾値より大きいかどうかを判定する。ここで、クラスコードが、上述のように９ビットの場合（あるいは、クラスタップを構成する画素数が９画素の場合）は、所定の閾値として、例えば、３などを採用することができる。

ステップＳ２２において、注目画素のクラスコードにおけるビット反転の回数が、所定の閾値より大きいと判定された場合、即ち、例えば、クラスコードが、図８右側に示したように"101101010"であり、そのビット反転の回数が７回で、所定の閾値である３より大きい場合、ステップＳ２３に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

一方、ステップＳ２２において、注目画素のクラスコードにおけるビット反転の回数が、所定の閾値より大きくないと判定された場合、即ち、例えば、クラスコードが、図８左側に示したように"000000001"であり、そのビット反転の回数が１回で、所定の閾値である３より大きくない場合、ステップＳ２４に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近が平坦であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

なお、ここでは、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル分布を表す情報として、クラスタップから得られるクラスコードを用いることとしたが、クラスタップ以外にも、例えば、予測タップその他の注目画素の位置付近の任意の複数の画素を、注目画素の位置付近のレベル分布を表す情報として用いることが可能である。

また、上述の場合には、MEMS部５３を駆動することにより、集光レンズ５２の位置を、フォトダイオード５１から近い位置と遠い位置との２つの位置のいずれかに制御するようにしたが、集光レンズ５２の位置は、その他、３以上の位置のいずれかに制御することも可能である。

即ち、図１１は、フォトダイオード５１からある距離の位置を基準位置として、集光レンズ５２の位置を、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置それぞれに制御した状態を示している。

なお、ここでも、上述したように、集光レンズ５２の位置が、フォトダイオード５１から遠いほど、狭い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射され、集光レンズ５２の位置が、フォトダイオード５１から近いほど、広い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射されるものとする。

可動量制御部２７は、図１１に示したように、集光レンズ５２の位置を、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置のうちのいずれかに制御する場合も、クラスコードに対応して、集光レンズ５２の位置を制御する。

即ち、クラスコードにおけるビット反転の回数が少なく、従って、CMOSイメージャ１が出力する画像信号のうちの注目画素の位置付近が、平坦部分である場合には、可動量制御部２７は、集光レンズ５２の位置を、図１１右側に示すように、フォトダイオード５１から近い位置に制御し、これにより、フォトダイオード５１に、広い範囲の被写体光を受光させるようにする。また、クラスコードにおけるビット反転の回数が多く、従って、CMOSイメージャ１が出力する画像信号のうちの注目画素の位置付近のレベル変化が大きい場合には、可動量制御部２７は、集光レンズ５２の位置を、図１１左側に示すように、フォトダイオード５１から遠い位置に制御し、これにより、フォトダイオード５１に、狭い範囲の被写体光を受光させるようにする。さらに、クラスコードにおけるビット反転の回数が多くも少なくもなく、従って、CMOSイメージャ１が出力する画像信号のうちの注目画素の位置付近のレベル変化が大きくはないが、それほど小さくもない、いわば中間の場合には、可動量制御部２７は、集光レンズ５２の位置を、図１１の左から２番目に示すように、基準位置に制御し、これにより、フォトダイオード５１に、狭くはないが広くもない、いわば中間の範囲の被写体光を受光させるようにする。

次に、図１２のフローチャートを参照して、図１１に示したように、集光レンズ５２の位置が、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置のうちのいずれかに制御される場合の、図９のステップＳ１３の制御情報生成処理について説明する。

まず最初に、ステップＳ３１において、可動量制御部２７は、注目画素のクラスコードの隣接するビットにおけるビット反転の回数を算出して、ステップＳ３２に進む。なお、ここでも、図１０における場合と同様に、クラスコードが９ビットで構成されるものとする。この場合、クラスコードにおけるビット反転の回数は最小で０回であり、最大で８回である。

ステップＳ３２では、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、比較的少ない、例えば、０乃至２の範囲の回数であるかどうかを判定する。

ステップＳ３２において、注目画素のクラスコードにおけるビット反転の回数が、０乃至２の範囲の回数であると判定された場合、ステップＳ３３に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が小であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

また、ステップＳ３２において、注目画素のクラスコードにおけるビット反転の回数が、０乃至２の範囲の回数でないと判定された場合、ステップＳ３４に進み、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、比較的多い、例えば、６乃至８の範囲の回数であるかどうかを判定する。

ステップＳ３４において、注目画素のクラスコードにおけるビット反転の回数が、６乃至８の範囲の回数であると判定された場合、ステップＳ３５に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

また、ステップＳ３４において、注目画素のクラスコードにおけるビット反転の回数が、６乃至８の範囲の回数でないと判定された場合、ステップＳ３６に進み、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、多くも少なくもない、例えば、３乃至５の範囲の回数であるかどうかを判定する。

ステップＳ３６において、注目画素のクラスコードにおけるビット反転の回数が、３乃至５の範囲の回数であると判定された場合、ステップＳ３７に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が中であるとして、集光レンズ５２の位置を、基準位置とする（基準位置に移動させる）制御情報、即ち、フォトダイオード５１に中間の範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

また、ステップＳ３６において、注目画素のクラスコードにおけるビット反転の回数が、６乃至８の範囲の回数でないと判定された場合、可動量制御部２７は、エラーであるとして、制御情報を生成せずに、リターンする。なお、この場合、集光レンズ５２の位置は、例えば、前回の位置に維持される。

なお、上述のように、クラスコードを９ビットとし、そのクラスコードにおけるビット反転の回数に応じて、集光レンズ５２の位置を制御する場合には、集光レンズ５２の位置は、最大で９カ所とすることができる。

次に、図１３は、図１のDRC回路２の第２の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１３のDRC回路２は、制御部１２に代えて、制御部６２が設けられている他は、基本的に、図２における場合と同様に構成されている。

制御部６２は、アクティビティ検出部７６および可動量制御部７７から構成されている。

アクティビティ検出部７６には、クラスタップ抽出部２２が出力する注目画素のクラスタップが供給されるようになっている。アクティビティ検出部７６は、クラスタップ抽出部２２から供給される注目画素のクラスタップから、CMOSイメージャ１が出力する画像信号における注目画素の位置付近のアクティビティを検出し、可動量制御部７７に供給する。ここで、アクティビティとしては、例えば、注目画素のクラスタップを構成する画素のダイナミックレンジ（クラスタップを構成する画素の最大の画素値と最小の画素値との差）や、注目画素のクラスタップを構成する画素の隣接するものどうしの差分絶対値の総和、注目画素のクラスタップを構成する画素それぞれと、その平均値との差分の絶対値の総和などを採用することができる。

なお、ここでは、アクティビティとしては、例えば、注目画素のクラスタップを構成する画素のダイナミックレンジを採用することとする。

可動量制御部７７は、アクティビティ検出部７６から供給されるアクティビティに応じて、図２の可動量制御部２７における場合と同様に、CMOSイメージャ１を制御する。即ち、可動量制御部７７は、アクティビティ検出部７６から供給されるアクティビティに応じて、注目画素の予測タップとなる画素の集光レンズ５２の位置を制御する。

即ち、図１４は、クラスタップ抽出部２２が出力するクラスタップの例を示している。なお、図１４では、図３左側に示したクラスタップを構成する９画素を、画素Ｐ１乃至Ｐ９として、その画素値を、画素Ｐ１乃至Ｐ９の順で１列に並べて示してある。

画像の平坦部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が小さいために、例えば、図１４左側に示すように、そのダイナミックレンジDRは、ある小さな値となる。

一方、画像の変化の大きい部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が大きいために、例えば、図１４右側に示すように、そのダイナミックレンジDRは、ある大きな値となる。

従って、クラスタップのダイナミックレンジが小さい場合には、画像が平坦であることを認識することができ、ダイナミックレンジが大きい場合には、画像のレベル変化が大きいことを認識することができる。

そこで、可動量制御部７７は、クラスタップのダイナミックレンジが小さい場合には、フォトダイオード５１で得られる画素値による画像が平坦であるとして、集光レンズ５２の位置を、図７右側に示したように、フォトダイオード５１に近い位置に制御し、これにより、フォトダイオード５１に、広い範囲の被写体光を受光させる。また、可動量制御部７７は、クラスタップのダイナミックレンジが大きい場合には、フォトダイオード５１で得られる画素値による画像がレベル変化が大の画像であるとして、集光レンズ５２の位置を、図７左側に示したように、フォトダイオード５１から遠い位置に制御し、これにより、フォトダイオード５１に、狭い範囲の被写体光を受光させる。

次に、図１５のフローチャートを参照して、図１３のDRC回路２の信号処理について説明する。

なお、ここでは、図９における場合と同様に、DRC部１１において、第Ｎ＋１フレーム（またはフィールド）のある画素を注目画素とし、その注目画素を予測するものとする。

この場合、CMOSイメージャ１から、第Ｎフレームの画像信号が出力されると、クラスタップ抽出部２２は、ステップＳ４１において、CMOSイメージャ１が出力した第Ｎフレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とする十字形状の画素を、注目画素のクラスタップ（図３）として抽出し、クラスコード発生部２３とアクティビティ検出部７６に供給して、ステップＳ４２に進む。即ち、ここでも、図９における場合と同様に、第Ｎ＋１フレームの注目画素のクラスタップが、その１フレーム前の第Ｎフレームの画像信号から抽出される。

ステップＳ４２では、クラスコード発生部２３は、クラスタップ抽出部２２から供給されるクラスタップを、例えば１ビットADRC処理することなどによって、注目画素のクラスコードを求め、係数発生部２４に供給して、ステップＳ４３に進む。

ステップＳ４３では、アクティビティ検出部７６は、クラスタップ抽出部２２からの注目画素のクラスタップのダイナミックレンジをアクティビティとして検出し、可動量制御部７７に供給して、ステップＳ４４に進む。

ステップＳ４３では、可動量制御部７７は、アクティビティ検出部７６から供給されるクラスタップのダイナミックレンジに対応して、集光レンズ５２の位置を制御する制御情報を生成（決定）し、ステップＳ４５に進む。ステップＳ４５では、可動量制御部７７は、直前のステップＳ４３で生成した制御情報にしたがい、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２を所定の位置に移動させる。

その後、第Ｎ＋１フレームの撮像タイミングとなって、CMOSイメージャ１において、第Ｎ＋１フレームの画像信号が撮像されて出力されると、ステップＳ４５からＳ４６に進み、予測タップ抽出部２１は、CMOSイメージャ１が出力する第Ｎ＋１フレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とするひし形状の画素を、注目画素の予測タップ（図３）として抽出し、予測演算部２５に供給して、ステップＳ４７に進む。

即ち、ステップＳ４５では、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置が制御されている。従って、ステップＳ４６では、そのように集光レンズ５２の位置が制御された画素のフォトダイオード５１から出力される画素値から、注目画素の予測タップが構成される。

ステップＳ４７では、係数発生部２４が、クラスコード発生部２３から供給される注目画素のクラスコードが表すクラスのタップ係数を、予測演算部２５に出力して、ステップＳ４８に進む。

ステップＳ４８では、予測演算部２５は、予測タップ抽出部２１から供給される予測タップと、係数発生部２４から供給されるタップ係数とを用い、式（１）の演算を行うことにより、注目画素（の画素値）を求め、処理を終了する。

以上の処理が、第Ｎ＋１フレームの画素を、順次、注目画素として行われ、さらには、第Ｎ＋２フレーム以降についても行われる。

なお、ここでは、注目画素のクラスタップを、その注目画素のフレームである第Ｎ＋１フレームの１フレーム前の第Ｎフレームの画像信号から抽出するようにしたが、注目画素のクラスタップは、その注目画素のフレームである第Ｎ＋１フレームの画像信号から抽出するようにすることも可能である。

また、第Ｎ＋１フレームにおいて、ある画素＃Ａが注目画素となった場合と、その画素に近い画素＃Ｂが注目画素になった場合とで、CMOSイメージャ１の同一画素の集光レンズ５２が、異なる位置に制御されることがあり得る。この場合は、例えば、CMOSイメージャ１において、画素＃Ａが注目画素となった場合の集光レンズ５２の位置と、画素＃Ｂが注目画素となった場合の集光レンズ５２の位置において、第Ｎ＋１フレームの画像信号を撮像すればよい。あるいは、例えば、先または後に注目画素となった画素に対する集光レンズ５２の位置を優先させてもよい。

さらに、ここでは、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置を制御することとしたが、その他、例えば、注目画素に最も近い画素だけや、その画素から任意の距離の範囲にある画素すべてなどの集光レンズ５２の位置を制御するようにすることも可能である。

次に、図１６のフローチャートを参照して、図７に示したように、集光レンズ５２の位置が、フォトダイオード５１から近い位置と遠い位置の２つの位置のうちのいずれかに制御される場合の、図１５のステップＳ４４の処理（クラスタップのアクティビティに対応して制御情報を生成する制御情報生成処理）について説明する。

まず最初に、ステップＳ５１において、可動量制御部７７は、最大のダイナミックレンジによって、注目画素のクラスタップのダイナミックレンジを正規化して、ステップＳ５２に進む。即ち、可動量制御部７７は、クラスタップのダイナミックレンジを、CMOSイメージャ１が出力する画像信号が取り得る最大値と最小値との差である最大のダイナミックレンジで除算することにより、クラスタップのダイナミックレンジを正規化する。ここで、以下、適宜、正規化されたクラスタップのダイナミックレンジを正規化ダイナミックレンジという。なお、クラスタップのダイナミックレンジの正規化は、必ずしも行う必要はない。

ステップＳ５２では、可動量制御部７７は、正規化ダイナミックレンジが、所定の閾値より大きいかどうかを判定する。ここで、所定の閾値としては、例えば、０．５などを採用することができる。

ステップＳ５２において、正規化ダイナミックレンジが、所定の閾値より大きいと判定された場合、ステップＳ５３に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

一方、ステップＳ５２において、正規化ダイナミックレンジが、所定の閾値より大きくないと判定された場合、ステップＳ５４に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近が平坦であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

なお、ここでは、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のアクティビティを表す情報として、クラスタップのダイナミックレンジを用いることとしたが、クラスタップ以外にも、例えば、予測タップその他の注目画素の位置付近の任意の複数の画素の最大値と最小値との差を、注目画素の位置付近のアクティビティを表す情報として用いることが可能である。

また、上述の場合には、MEMS部５３を駆動することにより、集光レンズ５２の位置を、フォトダイオード５１から近い位置と遠い位置との２つの位置のいずれかに制御するようにしたが、集光レンズ５２の位置は、その他、３以上の位置のいずれかに制御することも可能である。

即ち、図１７は、図１１に示したように、集光レンズ５２の位置を、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置のうちのいずれかに制御する場合の、図１５のステップＳ４４の制御情報生成処理を説明するフローチャートである。

まず最初に、ステップＳ６１において、可動量制御部７７は、注目画素のクラスタップのダイナミックレンジを正規化することにより、注目画素のクラスタップのダイナミックレンジの、最大のダイナミックレンジに対する割合である正規化ダイナミックレンジを求め、ステップＳ６２に進む。

ステップＳ６２では、可動量制御部７７は、正規化ダイナミックレンジが、比較的小さい、例えば、０．３未満の値であるかどうかを判定する。

ステップＳ６２において、正規化ダイナミックレンジが、０．３未満の値であると判定された場合、ステップＳ６３に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が小であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

また、ステップＳ６２において、正規化ダイナミックレンジが、０．３未満の値でないと判定された場合、ステップＳ６４に進み、可動量制御部７７は、正規化ダイナミックレンジが、小さくも大きくもない、例えば、０．３以上０．６未満の値であるかどうかを判定する。

ステップＳ６４において、正規化ダイナミックレンジが、０．３以上０．６未満の値であると判定された場合、ステップＳ６５に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が中であるとして、集光レンズ５２の位置を、基準位置とする（基準位置に移動させる）制御情報、即ち、フォトダイオード５１に中間の範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

また、ステップＳ６４において、正規化ダイナミックレンジが、０．３以上０．６未満の値でないと判定された場合、ステップＳ６６に進み、可動量制御部７７は、正規化ダイナミックレンジが、比較的大きい、例えば、０．６以上の値であるかどうかを判定する。

ステップＳ６６において、正規化ダイナミックレンジが、０．６以上の値であると判定された場合、ステップＳ６７に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。

また、ステップＳ６６において、正規化ダイナミックレンジが、０．６以上の値でないと判定された場合、可動量制御部７７は、エラーであるとして、制御情報を生成せずに、リターンする。なお、この場合、集光レンズ５２の位置は、例えば、前回の位置に維持される。

次に、上述の場合には、図２や図１３の係数発生部２４に、あらかじめ学習により求めたクラスごとのタップ係数を記憶させておくようにしたが、係数発生部２４では、その他、例えば、タップ係数の、いわば種となる係数種データと、所定のパラメータとから、所望の画質の画像を得ることができるクラスごとのタップ係数を生成することが可能である。

図１８は、係数種データとパラメータとから、クラスごとのタップ係数を生成する係数発生部２４の構成例を示している。

係数メモリ８１は、係数生成部８２から供給されるクラスごとのタップ係数を記憶する。そして、係数メモリ８１は、クラスコード発生部２３からクラスコードが供給されると、そのクラスコードが表すクラスのタップ係数を、記憶しているクラスごとのタップ係数の中から読み出し、予測演算部２５に出力する。

係数生成部８２は、係数種メモリ８３に記憶されている係数種データと、パラメータメモリ８４に記憶されたパラメータとに基づいて、クラスごとのタップ係数を生成し、係数メモリ８１に供給して上書きする形で記憶させる。

係数種メモリ８３は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。

パラメータメモリ８４は、ユーザが操作部８５を操作した場合に、その操作に応じて、操作部８５が出力するパラメータを上書きする形で記憶する。

操作部８５は、例えば、ユーザによって操作される操作つまみなどであり、その操作に対応した値のパラメータを、パラメータメモリ８４に出力する。このパラメータは、予測演算部２５で求められる画素値で構成される画像の解像度などに対応する。なお、図２および図１３においては、操作部８５の図示は省略してある。

図１８の係数発生部２４においては、ユーザによる操作部８５の操作に応じて、係数メモリ８１に記憶（セット）されるクラスごとのタップ係数、即ち、予測演算部２５で用いられるクラスごとのタップ係数が更新される。

そこで、図１９のフローチャートを参照して、図１８の係数発生部２４で行われるクラスごとのタップ係数を更新する処理（タップ係数更新処理）について説明する。

まず最初に、ステップＳ７１において、パラメータメモリ８４は、操作部８５からパラメータが供給されたかどうかを判定し、供給されたと判定した場合、ステップＳ７２に進み、パラメータメモリ８４は、その供給されたパラメータを上書きする形で記憶し、ステップＳ７３に進む。

また、ステップＳ７１において、操作部８５からパラメータが供給されていないと判定された場合、ステップＳ７２をスキップして、ステップＳ７３に進む。

従って、パラメータメモリ８４では、ユーザにより操作部８５が操作され、これにより、操作部８５から、そのユーザによる操作に対応したパラメータが供給された場合、その供給されたパラメータによって、記憶内容が更新される。

ステップＳ７３では、係数生成部８２が、係数種メモリ８３からクラスごとの係数種データを読み出すとともに、パラメータメモリ８４からパラメータを読み出し、その係数種データとパラメータに基づいて、クラスごとのタップ係数を求める。そして、ステップＳ７４に進み、係数生成部８２は、そのクラスごとのタップ係数を、係数メモリ８１に供給し、上書きする形で記憶させる。そして、ステップＳ７４からＳ７１に戻り、以下、同様の処理が繰り返される。

なお、図１９において、ステップＳ７３およびＳ７４の処理は、パラメータメモリ８４に、新たなパラメータ上書きされた場合に行い、他の場合はスキップすることが可能である。

次に、係数生成部８２におけるタップ係数の生成と、係数種メモリ８３に記憶させる係数種データの学習について説明する。

いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。

ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

一方、係数生成部８２では、タップ係数ｗ_nが、係数種メモリ８３に記憶された係数種データと、パラメータメモリ８４に記憶されたパラメータとから生成されるが、この係数生成部８２におけるタップ係数ｗ_nの生成が、係数種データとパラメータを用いた、例えば次式によって行われることとする。

・・・（９）

但し、式（９）において、β_m,nは、ｎ番目のタップ係数ｗ_nを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（９）では、タップ係数ｗ_nが、Ｍ個の係数種データβ_1,n，β_2,n，・・・，β_M,nを用いて求められるようになっている。

ここで、係数種データβ_m,nとパラメータｚから、タップ係数ｗ_nを求める式は、式（９）に限定されるものではない。

いま、式（９）におけるパラメータｚによって決まる値ｚ^m-1を、新たな変数ｔ_mを導入して、次式で定義する。

・・・（１０）

式（１０）を、式（９）に代入することにより、次式が得られる。

・・・（１１）

式（１１）によれば、タップ係数ｗ_nは、係数種データβ_m,nと変数ｔ_mとの線形１次式によって求められることになる。

ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。

・・・（１２）

いま、式（１２）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（１２）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。

・・・（１３）

但し、式（１３）において、ｘ_n,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。

式（１３）のｗ_nに、式（１１）を代入することにより、次式が得られる。

・・・（１４）

式（１４）の予測誤差ｅ_kを０とする係数種データβ_m,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβ_m,nを求めることは、一般には困難である。

そこで、係数種データβ_m,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβ_m,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（１５）

但し、式（１５）において、Ｋは、高画質画素ｙ_kと、その高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβ_m,nで偏微分したものを０とするβ_m,nによって与えられる。

・・・（１６）

式（１３）を、式（１６）に代入することにより、次式が得られる。

・・・（１７）

いま、Ｘ_i,p,j,qとＹ_i,pを、式（１８）と（１９）に示すように定義する。

・・・（１８）

・・・（１９）

この場合、式（１７）は、Ｘ_i,p,j,qとＹ_i,pを用いた式（２０）に示す正規方程式で表すことができる。

・・・（２０）

式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβ_m,nについて解くことができる。

図１８の係数種メモリ８３においては、多数の高画質画素ｙ₁，ｙ₂，・・・，ｙ_Kを学習の教師となる教師データとするとともに、各高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを学習の生徒となる生徒データとして、式（２０）を解く学習を行うことにより求められた係数種データβ_m,nが記憶されており、係数生成部８２では、その係数種データβ_m,nと、パラメータメモリ８４に記憶されたパラメータｚから、式（９）にしたがって、タップ係数ｗ_nが生成される。そして、予測演算部２５において、そのタップ係数ｗ_nと、高画質画素としての注目画素についての予測タップを構成する低画質画素ｘ_nを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。

次に、図２０は、式（２０）の正規方程式をたてて解くことにより係数種データβ_m,nを求める学習を行う学習装置の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

学習装置には、係数種データβ_m,nの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。

学習装置において、学習用画像信号は、教師データ生成部３１と生徒データ生成部３３に供給される。

教師データ生成部３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部３２に供給する。即ち、ここでは、教師データ生成部３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部３２に供給する。

教師データ記憶部３２は、教師データ生成部３１から供給される教師データとしての高画質画像信号を記憶する。

生徒データ生成部３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部３４に供給する。即ち、生徒データ生成部３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部３４に供給する。

ここで、生徒データ生成部３３には、学習用画像信号の他、図１８のパラメータメモリ８４に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部９１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部３３には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部９１から供給されるようになっている。

生徒データ生成部３３は、学習用画像信号としての高画質画像信号を、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像信号を生成する。

従って、この場合、生徒データ生成部３３では、図２１に示すように、学習用画像信号としての高画質画像信号について、Ｚ＋１種類の、解像度の異なる生徒データとしての低画質画像信号が生成される。

なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像信号をフィルタリングし、生徒データとしての低画質画像信号を生成するものとする。従って、ここでは。値の大きいパラメータｚに対応する低画質画像信号ほど、解像度が低い。

また、本実施の形態では、説明を簡単にするために、生徒データ生成部３３において、高画質画像信号の水平方向および垂直方向の両方向の解像度を、パラメータｚに対応する分だけ低下させた低画質画像信号を生成するものとする。

図２０に戻り、生徒データ記憶部３４は、生徒データ生成部３３から供給される生徒データを記憶する。

予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２や図１３の予測タップ抽出部２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部９２に供給する。

クラスタップ抽出部３６は、注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２や図１３のクラスタップ抽出部２２が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部３７に供給する。

なお、予測タップ抽出部３５とクラスタップ抽出部３６には、パラメータ生成部９１が生成するパラメータｚが供給されるようになっており、予測タップ抽出部３５とクラスタップ抽出部３６は、パラメータ生成部９１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像信号）を用いて、予測タップとクラスタップをそれぞれ構成する。

クラスコード発生部３７は、クラスタップ抽出部３６が出力するクラスタップに基づき、図２や図１３のクラスコード発生部２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部９２に出力する。

パラメータ生成部９１は、図１８のパラメータメモリ８４に供給されるパラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部３３に供給する。また、パラメータ生成部９１は、生成したパラメータｚを、予測タップ抽出部３５およびクラスタップ抽出部３６、並びに足し込み部９２にも供給する。

足し込み部９２は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラスコード発生部３７から供給されるクラスコードごとに行う。

即ち、足し込み部９２には、教師データ記憶部３２に記憶された教師データｙ_k、予測タップ抽出部３５が出力する予測タップｘ_i,k（ｘ_j,k）、およびクラスコード発生部３７が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータｚも、パラメータ生成部９１から供給されるようになっている。

そして、足し込み部９２は、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_i,k（ｘ_j,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸ_i,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘ_i,kｔ_pｘ_j,kｔ_q）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔ_pは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔ_qも同様である。

さらに、足し込み部９２は、やはり、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_i,k、教師データｙ_k、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹ_i,pを求めるための生徒データｘ_i,k、教師データｙ_k、およびパラメータｚの乗算（ｘ_i,kｔ_pｙ_k）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔ_pは、式（１０）にしたがって、パラメータｚから計算される。

即ち、足し込み部９２は、前回、注目教師画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸ_i,p,j,qと、右辺のベクトルのコンポーネントＹ_i,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸ_i,p,j,qまたはベクトルのコンポーネントＹ_i,pに対して、新たに注目教師画素とされた教師データについて、その教師データｙ_k、生徒データｘ_i,k(ｘ_j,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘ_i,kｔ_pｘ_j,kｔ_qまたはｘ_i,kｔ_pｙ_kを足し込む（式（１８）のコンポーネントＸ_i,p,j,qまたは式（１９）のコンポーネントＹ_i,pにおけるサメーションで表される加算を行う）。

そして、足し込み部９２は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部９３に供給する。

係数種算出部９３は、足し込み部９２から供給されるクラスごとの正規方程式を解くことにより、クラスごとの係数種データβ_m,nを求めて出力する。

次に、図２２のフローチャートを参照して、図２０の学習装置の処理（学習処理）について、説明する。

まず最初に、ステップＳ８１において、教師データ生成部３１と生徒データ生成部３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部３１には、パラメータ生成部９１が生成するＺ＋１個の値のパラメータｚが供給され、生徒データ生成部３１は、学習用画像信号を、パラメータ生成部９１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像信号）について、Ｚ＋１フレームの生徒データを生成して出力する。

教師データ生成部３１が出力する教師データは、教師データ記憶部３２に供給されて記憶され、生徒データ生成部３３が出力する生徒データは、生徒データ記憶部３４に供給されて記憶される。

その後、ステップＳ８２に進み、パラメータ生成部９１は、パラメータｚを、初期値としての、例えば０にセットし、予測タップ抽出部３５およびクラスタップ抽出部３６、並びに足し込み部９２に供給して、ステップＳ８３に進む。ステップＳ８３では、予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ８３では、予測タップ抽出部３５が、注目教師画素について、生徒データ記憶部３４に記憶された、パラメータ生成部９１が出力するパラメータｚに対する生徒データ（注目教師画素となっている教師データに対応する学習用画像信号を、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを構成（抽出）し、足し込み部９２に供給するとともに、クラスタップ抽出部３６が、やはり、注目教師画素について、生徒データ記憶部３４に記憶された、パラメータ生成部９１が出力するパラメータｚに対する生徒データからクラスタップを構成（抽出）し、クラスコード発生部３７に供給する。

そして、ステップＳ８４に進み、クラスコード発生部３７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を、図２や図１３のクラスコード発生部２３における場合と同様にして行い、その結果得られるクラスに対応するクラスコードを、足し込み部９２に出力して、ステップＳ８５に進む。

ステップＳ８５では、足し込み部９２は、教師データ記憶部３２から注目教師画素を読み出し、その注目教師画素、予測タップ抽出部３５から供給される予測タップ、パラメータ生成部９１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘ_i,Kｔ_pｘ_j,Kｔ_qと、右辺のベクトルのコンポーネントｘ_i,Kｔ_pｙ_Kを計算する。さらに、足し込み部９２は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラスコード発生部３７からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘ_i,Kｔ_pｘ_j,Kｔ_qとベクトルのコンポーネントｘ_i,Kｔ_pｙ_Kを足し込み、ステップＳ８６に進む。

ステップＳ８６では、パラメータ生成部９１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ８６において、パラメータ生成部９１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ８７に進み、パラメータ生成部９１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、予測タップ抽出部３５およびクラスタップ抽出部３６、並びに足し込み部９２に出力する。そして、ステップＳ８３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ８６において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ８８に進み、予測タップ抽出部３５が、教師データ記憶部３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ８８において、注目教師画素としていない教師データが、まだ、教師データ記憶部３２に記憶されていると判定された場合、予測タップ抽出部３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ８２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ８８において、注目教師画素としていない教師データが、教師データ記憶部３２に記憶されていないと判定された場合、足し込み部９２は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部９３に供給し、ステップＳ８９に進む。

ステップＳ８９では、係数種算出部９３は、足し込み部９２から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβ_m,nを求めて出力し、処理を終了する。

なお、学習用画像信号の数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部９３は、例えば、デフォルトの係数種データを出力するようになっている。

ところで、図２０の学習装置では、図２１に示したように、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号に、パラメータｚに対応して解像度を劣化させた低画質画像信号を生徒データとして、式（１１）によって係数種データβ_m,nとパラメータｚに対応する変数ｔ_mとで表されるタップ係数ｗ_n、並びに生徒データｘ_nから、式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβ_m,nを直接求める学習を行うようにしたが、係数種データβ_m,nの学習は、その他、例えば、図２３に示すようにして行うことが可能である。

即ち、図２３の実施の形態では、図２１の実施の形態における場合と同様に、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号を、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像信号を生徒データとして、まず最初に、タップ係数ｗ_n、並びに生徒データｘ_nを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗ_nが、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求められる。さらに、図２３の実施の形態では、求められたタップ係数ｗ_nを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβ_m,n、並びに生徒データであるパラメータｚに対応する変数ｔ_mから予測される教師データとしてのタップ係数ｗ_nの予測値の自乗誤差の総和を最小にする係数種データβ_m,nを求める学習が行われる。

ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、図４の学習装置における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。

ところで、ここでは、式（１１）に示したように、係数種データβ_m,nと、パラメータｚに対応する変数ｔ_mとから、タップ係数が求められるが、いま、この式（１１）によって求められるタップ係数を、ｗ_n’と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗ_nと式（１１）により求められるタップ係数ｗ_n’との誤差ｅ_nを０とする係数種データβ_m,nが、最適なタップ係数ｗ_nを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗ_nについて、そのような係数種データβ_m,nを求めることは、一般には困難である。

・・・（２１）

なお、式（２１）は、式（１１）によって、次式のように変形することができる。

・・・（２２）

そこで、係数種データβ_m,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβ_m,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（２３）

式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβ_m,nで偏微分したものを０とするβ_m,nによって与えられる。

・・・（２４）

式（２２）を、式（２４）に代入することにより、次式が得られる。

・・・（２５）

いま、Ｘ_i,j,とＹ_iを、式（２６）と（２７）に示すように定義する。

・・・（２６）

・・・（２７）

この場合、式（２５）は、Ｘ_i,jとＹ_iを用いた式（２８）に示す正規方程式で表すことができる。

・・・（２８）

式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβ_m,nについて解くことができる。

次に、図２４は、式（２８）の正規方程式をたてて解くことにより係数種データβ_n,mを求める学習を行う学習装置の構成例を示している。なお、図中、図４または図２０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

足し込み部３８には、クラスコード発生部３７が出力する注目教師画素についてのクラスコードと、パラメータ生成部９１が出力するパラメータｚが供給されるようになっている。そして、足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラスコード発生部３７から供給されるクラスコードごとに、かつパラメータ生成部９１が出力するパラメータｚの値ごとに行う。

即ち、足し込み部３８には、教師データ記憶部３２に記憶された教師データｙ_k、予測タップ抽出部３５が出力する予測タップｘ_n,k、クラスコード発生部３７が出力するクラスコード、およびパラメータ生成部９１が出力する、予測タップｘ_n,kを構成するのに用いられた生徒データを生成したときのパラメータｚが供給される。

そして、足し込み部３８は、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘ_n,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部３８は、やはり、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘ_n,kと教師データｙ_kを用い、式（８）の右辺のベクトルにおける生徒データｘ_n,kおよび教師データｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

即ち、足し込み部３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目教師画素とされた教師データについて、その教師データｙ_k+1および生徒データｘ_n,k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（８）のサメーションで表される加算を行う）。

そして、足し込み部３８は、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部３９に供給する。

タップ係数算出部３９は、足し込み部３８から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗ_nを求め、足し込み部１０１に供給する。

足し込み部１０１は、各クラスごとに、パラメータｚ（に対応する変数ｔ_m）と、最適なタップ係数ｗ_nを対象とした足し込みを行う。

即ち、足し込み部１０１は、パラメータｚから式（１０）によって求められる変数ｔ_i（ｔ_j）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸ_i,jを求めるためのパラメータｚに対応する変数ｔ_i（ｔ_j）どうしの乗算（ｔ_iｔ_j）と、サメーション（Σ）に相当する演算を、クラスごとに行う。

ここで、コンポーネントＸ_i,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸ_i,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。

さらに、足し込み部１０１は、パラメータｚから式（１０）によって求められる変数ｔ_iと、最適なタップ係数ｗ_nとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹ_iを求めるためのパラメータｚに対応する変数ｔ_iおよび最適なタップ係数ｗ_nの乗算（ｔ_iｗ_n）と、サメーション（Σ）に相当する演算を、クラスごとに行う。

足し込み部１０１は、各クラスごとに、式（２６）で表されるコンポーネントＸ_i,jと、式（２７）で表されるコンポーネントＹ_iを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部１０２に供給する。

係数種算出部１０２は、足し込み部１０１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβ_m,nを求めて出力する。

図１８の係数種メモリ８３には、以上のようにして求められたクラスごとの係数種データβ_m,nを記憶させておくようにすることもできる。

ここで、図１８の係数発生部２４においては、例えば、係数種メモリ８３を設けずに、図２４のタップ係数算出部３９が出力するパラメータｚの各値ごとの最適なタップ係数ｗ_nをメモリに記憶させておき、パラメータメモリ８４に記憶されたパラメータｚに応じて、メモリに記憶された最適なタップ係数を選択して、係数メモリ８１にセットするようにすることも可能である。但し、この場合、パラメータｚが取り得る値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種メモリ８３を設け、係数種データを記憶させておく場合には、係数種メモリ８３の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種メモリ８３として、小さな容量のメモリを採用することができる。さらに、係数種データβ_m,nを記憶させておく場合には、その係数種データβ_m,nと、パラメータｚの値とから、式（９）によりタップ係数ｗ_nが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗ_nを得ることができる。そして、その結果、予測演算部２５が第２の画像信号として出力する高画質画像信号の画質（いまの場合は、解像度）を、無段階に滑らかに調整することが可能となる。

なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。

この場合、DRC部１１では、パラメータｚに対応して、画像信号の水平解像度および垂直解像度を向上させることができる。従って、この場合、パラメータｚは、解像度に対応するパラメータであるということができる。

ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。

即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、パラメータｚに対応するレベルのノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。

また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を、パラメータｚに対応して間引いた画像信号を生徒データとして、または、パラメータｚに対応するサイズの画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。

係数種メモリ８３に、ノイズ除去処理用の係数種データや、リサイズ処理用の係数種データを記憶させておく場合、DRC部１１では、パラメータｚに対応して、画像信号のノイズ除去やリサイズ（拡大または縮小）を行うことができる。

なお、上述の場合には、タップ係数ｗ_nを、式（９）に示したように、β_1,nｚ⁰＋β_2,nｚ¹＋・・・＋β_M,nｚ^M-1で定義し、この式（９）によって、水平および垂直方向の解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗ_nを求めるようにしたが、タップ係数ｗ_nとしては、水平解像度と垂直解像度を、独立のパラメータｚ_xとｚ_yに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。

即ち、タップ係数ｗ_nを、式（９）に代えて、例えば、３次式β_1,nｚ_x ⁰ｚ_y ⁰＋β_2,nｚ_x ¹ｚ_y ⁰＋β_3,nｚ_x ²ｚ_y ⁰＋β_4,nｚ_x ³ｚ_y ⁰＋β_5,nｚ_x ⁰ｚ_y ¹＋β_6,nｚ_x ⁰ｚ_y ²＋β_7,nｚ_x ⁰ｚ_y ³＋β_8,nｚ_x ¹ｚ_y ¹＋β_9,nｚ_x ²ｚ_y ¹＋β_10,nｚ_x ¹ｚ_y ²で定義するとともに、式（１０）で定義した変数ｔ_mを、式（１０）に代えて、ｔ₁＝ｚ_x ⁰ｚ_y ⁰，ｔ₂＝ｚ_x ¹ｚ_y ⁰，ｔ₃＝ｚ_x ²ｚ_y ⁰，ｔ₄＝ｚ_x ³ｚ_y ⁰，ｔ₅＝ｚ_x ⁰ｚ_y ¹，ｔ₆＝ｚ_x ⁰ｚ_y ²，ｔ₇＝ｚ_x ⁰ｚ_y ³，ｔ₈＝ｚ_x ¹ｚ_y ¹，ｔ₉＝ｚ_x ²ｚ_y ¹，ｔ₁₀＝ｚ_x ¹ｚ_y ²で定義する。この場合も、タップ係数ｗ_nは、最終的には、式（１１）で表すことができ、従って、学習装置（図２０、図２４）において、パラメータｚ_xとｚ_yに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像信号を、生徒データとして用いて学習を行って、係数種データβ_m,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚ_xとｚ_yに対応して、それぞれ独立に向上させるタップ係数ｗ_nを求めることができる。

その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚ_xとｚ_yに加えて、さらに、時間方向の解像度に対応するパラメータｚ_tを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚ_x，ｚ_y，ｚ_tに対応して、それぞれ独立に向上させるタップ係数ｗ_nを求めることが可能となる。

また、リサイズ処理についても、解像度向上処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗ_nの他、水平と垂直方向を、それぞれパラメータｚ_xとｚ_yに対応する拡大率で、独立にリサイズするタップ係数ｗ_nを求めることが可能である。

さらに、学習装置（図２０、図２４）において、パラメータｚ_xに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚ_yに対応して教師データにノイズを付加した画像信号を、生徒データとして用いて学習を行って、係数種データβ_m,nを求めることにより、パラメータｚ_xに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚ_yに対応してノイズ除去を行うタップ係数ｗ_nを求めることができる。

次に、係数発生部２４において、図１８で示したように、解像度などに対応したパラメータに応じてクラスごとのタップ係数を生成するようにした場合には、CMOSイメージャ１を、クラスコードやクラスタップのアクティビティに応じて制御するのではなく、パラメータに応じて制御するようにすることが可能である。

図２５は、パラメータに応じて、CMOSイメージャ１を制御するDRC回路２の構成例を示している。なお、図中、図２または図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２５のDRC回路２は、制御部１２におけるDL２６および可動量制御部２７に代えて、可動量制御部１１７が設けられている他は、基本的に、図２における場合と同様に構成されている。

図２５においては、ユーザが操作部８５を操作することにより、その操作に応じたパラメータｚが、係数発生部２４と可動量制御部１１７に供給される。係数発生部２４は、図１８に示したように構成されており、操作部８５から供給されるパラメータｚに基づいて、クラスごとのタップ係数を生成し、そのタップ係数のうちの、クラスコード発生部２３から供給されるクラスコードが表すクラスのタップ係数を、予測演算部２５に出力する。

可動量制御部１１７は、操作部８５から供給されるパラメータｚに応じて、CMOSイメージャ１を制御する。

即ち、係数発生部２４では、パラメータｚが大の場合は、解像度を大きく向上させるタップ係数が生成され、パラメータｚが小の場合には、解像度を多少向上させるタップ係数が生成される。DRC部１１において、解像度を大きく向上させるタップ係数が用いられる場合には、予測タップとなる画素も解像度が高い方が、DRC部１１で行われる信号処理にとって適切である。また、DRC部１１において、解像度を多少向上させるタップ係数が用いられる場合には、予測タップとなる画素の解像度はあまり高くない方が、DRC部１１で行われる信号処理にとって適切である。

そこで、可動量制御部１１７は、パラメータｚが大で、解像度を大きく向上させるタップ係数が生成される場合には、フォトダイオード５１に狭い範囲の被写体光を入射させるように、例えば、集光レンズ５２の位置を、フォトダイオード５１から遠い位置に制御する。また、可動量制御部１１７は、パラメータｚが小で、解像度を多少向上させるタップ係数が生成される場合には、フォトダイオード５１に広い範囲の被写体光を入射させるように、例えば、集光レンズ５２の位置を、フォトダイオード５１に近い位置に制御する。

なお、DRC回路２は、専用のハードウェアにより実現することもできるし、CPU(Central Processing Unit)（DSP(Digital Signal Processor)を含む）や半導体メモリなどからなるマイクロコンピュータなどのコンピュータに、上述の処理を行わせるプログラムを実行させることによって実現することもできる。

プログラムは、コンピュータにあらかじめインストールしておく他、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に記録し、いわゆるパッケージソフトウエアとして提供することができる。

また、プログラムは、上述したようなリムーバブル記録媒体からマイクロコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、あるいはLAN(Local Area Network)、インターネットといったネットワークを介して、ダウンロードしてインストールすることができる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。

以上のように、CMOSイメージャ１において、その後段のDRC部１１で行われる信号処理にとって適切な画像信号が出力されるように、CMOSイメージャ１を制御するようにしたので、DRC部１１の信号処理によって、より画質の改善した画像信号を得ることができる。

なお、本実施の形態では、CMOSイメージャ（CMOSセンサ）によって画像を撮像するようにしたが、画像を撮像する手段としては、その他、例えば、CCDを用いることも可能である。

また、本実施の形態では、CMOSイメージャ１とDRC回路２とを１チップ上に形成するようにしたが、CMOSイメージャ１とDRC回路２とは、別のチップ上に形成することも可能である。

さらに、本実施の形態では、集光レンズ５２の位置を制御することにより、フォトダイオード５１に入射する被写体光の範囲を制御したが、フォトダイオード５１に入射する被写体光の範囲を制御する方法は、集光レンズ５２の位置を制御する方法に限定されるものではない。即ち、例えば、CMOSイメージャ１の各画素に、MEMS技術による絞り機構を設け、絞りを調整することなどにより、フォトダイオード５１に入射する被写体光の範囲を制御することが可能である。また、フォトダイオード５１に入射する被写体光の範囲を制御する他、例えば、フォトダイオード５１における被写体光の受光時間（露光時間）などを制御することも可能である。

本発明を適用したセンサシステムの一実施の形態の構成例を示すブロック図である。 DRC回路２の第１の構成例を示すブロック図である。 クラスタップと予測タップを示す図である。 タップ係数を学習する学習装置の構成例を示すブロック図である。 タップ係数を学習する学習処理を説明するフローチャートである。 本発明を適用したセンサシステムの構成例を示す平面図である。 集光レンズ５２の位置の制御を説明するための図である。 クラスコードを説明する図である。 DRC回路２の処理を説明するフローチャートである。 制御情報生成処理を説明するフローチャートである。 集光レンズ５２の位置の制御を説明するための図である。 制御情報生成処理を説明するフローチャートである。 DRC回路２の第２の構成例を示すブロック図である。 クラスタップのダイナミックレンジを説明する図である。 DRC回路２の処理を説明するフローチャートである。 制御情報生成処理を説明するフローチャートである。 制御情報生成処理を説明するフローチャートである。 係数発生部２４の構成例を示すブロック図である。 タップ係数更新処理を説明するフローチャートである。 係数種データを学習する学習装置の第１の構成例を示すブロック図である。 係数種データの学習を説明するための図である。 係数種データを学習する学習処理を説明するフローチャートである。 係数種データの学習を説明するための図である。 係数種データを学習する学習装置の第２の構成例を示すブロック図である。 DRC回路２の第３の構成例を示すブロック図である。

符号の説明

１ CMOSイメージャ， ２ DRC回路， １１ DRC部， １２ 制御部， ２１ 予測タップ抽出部， ２２ クラスタップ抽出部， ２３ クラスコード発生部， ２４ 係数発生部， ２５ 予測演算部， ２６ DL， ２７ 可動量制御部， ５１ フォトダイオード， ５２ 集光レンズ， ５３ MEMS部， ６２ 制御部， ７６ アクティビティ検出部， ７７ 可動量制御部， ８１ 係数メモリ， ８２ 係数生成部， ８３ 係数種メモリ， ８４ パラメータメモリ， ８５ 操作部， １１７ 可動量制御部

Claims (18)

1. 第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
   被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号から、前記第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出手段と、
   前記クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、前記クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生手段と、
   前記クラスタップを構成する画素のレベル分布に応じて、前記撮像手段を制御する制御手段と、
   前記注目画素を求める積和演算に用いる、前記注目画素に近い位置にある複数の画素からなる予測タップを、前記制御手段において制御された前記撮像手段が出力する第１の画像信号から抽出する予測タップ抽出手段と、
   学習により獲得された前記クラスごとのタップ係数から、前記注目画素のクラスに対応するタップ係数を出力するタップ係数出力手段と、
   前記予測タップ抽出手段において抽出された予測タップと、前記タップ係数出力手段から出力されるタップ係数との積和演算を行うことにより、前記第２の画像信号の注目画素を求める演算手段と
   を備え、
   前記撮像手段は、被写体光を集光する集光レンズと、前記集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、
   前記制御手段は、注目画素の位置付近における前記第１の画像信号のレベル変化が小である場合には、注目画素の前記集光レンズの位置を前記フォトダイオードから近い位置に移動させる制御を行い、注目画素の位置付近における前記第１の画像信号のレベル変化が大である場合には、注目画素の前記集光レンズの位置を前記フォトダイオードから遠い位置に移動させる制御を行う
   ことを特徴とする信号処理装置。
2. 請求項１に記載の信号処理装置において、
   前記撮像手段は、CMOS(Complementary Metal Oxide Semiconductor)センサである
   ことを特徴とする信号処理装置。
3. 請求項２に記載の信号処理装置において、
   前記CMOSセンサと一体的に構成されている
   ことを特徴とする信号処理装置。
4. 請求項１に記載の信号処理装置において、
   前記撮像手段は、CCD(Charge Coupled Device)である
   ことを特徴とする信号処理装置。
5. 請求項１に記載の信号処理装置において、
   前記クラスコード発生手段は、前記クラスタップを構成する画素のダイナミックレンジに応じて、前記クラスタップの画素の１ビットのレベル分布を求め、そのレベル分布に応じたクラスを表すクラスコードを発生する
   ことを特徴とする信号処理装置。
6. 請求項５に記載の信号処理装置において、
   前記制御手段は、前記１ビットのレベル分布におけるビットの反転回数に応じて、前記撮像手段を制御する
   ことを特徴とする信号処理装置。
7. 請求項５に記載の信号処理装置において、
   前記制御手段は、前記クラスタップの画素のダイナミックレンジに応じて、前記撮像手段を制御する
   ことを特徴とする信号処理装置。
8. 請求項５に記載の信号処理装置において、
   前記演算手段は、前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、その第１の画像信号の１フレームまたは１フィールド前の第１の画像信号のレベル分布に応じて得られた前記クラスのタップ係数とを用いた演算を行う
   ことを特徴とする信号処理装置。
9. 第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
   被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号から、前記第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出手段と、
   前記クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、前記クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生手段と、
   前記第１の画像信号における注目画素の位置付近のアクティビティを検出するアクティビティ検出手段と、
   前記第１の画像信号における注目画素の位置付近のアクティビティに応じて、前記撮像手段を制御する制御手段と、
   前記注目画素を求める積和演算に用いる、前記注目画素に近い位置にある複数の画素からなる予測タップを、前記制御手段において制御された前記撮像手段が出力する第１の画像信号から抽出する予測タップ抽出手段と、
   学習により獲得された前記クラスごとのタップ係数から、前記注目画素のクラスに対応するタップ係数を出力するタップ係数出力手段と、
   前記予測タップ抽出手段において抽出された予測タップと、前記タップ係数出力手段から出力されるタップ係数との積和演算を行うことにより、前記第２の画像信号の注目画素を求める演算手段と
   を備え、
   前記撮像手段は、被写体光を集光する集光レンズと、前記集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、
   前記制御手段は、注目画素の位置付近における前記第１の画像信号のアクティビティが小である場合には、注目画素の前記集光レンズの位置を前記フォトダイオードから近い位置に移動させる制御を行い、注目画素の位置付近における前記第１の画像信号のアクティビティが大である場合には、注目画素の前記集光レンズの位置を前記フォトダイオードから遠い位置に移動させる制御を行う
   ことを特徴とする信号処理装置。
10. 請求項９に記載の信号処理装置において、
    前記撮像手段は、CMOS(Complementary Metal Oxide Semiconductor)センサである
    ことを特徴とする信号処理装置。
11. 請求項９に記載の信号処理装置において、
    前記撮像手段は、CCD(Charge Coupled Device)である
    ことを特徴とする信号処理装置。
12. 請求項９に記載の信号処理装置において、
    前記アクティビティ検出手段は、前記クラスタップとして抽出された幾つかの画素のダイナミックレンジを、前記アクティビティとして求める
    ことを特徴とする信号処理装置。
13. 第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
    被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号から、前記第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出手段と、
    前記クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、前記クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生手段と、
    前記第２の画像信号の解像度を表すパラメータを出力するパラメータ出力手段と、
    前記パラメータに応じて、前記撮像手段を制御する制御手段と、
    前記注目画素を求める積和演算に用いる、前記注目画素に近い位置にある複数の画素からなる予測タップを、前記制御手段において制御された前記撮像手段が出力する第１の画像信号から抽出する予測タップ抽出手段と、
    学習により獲得された係数種データと、前記パラメータとから、前記注目画素のクラスに対応するタップ係数を生成するタップ係数生成手段と、
    前記予測タップ抽出手段において抽出された予測タップと、前記タップ係数生成手段において得られた前記クラスのタップ係数との積和演算を行うことにより、前記第２の画像信号の注目画素を求める演算手段と
    を備え、
    前記撮像手段は、被写体光を集光する集光レンズと、前記集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、
    前記制御手段は、前記第２の画像信号の解像度を表すパラメータが小である場合には、前記集光レンズの位置を前記フォトダイオードから近い位置に移動させる制御を行い、前記第２の画像信号の解像度を表すパラメータが大である場合には、前記集光レンズの位置を前記フォトダイオードから遠い位置に移動させる制御を行う
    ことを特徴とする信号処理装置。
14. 請求項１３に記載の信号処理装置において、
    前記撮像手段は、CMOS(Complementary Metal Oxide Semiconductor)センサである
    ことを特徴とする信号処理装置。
15. 請求項１３に記載の信号処理装置において、
    前記撮像手段は、CCD(Charge Coupled Device)である
    ことを特徴とする信号処理装置。
16. 第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
    被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号から、前記第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出ステップと、
    前記クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、前記クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生ステップと、
    前記クラスタップを構成する画素のレベル分布に応じて、前記撮像手段を制御する制御ステップと、
    前記注目画素を求める積和演算に用いる、前記注目画素に近い位置にある複数の画素からなる予測タップを、前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号から抽出する予測タップ抽出ステップと、
    学習により獲得された前記クラスごとのタップ係数から、前記注目画素のクラスに対応するタップ係数を出力するタップ係数出力ステップと、
    前記予測タップ抽出ステップにおいて抽出された予測タップと、前記タップ係数出力ステップにおいて出力されるタップ係数との積和演算を行うことにより、前記第２の画像信号の注目画素を求める演算ステップと
    を備え、
    前記撮像手段は、被写体光を集光する集光レンズと、前記集光レンズにより集光される被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、
    前記制御ステップにおいて、注目画素の位置付近における前記第１の画像信号のレベル変化が小である場合には、注目画素の前記集光レンズの位置を前記フォトダイオードから近い位置に移動させる制御が行われ、注目画素の位置付近における前記第１の画像信号のレベル変化が大である場合には、注目画素の前記集光レンズの位置を前記フォトダイオードから遠い位置に移動させる制御が行われる
    ことを特徴とする信号処理方法。
17. 第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
    被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号から、前記第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出ステップと、
    前記クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、前記クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生ステップと、
    前記第１の画像信号における注目画素の位置付近のアクティビティを検出するアクティビティ検出ステップと、
    前記第１の画像信号における注目画素の位置付近のアクティビティに応じて、前記撮像手段を制御する制御ステップと、
    前記注目画素を求める積和演算に用いる、前記注目画素に近い位置にある複数の画素からなる予測タップを、前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号から抽出する予測タップ抽出ステップと、
    学習により獲得された前記クラスごとのタップ係数から、前記注目画素のクラスに対応するタップ係数を出力するタップ係数出力ステップと、
    前記予測タップ抽出ステップにおいて抽出された予測タップと、前記タップ係数出力ステップにおいて出力されるタップ係数との積和演算を行うことにより、前記第２の画像信号の注目画素を求める演算ステップと
    を備え、
    前記撮像手段は、被写体光を集光する集光レンズと、前記集光レンズにより集光される
    被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、
    前記制御ステップにおいて、注目画素の位置付近における前記第１の画像信号のアクテ
    ィビティが小である場合には、注目画素の前記集光レンズの位置を前記フォトダイオード
    から近い位置に移動させる制御が行われ、注目画素の位置付近における前記第１の画像信
    号のアクティビティが大である場合には、注目画素の前記集光レンズの位置を前記フォト
    ダイオードから遠い位置に移動させる制御が行われる
    ことを特徴とする信号処理方法。
18. 第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
    被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号から、前記第２の画像信号のうちの、注目している画素である注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いる、前記注目画素に近い位置にある幾つかの画素からなるクラスタップを抽出するクラスタップ抽出ステップと、
    前記クラスタップとして抽出された幾つかの画素のダイナミックレンジに応じて、前記クラスタップを構成する画素のレベル分布を求め、そのレベル分布に応じた、複数のクラスのうちのいずれかのクラスを表すクラスコードを発生するクラスコード発生ステップと、
    前記第２の画像信号の解像度を表すパラメータを出力するパラメータ出力ステップと、
    前記パラメータに応じて、前記撮像手段を制御する制御ステップと、
    前記注目画素を求める積和演算に用いる、前記注目画素に近い位置にある複数の画素からなる予測タップを、前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号から抽出する予測タップ抽出ステップと、
    学習により獲得された係数種データと、前記パラメータとから、前記注目画素のクラスに対応するタップ係数を生成するタップ係数生成ステップと、
    前記予測タップ抽出ステップにおいて抽出された予測タップと、前記タップ係数出力ステップにおいて出力されるタップ係数との積和演算を行うことにより、前記第２の画像信号の注目画素を求める演算ステップと
    を備え、
    前記撮像手段は、被写体光を集光する集光レンズと、前記集光レンズにより集光される
    被写体光の受光量に応じた電気信号を出力するフォトダイオードとを画素毎に有し、
    前記制御ステップにおいて、前記第２の画像信号の解像度を表すパラメータが小である
    場合には、前記集光レンズの位置を前記フォトダイオードから近い位置に移動させる制御
    が行われ、前記第２の画像信号の解像度を表すパラメータが大である場合には、前記集光
    レンズの位置を前記フォトダイオードから遠い位置に移動させる制御が行われる
    ことを特徴とする信号処理方法。

Images