図1は、本発明を適用した撮像装置の一実施の形態の構成例を示している。
なお、図1の撮像装置は、例えば、ディジタルスチルカメラやディジタルビデオカメラなどに適用することができる。
センサ部1は、画素に対応する複数の光電変換素子を有し、そこに入射する被写体光を受光し、その受光量に対応した電気信号としての画像信号を、信号調整部2に供給する。また、センサ部1は、信号処理部4から供給される制御信号に応じて、その状態を変化させる。
信号調整部2は、センサ部1から出力される画像信号に含まれる、いわゆるリセットノイズを除去するためのCDS(Correlated Double Sampling)処理を行い、その処理の結果得られる画像信号を、A/D(Analog/Digital)変換部3に供給する。A/D変換部3は、信号調整部2から供給される画像信号をA/D変換し、即ち、画像信号をサンプリングして量子化し、その結果得られるディジタル画像信号を、信号処理部4に供給する。
信号処理部4は、A/D変換部3からのディジタル画像信号(以下、適宜、単に、画像信号ともいう)を、第1の画像信号として、その第1の画像信号に対して、所定の画像変換処理を施し、その結果得られるディジタル画像信号を、第2の画像信号として、出力部5に出力する。また、信号処理部4は、画像変換処理の結果得られた第2の画像信号を評価し、その評価に対応して、センサ部1の状態を制御する制御信号を、センサ部1に供給する。
出力部5は、信号処理部4が出力する第2の画像信号を受信して出力する。即ち、出力部5は、信号処理部4からの第2の画像信号を、図示せぬ外部端子から出力し、あるいは、図示せぬモニタに表示させる。また、出力部5は、第2の画像信号を、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、半導体メモリなどの図示せぬ記録媒体に記録し、あるいは、電話回線、インターネット、LANその他の有線または無線の伝送媒体を介して送信する。
以上のように構成される撮像装置では、センサ部1において、被写体光が受光され、その受光量に対応した電気信号としての画像信号が、信号調整部2およびA/D変換部3を介して、信号処理部4に供給される。信号処理部4は、センサ部1から信号調整部2およびA/D変換部3を介して供給される画像信号を、第1の画像信号として、その第1の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善された第2の画像信号を、出力部5に出力する。出力部5では、信号処理部4から供給される第2の画像信号が出力される。
また、信号処理部4は、センサ部1からの第1の画像信号に対して画像変換処理を施すことにより得られた第2の画像信号を評価する。さらに、信号処理部4は、その評価に対応して、センサ部1の状態を制御するする制御信号を、センサ部1に供給する。
センサ部1は、信号処理部4から供給される制御信号に応じて、その状態を変化させ、その変化後の状態において得られる画像信号を出力する。
即ち、センサ部1は、例えば、3板式の撮像手段であり、画像信号のR,G,Bそれぞれの成分を取得する3つのセンサ(後述する図3のR受光部23R,G受光部23G,B受光部23B)から構成される。従って、センサ部1は、1画素につき、R信号,G信号,B信号を有する画像信号を出力する。そして、センサ部1は、信号処理部4から供給される制御信号にしたがい、3つのセンサの1以上の配置状態を変更する。従って、信号処理部4の制御信号によれば、センサ部1が有するセンサの配置状態が制御される。ここで、センサの配置状態には、センサの配置位置と、センサの姿勢(回転状態)とが含まれる。但し、本実施の形態では、説明を簡単にするため、信号処理部4の制御信号によって、センサ部1が有するセンサの配置位置を制御するものとする。なお、センサの姿勢を制御することも可能である。
図2は、図1の信号処理部4および出力部5の構成例を示している。
信号処理部4は、3つの信号処理部11R,11G,11Bで構成されている。
信号処理部11Rは、A/D変換部3から供給されるR,G,B信号を有する第1の画像信号を受信し、その第1の画像信号に画像変換処理を施すことにより、第2の画像信号のR信号(成分)を得て、出力部5に供給する。
信号処理部11Gは、A/D変換部3から供給されるR,G,B信号を有する第1の画像信号を受信し、その第1の画像信号に画像変換処理を施すことにより、第2の画像信号のG信号(成分)を得て、出力部5に供給する。さらに、信号処理部11Gは、第2の画像信号のG信号を評価し、その評価に対応して、センサ部1のセンサの配置状態を制御する。
信号処理部11Bは、A/D変換部3から供給されるR,G,B信号を有する第1の画像信号を受信し、その第1の画像信号に画像変換処理を施すことにより、第2の画像信号のB信号(成分)を得て、出力部5に供給する。
なお、ここでは、信号処理部11Gにおいて、第2の画像信号のG信号を評価し、その評価に対応して、センサ部1のセンサの配置状態を制御するようにしたが、センサ部1の制御は、その他、例えば、第2の画像信号のG信号以外であるR信号またはB信号のうちのいずれかを評価して行うことも可能であるし、第2の画像信号のR,G,B信号のうちの2以上を評価して行うことも可能である。
出力部5は、出力部12R,12G,12Bで構成されている。出力部12R,12G,12Bは、信号処理部11R,11G,11Bが出力する第2の画像信号のR信号、G信号、B信号をそれぞれ受信して出力する。
なお、以下、適宜、信号処理部11R,11G、または11Bを、信号処理部11とも記載する。
次に、図3は、図2(図1)のセンサ部1の構成例を示している。
被写体光は、レンズ21に入射し、レンズ21は、その被写体光を、プリズム22を介して、R受光部23R,G受光部23G,B受光部23B上に、それぞれ集光させる。
即ち、レンズ21に入射した被写体光は、プリズム22に出射される。プリズム22は、レンズ21からの被写体光を、R,G,Bの光に分光し、そのR,G,Bの光を、R受光部23R,G受光部23G,B受光部23Bが配置されている方向に出射する。
R受光部23R,G受光部23G,B受光部23Bは、例えば、フォトダイオード等の光電変換素子で構成され、プリズム22からのR,G,Bの光を受光し、これにより、その受光量に対応する電気信号としてのR信号、G信号、B信号を取得して、信号調整部2に出力する。
ここで、R受光部23R,G受光部23G,およびB受光部23Bとしては、例えば、CCD(Charge Coupled Device)を採用することができる。但し、R受光部23R,G受光部23G,およびB受光部23Bは、CCDに限定されるものではなく、CMOS(Complementary Metal Oxide Semiconductor)センサや、a-Se(アモルファスセレン)半導体の光導電ターゲット内で生じる電子のなだれ増倍現象を利用した撮像管であるHARP(High Gain Avalanche Rushing Amorphous Photoconductor)などとすることも可能である。
R制御部24R,G制御部24G,B制御部24Bは、信号処理部11Gから供給される制御信号にしたがい、R受光部23R,G受光部23G,B受光部23Bの配置位置を移動させる制御をそれぞれ行う。
なお、ここでは、説明を簡単にするため、R制御部24Rは、R受光部23Rの全体の配置位置を制御するものとする。G制御部24GとB制御部24Bも、同様に、G受光部23GとB受光部23Bそれぞれの全体の配置位置を制御するものとする。但し、例えば、MEMS(Micro-Electro-Mechanical Systems)技術を利用することにより、R受光部23Rとして、画素の配置位置を実質的に変化(移動)させることができるものを採用し、R制御部24Rにおいては、R受光部23Rの個々の画素の配置位置を独立に制御するようにすることも可能である。G受光部23GおよびG制御部24Gと、B受光部23BおよびB制御部24Bについても、同様である。
次に、図4を参照して、R制御部24R,G制御部24G,B制御部24BによるR受光部23R,G受光部23G,B受光部23Bそれぞれの制御について説明する。
図4上側に示すように、R受光部23R,G受光部23G,B受光部23Bは、それぞれ有限の面積を有する画素(1つのフォトダイオード等に対応)を有し、各画素で受光された光量に対応する画像信号(画素値)を出力する。
なお、図4では、画素は、一辺が有限長の正方形の形状とされている。
いま、R受光部23R,G受光部23G,B受光部23Bそれぞれの画素の位置を、その画素である正方形の重心位置で表すこととし、それぞれの画素を、●印、○印、×印で表す。ビデオカメラやスチルカメラなどの撮像装置の製造時においては、R受光部23R,G受光部23G,B受光部23Bは、対応する画素の位置が、光学的に同一位置となるように配置される。即ち、R受光部23R,G受光部23G,B受光部23Bは、ある光線のR,G,Bそれぞれの光が、対応する画素で受光されるように、光学的に等価な(同一の)位置に配置される。
R制御部24R,G制御部24G,B制御部24Bは、信号処理部11Gから供給される制御信号にしたがい、R受光部23R,G受光部23G,B受光部23Bの配置位置を移動させる。
即ち、R受光部23R,G受光部23G,B受光部23Bの配置位置は、固定ではなく、移動可能となっており、従って、センサ部1において、R受光部23R,G受光部23G,B受光部23Bそれぞれの、対応する画素は、光学的に同一位置にあるとは限らない。
いま、図4下側に示すように、R受光部23Rの画素(図4において●印で示す)の位置を基準とした、G受光部23Gの画素(図4において○印で示す)の水平方向と垂直方向のずれ量を、PhGとPvGと表すとともに、B受光部23Bの画素(図4において×印で示す)の水平方向と垂直方向のずれ量を、PhBとPvBと表すこととする。
R制御部24R,G制御部24G、およびB制御部24Bは、信号処理部11Gから供給される制御信号にしたがったずれ量PhG,PvG,PhB,PvBとなるように、R受光部23R,G受光部23G,B受光部23Bの配置位置を移動する。
なお、この場合、例えば、R受光部23Rの位置を固定して、G受光部23GとB受光部23Bだけを移動させれば良い。但し、R受光部23R,G受光部23G,B受光部23Bのうちの、R受光部23R以外の1つを固定して、他の2つを移動させることもできるし、R受光部23R,G受光部23G,B受光部23Bのすべてを移動させるようにすることも可能である。
次に、図5は、図2の信号処理部11の構成例を示している。
信号処理部11R,11G,および11Bには、センサ部1が出力する画像信号が、信号調整部2およびA/D変換部3を介して、第1の画像信号として供給される。
信号処理部11Rは、画像変換部31Rと画像記憶部32Rで構成されている。
信号処理部11Rに供給される第1の画像信号は、画像変換部31Rに供給される。画像変換部31Rは、第1の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたRのディジタル画像信号を、第2の画像信号のR信号として、画像記憶部32Rに供給する。
画像記憶部32Rは、画像変換部21から供給される第2の画像信号を一時記憶する。さらに、画像記憶部32Rは、記憶した第2の画像信号の中から、信号処理部11G(の評価部33)から供給される、画像を選択する選択情報にしたがった第2の画像信号を読み出し、出力部5に供給する。
信号処理部11Gは、画像変換部31G、画像記憶部32G、および評価部33で構成されている。
信号処理部11Gに供給される第1の画像信号は、画像変換部31Gに供給される。画像変換部31Rは、第1の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたGのディジタル画像信号を、第2の画像信号のG信号として、画像記憶部32Gと評価部33に供給する。
画像記憶部32Gは、画像変換部21から供給される第2の画像信号を一時記憶する。さらに、画像記憶部32Gは、記憶した第2の画像信号の中から、評価部33から供給される、画像を選択する選択情報にしたがった第2の画像信号を読み出し、出力部5に供給する。
評価部33は、画像変換部31Gから供給される第2の画像信号(のG信号)を評価し、その評価に対応して、センサ部1に制御信号を供給することにより、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置を制御する。さらに、評価部33は、第2の画像信号の評価に対応して、選択情報を、画像記憶部32Gに供給するとともに、信号処理部11Rの画像記憶部32R、および信号処理部11Bの画像記憶部32Bに供給する。
信号処理部11Bは、画像変換部31Bと画像記憶部32Bで構成されている。
信号処理部11Bに供給される第1の画像信号は、画像変換部31Bに供給される。画像変換部31Bは、第1の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたBのディジタル画像信号を、第2の画像信号のB信号として、画像記憶部32Bに供給する。
画像記憶部32Bは、画像変換部21から供給される第2の画像信号を一時記憶する。さらに、画像記憶部32Bは、記憶した第2の画像信号の中から、信号処理部11G(の評価部33)から供給される、画像を選択する選択情報にしたがった第2の画像信号を読み出し、出力部5に供給する。
なお、画像変換部31R,31G,31Bそれぞれは、同様に構成されており、以下、適宜、画像変換部31R,31G、または31Bを、画像変換部31と記載する。また、画像記憶部32R,32G,32Bそれぞれも、同様に構成されており、以下、適宜、画像記憶部32R,32G、または32Bを、画像記憶部32と記載する。
図6は、図5の評価部33の構成例を示している。
評価部33は、記憶部41、相関算出部42、判定評価部43、および制御信号出力部44で構成され、画像変換部31Gから供給される第2の画像信号(のG信号)の画質を評価する。
即ち、記憶部41は、画像変換部31Gから供給される第2の画像信号を一時記憶する。
相関算出部42は、記憶部41に記憶された、画像変換部31Gから前回供給された第2の画像信号と、画像変換部31Gから今回供給された第2の画像信号との相関を演算し、その演算の結果得られる相関値を、判定評価部43に供給する。
判定評価部43は、相関算出部42から供給される相関値に基づいて、画像変換部31Gが出力した第2の画像信号を評価し、その第2の画像信号の画質が高い、または低い旨の評価結果を得る。さらに、判定評価部43は、第2の画像信号の評価結果を、制御信号出力部44に供給するとともに、その評価結果に対応して、図5の画像記憶部32R,32G、および32Bに、選択情報を出力する。
制御信号出力部44は、判定評価部43からの第2の画像信号の評価結果に対応して、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置を制御する制御信号を、センサ部1(のR制御部24R,G制御部24G,B制御部24B)に供給し、これにより、R受光部23R,G受光部23G,B受光部23Bの配置位置を制御する。
以上のように構成される評価部33では、記憶部41は、画像変換部31Gから供給される第2の画像信号を順次記憶する。そして、相関算出部42は、画像変換部31Gから第2の画像信号が新たに供給されると、その第2の画像信号と、前回、画像変換部31Gから供給されて記憶部41に記憶された第2の画像信号との間の相関値を演算する。
ここで、2つの画像信号(2フレーム(フィールド)の画像信号)の相関値としては、例えば、その2つの画像信号の同一位置の画素の画素値のすべてまたは一部の差分絶対値の総和の逆数などを採用することができる。
相関演算部42は、得られた相関値を、判定評価部43に供給する。判定評価部43は、相関算出部42から供給される相関値に基づいて、画像変換部31Gが出力した第2の画像信号を評価し、その第2の画像信号の画質が高い、または低い旨の評価結果を得る。判定評価部43は、第2の画像信号の画質が低い旨の評価結果を得た場合、その評価結果を、制御信号出力部44に供給する。
制御信号出力部44は、判定評価部43からの第2の画像信号の画質が低い旨の評価結果を受信すると、その評価結果に対応して、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置を制御する制御信号、即ち、図4で説明した、R受光部23Rの画素の位置を基準とした、G受光部23Gの画素のずれ量PhGおよびPvG、並びにB受光部23Bの画素のずれ量PhBおよびPvBを、いままでと異なる値とする制御信号を、センサ部1に供給する。なお、現在のずれ量PhG,PvG,PhB,PvBをコンポーネントとする4次元のベクトルを、ベクトルP(=PhG,PvG,PhB,PvB)と表すとともに、4次元の微小ベクトルを、ベクトル△Pと表すこととすると、制御信号出力部44は、あるフレームの撮影時において、まだ設定していないベクトルP+△Pを新たに設定し、そのベクトルP+△Pのコンポーネントの値となるずれ量に、R受光部23R,G受光部23G,B受光部23Bの配置位置を制御する制御信号を出力する。ここで、微小ベクトルΔPのコンポーネントは、例えば乱数とすることができる。
この場合、センサ部1(図3)では、制御信号出力部44から供給された制御信号にしたがい、R受光部23R,G受光部23G、またはB受光部23Bの配置位置が移動される。さらに、センサ部1では、その移動後のR受光部23R,G受光部23G、およびB受光部23Bにおいて、被写体光が受光され、その受光量に対応する画像信号が出力される。センサ部1が出力する画像信号は、信号調整部2およびA/D変換部3を介して、新たな第1の画像信号として、信号処理部11に供給される。信号処理部11(図5)の画像変換部31は、その新たな第1の画像信号に対して、画像変換処理を施し、その結果得られる新たな第2の画像信号を、画像記憶部32に供給して記憶させる。さらに、画像変換部31Rは、新たな第2の画像信号を、評価部33に供給する。
評価部33では、相関算出部42が、画像変換部31Rからの新たな第2の画像信号を受信し、その第2の画像信号と、前回、画像変換部31Gから供給されて記憶部41に記憶された第2の画像信号との間の相関値を演算して、判定評価部43に供給する。
以上の処理が繰り返されることにより、判定評価部43では、各値のずれ量PhG,PvG,PhB,PvBにおいて撮像された第1の画像信号から得られた第2の画像信号についての相関値が取得される。
ここで、図7は、各値のずれ量PhG,PvG,PhB,PvBと、そのずれ量PhG,PvG,PhB,PvBにおいて撮像された第1の画像信号から得られた第2の画像信号を用いて求められた相関値との関係を示している。
相関値は、あるずれ量PhG,PvG,PhB,PvBで得られた第2の画像信号と、そのずれ量から、上述の微小ベクトル△Pに対応する微小な量だけずれたずれ量PhG’,PvG’,PhB’,PvB’で得られた第2の画像信号との相関を表す。
従って、あるずれ量PhG,PvG,PhB,PvBにおける相関値が低いと言うことは、ずれ量PhG,PvG,PhB,PvBで得られた第2の画像信号が、エッジ等が鈍ってぼけた画質の低いものであるということになる。一方、あるずれ量PhG,PvG,PhB,PvBにおける相関値が高いということは、そのずれ量PhG,PvG,PhB,PvBで得られた第2の画像信号が、エッジ等が明確な画質の高いものであるということになる。
そこで、図6の判定評価部43は、相関算出部42から供給される相関値が低い場合には、第2の画像信号の画質が低いと評価し、相関値が高い場合、即ち、例えば、図7に示すように、相関値の極大値(または最大値)が得られた場合には、第2の画像信号の画質が高いと評価する。そして、判定評価部43は、第2の画像信号の画質が高い旨の評価結果が得られた場合、その評価結果が得られたときの相関値の演算に用いられた2つの第2の画像信号のうちのいずれか一方を選択する旨の選択情報を、画像記憶部32(図5)に出力する。
画像記憶部32R,32G,32Bそれぞれでは、上述したように、そこに記憶された第2の画像信号の中から、選択情報にしたがった第2の画像信号、即ち、画質が高い旨の評価結果が得られた第2の画像信号が読み出され、出力部5に供給される。
次に、図8のフローチャートを参照して、図2(図1)の撮像装置の動作について説明する。
撮像装置では、まず最初に、ステップS1において、センサ部1が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して(被写体を撮像して)、信号調整部2に供給する。信号調整部2は、センサ部1から供給される画像信号に対して、CDS処理を施し、A/D変換部3に供給する。A/D変換部3は、信号調整部2から供給される画像信号をA/D変換し、第1の画像信号として、信号処理部11に供給して、ステップS1からS2に進む。
ステップS2では、信号処理部11(図5)の画像変換部31が、A/D変換部3から供給された第1の画像信号に対して、画像変換処理を施し、第1の画像信号よりも画質が改善された第2の画像信号を、画像記憶部32に供給して記憶させる。さらに、ステップS2では、画像変換部31Gが、画像変換処理の結果得られた第2の画像信号を、評価部33に供給し、ステップS3に進む。
ステップS3では、評価部33は、画像変換部31Gから供給される第2の画像信号を評価する評価処理を行い、ステップS4に進む。ステップS4では、評価部33は、直前のステップS3における第2の画像信号の評価結果として、その第2の画像信号の画質が高い旨の評価結果が得られたかどうかを判定する。
ステップS4において、第2の画像信号の画質が高い旨の評価結果が得られなかったと判定された場合、ステップS5に進み、評価部33は、センサ部1に対して、ずれ量PhG,PvG,PhB,PvBを指定する制御信号を供給することにより、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置を移動させ、ステップS1に戻る。
ステップS1では、直前のステップS5で移動された配置位置のセンサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bそれぞれにおいて、画像信号が取得され、以下、同様の処理が繰り返される。
そして、ステップS4において、第2の画像信号の画質が高い旨の評価結果が得られたと判定された場合、評価部33は、その評価結果が得られた第2の画像信号を選択する旨の選択情報を、画像記憶部32に供給し、ステップS6に進む。
ステップS6では、画像記憶部32R,32G,32Bは、ステップS2においていままでに記憶した第2の画像信号の中から、評価部33からの選択情報にしたがった第2の画像信号、即ち、画質が高い第2の画像信号を選択して読み出し、出力部5に出力して、1フレーム(または1フィールド)の画像についての処理を終了する。
撮像装置では、図8のフローチャートにしたがった処理が、例えば、ユーザにより撮像の停止が指令されるまで繰り返し行われる。
次に、図9のフローチャートを参照して、図8のステップS3において図6の評価部33が行う評価処理について説明する。
評価処理では、まず最初に、ステップS11において、記憶部41が、直前のステップS2(図8)で画像変換部31Gから供給される第2の画像信号を記憶するとともに、相関算出部42が、その第2の画像信号を受信する。さらに、ステップS11では、相関算出部42が、画像変換部31Gから供給された第2の画像信号と、記憶部41が前回のステップS11で記憶した第2の画像信号との相関値を演算し、判定評価部43に供給して、ステップS12に進む。
ステップS12では、判定評価部43は、相関算出部42から供給される相関値を、その相関値を求めるのに用いられた2つの第2の画像信号のうちのいずれか一方が撮像されたときのずれ量PhG,PvG,PhB,PvBと対応付けて、一時記憶し、ステップS13に進む。ここで、判定評価部43は、相関算出部42から供給される相関値を求めるのに用いられた2つの第2の画像信号のうちのいずれか一方が撮像されたときのずれ量PhG,PvG,PhB,PvBを、制御信号出力部44から取得する。
ステップS13では、判定評価部43は、いままでのステップS12で記憶した相関値とずれ量との関係について、相関値の極大値が得られたかどうかを判定する。ステップS13において、相関値の極大値が得られていないと判定された場合、ステップS14に進み、判定評価部43は、第2の画像信号が低画質である旨の評価を行い、図8のステップS4にリターンする。
この場合、図8のステップS4では、判定評価部43は、第2の画像信号の画質が高い旨の評価結果が得られなかったと判定し、その評価結果、即ち、第2の画像信号の画質が低い旨の評価結果を、制御信号出力部44に供給して、ステップS5に進む。そして、ステップS5において、制御信号出力部44は、判定評価部43からの第2の画像信号の画質が低い旨の評価結果を受信し、その評価結果に対応して、センサ部1に対し、新たなずれ量PhG,PvG,PhB,PvBを指定する制御信号を供給する。
図9に戻り、ステップS13において、相関値の極大値が得られたと判定された場合、ステップS15に進み、判定評価部43は、第2の画像信号が高画質である旨の評価を行い、図8のステップS4にリターンする。
この場合、図8のステップS4では、判定評価部43は、第2の画像信号の画質が高い旨の評価結果が得られたと判定し、その評価結果が得られた第2の画像信号、即ち、極大値の相関値を求めるときに用いられた2つの第2の画像信号のうちのいずれか一方を選択する旨の選択情報を、画像記憶部32に供給し、ステップS6に進む。
そして、ステップS6では、上述したように、画像記憶部32R,32G,32Bは、ステップS2においていままでに記憶した第2の画像信号の中から、評価部33からの選択情報にしたがった第2の画像信号、即ち、画質が高い第2の画像信号を選択して読み出す。
以上のように、第2のディジタル画像信号を評価し、その評価に対応して、ずれ量PhG,PvG,PhB,PvBを制御することにより、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置を制御するようにしたので、ずれ量PhG,PvG,PhB,PvBに対応する位置に配置されたR受光部23R,G受光部23G、およびB受光部23Bを有するセンサ部1において、画像変換部31での画像変換処理にとって、適切な画像信号が出力され、その結果、画像変換部31において、高画質の第2の画像信号を得ることができる。
なお、上述の場合には、ステップS13において、相関値の極大値が得られたと判定された場合に、第2の画像信号が高画質である旨の評価を行うこととしたが、その他、ステップS13において、所定の閾値以上の相関値の極大値が得られたと判定された場合に、第2の画像信号が高画質である旨の評価を行うようにすること等も可能である。
また、上述の場合には、第2の画像信号の評価を、相関値に基づいて行うようにしたが、第2の画像信号の評価は、その他、例えば、各値のずれ量PhG,PvG,PhB,PvBに対して得られる第2の画像信号のS/Nなどに基づいて行うこと等も可能である。さらに、第2の画像信号の評価は、外部から入力するようにしても良い。即ち、例えば、第2の画像信号を表示し、その表示画像を見たユーザから、第2の画像信号の評価を入力してもらうようにしても良い。
さらに、ずれ量については、あらかじめ幾つかの値を用意しておき、その幾つかの値のずれ量すべてに対する相関値を求め、最も高い相関値が得られたときの2つの第2の画像信号の一方を、図8のステップS6において出力するようにすることが可能である。
また、1フレーム(フィールド)の期間中に可能な回数だけ、図8のステップS1乃至S5のループ処理を行い、そのループ処理において得られた相関値のうちの最も高い相関違えられたときの2つの第2の画像信号のうちの一方を、ステップS6において出力するようにすることも可能である。
次に、図10は、図5の画像変換部31の構成例を示すブロック図である。
画像変換部31は、そこに供給される第1の画像信号に対して、画像変換処理を施し、その画像変換処理によって得られる第2の画像信号を出力する。
ここで、例えば、第1の画像信号を低解像度の画像信号とするとともに、第2の画像信号を高解像度の画像信号とすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第1の画像信号を低S/N(Siginal/Noise)の画像信号とするとともに、第2の画像信号を高S/Nの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第1の画像信号を所定のサイズの画像信号とするとともに、第2の画像信号を、第1の画像信号のサイズを大きくまたは小さくした画像信号とすれば、画像変換処理は、画像のリサイズ(拡大または縮小)を行うリサイズ処理ということができる。
画像変換部31においては、画像変換処理の対象である第1の画像信号が、予測タップ抽出部121および特徴抽出部122に供給される。
予測タップ抽出部121は、第2の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第1の画像信号を構成する画素(の画素値)の幾つかを、予測タップとして抽出する。
具体的には、予測タップ抽出部121は、注目画素に対応する第1の画像信号の画素(例えば、注目画素に対して空間的および時間的に最も近い位置にある第1の画像信号の画素)に対して、空間的または時間的に近い位置にある複数の画素を、第1の画像信号から、予測タップとして抽出する。そして、予測タップ抽出部121は、注目画素についての予測タップを、演算部125に供給する。
特徴抽出部122は、注目画素の特徴を、第1の画像信号を用いて抽出し、クラス分類部123に供給する。ここで、注目画素の特徴としては、例えば、注目画素に対応する第1の画像信号の画素に対して、空間的または時間的に近い位置にある複数の画素の画素値(第1の画像信号)のレベル分布などを採用することができる。
クラス分類部123は、特徴抽出部122からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部124に供給する。即ち、クラス分類部123は、注目画素の特徴がスカラー量で表される場合、そのスカラー量そのものや、そのスカラー量を量子化して得られる量子化値を、クラスコードとして出力する。また、注目画素の特徴が、複数のコンポーネントからなるベクトル量で表される場合、クラス分類部123は、そのベクトル量をベクトル量子化して得られる値や、ADRC(Adaptive Dynamic Range Coding)を行うことにより得られる値を、クラスコードとして出力する。
ここで、KビットADRCにおいては、例えば、注目画素の特徴を表すベクトル量を構成するコンポーネントの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、注目画素の特徴を構成するコンポーネントがKビットに再量子化される。即ち、注目画素の特徴を構成する各コンポーネントから、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られる、注目画素の特徴を構成するKビットの各コンポーネントを、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、注目画素の特徴を表すベクトル量が、例えば、1ビットADRC処理された場合には、その注目画素の特徴を構成する各コンポーネントは、最大値MAXと最小値MINとの平均値で除算され(小数点以下切り捨て)、これにより、各コンポーネントが1ビットとされる(2値化される)。そして、その1ビットのコンポーネントを所定の順番で並べたビット列が、ADRCコードとして出力される。クラス分類部123は、例えば、注目画素の特徴をADRC処理して得られるADRCコードを、クラスコードとして出力する。
係数出力部124は、クラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部123から供給されるクラスコードのクラスのタップ係数を、演算部125に出力する。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
演算部125は、予測タップ抽出部121が出力する予測タップと、係数出力部124が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、演算部125は、注目画素の画素値(の予測値)、即ち、第2の画像信号を構成する画素の画素値を求めて出力する。
次に、図11は、図10の係数出力部124の第1の構成例を示している。
図11においては、係数出力部124は、係数メモリ181で構成されている。
係数メモリ181は、後述する学習によりあらかじめ求められたクラスごとのタップ係数を記憶している。そして、係数メモリ181は、クラス分類部123からクラスコードが与えられると、そのクラスコードのクラスのタップ係数を読み出し、演算部125に供給する。
次に、図10の演算部125における予測演算と、その予測演算に用いられる、図11の係数メモリ181に記憶されるタップ係数の学習について説明する。
いま、高画質の画像信号(高画質画像信号)を第2の画像信号とするとともに、その高画質画像信号をLPF(Low Pass Filter)によってフィルタリングする等してその画質(解像度)を低下させた低画質の画像信号(低画質画像信号)を第1の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める(予測する)ことを考える。
いま、所定の予測演算として、例えば、線形1次予測演算を採用することとすると、高画質画素の画素値yは、次の線形1次式によって求められることになる。
但し、式(1)において、xnは、高画質画素yについての予測タップを構成する、n番目の低画質画像信号の画素(以下、適宜、低画質画素という)の画素値を表し、wnは、n番目の低画質画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、N個の低画質画素x1,x2,・・・,xNで構成されるものとしてある。
ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
いま、式(2)の予測値yk’は、式(1)にしたがって求められるため、式(2)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
但し、式(3)において、xn,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。
式(3)(または式(2))の予測誤差ekを0とするタップ係数wnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(4)において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(4)の自乗誤差の総和Eの最小値(極小値)は、式(14)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。
そこで、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。
式(5)と(6)から、次式が得られる。
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。
式(8)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。
式(8)の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求めることができる。
次に、図12は、式(8)の正規方程式をたてて解くことによりクラスごとのタップ係数wnを求める学習を行う学習装置の構成例を示している。
学習装置には、タップ係数wnの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
学習装置において、学習用画像信号は、教師データ生成部131と生徒データ生成部133に供給される。
教師データ生成部131は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部132に供給する。即ち、ここでは、教師データ生成部131は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部132に供給する。
教師データ記憶部132は、教師データ生成部131から供給される教師データとしての高画質画像信号を記憶する。
生徒データ生成部133は、学習用画像信号から生徒データを生成し、生徒データ記憶部134に供給する。即ち、生徒データ生成部133は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部134に供給する。
生徒データ記憶部134は、生徒データ生成部133から供給される生徒データを記憶する。
予測タップ抽出部135は、教師データ記憶部132に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部134に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図10の予測タップ抽出部121が構成するのと同一のタップ構造の予測タップを構成し、足し込み部38に供給する。
特徴抽出部136は、注目教師画素について、生徒データ記憶部134に記憶された生徒データとしての低画質画像信号を構成する低画質画素を用い、図10の特徴抽出部122における場合と同様にして、注目教師画素の特徴を抽出し、クラス分類部137に供給する。
クラス分類部137は、特徴抽出部136が出力する注目教師画素の特徴に基づき、図10のクラス分類部123と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部138に出力する。
足し込み部138には、クラス分類部137が出力する注目教師画素についてのクラスコードが供給される。そして、足し込み部138は、教師データ記憶部132から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部135から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部137から供給されるクラスコードごとに行う。
即ち、足し込み部138には、教師データ記憶部132に記憶された教師データyk、予測タップ抽出部135が出力する予測タップxn,k、クラス分類部137が出力するクラスコードが供給される。
そして、足し込み部138は、クラス分類部137から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xn,kを用い、式(8)の左辺の行列における生徒データどうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
さらに、足し込み部138は、やはり、クラス分類部137から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xn,kと教師データykを用い、式(8)の右辺のベクトルにおける生徒データxn,kおよび教師データykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
即ち、足し込み部138は、前回、注目教師画素とされた教師データについて求められた式(8)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネント(Σxn,kxn',k)またはベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目教師画素とされた教師データについて、その教師データyk+1および生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1またはxn,k+1yk+1を足し込む(式(8)のサメーションで表される加算を行う)。
そして、足し込み部138は、教師データ記憶部132に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部139に供給する。
タップ係数算出部139は、足し込み部138から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数wnを求めて出力する。
図11の係数メモリ181には、図12の学習装置で求められるクラスごとのタップ係数wmが記憶されている。
なお、上述の場合には、学習用画像信号を、そのまま第2の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第1の画像信号に対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第1の画像信号を、その解像度を向上させた第2の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
ここで、第1の画像信号に対応する生徒データと、第2の画像信号に対応する教師データとする画像信号の選択の仕方によって、タップ係数としては、各種の画像変換処理を行うものを得ることができる。
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、タップ係数としては、第1の画像信号を、そこに含まれるノイズを除去(低減)した第2の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を間引いた画像信号を生徒データとして、または、所定の画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、タップ係数としては、第1の画像信号を、拡大または縮小した第2の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。その他、教師データおよび生徒データとする画像信号を所定のものとすることで、タップ係数としては、画素数の変換や、アスペクト比の変換、その他の任意の画像変換を行うものを得ることが可能である。
次に、図13のフローチャートを参照して、図12の学習装置の処理(学習処理)について、説明する。
まず最初に、ステップS51において、教師データ生成部131と生徒データ生成部133が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部131は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部131は、学習用画像信号を、所定のカットオフ周波数のLPFによってフィルタリングすることにより、各フレームの教師データ(学習用画像信号)について、生徒データを生成して出力する。
教師データ生成部131が出力する教師データは、教師データ記憶部132に供給されて記憶され、生徒データ生成部133が出力する生徒データは、生徒データ記憶部134に供給されて記憶される。
その後、ステップS52に進み、予測タップ抽出部135は、教師データ記憶部132に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップS52では、予測タップ抽出部135が、注目教師画素について、生徒データ記憶部134に記憶された生徒データから予測タップを構成し、足し込み部138に供給して、ステップS53に進む。
ステップS53では、特徴抽出部136が、注目教師画素の特徴を、生徒データ記憶部134に記憶された生徒データを用いて抽出し、クラス分類部137に供給して、ステップS54に進む。
ステップS54では、クラス分類部137は、特徴抽出部136からの注目教師画素についての注目画素の特徴に基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部138に出力して、ステップS55に進む。
ステップS55では、足し込み部138は、教師データ記憶部132から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部135から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式(8)の足し込みを、クラス分類部137から供給されるクラスコードごとに行い、ステップS56に進む。
ステップS56では、予測タップ抽出部135が、教師データ記憶部132に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップS56において、注目教師画素としていない教師データが、まだ、教師データ記憶部132に記憶されていると判定された場合、予測タップ抽出部135は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップS52に戻り、以下、同様の処理が繰り返される。
また、ステップS56において、注目教師画素としていない教師データが、教師データ記憶部132に記憶されていないと判定された場合、足し込み部138は、いままでの処理によって得られたクラスごとの式(8)における左辺の行列と、右辺のベクトルを、タップ係数算出部139に供給し、ステップS57に進む。
ステップS57では、タップ係数算出部139は、足し込み部138から供給されるクラスごとの式(8)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数wnを求めて出力し、処理を終了する。
なお、学習用画像信号の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部139は、例えば、デフォルトのタップ係数を出力するようになっている。
図11の係数メモリ181には、以上のようにして得られたクラスごとのタップ係数が記憶されている。
但し、図5の画像変換部31Rの係数メモリ181には、教師データとして、画像信号のR信号だけを用いるとともに、生徒データとして、画像信号のR,G,B信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。また、図5の画像変換部31Gの係数メモリ181には、教師データとして、画像信号のG信号だけを用いるとともに、生徒データとして、画像信号のR,G,B信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。同様に、図5の画像変換部31Bの係数メモリ181には、教師データとして、画像信号のB信号だけを用いるとともに、生徒データとして、画像信号のR,G,B信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。
次に、図14のフローチャートを参照して、図10の画像変換部31による画像変換処理について説明する。なお、図14で説明する画像変換処理は、図8のステップS2で行われる処理である。
ステップS61において、予測タップ抽出部121は、第2の画像信号を構成する画素のうちの、まだ注目画素としていないものの1つを、注目画素とし、さらに、その注目画素の画素値(第2の画像信号)を予測するのに用いる第1の画像信号を構成する画素(の画素値)の幾つかを、予測タップとして抽出して、ステップS62に進む。
ステップS62では、特徴抽出部122は、注目画素の特徴を、第1の画像信号を用いて抽出し、クラス分類部123に供給して、ステップS63に進む。ステップS63では、クラス分類部123は、特徴抽出部122からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部124に供給して、ステップS64に進む。ステップS64では、係数出力部124は、クラス分類部123から供給されるクラスコードのクラスのタップ係数を読み出し、演算部125に出力して、ステップS65に進む。
ステップS65では、演算部125は、予測タップ抽出部121から供給される予測タップと、係数出力部124が出力した、注目画素のクラスのタップ係数とを用い、式(1)の演算を行うことにより、注目画素(の画素値)を求める。
なお、画像変換部31では、以上のステップS61乃至S65の処理が、1画面の第2の画像信号の画素すべてを、注目画素として行われ、その後リターンする。
次に、図15は、本発明を適用した撮像装置の他の一実施の形態の構成例を示している。なお、図中、図1または図2における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図15の撮像装置は、操作部185が新たに設けられている他は、基本的に、図1または図2における場合と同様に構成されている。
操作部185は、例えば、ユーザによって操作される操作つまみなどであり、その操作に対応したパラメータを、信号処理部4に出力する。
なお、図15において、信号処理部4は、図2に示したように、信号処理部11R,11G,11Bで構成されている。
図16は、図15の信号処理部4を構成する信号処理部11R,11G,11Bの構成例を示している。なお、図中、図5における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図16において、信号処理部11R,11G,11Bは、図5における場合と同様に構成されている。但し、画像変換部31(31R,31G,31B)に対して、操作部185が出力するパラメータが供給されるようになっており、画像変換部31は、そのパラメータに対応した画像変換処理を行う。
図17は、図16の画像変換部31の構成例を示している。なお、図中、図10における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図17の画像変換部31は、図10における場合と同様に構成されている。但し、係数出力部124に対して、操作部185が出力するパラメータが供給されるようになっている。
図18は、図17の係数出力部124の構成例(係数出力部124の第2の構成例)を示している。なお、図中、図11における場合と対応する部分については、同一の符号を付してある。
図11では、係数出力部124に、あらかじめ学習により求めたクラスごとのタップ係数を記憶させておくようにしたが、図18では、係数出力部124において、タップ係数の、いわば種となる係数種データと、所定のパラメータとから、所望の画質の画像を得ることができるクラスごとのタップ係数を生成するようになっている。
係数メモリ181は、係数生成部182から供給されるクラスごとのタップ係数を記憶する。そして、係数メモリ181は、クラス分類部123からクラスコードが供給されると、そのクラスコードが表すクラスのタップ係数を、記憶しているクラスごとのタップ係数の中から読み出し、演算部125に出力する。
係数生成部182は、係数種メモリ183に記憶されている係数種データと、パラメータメモリ184に記憶されたパラメータとに基づいて、クラスごとのタップ係数を生成し、係数メモリ181に供給して上書きする形で記憶させる。
係数種メモリ183は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
パラメータメモリ184は、ユーザが操作部185を操作した場合に、その操作に応じて、操作部185が出力するパラメータを上書きする形で記憶する。
図18の係数出力部124においては、ユーザによる操作部185の操作に応じて、係数メモリ181に記憶(セット)されるクラスごとのタップ係数、即ち、演算部125で用いられるクラスごとのタップ係数が更新される。
そこで、図19のフローチャートを参照して、図18の係数出力部124で行われるクラスごとのタップ係数を更新する処理(タップ係数更新処理)について説明する。
まず最初に、ステップS171において、パラメータメモリ184は、操作部185からパラメータが供給されたかどうかを判定し、供給されたと判定した場合、ステップS172に進み、パラメータメモリ184は、その供給されたパラメータを上書きする形で記憶し、ステップS173に進む。
また、ステップS171において、操作部185からパラメータが供給されていないと判定された場合、ステップS172をスキップして、ステップS173に進む。
従って、パラメータメモリ184では、ユーザにより操作部185が操作され、これにより、操作部185から、そのユーザによる操作に対応したパラメータが供給された場合、その供給されたパラメータによって、記憶内容が更新される。
ステップS173では、係数生成部182が、係数種メモリ183からクラスごとの係数種データを読み出すとともに、パラメータメモリ184からパラメータを読み出すことにより、係数種データとパラメータを取得し、その係数種データとパラメータに基づいて、クラスごとのタップ係数を求める。そして、ステップS174に進み、係数生成部182は、そのクラスごとのタップ係数を、係数メモリ181に供給し、上書きする形で記憶させる。そして、ステップS174からS171に戻り、以下、同様の処理が繰り返される。
図17の画像変換部31では、以上のようにして、パラメータを用いて更新されるタップ係数を用いて、式(1)により、第1の画像信号を第2の画像信号に変換する画像変換処理、即ち、パラメータに対応した画像変換処理が行われる。
なお、図19において、ステップS173およびS174の処理は、パラメータメモリ184に、新たなパラメータ上書きされた場合に行い、他の場合はスキップすることが可能である。
次に、係数生成部182におけるタップ係数の生成と、係数種メモリ183に記憶させる係数種データの学習について説明する。
いま、高画質の画像信号(高画質画像信号)を第2の画像信号とするとともに、その高画質画像信号をLPF(Low Pass Filter)によってフィルタリングする等してその画質(解像度)を低下させた低画質の画像信号(低画質画像信号)を第1の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、例えば、式(1)の線形1次予測演算によって求める(予測する)ことを考える。
ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
一方、係数生成部182では、タップ係数wnが、係数種メモリ183に記憶された係数種データと、パラメータメモリ184に記憶されたパラメータとから生成されるが、この係数生成部182におけるタップ係数wnの生成が、係数種データとパラメータを用いた、例えば次式によって行われることとする。
但し、式(9)において、βm,nは、n番目のタップ係数wnを求めるのに用いられるm番目の係数種データを表し、zは、パラメータを表す。なお、式(9)では、タップ係数wnが、M個の係数種データβn,1,βn,2,・・・,βn,Mを用いて求められるようになっている。
ここで、係数種データβm,nとパラメータzから、タップ係数wnを求める式は、式(9)に限定されるものではない。
いま、式(9)におけるパラメータzによって決まる値zm-1を、新たな変数tmを導入して、次式で定義する。
式(10)を、式(9)に代入することにより、次式が得られる。
式(11)によれば、タップ係数wnは、係数種データβm,nと変数tmとの線形1次式によって求められることになる。
ところで、いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
いま、式(12)の予測値yk’は、式(1)にしたがって求められるため、式(12)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
但し、式(13)において、xn,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。
式(13)のwnに、式(11)を代入することにより、次式が得られる。
式(14)の予測誤差ekを0とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(15)において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(15)の自乗誤差の総和Eの最小値(極小値)は、式(16)に示すように、総和Eを係数種データβm,nで偏微分したものを0とするβm,nによって与えられる。
式(13)を、式(16)に代入することにより、次式が得られる。
いま、Xi,p,j,qとYi,pを、式(18)と(19)に示すように定義する。
この場合、式(17)は、Xi,p,j,qとYi,pを用いた式(20)に示す正規方程式で表すことができる。
式(20)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、係数種データβm,nについて解くことができる。
図17の係数種メモリ183においては、多数の高画質画素y1,y2,・・・,yKを学習の教師となる教師データとするとともに、各高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kを学習の生徒となる生徒データとして、式(20)を解く学習を行うことにより求められた係数種データβm,nが記憶されており、係数生成部182では、その係数種データβm,nと、パラメータメモリ184に記憶されたパラメータzから、式(9)にしたがって、タップ係数wnが生成される。そして、演算部125において、そのタップ係数wnと、高画質画素としての注目画素についての予測タップを構成する低画質画素(第1の画像信号の画素)xnを用いて、式(1)が計算されることにより、高画質画素としての注目画素の画素値(に近い予測値)が求められる。
次に、図20は、式(20)の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置の構成例を示している。なお、図中、図12における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
学習装置には、係数種データβm,nの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
学習装置において、学習用画像信号は、教師データ生成部131と生徒データ生成部133に供給される。
教師データ生成部131は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部132に供給する。即ち、ここでは、教師データ生成部131は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部132に供給する。
教師データ記憶部132は、教師データ生成部131から供給される教師データとしての高画質画像信号を記憶する。
生徒データ生成部133は、学習用画像信号から生徒データを生成し、生徒データ記憶部134に供給する。即ち、生徒データ生成部133は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部134に供給する。
ここで、生徒データ生成部133には、学習用画像信号の他、図18のパラメータメモリ184に供給されるパラメータzが取り得る範囲の幾つかの値が、パラメータ生成部191から供給されるようになっている。即ち、いま、パラメータzが取り得る値が0乃至Zの範囲の実数であるとすると、生徒データ生成部133には、例えば、z=0,1,2,・・・,Zが、パラメータ生成部191から供給されるようになっている。
生徒データ生成部133は、学習用画像信号としての高画質画像信号を、そこに供給されるパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、生徒データとしての低画質画像信号を生成する。
従って、この場合、生徒データ生成部133では、図21に示すように、学習用画像信号としての高画質画像信号について、Z+1種類の、解像度の異なる生徒データとしての低画質画像信号が生成される。
なお、ここでは、例えば、パラメータzの値が大きくなるほど、カットオフ周波数の高いLPFを用いて、高画質画像信号をフィルタリングし、生徒データとしての低画質画像信号を生成するものとする。従って、ここでは。値の大きいパラメータzに対応する低画質画像信号ほど、解像度が高い。
また、本実施の形態では、説明を簡単にするために、生徒データ生成部133において、高画質画像信号の水平方向および垂直方向の両方向の解像度を、パラメータzに対応する分だけ低下させた低画質画像信号を生成するものとする。
図20に戻り、生徒データ記憶部134は、生徒データ生成部133から供給される生徒データを記憶する。
予測タップ抽出部135は、教師データ記憶部132に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部134に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図17の予測タップ抽出部121が構成するのと同一のタップ構造の予測タップを構成し、足し込み部192に供給する。
特徴抽出部136は、注目教師画素の特徴を、生徒データ記憶部134に記憶された生徒データとしての低画質画像信号を用い、図17の特徴抽出部122における場合と同様に抽出し、クラス分類部137に供給する。
なお、予測タップ抽出部135と特徴抽出部136には、パラメータ生成部191が生成するパラメータzが供給されるようになっており、予測タップ抽出部135と特徴抽出部136は、パラメータ生成部191から供給されるパラメータzに対応して生成された生徒データ(ここでは、パラメータzに対応するカットオフ周波数のLPFを用いて生成された生徒データとしての低画質画像信号)を用いて、予測タップを構成し、あるいは、注目教師画素の特徴を抽出する。
クラス分類部137は、特徴抽出部136が出力する注目教師画素の特徴に基づき、図17のクラス分類部123と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部192に出力する。
足し込み部192は、教師データ記憶部132から、注目教師画素を読み出し、その注目教師画素、予測タップ抽出部135から供給される注目教師画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータzを対象とした足し込みを、クラス分類部137から供給されるクラスコードごとに行う。
即ち、足し込み部192には、教師データ記憶部132に記憶された教師データyk、予測タップ抽出部135が出力する予測タップxi,k(xj,k)、およびクラス分類部137が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータzも、パラメータ生成部191から供給されるようになっている。
そして、足し込み部192は、クラス分類部137から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xi,k(xj,k)とパラメータzを用い、式(20)の左辺の行列における、式(18)で定義されるコンポーネントXi,p,j,qを求めるための生徒データおよびパラメータzの乗算(xi,ktpxj,ktq)と、サメーション(Σ)に相当する演算を行う。なお、式(18)のtpは、式(10)にしたがって、パラメータzから計算される。式(18)のtqも同様である。
さらに、足し込み部192は、やはり、クラス分類部137から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xi,k、教師データyk、およびパラメータzを用い、式(20)の右辺のベクトルにおける、式(19)で定義されるコンポーネントYi,pを求めるための生徒データxi,k、教師データyk、およびパラメータzの乗算(xi,ktpyk)と、サメーション(Σ)に相当する演算を行う。なお、式(19)のtpは、式(10)にしたがって、パラメータzから計算される。
即ち、足し込み部192は、前回、注目教師画素とされた教師データについて求められた式(20)における左辺の行列のコンポーネントXi,p,j,qと、右辺のベクトルのコンポーネントYi,pを、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネントXi,p,j,qまたはベクトルのコンポーネントYi,pに対して、新たに注目教師画素とされた教師データについて、その教師データyk、生徒データxi,k(xj,k)、およびパラメータzを用いて計算される、対応するコンポーネントxi,ktpxj,ktqまたはxi,ktpykを足し込む(式(18)のコンポーネントXi,p,j,qまたは式(19)のコンポーネントYi,pにおけるサメーションで表される加算を行う)。
そして、足し込み部192は、0,1,・・・,Zのすべての値のパラメータzにつき、教師データ記憶部132に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式(20)に示した正規方程式をたてると、その正規方程式を、係数種算出部193に供給する。
係数種算出部193は、足し込み部192から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
パラメータ生成部191は、図18のパラメータメモリ184に供給されるパラメータzが取り得る範囲の幾つかの値としての、例えば、上述したようなz=0,1,2,・・・,Zを生成し、生徒データ生成部133に供給する。また、パラメータ生成部191は、生成したパラメータzを、予測タップ抽出部135および特徴抽出部136、並びに足し込み部192にも供給する。
次に、図22のフローチャートを参照して、図20の学習装置の処理(学習処理)について、説明する。
まず最初に、ステップS181において、教師データ生成部131と生徒データ生成部133が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部131は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部131には、パラメータ生成部191が生成するZ+1個の値のパラメータzが供給され、生徒データ生成部131は、学習用画像信号を、パラメータ生成部191からのZ+1個の値(0,1,・・・,Z)のパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、各フレームの教師データ(学習用画像信号)について、Z+1フレームの生徒データを生成して出力する。
教師データ生成部131が出力する教師データは、教師データ記憶部132に供給されて記憶され、生徒データ生成部133が出力する生徒データは、生徒データ記憶部134に供給されて記憶される。
その後、ステップS182に進み、パラメータ生成部191は、パラメータzを、初期値としての、例えば0にセットし、予測タップ抽出部135および特徴抽出部136、並びに足し込み部192に供給して、ステップS183に進む。ステップS183では、予測タップ抽出部135は、教師データ記憶部132に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップS183では、予測タップ抽出部135が、注目教師画素について、生徒データ記憶部134に記憶された、パラメータ生成部191が出力するパラメータzに対する生徒データ(注目教師画素となっている教師データに対応する学習用画像信号を、パラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより生成された生徒データ)から予測タップを構成し、足し込み部192に供給して、ステップS184に進む。
ステップS184では、特徴抽出部136が、やはり、注目教師画素について、生徒データ記憶部134に記憶された、パラメータ生成部191が出力するパラメータzに対する生徒データを用いて、注目教師画素の特徴を抽出し、クラス分類部137に供給して、ステップS185に進む。
ステップS185では、クラス分類部137は、特徴抽出部136からの注目教師画素の特徴に基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部192に出力して、ステップS186に進む。
ステップS186では、足し込み部192は、教師データ記憶部132から注目教師画素を読み出し、その注目教師画素、予測タップ抽出部135から供給される予測タップ、パラメータ生成部191が出力するパラメータzを用い、式(20)における左辺の行列のコンポーネントxi,Ktpxj,Ktqと、右辺のベクトルのコンポーネントxi,KtpyKを計算する。さらに、足し込み部192は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部137からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータzから求められた行列のコンポーネントxi,Ktpxj,Ktqとベクトルのコンポーネントxi,KtpyKを足し込み、ステップS187に進む。
ステップS187では、パラメータ生成部191が、自身が出力しているパラメータzが、その取り得る値の最大値であるZに等しいかどうかを判定する。ステップS187において、パラメータ生成部191が出力しているパラメータzが最大値Zに等しくない(最大値Z未満である)と判定された場合、ステップS188に進み、パラメータ生成部191は、パラメータzに1を加算し、その加算値を新たなパラメータzとして、予測タップ抽出部135および特徴抽出部136、並びに足し込み部192に出力する。そして、ステップS183に戻り、以下、同様の処理が繰り返される。
また、ステップS187において、パラメータzが最大値Zに等しいと判定された場合、ステップS189に進み、予測タップ抽出部135が、教師データ記憶部132に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップS189において、注目教師画素としていない教師データが、まだ、教師データ記憶部132に記憶されていると判定された場合、予測タップ抽出部135は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップS182に戻り、以下、同様の処理が繰り返される。
また、ステップS189において、注目教師画素としていない教師データが、教師データ記憶部132に記憶されていないと判定された場合、足し込み部192は、いままでの処理によって得られたクラスごとの式(20)における左辺の行列と、右辺のベクトルを、係数種算出部193に供給し、ステップS190に進む。
ステップS190では、係数種算出部193は、足し込み部192から供給されるクラスごとの式(20)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
なお、学習用画像信号の数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部193は、例えば、デフォルトの係数種データを出力するようになっている。
ところで、図20の学習装置では、図21に示したように、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号に、パラメータzに対応して解像度を劣化させた低画質画像信号を生徒データとして、式(11)によって係数種データβm,nとパラメータzに対応する変数tmとで表されるタップ係数wn、並びに生徒データxnから、式(1)の線形1次式で予測される教師データの予測値yの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、図23に示すようにして行うことが可能である。
即ち、図23の実施の形態では、図21の実施の形態における場合と同様に、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号を、パラメータzに対応したカットオフ周波数のLPFによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像信号を生徒データとして、まず最初に、タップ係数wn、並びに生徒データxnを用いて式(1)の線形1次予測式で予測される教師データの予測値yの自乗誤差の総和を最小にするタップ係数wnが、パラメータzの値(ここでは、z=0,1,・・・,Z)ごとに求められる。さらに、図23の実施の形態では、求められたタップ係数wnを教師データとするとともに、パラメータzを生徒データとして、式(11)によって係数種データβm,n、並びに生徒データであるパラメータzに対応する変数tmから予測される教師データとしてのタップ係数wnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める学習が行われる。
ここで、式(1)の線形1次予測式で予測される教師データの予測値yの自乗誤差の総和Eを最小(極小)にするタップ係数wnは、図12の学習装置における場合と同様に、式(8)の正規方程式をたてて解くことにより、各クラスについて、パラメータzの値(z=0,1,・・・,Z)ごとに求めることができる。
ところで、ここでは、式(11)に示したように、係数種データβm,nと、パラメータzに対応する変数tmとから、タップ係数が求められるが、いま、この式(11)によって求められるタップ係数を、wn’と表すこととすると、次の式(21)で表される、最適なタップ係数wnと式(11)により求められるタップ係数wn’との誤差enを0とする係数種データβm,nが、最適なタップ係数wnを求めるのに最適な係数種データとなるが、すべてのタップ係数wnについて、そのような係数種データβm,nを求めることは、一般には困難である。
なお、式(21)は、式(11)によって、次式のように変形することができる。
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
式(23)の自乗誤差の総和Eの最小値(極小値)は、式(24)に示すように、総和Eを係数種データβm,nで偏微分したものを0とするβm,nによって与えられる。
式(22)を、式(24)に代入することにより、次式が得られる。
いま、Xi,j,とYiを、式(26)と(27)に示すように定義する。
この場合、式(25)は、Xi,jとYiを用いた式(28)に示す正規方程式で表すことができる。
式(28)の正規方程式も、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、係数種データβm,nについて解くことができる。
次に、図24は、式(28)の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の構成例を示している。なお、図中、図12または図20における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
足し込み部138には、クラス分類部137が出力する注目教師画素についてのクラスコードと、パラメータ生成部191が出力するパラメータzが供給されるようになっている。そして、足し込み部138は、教師データ記憶部132から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部135から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部137から供給されるクラスコードごとに、かつパラメータ生成部191が出力するパラメータzの値ごとに行う。
即ち、足し込み部138には、教師データ記憶部132に記憶された教師データyk、予測タップ抽出部135が出力する予測タップxn,k、クラス分類部137が出力するクラスコード、およびパラメータ生成部191が出力する、予測タップxn,kを構成するのに用いられた生徒データを生成したときのパラメータzが供給される。
そして、足し込み部138は、クラス分類部137から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部191が出力するパラメータzの値ごとに、予測タップ(生徒データ)xn,kを用い、式(8)の左辺の行列における生徒データどうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
さらに、足し込み部138は、やはり、クラス分類部137から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部191が出力するパラメータzの値ごとに、予測タップ(生徒データ)xn,kと教師データykを用い、式(8)の右辺のベクトルにおける生徒データxn,kおよび教師データykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
即ち、足し込み部138は、前回、注目教師画素とされた教師データについて求められた式(8)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネント(Σxn,kxn',k)またはベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目教師画素とされた教師データについて、その教師データyk+1および生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1またはxn,k+1yk+1を足し込む(式(8)のサメーションで表される加算を行う)。
そして、足し込み部138は、教師データ記憶部132に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、パラメータzの各値ごとに、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部139に供給する。
タップ係数算出部139は、足し込み部138から供給される各クラスについての、パラメータzの値ごとの正規方程式を解くことにより、各クラスについて、パラメータzの値ごとの最適なタップ係数wnを求め、足し込み部201に供給する。
足し込み部201は、各クラスごとに、パラメータz(に対応する変数tm)と、最適なタップ係数wnを対象とした足し込みを行う。
即ち、足し込み部201は、パラメータzから式(10)によって求められる変数ti(tj)を用い、式(28)の左辺の行列における、式(26)で定義されるコンポーネントXi,jを求めるためのパラメータzに対応する変数ti(tj)どうしの乗算(titj)と、サメーション(Σ)に相当する演算を、クラスごとに行う。
ここで、コンポーネントXi,jは、パラメータzによってのみ決まるものであり、クラスとは関係がないので、コンポーネントXi,jの計算は、実際には、クラスごとに行う必要はなく、1回行うだけで済む。
さらに、足し込み部201は、パラメータzから式(10)によって求められる変数tiと、最適なタップ係数wnとを用い、式(28)の右辺のベクトルにおける、式(27)で定義されるコンポーネントYiを求めるためのパラメータzに対応する変数tiおよび最適なタップ係数wnの乗算(tiwn)と、サメーション(Σ)に相当する演算を、クラスごとに行う。
足し込み部201は、各クラスごとに、式(26)で表されるコンポーネントXi,jと、式(27)で表されるコンポーネントYiを求めることにより、各クラスについて、式(28)の正規方程式をたてると、その正規方程式を、係数種算出部202に供給する。
係数種算出部202は、足し込み部201から供給されるクラスごとの式(28)の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
図18の係数種メモリ183には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることもできる。
ここで、図18の係数出力部124においては、例えば、係数種メモリ183を設けずに、図24のタップ係数算出部139が出力するパラメータzの各値ごとの最適なタップ係数wnをメモリに記憶させておき、パラメータメモリ184に記憶されたパラメータzに応じて、メモリに記憶された最適なタップ係数を選択して、係数メモリ181にセットするようにすることも可能である。但し、この場合、パラメータzが取り得る値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種メモリ183を設け、係数種データを記憶させておく場合には、係数種メモリ183の記憶容量は、パラメータzが取り得る値の数に依存しないので、係数種メモリ183として、小さな容量のメモリを採用することができる。さらに、係数種データβm,nを記憶させておく場合には、その係数種データβm,nと、パラメータzの値とから、式(9)によりタップ係数wnが生成されることから、パラメータzの値に応じた、いわば連続的なタップ係数wnを得ることができる。そして、その結果、演算部125が第2の画像信号として出力する高画質画像信号の画質を、無段階に滑らかに調整することが可能となる。
なお、上述の場合には、学習用画像信号を、そのまま第2の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第1の画像信号に対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第1の画像信号を、その解像度を向上させた第2の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
この場合、画像変換部31では、パラメータzに対応して、画像信号の水平解像度および垂直解像度を向上させることができる。従って、この場合、パラメータzは、解像度に対応するパラメータであるということができる。
ここで、第1の画像信号に対応する生徒データと、第2の画像信号に対応する教師データとする画像信号の選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、パラメータzに対応するレベルのノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、係数種データとしては、第1の画像信号を、そこに含まれるノイズを除去(低減)した第2の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を、パラメータzに対応して間引いた画像信号を生徒データとして、または、パラメータzに対応するサイズの画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、係数種データとしては、第1の画像信号を、拡大または縮小した第2の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。
係数種メモリ183に、ノイズ除去処理用の係数種データや、リサイズ処理用の係数種データを記憶させておく場合、画像変換部31では、パラメータzに対応して、画像信号のノイズ除去やリサイズ(拡大または縮小)を行うことができる。
なお、上述の場合には、タップ係数wnを、式(9)に示したように、β1,nz0+β2,nz1+・・・+βM,nzM-1で定義し、この式(9)によって、水平および垂直方向の解像度を、いずれも、パラメータzに対応して向上させるためのタップ係数wnを求めるようにしたが、タップ係数wnとしては、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
即ち、タップ係数wnを、式(9)に代えて、例えば、3次式β1,nzx 0zy 0+β2,nzx 1zy 0+β3,nzx 2zy 0+β4,nzx 3zy 0+β5,nzx 0zy 1+β6,nzx 0zy 2+β7,nzx 0zy 3+β8,nzx 1zy 1+β9,nzx 2zy 1+β10,nzx 1zy 2で定義するとともに、式(10)で定義した変数tmを、式(10)に代えて、t1=zx 0zy 0,t2=zx 1zy 0,t3=zx 2zy 0,t4=zx 3zy 0,t5=zx 0zy 1,t6=zx 0zy 2,t7=zx 0zy 3,t8=zx 1zy 1,t9=zx 2zy 1,t10=zx 1zy 2で定義する。この場合も、タップ係数wnは、最終的には、式(11)で表すことができ、従って、学習装置(図20、図24)において、パラメータzxとzyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるタップ係数wnを求めることができる。
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータzxとzyに加えて、さらに、時間方向の解像度に対応するパラメータztを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータzx,zy,ztに対応して、それぞれ独立に向上させるタップ係数wnを求めることが可能となる。
また、リサイズ処理についても、解像度向上処理における場合と同様に、水平および垂直方向を、いずれもパラメータzに対応する拡大率(または縮小率)でリサイズするタップ係数wnの他、水平と垂直方向を、それぞれパラメータzxとzyに対応する拡大率で、独立にリサイズするタップ係数wnを求めることが可能である。
さらに、学習装置(図20、図24)において、パラメータzxに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータzyに対応して教師データにノイズを付加した画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータzxに対応して水平解像度および垂直解像度を向上させるとともに、パラメータzyに対応してノイズ除去を行うタップ係数wnを求めることができる。
なお、図15の画像変換部31Rの係数種メモリ183(図18)には、教師データとして、画像信号のR信号だけを用いるとともに、生徒データとして、画像信号のR,G,B信号のすべてを用いて学習を行うことにより得られる係数種データが記憶される。また、図15の画像変換部31Gの係数種メモリ183(図18)には、教師データとして、画像信号のG信号だけを用いるとともに、生徒データとして、画像信号のR,G,B信号のすべてを用いて学習を行うことにより得られる係数種データが記憶される。同様に、図15の画像変換部31Bの係数種メモリ183(図18)には、教師データとして、画像信号のB信号だけを用いるとともに、生徒データとして、画像信号のR,G,B信号のすべてを用いて学習を行うことにより得られる係数種データが記憶される。
次に、図25は、図15の信号処理部4を構成する信号処理部11R,11G,11Bの他の構成例を示している。なお、図中、図16における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図25の信号処理部11R,11G,11Bは、画像記憶部32R,32G,32Bが設けられておらず、信号処理部11Gにおいて、評価部33に代えて、制御部211が設けられている他は、図16における場合と同様に構成されている。
図25において、制御部211には、画像変換部31Gが出力する第2の画像信号ではなく、操作部185が出力するパラメータが供給されるようになっている。そして、制御部211は、操作部185が出力するパラメータを取得し、そのパラメータに応じて、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置を制御する。
即ち、図26は、図25の制御部211の構成例を示している。
制御信号出力部221は、操作部185から供給されるパラメータを取得し、パラメータテーブル記憶部222に記憶されたパラメータテーブルにおいて、操作部185から取得したパラメータと対応付けられているずれ量PhG,PvG,PhB,PvBを認識する。さらに、制御信号出力部221は、上述した制御信号出力部44と同様に、パラメータテーブルを用いて認識したずれ量PhG,PvG,PhB,PvBを、センサ部1に指定する制御信号を、センサ部1に供給し、これにより、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置を制御する。
パラメータテーブル記憶部222は、操作部185を操作することによって入力されるパラメータと、そのパラメータに対応した画像変換処理にとって適切な画像信号が得られるときのセンサ部1のR受光部23R,G受光部23G,B受光部23Bの配置位置を表すずれ量PhG,PvG,PhB,PvBとを対応付けたパラメータテーブルを記憶している。このパラメータテーブルは、後述するパラメータテーブルの学習によって、あらかじめ求められたものである。
従って、制御信号出力部221では、パラメータテーブルにおいて、操作部185から取得したパラメータと対応付けられているずれ量PhG,PvG,PhB,PvBを指定する制御信号をセンサ部1に供給することにより、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置が制御されるので、センサ部1からは、操作部185から取得したパラメータに対応した画像変換処理にとって、適切な画像信号が出力されることになる。そして、そのような画像信号に対して、操作部185から取得したパラメータに対応した画像変換処理を施すことにより、より高画質の画像信号を得ることができる。
次に、図27のフローチャートを参照して、図15の信号処理部4を構成する信号処理部11が図25に示したように構成される場合の、図15の撮像装置の動作について説明する。
まず最初に、ステップS191において、制御部211(図26)の制御信号出力部221は、操作部185が出力するパラメータを取得し、ステップS192に進む。ステップS192では、制御部211は、パラメータテーブル記憶部222に記憶されたパラメータテーブルにおいて、操作部185から取得したパラメータと対応付けられているずれ量PhG,PvG,PhB,PvBを認識し、そのずれ量PhG,PvG,PhB,PvBを指定する制御信号をセンサ部1に供給して、ステップS193に進む。これにより、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置が制御される。
ステップS193では、センサ部1が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して(被写体を撮像して)、信号調整部2に供給する。信号調整部2は、センサ部1から供給される画像信号に対して、CDS処理を施し、A/D変換部3に供給する。A/D変換部3は、信号調整部2から供給される画像信号をA/D変換し、第1の画像信号として、信号処理部11に供給して、ステップS193からS194に進む。
即ち、いまの場合、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置は、パラメータテーブルにおいて、操作部185が出力するパラメータと対応付けられているずれ量PhG,PvG,PhB,PvBに対応する位置となっている。従って、ステップS193では、センサ部1において、操作部185が出力するパラメータに対応した画像変換処理にとって、適切な画像信号が出力され、その画像信号が、第1の画像信号として、信号処理部11に供給される。
ステップS194では、信号処理部11(図25)の画像変換部31(図17)が、A/D変換部3から供給された第1の画像信号に対して、操作部185が出力するパラメータに対応した画像変換処理を施し、第1の画像信号よりも画質が改善された第2の画像信号を得て、ステップS195に進む。
ここで、画像変換部31に供給される第1の画像信号は、上述したように、操作部185が出力するパラメータに対応した画像変換処理にとって、適切な画像信号であり、従って、ステップS194において、その第1の画像信号に対して、操作部185から取得したパラメータに対応した画像変換処理を施すことにより、より高画質の画像信号を得ることができる。
ステップS195では、画像変換部31が、画像変換処理によって得られた第2の画像信号を、出力部5に出力して、1フレーム(または1フィールド)の画像についての処理を終了する。
撮像装置では、図27のフローチャートにしたがった処理が、例えば、ユーザにより撮像の停止が指令されるまで繰り返し行われる。
次に、図28は、図26のパラメータテーブル記憶部222に記憶させるパラメータテーブルの学習を行う学習装置の一実施の形態の構成例を示している。
センサ部231、信号調整部232,A/D変換部233は、図15のセンサ部1、信号調整部2,A/D変換部3とそれぞれ同様に構成される。但し、図15の撮像装置においては、センサ部1(図3)のR受光部23R,G受光部23G,B受光部23Bの配置位置が、信号処理部4(を構成する信号処理部11G(図25)の制御部211が出力する制御信号によって制御されるようになっていたが、図28の学習装置では、コントローラ237が出力する制御信号によって、センサ部231の、R受光部23R,G受光部23G,B受光部23Bそれぞれに対応する受光部の配置位置(以下、適宜、センサ部231における配置位置という)が制御されるようになっている。
画像変換部234は、図17に示した画像変換部31(31G)と同様に構成されている。但し、図17の画像変換部31では、操作部185が出力するパラメータに対応した画像変換処理が行われるが、図28の画像変換部234では、A/D変換部233が出力する第1の画像信号に対して、コントローラ237が出力するパラメータに対応した画像変換処理が施されるようになっている。
位置決定部235は、コントローラ237が出力するパラメータと、ずれ量PhG,PvG,PhB,PvB(以下、適宜、単に、ずれ量Pと記載する)を指定する制御信号を取得する。さらに、位置決定部235は、センサ部231において、コントローラ237が出力する制御信号に対応する配置状態(制御信号によって指定されるずれ量Pが表す配置状態)で撮像された第1の画像信号に対して、コントローラ237が出力するパラメータに対応した画像変換処理が施されることにより得られる第2の画像信号(以下、適宜、制御信号とパラメータに対応する第2の画像信号ともいう)を、画像変換処理部234から取得する。そして、位置決定部235は、画像変換部234から供給される第2の画像信号を評価し、その評価結果に対応して、コントローラ237が出力するパラメータと、制御信号が表すずれ量Pとを対応付けて、位置記憶部236に供給する。
位置記憶部236は、位置決定部235から供給される、対応付けられたパラメータとずれ量P、即ち、パラメータとずれ量Pとのセットを記憶する。ここで、位置記憶部236では、コントローラ237が出力するパラメータzの複数の値それぞれについて、パラメータと、そのパラメータに対応付けられたずれ量とのセットが記憶されるが、この複数のパラメータとずれ量とのセットの一覧が、パラメータテーブルである。
コントローラ237は、図20のパラメータ生成部191と同様に、パラメータzが取り得る範囲の幾つかの値としての、例えば、上述したようなz=0,1,2,・・・,Zを生成する。さらに、コントローラ237は、生成したパラメータの1つの値に対して、ずれ量Pが取り得る範囲の幾つかの値(p1,p2,・・・,pN)(Nは2以上の値)を生成する。そして、コントローラ237は、生成したパラメータの値を、順次、注目パラメータ値とし、注目パラメータ値zと、その注目パラメータ値に対して生成した複数の値それぞれずれ量Pとを、位置決定部235に供給する。さらに、コントローラ237は、位置決定部235に供給したずれ量Pを指定する制御信号を、センサ部231に供給する。
図29は、図28の位置決定部235の構成例を示している。
位置決定部235は、記憶部241、相関算出部242、および判定評価部243で構成される。記憶部241、相関算出部242、判定評価部243は、図6の記憶部41、相関算出部42、判定評価部43とそれぞれ同様に構成される。
但し、判定評価部243には、コントローラ237(図28)が出力するパラメータ(注目パラメータ値)とずれ量とが供給されるようになっている。そして、判定評価部243は、図6の判定評価部43と同様に、相関算出部242から供給される相関値に基づいて、画像変換部234(図28)が出力した第2の画像信号を評価し、その第2の画像信号の画質が高い、または低い旨の評価結果を得る。さらに、判定評価部243は、その評価結果に対応して、コントローラ237から供給されたパラメータとずれ量とを対応付け、その対応付けたパラメータとずれ量のセットを、位置記憶部236(図28)に供給する。
次に、図30のフローチャートを参照して、図28の学習装置によるパラメータテーブルの学習の処理(学習処理)について説明する。
まず最初に、ステップS201において、コントローラ237は、パラメータzが取り得る範囲の幾つかの値のうちのある値を、注目パラメータ値zとし、画像変換部234と、位置決定部235(図29)の判定評価部243とに供給する。さらに、ステップS201では、画像変換部234と判定評価部243とが、コントローラ237から供給される注目パラメータ値zを取得し、ステップS202に進む。
ステップS202では、センサ部231が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して(被写体を撮像して)、信号調整部232に供給する。信号調整部232は、センサ部231から供給される画像信号に対して、CDS処理を施し、A/D変換部233に供給する。A/D変換部233は、信号調整部232から供給される画像信号をA/D変換し、第1の画像信号として、画像変換部234に供給して、ステップS202からS203に進む。
ステップS203では、画像変換部234が、A/D変換部232から供給された第1の画像信号に対して、コントローラ237から取得した注目パラメータ値zに対応した画像変換処理を施し、第1の画像信号よりも画質が改善された第2の画像信号を、位置決定部235に供給して、ステップS204に進む。
ステップS204では、位置決定部235は、画像変換部234から供給される第2の画像信号を評価する評価処理を行い、ステップS205に進む。なお、ステップS204の評価処理の詳細については、図31を参照して後述する。
ステップS205では、位置決定部235(図29)の判定評価部243は、直前のステップS204における第2の画像信号の評価結果として、その第2の画像信号の画質が高い旨の評価結果が得られたかどうかを判定する。
ステップS205において、第2の画像信号の画質が高い旨の評価結果が得られなかったと判定された場合、ステップS206に進み、コントローラ237は、センサ部231に対して、ずれ量Pを指定する制御信号を供給することにより、センサ部231における配置位置を変更する(移動させる)。なお、コントローラ237は、制御信号によって推定するずれ量Pを、例えば、図6の制御信号出力部44と同様にして設定する。さらに、ステップS205では、コントローラ237は、センサ部231に供給したずれ量Pを、位置決定部235(の評価判定部243)にも供給し、ステップS202に戻る。
ステップS202では、直前のステップS206で配置位置が変更されたセンサ部231において、画像信号が取得され、以下、ステップS202乃至S206の処理が繰り返される。
ステップS202乃至S206の処理が繰り返されることにより、画像変換部234では、複数の配置位置でのセンサ部231それぞれにおいて取得された第1の画像信号に対して、注目パラメータ値zに対応した画像変換処理が施され、複数の配置位置、即ち、複数のずれ量それぞれに対して、注目パラメータ値zに対応した画像変換処理の結果としての第2の画像信号が得られる。さらに、注目パラメータ値zについて得られた複数のずれ量に対する第2の画像信号それぞれが、ステップS204において評価される。なお、ステップS201の処理後、最初に、ステップS202の処理が行われる場合、センサ部231は、所定のデフォルトの配置位置において画像信号を取得する。
その後、ステップS205において、第2の画像信号の画質が高い旨の評価結果が得られたと判定された場合、ステップS207に進み、位置決定部235の判定評価部243は、注目パラメータ値zと、その評価結果が得られたときにコントローラ237から供給されたずれ量P、即ち、画質が高い旨の評価結果が得られた第2の画像信号に対応する第1の画像信号を取得したときのセンサ部231における配置状態を表すずれ量Pとを対応付け、位置記憶部236に供給して記憶させる。これにより、位置記憶部236においては、注目パラメータ値zに対応した画像変換処理にとって適切な第1の画像信号を取得することのできるずれ量(以下、適宜、最適ずれ量という)Pが、注目パラメータ値zに対応付けて記憶される。
そして、ステップS207からS208に進み、コントローラ237は、パラメータzが取り得る範囲の幾つかの値すべてを注目パラメータ値zとして、最適ずれ量Pが求められたかどうかを判定する。ステップS208において、パラメータzが取り得る範囲の幾つかの値すべてに対して、まだ、最適ずれ量Pが求められていないと判定された場合、ステップS201に戻り、コントローラ237は、パラメータzが取り得る範囲の幾つかの値のうち、まだ注目パラメータ値としていないものを、新たな注目パラメータ値として、以下、同様の処理を繰り返す。
また、ステップS208において、パラメータzが取り得る範囲の幾つかの値すべてに対して、最適ずれ量Pが求められたと判定された場合、即ち、位置記憶部236に、パラメータzが取り得る範囲の幾つかの値それぞれと、最適ずれ量Pとのセットであるパラメータテーブルが記憶された場合、処理を終了する。
以上のように、パラメータzの複数の値それぞれについて、複数のずれ量Pそれぞれに対応する配置位置のセンサ部231で得られた第1の画像信号それぞれに対して、パラメータzに対応した画像変換処理を施し、その画像変換処理によって得られる第2の画像信号を評価し、画質の高い第2の画像信号が得られるときのずれ量である最適ずれ量Pを求めるようにしたので、パラメータzと、そのパラメータzに対応した画像変換処理にとって適切な第1の画像信号が得られるときの最適ずれ量Pとの対応関係としてのパラメータテーブルを求めることができる。そして、図25乃至図27で説明したように、パラメータテーブルに基づき、センサ部1の配置位置を、操作部185が出力するパラメータzに対応付けられたずれ量が表す位置として、第1の画像信号を撮像することにより、パラメータzに対応した画像変換処理にとって適切な画像信号を得ることができ、さらに、そのパラメータzに対応した画像変換処理によって、より高画質の第2の画像信号を得ることができる。
なお、図30の学習処理では、パラメータzが取り得る範囲の幾つかの値についてパラメータテーブルを求めるため、図26のパラメータテーブル記憶部222に記憶されたパラメータテーブルには、操作部185が出力するパラメータと同一の値が記憶されていない場合がある。この場合、制御信号出力部221は、パラメータテーブル記憶部222に記憶されたパラメータテーブルに記憶されているパラメータとずれ量との関係を、例えば線形補間することなどによって、操作部185が出力するパラメータに対応するずれ量を求めるようになっている。
次に、図31のフローチャートを参照して、図30のステップS204において図29の位置決定部235が行う評価処理について説明する。
評価処理では、まず最初に、ステップS211において、記憶部241が、直前のステップS203(図30)で画像変換部234から供給される第2の画像信号を記憶するとともに、相関算出部242が、その第2の画像信号を受信する。さらに、ステップS211では、相関算出部242が、画像変換部234から供給された第2の画像信号と、記憶部241が前回のステップS211で記憶した第2の画像信号との相関値を演算し、判定評価部243に供給して、ステップS212に進む。
ステップS212では、判定評価部243は、相関算出部242から供給される相関値を、その相関値を求めるのに用いられた2つの第2の画像信号のうちのいずれか一方が撮像されたときのずれ量Pと対応付けて、一時記憶し、ステップS213に進む。ここで、相関算出部242から供給される相関値を求めるのに用いられた2つの第2の画像信号のうちのいずれか一方が撮像されたときのずれ量Pは、コントローラ237(図28)から判定評価部243に供給される。
ステップS213では、判定評価部243は、いままでのステップS212で記憶した相関値とずれ量との関係について、相関値の極大値が得られたかどうかを判定する。ステップS213において、相関値の極大値が得られていないと判定された場合、ステップS214に進み、判定評価部243は、第2の画像信号が低画質である旨の評価を行い、図30のステップS205にリターンする。
この場合、図30のステップS205では、判定評価部243は、第2の画像信号の画質が高い旨の評価結果が得られなかったと判定し、ステップS206に進む。そして、ステップS206において、コントローラ237は、センサ部231に対し、いままでと異なるずれ量Pを指定する制御信号を供給するとともに、そのずれ量Pを、判定評価部243に供給する。
図31に戻り、ステップS213において、相関値の極大値が得られたと判定された場合、ステップS215に進み、判定評価部243は、第2の画像信号が高画質である旨の評価を行い、図30のステップS205にリターンする。
この場合、図30のステップS205では、判定評価部243は、第2の画像信号の画質が高い旨の評価結果が得られたと判定し、ステップS207に進む。そして、ステップS207では、上述したように、判定評価部243は、注目パラメータ値zと、その評価結果が得られたときにコントローラ237から供給されたずれ量P、即ち、画質が高い旨の評価結果が得られた第2の画像信号に対応する第1の画像信号を取得したときのセンサ部1における配置状態を表すずれ量(最適ずれ量)Pとを対応付け、位置記憶部236に供給して記憶させる。
なお、上述の場合には、ステップS213において、相関値の極大値が得られたと判定された場合に、第2の画像信号が高画質である旨の評価を行うこととしたが、その他、ステップS213において、所定の閾値以上の相関値の極大値が得られたと判定された場合に、第2の画像信号が高画質である旨の評価を行うようにすること等も可能である。
また、上述の場合には、第2の画像信号の評価を、相関値に基づいて行うようにしたが、第2の画像信号の評価は、その他、例えば、各値のずれ量PhG,PvG,PhB,PvBに対して得られる第2の画像信号のS/Nなどに基づいて行うこと等も可能である。さらに、第2の画像信号の評価は、外部から入力するようにしても良い。即ち、例えば、第2の画像信号を表示し、その表示画像を見たユーザから、第2の画像信号の評価を入力してもらうようにしても良い。
次に、上述した信号処理部4や、画質変換部234、位置決定部235、コントローラ237などの一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータや、汎用のコンピュータ等にインストールされる。
そこで、図32は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク305やROM303に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体311に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体311は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体311からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部308で受信し、内蔵するハードディスク305にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)302を内蔵している。CPU302には、バス301を介して、入出力インタフェース310が接続されており、CPU302は、入出力インタフェース310を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部307が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)303に格納されているプログラムを実行する。あるいは、また、CPU302は、ハードディスク305に格納されているプログラム、衛星若しくはネットワークから転送され、通信部308で受信されてハードディスク305にインストールされたプログラム、またはドライブ309に装着されたリムーバブル記録媒体311から読み出されてハードディスク305にインストールされたプログラムを、RAM(Random Access Memory)304にロードして実行する。これにより、CPU302は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU302は、その処理結果を、必要に応じて、例えば、入出力インタフェース310を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部306から出力、あるいは、通信部308から送信、さらには、ハードディスク305に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、画像変換部31および234では、上述した画像変換処理の他、例えば、第1の画像信号に対して、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、線形補間処理その他の処理を施した第2の画像信号を得る画像変換処理を行うことが可能である。
また、本実施の形態では、センサ部1および231として、いわゆる3板式の撮像手段を用いることとしたが、センサ部1および231としては、単板式や、2板または4板以上の撮像手段を採用することも可能である。
さらに、本実施の形態では、第2の画像信号の評価を、そのG信号(成分)を用いて行うようにしたが、第2の画像信号の評価は、そのR信号やB信号、あるいは、R,G,B信号のうちの2以上を用いて行うことも可能である。