JP4433545B2 - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents
画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 Download PDFInfo
- Publication number
- JP4433545B2 JP4433545B2 JP2000048983A JP2000048983A JP4433545B2 JP 4433545 B2 JP4433545 B2 JP 4433545B2 JP 2000048983 A JP2000048983 A JP 2000048983A JP 2000048983 A JP2000048983 A JP 2000048983A JP 4433545 B2 JP4433545 B2 JP 4433545B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel
- class
- target pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000003672 processing method Methods 0.000 title claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 18
- 230000006978 adaptation Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- JMANVNJQNLATNU-UHFFFAOYSA-N oxalonitrile Chemical compound N#CC#N JMANVNJQNLATNU-UHFFFAOYSA-N 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、１つの固体イメージセンサにより得られる画像に対し、その画像信号の１画素が赤（Ｒ：Red）成分、緑（Ｇ：Green）成分及び青（Ｂ：Blue）成分をもつように、クラス分類適応処理を用いて色成分を補間する画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２１の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２１の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２１の（Ｂ）乃至（Ｄ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ線形補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した単板式カメラでは、線形処理を行うことにより色信号の補間を行っているので、その撮像出力として得られる画像信号による画像の解像度が、３板式カメラの撮像出力として得られる画像信号による画像と比較して低く、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、色信号の予測処理をクラス分類適応処理を用いて行うにより、単板式カメラにおいて、３板式カメラの撮像出力として得られる画像信号による匹敵する画像信号を得られるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする。
【００１１】
また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップを有することを特徴とする。
【００１２】
また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップを有することを特徴とする。
【００１３】
また、本発明に係る学習装置は、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【００１４】
また、本発明に係る学習方法は、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１５】
さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１７】
本発明は、例えば図１に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられた色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００１８】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００１９】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２０】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２１】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２２】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２３】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２４】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２５】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２６】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２７】
次に、図２のフローチャートを参照し、図１に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００２８】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００２９】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３０】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３１】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３２】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３３】
次に、図３を参照して画像信号処理部８について説明する。
【００３４】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３５】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３６】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、ガンマ補正部２４に供給される。ガンマ補正部２４は、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２４によりガンマ補正された画像信号は、予測処理部２５に供給される。
【００３７】
予測処理部２５は、クラス分類適応処理を行うことによってガンマ補正部２４の出力を例えば３板式カメラのＣＣＤ出力相当の画像信号に変換して、補正部２６に供給する。上記予測処理部２５は、ブロック化部２８、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理部２９、クラス分類部３０、適応処理部３１、係数メモリ３２等からなる。
【００３８】
ブロック化部２８は、後述するクラスタップの画像信号をＡＤＲＣ処理部２９に供給するとともに、予測タップの画像信号を適応処理部３１に供給する。ＡＤＲＣ処理部２９は、入力されたクラスタップの画像信号に対してＡＤＲＣ処理を行って再量子化コードを生成し、この再量子化コードを特徴情報としてクラス分類部３０に供給する。クラス分類部３０は、ＡＤＲＣ処理部２９から供給される特徴情報に基づいて、画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を生成する。係数メモリ３２は、クラス分類部３０により分類されたクラス番号に対応する係数セットを適応処理部３１に供給する。適応処理部３１は、係数セットメモリ３２から供給された係数セットを用いて、ブロック化部２８から供給された予測タップの画像信号から予測画素値を求める処理を行う。
【００３９】
補正部２６は、上記予測処理部２５により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４０】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４１】
ここで、上記図２に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図４のフローチャートを参照して説明する。
【００４２】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４３】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、ガンマ補正部２４によりガンマ曲線に従った補正を施す。
【００４４】
ステップＳ１５では、クラス分類適応処理を用いた予測処理を行う。かかる処理は、ステップＳ１５１〜ステップＳ１５５までのステップからなる。ステップＳ１５１では、ガンマ補正部２４によりガンマ補正された画像信号に対してブロック化部２８によりブロック化、すなわち、クラスタップ及び予測タップの切り出しを行う。ここで、クラスタップは、複数種類の色信号に対応する画素を含む。 ステップＳ１５２では、ＡＤＲＣ処理部２９によりＡＤＲＣ処理を行う。
【００４５】
ステップＳ１５３では、クラス分類部３０においてＡＤＲＣ処理の結果と各色信号間の関係とからクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理部３１に与える。
【００４６】
ステップＳ１５４において、適応処理部３１は、クラス分類部３０より与えられたクラス番号に対応する予測係数セットを係数メモリ３２から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【００４７】
ステップＳ１５５では、すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合にはステップＳ１６に移行し、それ以外の場合にはステップＳ１５１に移行し、次の領域に対する処理を行う。
【００４８】
ステップＳ１６では、ステップＳ１５によつて得られた３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によつて得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００４９】
ここで、クラス分類適応処理について説明する。クラス分類適応処理を用いた予測演算を行うための一般的な構成例を図５に示す。入力画像信号が領域切り出し部１０１、１０２に供給される。領域切り出し部１０１は、入力画像信号から所定の画像領域（クラスタップと称される）を抽出し、クラスタップの信号をＡＤＲＣ処理部１０３に供給する。ＡＤＲＣ処理部１０３は、供給される信号にＡＤＲＣ処理を施すことにより、再量子化コードを生成する。なお、再量子化コードを生成する方法として、ＡＤＲＣ以外の方法を用いても良い。
【００５０】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンすなわち空間アクティビティの検出に使用することができる。ＡＤＲＣ処理部１０３では、以下の式（１）により、クラスタップとして切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００５１】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ ／ＤＲ〕 （１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素の信号レベルであり、Ｑが再量子化コードである。ただし、大かっこ（〔・・・〕）は小数点以下を切り捨てる処理を意味する。
【００５２】
これにより、１画素当たり例えば８ビットからなるクラスタップの画像信号が例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップの信号におけるレベル分布のパターンがより少ない情報量によつて表現される。例えば７画素からなるクラスタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ１〜ｑ７が生成される。クラスコードclass は、次の式（２）のようなものである。
【００５３】
【数１】
【００５４】
ここで、ｎはクラスタップとして切り出される画素の数である。また、ｐの値としては、例えばp＝２とすることができる。
【００５５】
クラスコードclass は、時空間内での画像信号のレベル分布のパターンすなわち空間アクティビティを特徴情報として分類してなるクラスを表現している。クラスコードclass は、予測係数メモリ１０４に供給される。予測係数メモリ１０４は、後述するようにして予め決定されたクラス毎の予測係数セットを記憶しており、供給される再量子化コードによって表現されるクラスの予測係数セットを出力する。一方、領域切り出し部１０２は、入力画像から所定の画像領域（予測タップと称される）を抽出し、予測タップの画像信号を予測演算部１０５に供給する。予測演算部１０５は、領域切り出し部１０２の出力と、予測係数メモリ１０４から供給される予測係数セットとに基づいて以下の式（３）のような演算を行うことにより、出力画像信号ｙを生成する。
【００５６】
ｙ＝ｗ1×ｘ1＋ｗ2×ｘ2＋・・・＋ｗn×ｘn （３）
ここで、ｘ1 ，・・・，ｘn が各予測タップの画素値であり、ｗ1 ，・・・，ｗn が各予測係数である。
【００５７】
また、予測係数セットを決定するための処理について図６を参照して説明する。出力画像信号と同一の画像信号形式を有するＨＤ(High Definition) 画像信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を行うことにより、ＨＤ画像信号を入力画像信号と同等の解像度（画素数）の画像信号（以下、ＳＤ(Standard Definition) 画像信号という）に変換する。このＳＤ画像信号が領域切り出し部２０２、２０３に供給される。領域切り出し部２０２は、上記領域切り出し部１０１と同様に、ＳＤ画像信号からクラスタップを切り出し、クラスタップの画像信号をＡＤＲＣ処理部２０４に供給する。
【００５８】
ＡＤＲＣ処理部２０４は、図６中のＡＤＲＣ処理部１０３と同様なＡＤＲＣ処理を行い、供給される信号に基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部２０５に供給される。クラスコード生成部２０５は、供給される再量子化コードに対応するクラスを示すクラスコードを生成し、クラスコードを正規方程式加算部２０６に供給する。一方、領域切り出し部２０３は、図６中の領域切り出し部１０２と同様に、供給されるＳＤ画像信号から予測タップを切り出し、切り出した予測タップの画像信号を正規方程式加算部２０６に供給する。
【００５９】
正規方程式加算部２０６は、領域切り出し部２０３から供給される画像信号と画素抽出部２０８から供給される画像信号について、クラスコード生成部２０５から供給されるクラスコード毎に加算し、加算した各クラス毎の信号を予測係数決定部２０７に供給する。予測係数決定部２０７は、供給される各クラス毎の信号に基づいて各クラス毎に予測係数セットを決定する。
【００６０】
さらに、予測係数セットを決定するための演算について説明する。予測係数ｗi は、図６に示したような構成に対し、ＨＤ画像信号として複数種類の画像信号を供給することにより、次のよう演算される。これらの画像信号の種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００６１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・＋ｗn ×ｘkn （４）
（ｋ＝１，２，・・・，ｍ）
ｍ＞ｎの場合には、ｗ1 ，・・・，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅｋを以下の式（５）で定義して、式（６）によつて定義される誤差ベクトルｅの２乗を最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によつて予測係数セットを一意に定める。
【００６２】
ｅk ＝ｙk−｛w1 ×ｘk1＋ｗ2 ×ｋ2 ＋・・・＋ｗn ×ｋn ｝ （５）
（ｋ＝１，２，・・・ｍ）
【００６３】
【数２】
【００６４】
式（６）のｅ2 を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi （ｉ＝１，２，・・・）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を決定すればよい。
【００６５】
【数３】
【００６６】
式（７）から各予測係数ｗi を決定する具体的な手順について説明する。式（８），（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００６７】
【数４】
【００６８】
【数５】
【００６９】
【数６】
【００７０】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部２０５は、供給される信号に基づいて式（８），（９）に示すような演算を行うことにより、Ｘji，Ｙi （ｉ＝１，２，・・・，ｎ）をそれぞれ計算する。予測係数決定部２０７は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗi （ｉ＝１，２，・・・）を算出する。
【００７１】
ここでは、注目画素の特徴情報に対応した予測係数セットと予測タップを用いて、上述の式（３）における線形１次結合モデルの演算を行うことにより、適応処理を行う。なお、適応処理に用いる注目画素の特徴情報に対応した予測係数セットは、学習により得るが、クラス対応の画素値を用いたり、非線形モデルの演算により適応処理を行うこともできる。
【００７２】
上述したようなクラス分類適応処理により、入力画像信号から、例えばノイズが除去された画像信号、走査線構造が変換されてなる画像信号等を出力画像信号として生成する種々の画像信号変換処理が実現される。
【００７３】
このデジタルスチルカメラ１では、例えば、単板式カメラのＣＣＤイメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、決定されたクラスに基づいて、上記注目画素の位置に、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成するクラス分類適応処理を上記予測処理部２５で行うことによって、３板式カメラのＣＣＤ出力相当の画像信号を得ることができる。
【００７４】
ここで、図７に予測タップの構造の一例を示す。予測タップは、注目画素（処理対象となる画素）を中心とし、隣接する３×３個の９画素から構成されている。ブロック化部２８は、注目画素毎に予測タップを抽出することにより、予測タップに対応する注目画素を中心とする９画素からなるブロックを複数個生成する。この注目画素は、１フレームを構成するすべての画素が対象となる。
【００７５】
適応処理部３１により行われる適応処理により、注目画素の画素信号がＲ信号である場合、そのＲ信号の画素の位置に、Ｒ信号、Ｇ信号及びＢ信号が生成される。同様に、注目画素の画素信号がＧ信号又はＢ信号の場合も、Ｒ信号、Ｇ信号及びＢ信号が、それぞれ生成される。すなわち、１フレーム分の画素信号の内、図８の（Ａ）に示すように８×６画素から構成される部分を考えた場合、この８×６画素すべてを順次、注目画素として適応処理することにより、図８の（Ｂ），（Ｃ）及び（Ｄ）に示すように、Ｒ信号のみから構成される８×６画素、Ｇ信号のみから構成される８×６画素及びＢ信号のみから構成される８×６画素が、それぞれ得られる。換言すれば、３板カメラのＣＣＤ出力相当の画像信号が得られる。
【００７６】
このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類適応処理を用いて、３板式カメラのＣＣＤ出力相当の各色信号Ｒ，Ｇ，Ｂを得ることことにより、エッジ部分や細部の鮮鋭度が増し、Ｓ／Ｎ比の評価値も向上する。
【００７７】
この場合、例えば図９の（Ａ）に示すような３×３画素（Ｇ11，Ｂ12，・・・Ｂ32，Ｇ33）の中心画素（Ｇ22）にＲ信号を生成するためには、３×３画素（Ｇ11，Ｂ12，・・・Ｂ32，Ｇ33）に対応して図９の（Ｂ）に示すような予測係数セット（ｗ1 〜ｗ9 ）が用いられる。図９の（Ａ）及び（Ｂ）は、注目画素（Ｇ22）がＧ信号であり、このＧ信号の注目画素（Ｇ22）に隣接する上下方向にＢ信号の画素（Ｂ12，Ｂ32）、左右方向にＲ信号の画素（Ｒ21，Ｒ22）、斜め方向にＧ信号の画素（Ｇ11，Ｇ13，Ｇ31，Ｇ33）が位置している場合で、この注目画素（Ｇ22）であるＧ信号の位置にＲ信号を生成する場合に用いる予測係数セット（ｗ1 〜ｗ9 ）の一例を示している。
【００７８】
また、図１０の（Ａ）に示すような３×３画素（Ｇ11，Ｒ12，・・・Ｒ32，Ｇ33）の中心画素（Ｇ22）にＲ信号を生成するためには、３×３画素（Ｇ11，Ｒ12，・・・Ｒ32，Ｇ33）に対応して図１０の（Ｂ）に示すような予測係数セット（ｗ1 〜ｗ9 ）が用いられる。図１０の（Ａ）及び（Ｂ）は、注目画素（Ｇ22）がＧ信号であり、この注目画素（Ｇ22）のＧ信号の位置にＲ信号を生成する場合であるが、注目画素（Ｇ22）であるＧ信号に隣接する上下方向にはＲ信号の画素（Ｒ12，Ｒ32）が、左右方向にはＢ信号の画素（Ｂ21，Ｂ22）が、それぞれ位置している場合で、この注目画素（Ｇ22）であるＧ信号の位置にＲ信号を生成する場合の予測係数セット（ｗ1 〜ｗ9 ）の一例を示している。
【００７９】
さらに、図１１の（Ａ）に示すような３×３画素（Ｒ11，Ｇ12，・・・Ｇ32，Ｒ33）の中心画素（Ｂ22）にＲ信号を生成するためには、３×３画素（Ｒ11，Ｇ12，・・・Ｇ32，Ｒ33）に対応して図１１の（Ｂ）に示すような予測係数セット（ｗ1 〜ｗ9 ）が用いられる。図１１の（Ａ）及び（Ｂ）は、注目画素（Ｂ22）がＢ信号であり、この注目画素（Ｂ22）の上下左右方向にＧ信号の画素（Ｇ12，Ｇ21，Ｇ23，Ｇ32）、斜め方向にＲ信号の画素（Ｒ11，Ｒ13，Ｒ31，Ｒ33）が位置している場合で、この注目画素（Ｂ22）であるＢ信号の位置にＲ信号を生成する場合の予測係数セット（ｗ1 〜ｗ9 ）を示している。
【００８０】
上記予測係数セットは、予め学習により得られるもので、上記係数メモリ３２に記憶されている。
【００８１】
ここで、この学習について説明する。図１２は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００８２】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き部４１及び教師画像ブロック化部４５に供給される。間引き部４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き部４１の出力が生徒画像信号として生徒画像ブロック化部４２に供給される。
【００８３】
生徒画像ブロック化部４２は、間引き部４１により生成された生徒信号から、ブロック毎に教師画像信号の予測画素との対応を取りながら、注目画素に基づくクラスタップ及び予測タップを抽出することにより、生徒画像信号をブロック化してＡＤＲＣ処理部４３と演算部４６に供給する。ＡＤＲＣ処理部４３は、生徒画像ブロック化部４２から供給された生徒画像信号にＡＤＲＣ処理を施し特徴情報を生成し、クラス分類部４４に供給する。クラス分類部４４は、入力された特徴情報からクラスコードを発生し、演算部４６に出力する。
【００８４】
ここでは、教師画像信号は、３板式カメラのＣＣＤ出力相当の解像度をもつ画像信号であり、生徒画像信号は、単板式カメラのＣＣＤ出力相当の解像度をもつ画像信号、換言すれば、３板式カメラより解像度の低い画像信号である。さらに換言するに、教師画像信号は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色成分をもつ画像信号であり、生徒画像信号は、１画素がＲ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみをもつ画像信号である。
【００８５】
一方、教師画像ブロック化部４５は、生徒画像信号におけるクラスタップとの対応を取りながら、教師画像信号から予測画素の画像信号を切り出し、切り出した予測画像信号を演算部４６に供給する。演算部４６は、生徒画像ブロック化部４２から供給される予測タップの画像信号と、教師画像ブロック化部４５より供給される予測画画像信号との対応を取りながら、クラス分類部４４より供給されるクラス番号に従って、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算部４６によつて生成される正規方程式のデータが学習データメモリ４７に逐次読み込まれ、記憶される。
【００８６】
演算部４８は、学習データメモリ４７に蓄積された正規方程式のデータを用いて正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ４９に記憶される。係数メモリ４９の記憶内容は、上述の係数メモリ３２にロードされ、クラス分類適応処理を行う際に使用される。
【００８７】
次に、図１３のフローチャートを参照して、学習装置４０の動作について説明する。
【００８８】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図１４の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図１４の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００８９】
ステップＳ３１では、教師画像ブロック化部４５において、入力された教師画像信号をブロック化し、入力された教師画像信号から生徒画像ブロック化部４２が注目画素として設定する画素に対応する位置に位置する予測画素の画素値を抽出して、演算部４６に出力する。
【００９０】
また、ステップＳ３２では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き部４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図１４の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号を生徒画像ブロック化部４２に出力する。
【００９１】
ステップＳ３３では、生徒画像ブロック化部４２において、入力された生徒画像信号のブロック化を行い、各ブロック毎に、注目画素に基づいて、クラスタップと予測タップを生成する。
【００９２】
ステップＳ３４では、ＡＤＲＣ処理部４３において、生徒画像信号から切り出されたクラスタップの信号を各色信号毎にＡＤＲＣ処理する。
【００９３】
ステップＳ３５では、クラス分類部４４において、ステップＳ３３におけるＡＤＲＣ処理の結果に基づいてクラス分類し、分類されるクラスに対応するクラス番号を示す信号を出力する。
【００９４】
ステップＳ３６では、演算部４６において、クラス分類部４４より供給されたクラス毎に、生徒画像ブロック化部４２より供給された予測タップと、教師画像ブロック化部４５より供給される予測画像に基づいて、上述の式（１０）の正規方程式を生成する処理を実行する。正規方程式は、学習データメモリ４７に記憶される。
【００９５】
ステップＳ３７では、演算部４６によりすべてのブロックについての処理が終了したか否かを判定する。まだ処理していないブロックが存在する場合には、ステップＳ３６に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ３７において、すべてのブロックについての処理が終了したと判定された場合、ステップＳ３８に進む。
【００９６】
ステップＳ３８では、演算部４８において、学習データメモリ４７に記憶された正規方程式を例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類部４４により出力されたクラスコードと関連付けられ、係数メモリ４９に記憶される。
【００９７】
ステップＳ３９において、演算部４８においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップＳ３８に戻り、それ以降の処理を繰り返し実行する。
【００９８】
ステップＳ３９において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【００９９】
このようにしてクラスコードと関連付けられて係数メモリ４９に記憶された予測係数セットは、図３に示した画像信号処理部８の係数メモリ３２に記憶されることになる。そして、画像信号処理部８の適応処理部３１は、上述したように、係数メモリ３２に記憶されている予測係数セットを用いて、式（３）に示した線形１次結合モデルにより、注目画素に対して適応処理を行う。
【０１００】
図１５、図１６、図１７及び図１８は、ベイヤー配列の色フィルタアレイにより色コーディングされた画像信号に対し、注目画素（図中、斜線を付けた画素）の位置に、Ｒ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に、クラスを決定するの用いられるにクラスタップの一例の構造を示す。
【０１０１】
図１５の（Ａ）〜（Ｃ）に示すクラスタップ１は、左右方向にＲ信号の画素が隣接するＧ信号の画素を注目画素とした場合を示している。
【０１０２】
図１５の（Ａ）に示したクラスタップ１は、注目画素のＧ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する左右方向に位置するＲ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、及び右方向又は左方向に位置するＲ信号の画素、合計８画素から構成される。
【０１０３】
図１５の（Ｂ）に示したクラスタップ１は、注目画素のＧ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する斜め方向に位置するＧ信号の画素と、Ｇ信号の注目画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＧ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１０４】
図１５の（Ｃ）に示したクラスタップ１は、注目画素のＧ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する上下方向に位置するＢ信号の画素と、それらのＢ信号の画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＢ信号の画素の、合計８画素から構成されている。
【０１０５】
図１６に示すクラスタップ２は、左右方向にＢ信号の画素が隣接するＧ信号の画素を注目画素とした場合を示している。
【０１０６】
図１６の（Ａ）に示したクラスタップ２は、注目画素のＧ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する上下方向に位置するＲ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、及び右方向又は左方向に位置するＲ信号の画素、合計８画素から構成される。
【０１０７】
図１６の（Ｂ）に示したクラスタップ２は、注目画素のＧ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する斜め方向に位置するＧ信号の画素と、Ｇ信号の注目画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＧ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１０８】
図１６の（Ｃ）に示したクラスタップ２は、注目画素のＧ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する左右方向に位置するＢ信号の画素と、それらのＢ信号の画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＢ信号の画素の、合計８画素から構成されている。
【０１０９】
図１７に示すクラスタップ３は、左右方向にＧ信号の画素が隣接するＢ信号の画素を注目画素とした場合を示している。
【０１１０】
図１７の（Ａ）に示したクラスタップ３は、注目画素のＢ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｂ信号に隣接する斜め方向に位置するＲ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、右方向、あるいは、左方向に位置するＲ信号の画素の、合計８画素から構成されている。
【０１１１】
図１７の（Ｂ）に示したクラスタップ３は、注目画素のＢ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｂ信号の注目画素に隣接する上下左右方向に位置するＧ信号の画素と、それらのＧ信号の画素の斜め上方向、あるいは斜め下方向に位置するＧ信号の画素の、合計８画素から構成されている。
【０１１２】
図１７の（Ｃ）に示したクラスタップ３は、注目画素のＢ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｂ信号の注目画素より１画素離れて上下方向、右左方向及び斜め方向に位置するＲ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１１３】
図１８に示すクラスタップ４は、左右方向にＧ信号の画素が隣接するＲ信号の画素を注目画素とした場合を示している。
【０１１４】
図１８の（Ａ）に示したクラスタップ４は、注目画素のＲ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｒ信号の注目画素より１画素離れて上下方向、右左方向及び斜め方向に位置するＲ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１１５】
図１８の（Ｂ）に示したクラスタップ４は、注目画素のＲ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｒ信号の注目画素に隣接する上下左右方向に位置するＧ信号の画素と、それらのＧ信号の画素の斜め上方向、あるいは斜め下方向に位置するＧ信号の画素の、合計８画素から構成されている。
【０１１６】
図１８の（Ｃ）に示したクラスタップ４は、注目画素のＲ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｒ信号に隣接する斜め方向に位置するＢ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、右方向、あるいは、左方向に位置するＲ信号の画素の、合計８画素から構成されている。
【０１１７】
このデジタルスチルカメラ１では、ブロック化部２８において、注目画素の画像信号の色の種類と、その注目画素の位置に生成する画像信号の色の種類により、上述したクラスタップ１乃至４を使い分けて抽出された複数の画素に基づいてクラスタップを抽出し、抽出されたクラスタップに対してＡＤＲＣ処理部２９でＡＤＲＣ処理を施すことにより特徴情報を生成する。そして、適応処理部３１において、ＡＤＲＣ処理により生成された特徴情報をクラス分類部３０で分類することにより得られるクラス番号（クラスコード）に対応する係数セットを係数メモリ３２から読み出して、式（３）に示した線形１次結合モデルにより、注目画素に対して適応処理を行うことによって、上記注目画素の位置に、すべての色成分と異なる色成分を持つ画素を生成することができる。
【０１１８】
このように、入力された画像内の注目画素に基づいて、クラスタップと予測タップを抽出し、抽出されたクラスタップからクラスコードを生成し、その生成されたクラスコードに対応する予測係数セットと予測タップを用いて、注目画素の位置にＲＧＢ全ての色信号を生成するようにしたので、解像度の高い画像を得ることが可能となる。
【０１１９】
なお、上述した説明においては、画像信号処理部８が適応処理に用いる予測タップと、学習装置４０が予測係数セットを算出する際に用いるクラスタップは、異なる構造としたが、同一の構造としても良い。また、予測タップとクラスタップは、上述した構造に限定されるものではない。
【０１２０】
さらに、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応する事は可能である。
【０１２１】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図１９に示す。
【０１２２】
図１９の（Ａ）〜（Ｇ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１２３】
図１９の（Ａ）はベイヤー配列を示し、図１９の（Ｂ）はインタライン配列を示し、図１９の（Ｃ）はＧストライプＲＢ市松配列を示し、図１９の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図１９の（Ｅ）はストライプ配列を示し、図１９の（Ｆ）は斜めストライプ配列を示し、図１９の（Ｇ）は原色色差配列を示す。
【０１２４】
また、図１９の（Ｈ）〜（Ｎ）は、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図１９の（Ｈ）はフィールド色差順次配列を示し、図１９の（Ｉ）がフレーム色差順次配列を示し、図１９の（Ｊ）はＭＯＳ型配列を示し、図１９の（Ｋ）は改良ＭＯＳ型配列を示し、図１９の（Ｌ）はフレームインターリーブ配列を示し、図１９の（Ｍ）はフィールドインターリーブ配列を示し、図１９の（Ｎ）はストライプ配列を示す。
【０１２５】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図１９の（Ｉ）に示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ，
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ，
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【０１２６】
このようにして適応処理により単板式カメラのＣＣＤ出力相当の画像信号から得られる３板式カメラのＣＣＤ出力相当の画像信号は、従来の線形補間処理による場合と比較して、鮮明な画像となる。
【０１２７】
このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類を用いて、３板式カメラのＣＣＤ出力相当の各色信号Ｒ，Ｇ，Ｂを得ることができるので、エッジ部分や細部の鮮鋭度が増し、ＳＮの評価値も向上する。
【０１２８】
なお、上述した説明においては、画像信号処理部８が適応処理に用いる予測タップと、学習装置５１が予測係数セットを算出する際に用いるクラスタップは、異なる構造としたが、同一の構造としても良い。また、予測タップとクラスタップは、上述した構造に限定されるものではない。
【０１２９】
また、上述した説明では、色コーディングフィルタとして、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応する事は可能である。また、信号のクラス削減方式として、ＡＤＲＣを用いたが、例えば、ＤＣＴ(Discrete Cosine Transform) 、ＶＱ（ベクトル量子化）、ＤＰＣＭ(Differential Pulse Code Modulation)、ＢＴＣ(Block Trancation Coding) 、非線形量子化などを用いても良い。さらに、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【０１３０】
さらに、上記予測処理部２５におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２０に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１３１】
【発明の効果】
以上の如く本発明によれば、入力画像信号の注目画素に基づいて、クラスタップと予測タップを抽出し、抽出されたクラスタップからクラスコードを生成し、その生成されたクラスコードに対応する予測係数セットと予測タップを用いて、注目画素の位置にＲＧＢ全ての色信号を生成するようにしたので、解像度の高い画像を得ることが可能となる。
【０１３２】
また、本発明によれば、入力された教師画像信号から生徒画像信号を生成し、その生徒画像信号の注目画素に基づいて、クラスタップを抽出し、生徒画像信号の注目画素に対応する位置に位置する教師画像信号の画素値を抽出し、抽出されたクラスタタップからクラスコードを生成し、抽出されたクラスタップと画素値を用いて、生徒画像の注目画素の位置に新たな色信号を生成するための演算に用いる予測係数セットを算出し、算出された予測係数セットとクラスコードを関連付けて記憶するようにしたので、解像度の高い画像を得るための処理を行う画像信号処理装置が用いる予測係数セットを算出することができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図２】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図３】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図４】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図５】クラス分類適応処理を用いた予測演算を行うための構成例を示す示すブロック図である。
【図６】予測係数セットを決定するための構成例を示すブロック図である。
【図７】予測タップの構造例を模式的に示す図である。
【図８】上記画像信号処理部におけるクラス適応処理による画像信号処理の一例を模式的に示す図である。
【図９】予測係数セットの一例を示す図である。
【図１０】予測係数セットの一例を示す図である。
【図１１】予測係数セットの一例を示す図である。
【図１２】予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図１３】上記学習装置の動作を説明するためのフローチャートである。
【図１４】上記学習装置による学習処理の一例を模式的に示す図である。
【図１５】クラスタップを模式的に示す図である。
【図１６】クラスタップを模式的に示す図である。
【図１７】クラスタップを模式的に示す図である。
【図１８】クラスタップを模式的に示す図である。
【図１９】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２０】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２１】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１ デジタルスチルカメラ、５ ＣＣＤイメージセンサ、８ 画像信号処理部、２５ 予測処理部、２８ ブロック化部、２９ ＡＤＲＣ処理部、３０ クラス分類部、３１ 適応処理部、３２ 係数セットメモリ、４０ 学習装置、４１間引き部、４２ 生徒画像ブロック化部、４３ ＡＤＲＣ処理部、４４ クラス分類部、４５ 教師画像ブロック化部、４６ 演算部、４７ 学習データメモリ、４８ 演算部、４９ 係数メモリ
【発明の属する技術分野】
本発明は画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、１つの固体イメージセンサにより得られる画像に対し、その画像信号の１画素が赤（Ｒ：Red）成分、緑（Ｇ：Green）成分及び青（Ｂ：Blue）成分をもつように、クラス分類適応処理を用いて色成分を補間する画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２１の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２１の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２１の（Ｂ）乃至（Ｄ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ線形補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した単板式カメラでは、線形処理を行うことにより色信号の補間を行っているので、その撮像出力として得られる画像信号による画像の解像度が、３板式カメラの撮像出力として得られる画像信号による画像と比較して低く、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、色信号の予測処理をクラス分類適応処理を用いて行うにより、単板式カメラにおいて、３板式カメラの撮像出力として得られる画像信号による匹敵する画像信号を得られるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする。
【００１１】
また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップを有することを特徴とする。
【００１２】
また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップを有することを特徴とする。
【００１３】
また、本発明に係る学習装置は、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【００１４】
また、本発明に係る学習方法は、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１５】
さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１７】
本発明は、例えば図１に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられた色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００１８】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００１９】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２０】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２１】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２２】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２３】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２４】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２５】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２６】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２７】
次に、図２のフローチャートを参照し、図１に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００２８】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００２９】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３０】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３１】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３２】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３３】
次に、図３を参照して画像信号処理部８について説明する。
【００３４】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３５】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３６】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、ガンマ補正部２４に供給される。ガンマ補正部２４は、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２４によりガンマ補正された画像信号は、予測処理部２５に供給される。
【００３７】
予測処理部２５は、クラス分類適応処理を行うことによってガンマ補正部２４の出力を例えば３板式カメラのＣＣＤ出力相当の画像信号に変換して、補正部２６に供給する。上記予測処理部２５は、ブロック化部２８、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理部２９、クラス分類部３０、適応処理部３１、係数メモリ３２等からなる。
【００３８】
ブロック化部２８は、後述するクラスタップの画像信号をＡＤＲＣ処理部２９に供給するとともに、予測タップの画像信号を適応処理部３１に供給する。ＡＤＲＣ処理部２９は、入力されたクラスタップの画像信号に対してＡＤＲＣ処理を行って再量子化コードを生成し、この再量子化コードを特徴情報としてクラス分類部３０に供給する。クラス分類部３０は、ＡＤＲＣ処理部２９から供給される特徴情報に基づいて、画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を生成する。係数メモリ３２は、クラス分類部３０により分類されたクラス番号に対応する係数セットを適応処理部３１に供給する。適応処理部３１は、係数セットメモリ３２から供給された係数セットを用いて、ブロック化部２８から供給された予測タップの画像信号から予測画素値を求める処理を行う。
【００３９】
補正部２６は、上記予測処理部２５により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４０】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４１】
ここで、上記図２に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図４のフローチャートを参照して説明する。
【００４２】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４３】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、ガンマ補正部２４によりガンマ曲線に従った補正を施す。
【００４４】
ステップＳ１５では、クラス分類適応処理を用いた予測処理を行う。かかる処理は、ステップＳ１５１〜ステップＳ１５５までのステップからなる。ステップＳ１５１では、ガンマ補正部２４によりガンマ補正された画像信号に対してブロック化部２８によりブロック化、すなわち、クラスタップ及び予測タップの切り出しを行う。ここで、クラスタップは、複数種類の色信号に対応する画素を含む。 ステップＳ１５２では、ＡＤＲＣ処理部２９によりＡＤＲＣ処理を行う。
【００４５】
ステップＳ１５３では、クラス分類部３０においてＡＤＲＣ処理の結果と各色信号間の関係とからクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理部３１に与える。
【００４６】
ステップＳ１５４において、適応処理部３１は、クラス分類部３０より与えられたクラス番号に対応する予測係数セットを係数メモリ３２から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【００４７】
ステップＳ１５５では、すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合にはステップＳ１６に移行し、それ以外の場合にはステップＳ１５１に移行し、次の領域に対する処理を行う。
【００４８】
ステップＳ１６では、ステップＳ１５によつて得られた３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によつて得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００４９】
ここで、クラス分類適応処理について説明する。クラス分類適応処理を用いた予測演算を行うための一般的な構成例を図５に示す。入力画像信号が領域切り出し部１０１、１０２に供給される。領域切り出し部１０１は、入力画像信号から所定の画像領域（クラスタップと称される）を抽出し、クラスタップの信号をＡＤＲＣ処理部１０３に供給する。ＡＤＲＣ処理部１０３は、供給される信号にＡＤＲＣ処理を施すことにより、再量子化コードを生成する。なお、再量子化コードを生成する方法として、ＡＤＲＣ以外の方法を用いても良い。
【００５０】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンすなわち空間アクティビティの検出に使用することができる。ＡＤＲＣ処理部１０３では、以下の式（１）により、クラスタップとして切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００５１】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ ／ＤＲ〕 （１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素の信号レベルであり、Ｑが再量子化コードである。ただし、大かっこ（〔・・・〕）は小数点以下を切り捨てる処理を意味する。
【００５２】
これにより、１画素当たり例えば８ビットからなるクラスタップの画像信号が例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップの信号におけるレベル分布のパターンがより少ない情報量によつて表現される。例えば７画素からなるクラスタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ１〜ｑ７が生成される。クラスコードclass は、次の式（２）のようなものである。
【００５３】
【数１】
ここで、ｎはクラスタップとして切り出される画素の数である。また、ｐの値としては、例えばp＝２とすることができる。
【００５５】
クラスコードclass は、時空間内での画像信号のレベル分布のパターンすなわち空間アクティビティを特徴情報として分類してなるクラスを表現している。クラスコードclass は、予測係数メモリ１０４に供給される。予測係数メモリ１０４は、後述するようにして予め決定されたクラス毎の予測係数セットを記憶しており、供給される再量子化コードによって表現されるクラスの予測係数セットを出力する。一方、領域切り出し部１０２は、入力画像から所定の画像領域（予測タップと称される）を抽出し、予測タップの画像信号を予測演算部１０５に供給する。予測演算部１０５は、領域切り出し部１０２の出力と、予測係数メモリ１０４から供給される予測係数セットとに基づいて以下の式（３）のような演算を行うことにより、出力画像信号ｙを生成する。
【００５６】
ｙ＝ｗ1×ｘ1＋ｗ2×ｘ2＋・・・＋ｗn×ｘn （３）
ここで、ｘ1 ，・・・，ｘn が各予測タップの画素値であり、ｗ1 ，・・・，ｗn が各予測係数である。
【００５７】
また、予測係数セットを決定するための処理について図６を参照して説明する。出力画像信号と同一の画像信号形式を有するＨＤ(High Definition) 画像信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を行うことにより、ＨＤ画像信号を入力画像信号と同等の解像度（画素数）の画像信号（以下、ＳＤ(Standard Definition) 画像信号という）に変換する。このＳＤ画像信号が領域切り出し部２０２、２０３に供給される。領域切り出し部２０２は、上記領域切り出し部１０１と同様に、ＳＤ画像信号からクラスタップを切り出し、クラスタップの画像信号をＡＤＲＣ処理部２０４に供給する。
【００５８】
ＡＤＲＣ処理部２０４は、図６中のＡＤＲＣ処理部１０３と同様なＡＤＲＣ処理を行い、供給される信号に基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部２０５に供給される。クラスコード生成部２０５は、供給される再量子化コードに対応するクラスを示すクラスコードを生成し、クラスコードを正規方程式加算部２０６に供給する。一方、領域切り出し部２０３は、図６中の領域切り出し部１０２と同様に、供給されるＳＤ画像信号から予測タップを切り出し、切り出した予測タップの画像信号を正規方程式加算部２０６に供給する。
【００５９】
正規方程式加算部２０６は、領域切り出し部２０３から供給される画像信号と画素抽出部２０８から供給される画像信号について、クラスコード生成部２０５から供給されるクラスコード毎に加算し、加算した各クラス毎の信号を予測係数決定部２０７に供給する。予測係数決定部２０７は、供給される各クラス毎の信号に基づいて各クラス毎に予測係数セットを決定する。
【００６０】
さらに、予測係数セットを決定するための演算について説明する。予測係数ｗi は、図６に示したような構成に対し、ＨＤ画像信号として複数種類の画像信号を供給することにより、次のよう演算される。これらの画像信号の種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００６１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・＋ｗn ×ｘkn （４）
（ｋ＝１，２，・・・，ｍ）
ｍ＞ｎの場合には、ｗ1 ，・・・，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅｋを以下の式（５）で定義して、式（６）によつて定義される誤差ベクトルｅの２乗を最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によつて予測係数セットを一意に定める。
【００６２】
ｅk ＝ｙk−｛w1 ×ｘk1＋ｗ2 ×ｋ2 ＋・・・＋ｗn ×ｋn ｝ （５）
（ｋ＝１，２，・・・ｍ）
【００６３】
【数２】
式（６）のｅ2 を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi （ｉ＝１，２，・・・）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を決定すればよい。
【００６５】
【数３】
式（７）から各予測係数ｗi を決定する具体的な手順について説明する。式（８），（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００６７】
【数４】
【数５】
【数６】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部２０５は、供給される信号に基づいて式（８），（９）に示すような演算を行うことにより、Ｘji，Ｙi （ｉ＝１，２，・・・，ｎ）をそれぞれ計算する。予測係数決定部２０７は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗi （ｉ＝１，２，・・・）を算出する。
【００７１】
ここでは、注目画素の特徴情報に対応した予測係数セットと予測タップを用いて、上述の式（３）における線形１次結合モデルの演算を行うことにより、適応処理を行う。なお、適応処理に用いる注目画素の特徴情報に対応した予測係数セットは、学習により得るが、クラス対応の画素値を用いたり、非線形モデルの演算により適応処理を行うこともできる。
【００７２】
上述したようなクラス分類適応処理により、入力画像信号から、例えばノイズが除去された画像信号、走査線構造が変換されてなる画像信号等を出力画像信号として生成する種々の画像信号変換処理が実現される。
【００７３】
このデジタルスチルカメラ１では、例えば、単板式カメラのＣＣＤイメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、決定されたクラスに基づいて、上記注目画素の位置に、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成するクラス分類適応処理を上記予測処理部２５で行うことによって、３板式カメラのＣＣＤ出力相当の画像信号を得ることができる。
【００７４】
ここで、図７に予測タップの構造の一例を示す。予測タップは、注目画素（処理対象となる画素）を中心とし、隣接する３×３個の９画素から構成されている。ブロック化部２８は、注目画素毎に予測タップを抽出することにより、予測タップに対応する注目画素を中心とする９画素からなるブロックを複数個生成する。この注目画素は、１フレームを構成するすべての画素が対象となる。
【００７５】
適応処理部３１により行われる適応処理により、注目画素の画素信号がＲ信号である場合、そのＲ信号の画素の位置に、Ｒ信号、Ｇ信号及びＢ信号が生成される。同様に、注目画素の画素信号がＧ信号又はＢ信号の場合も、Ｒ信号、Ｇ信号及びＢ信号が、それぞれ生成される。すなわち、１フレーム分の画素信号の内、図８の（Ａ）に示すように８×６画素から構成される部分を考えた場合、この８×６画素すべてを順次、注目画素として適応処理することにより、図８の（Ｂ），（Ｃ）及び（Ｄ）に示すように、Ｒ信号のみから構成される８×６画素、Ｇ信号のみから構成される８×６画素及びＢ信号のみから構成される８×６画素が、それぞれ得られる。換言すれば、３板カメラのＣＣＤ出力相当の画像信号が得られる。
【００７６】
このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類適応処理を用いて、３板式カメラのＣＣＤ出力相当の各色信号Ｒ，Ｇ，Ｂを得ることことにより、エッジ部分や細部の鮮鋭度が増し、Ｓ／Ｎ比の評価値も向上する。
【００７７】
この場合、例えば図９の（Ａ）に示すような３×３画素（Ｇ11，Ｂ12，・・・Ｂ32，Ｇ33）の中心画素（Ｇ22）にＲ信号を生成するためには、３×３画素（Ｇ11，Ｂ12，・・・Ｂ32，Ｇ33）に対応して図９の（Ｂ）に示すような予測係数セット（ｗ1 〜ｗ9 ）が用いられる。図９の（Ａ）及び（Ｂ）は、注目画素（Ｇ22）がＧ信号であり、このＧ信号の注目画素（Ｇ22）に隣接する上下方向にＢ信号の画素（Ｂ12，Ｂ32）、左右方向にＲ信号の画素（Ｒ21，Ｒ22）、斜め方向にＧ信号の画素（Ｇ11，Ｇ13，Ｇ31，Ｇ33）が位置している場合で、この注目画素（Ｇ22）であるＧ信号の位置にＲ信号を生成する場合に用いる予測係数セット（ｗ1 〜ｗ9 ）の一例を示している。
【００７８】
また、図１０の（Ａ）に示すような３×３画素（Ｇ11，Ｒ12，・・・Ｒ32，Ｇ33）の中心画素（Ｇ22）にＲ信号を生成するためには、３×３画素（Ｇ11，Ｒ12，・・・Ｒ32，Ｇ33）に対応して図１０の（Ｂ）に示すような予測係数セット（ｗ1 〜ｗ9 ）が用いられる。図１０の（Ａ）及び（Ｂ）は、注目画素（Ｇ22）がＧ信号であり、この注目画素（Ｇ22）のＧ信号の位置にＲ信号を生成する場合であるが、注目画素（Ｇ22）であるＧ信号に隣接する上下方向にはＲ信号の画素（Ｒ12，Ｒ32）が、左右方向にはＢ信号の画素（Ｂ21，Ｂ22）が、それぞれ位置している場合で、この注目画素（Ｇ22）であるＧ信号の位置にＲ信号を生成する場合の予測係数セット（ｗ1 〜ｗ9 ）の一例を示している。
【００７９】
さらに、図１１の（Ａ）に示すような３×３画素（Ｒ11，Ｇ12，・・・Ｇ32，Ｒ33）の中心画素（Ｂ22）にＲ信号を生成するためには、３×３画素（Ｒ11，Ｇ12，・・・Ｇ32，Ｒ33）に対応して図１１の（Ｂ）に示すような予測係数セット（ｗ1 〜ｗ9 ）が用いられる。図１１の（Ａ）及び（Ｂ）は、注目画素（Ｂ22）がＢ信号であり、この注目画素（Ｂ22）の上下左右方向にＧ信号の画素（Ｇ12，Ｇ21，Ｇ23，Ｇ32）、斜め方向にＲ信号の画素（Ｒ11，Ｒ13，Ｒ31，Ｒ33）が位置している場合で、この注目画素（Ｂ22）であるＢ信号の位置にＲ信号を生成する場合の予測係数セット（ｗ1 〜ｗ9 ）を示している。
【００８０】
上記予測係数セットは、予め学習により得られるもので、上記係数メモリ３２に記憶されている。
【００８１】
ここで、この学習について説明する。図１２は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００８２】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き部４１及び教師画像ブロック化部４５に供給される。間引き部４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き部４１の出力が生徒画像信号として生徒画像ブロック化部４２に供給される。
【００８３】
生徒画像ブロック化部４２は、間引き部４１により生成された生徒信号から、ブロック毎に教師画像信号の予測画素との対応を取りながら、注目画素に基づくクラスタップ及び予測タップを抽出することにより、生徒画像信号をブロック化してＡＤＲＣ処理部４３と演算部４６に供給する。ＡＤＲＣ処理部４３は、生徒画像ブロック化部４２から供給された生徒画像信号にＡＤＲＣ処理を施し特徴情報を生成し、クラス分類部４４に供給する。クラス分類部４４は、入力された特徴情報からクラスコードを発生し、演算部４６に出力する。
【００８４】
ここでは、教師画像信号は、３板式カメラのＣＣＤ出力相当の解像度をもつ画像信号であり、生徒画像信号は、単板式カメラのＣＣＤ出力相当の解像度をもつ画像信号、換言すれば、３板式カメラより解像度の低い画像信号である。さらに換言するに、教師画像信号は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色成分をもつ画像信号であり、生徒画像信号は、１画素がＲ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみをもつ画像信号である。
【００８５】
一方、教師画像ブロック化部４５は、生徒画像信号におけるクラスタップとの対応を取りながら、教師画像信号から予測画素の画像信号を切り出し、切り出した予測画像信号を演算部４６に供給する。演算部４６は、生徒画像ブロック化部４２から供給される予測タップの画像信号と、教師画像ブロック化部４５より供給される予測画画像信号との対応を取りながら、クラス分類部４４より供給されるクラス番号に従って、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算部４６によつて生成される正規方程式のデータが学習データメモリ４７に逐次読み込まれ、記憶される。
【００８６】
演算部４８は、学習データメモリ４７に蓄積された正規方程式のデータを用いて正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ４９に記憶される。係数メモリ４９の記憶内容は、上述の係数メモリ３２にロードされ、クラス分類適応処理を行う際に使用される。
【００８７】
次に、図１３のフローチャートを参照して、学習装置４０の動作について説明する。
【００８８】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図１４の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図１４の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００８９】
ステップＳ３１では、教師画像ブロック化部４５において、入力された教師画像信号をブロック化し、入力された教師画像信号から生徒画像ブロック化部４２が注目画素として設定する画素に対応する位置に位置する予測画素の画素値を抽出して、演算部４６に出力する。
【００９０】
また、ステップＳ３２では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き部４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図１４の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号を生徒画像ブロック化部４２に出力する。
【００９１】
ステップＳ３３では、生徒画像ブロック化部４２において、入力された生徒画像信号のブロック化を行い、各ブロック毎に、注目画素に基づいて、クラスタップと予測タップを生成する。
【００９２】
ステップＳ３４では、ＡＤＲＣ処理部４３において、生徒画像信号から切り出されたクラスタップの信号を各色信号毎にＡＤＲＣ処理する。
【００９３】
ステップＳ３５では、クラス分類部４４において、ステップＳ３３におけるＡＤＲＣ処理の結果に基づいてクラス分類し、分類されるクラスに対応するクラス番号を示す信号を出力する。
【００９４】
ステップＳ３６では、演算部４６において、クラス分類部４４より供給されたクラス毎に、生徒画像ブロック化部４２より供給された予測タップと、教師画像ブロック化部４５より供給される予測画像に基づいて、上述の式（１０）の正規方程式を生成する処理を実行する。正規方程式は、学習データメモリ４７に記憶される。
【００９５】
ステップＳ３７では、演算部４６によりすべてのブロックについての処理が終了したか否かを判定する。まだ処理していないブロックが存在する場合には、ステップＳ３６に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ３７において、すべてのブロックについての処理が終了したと判定された場合、ステップＳ３８に進む。
【００９６】
ステップＳ３８では、演算部４８において、学習データメモリ４７に記憶された正規方程式を例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類部４４により出力されたクラスコードと関連付けられ、係数メモリ４９に記憶される。
【００９７】
ステップＳ３９において、演算部４８においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップＳ３８に戻り、それ以降の処理を繰り返し実行する。
【００９８】
ステップＳ３９において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【００９９】
このようにしてクラスコードと関連付けられて係数メモリ４９に記憶された予測係数セットは、図３に示した画像信号処理部８の係数メモリ３２に記憶されることになる。そして、画像信号処理部８の適応処理部３１は、上述したように、係数メモリ３２に記憶されている予測係数セットを用いて、式（３）に示した線形１次結合モデルにより、注目画素に対して適応処理を行う。
【０１００】
図１５、図１６、図１７及び図１８は、ベイヤー配列の色フィルタアレイにより色コーディングされた画像信号に対し、注目画素（図中、斜線を付けた画素）の位置に、Ｒ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に、クラスを決定するの用いられるにクラスタップの一例の構造を示す。
【０１０１】
図１５の（Ａ）〜（Ｃ）に示すクラスタップ１は、左右方向にＲ信号の画素が隣接するＧ信号の画素を注目画素とした場合を示している。
【０１０２】
図１５の（Ａ）に示したクラスタップ１は、注目画素のＧ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する左右方向に位置するＲ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、及び右方向又は左方向に位置するＲ信号の画素、合計８画素から構成される。
【０１０３】
図１５の（Ｂ）に示したクラスタップ１は、注目画素のＧ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する斜め方向に位置するＧ信号の画素と、Ｇ信号の注目画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＧ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１０４】
図１５の（Ｃ）に示したクラスタップ１は、注目画素のＧ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する上下方向に位置するＢ信号の画素と、それらのＢ信号の画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＢ信号の画素の、合計８画素から構成されている。
【０１０５】
図１６に示すクラスタップ２は、左右方向にＢ信号の画素が隣接するＧ信号の画素を注目画素とした場合を示している。
【０１０６】
図１６の（Ａ）に示したクラスタップ２は、注目画素のＧ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する上下方向に位置するＲ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、及び右方向又は左方向に位置するＲ信号の画素、合計８画素から構成される。
【０１０７】
図１６の（Ｂ）に示したクラスタップ２は、注目画素のＧ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する斜め方向に位置するＧ信号の画素と、Ｇ信号の注目画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＧ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１０８】
図１６の（Ｃ）に示したクラスタップ２は、注目画素のＧ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｇ信号の注目画素に隣接する左右方向に位置するＢ信号の画素と、それらのＢ信号の画素より１画素離れた上方向又は下方向、及び右方向又は左方向に位置するＢ信号の画素の、合計８画素から構成されている。
【０１０９】
図１７に示すクラスタップ３は、左右方向にＧ信号の画素が隣接するＢ信号の画素を注目画素とした場合を示している。
【０１１０】
図１７の（Ａ）に示したクラスタップ３は、注目画素のＢ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｂ信号に隣接する斜め方向に位置するＲ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、右方向、あるいは、左方向に位置するＲ信号の画素の、合計８画素から構成されている。
【０１１１】
図１７の（Ｂ）に示したクラスタップ３は、注目画素のＢ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｂ信号の注目画素に隣接する上下左右方向に位置するＧ信号の画素と、それらのＧ信号の画素の斜め上方向、あるいは斜め下方向に位置するＧ信号の画素の、合計８画素から構成されている。
【０１１２】
図１７の（Ｃ）に示したクラスタップ３は、注目画素のＢ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｂ信号の注目画素より１画素離れて上下方向、右左方向及び斜め方向に位置するＲ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１１３】
図１８に示すクラスタップ４は、左右方向にＧ信号の画素が隣接するＲ信号の画素を注目画素とした場合を示している。
【０１１４】
図１８の（Ａ）に示したクラスタップ４は、注目画素のＲ信号の位置にＲ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｒ信号の注目画素より１画素離れて上下方向、右左方向及び斜め方向に位置するＲ信号の画素の、合計９画素（注目画素を含む）から構成されている。
【０１１５】
図１８の（Ｂ）に示したクラスタップ４は、注目画素のＲ信号の位置にＧ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｒ信号の注目画素に隣接する上下左右方向に位置するＧ信号の画素と、それらのＧ信号の画素の斜め上方向、あるいは斜め下方向に位置するＧ信号の画素の、合計８画素から構成されている。
【０１１６】
図１８の（Ｃ）に示したクラスタップ４は、注目画素のＲ信号の位置にＢ信号を生成する際に用いられる予測係数セットを算出する際に用いられ、Ｒ信号に隣接する斜め方向に位置するＢ信号の画素と、それらのＲ信号の画素より１画素離れた上方向、下方向、右方向、あるいは、左方向に位置するＲ信号の画素の、合計８画素から構成されている。
【０１１７】
このデジタルスチルカメラ１では、ブロック化部２８において、注目画素の画像信号の色の種類と、その注目画素の位置に生成する画像信号の色の種類により、上述したクラスタップ１乃至４を使い分けて抽出された複数の画素に基づいてクラスタップを抽出し、抽出されたクラスタップに対してＡＤＲＣ処理部２９でＡＤＲＣ処理を施すことにより特徴情報を生成する。そして、適応処理部３１において、ＡＤＲＣ処理により生成された特徴情報をクラス分類部３０で分類することにより得られるクラス番号（クラスコード）に対応する係数セットを係数メモリ３２から読み出して、式（３）に示した線形１次結合モデルにより、注目画素に対して適応処理を行うことによって、上記注目画素の位置に、すべての色成分と異なる色成分を持つ画素を生成することができる。
【０１１８】
このように、入力された画像内の注目画素に基づいて、クラスタップと予測タップを抽出し、抽出されたクラスタップからクラスコードを生成し、その生成されたクラスコードに対応する予測係数セットと予測タップを用いて、注目画素の位置にＲＧＢ全ての色信号を生成するようにしたので、解像度の高い画像を得ることが可能となる。
【０１１９】
なお、上述した説明においては、画像信号処理部８が適応処理に用いる予測タップと、学習装置４０が予測係数セットを算出する際に用いるクラスタップは、異なる構造としたが、同一の構造としても良い。また、予測タップとクラスタップは、上述した構造に限定されるものではない。
【０１２０】
さらに、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応する事は可能である。
【０１２１】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図１９に示す。
【０１２２】
図１９の（Ａ）〜（Ｇ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１２３】
図１９の（Ａ）はベイヤー配列を示し、図１９の（Ｂ）はインタライン配列を示し、図１９の（Ｃ）はＧストライプＲＢ市松配列を示し、図１９の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図１９の（Ｅ）はストライプ配列を示し、図１９の（Ｆ）は斜めストライプ配列を示し、図１９の（Ｇ）は原色色差配列を示す。
【０１２４】
また、図１９の（Ｈ）〜（Ｎ）は、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図１９の（Ｈ）はフィールド色差順次配列を示し、図１９の（Ｉ）がフレーム色差順次配列を示し、図１９の（Ｊ）はＭＯＳ型配列を示し、図１９の（Ｋ）は改良ＭＯＳ型配列を示し、図１９の（Ｌ）はフレームインターリーブ配列を示し、図１９の（Ｍ）はフィールドインターリーブ配列を示し、図１９の（Ｎ）はストライプ配列を示す。
【０１２５】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図１９の（Ｉ）に示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ，
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ，
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【０１２６】
このようにして適応処理により単板式カメラのＣＣＤ出力相当の画像信号から得られる３板式カメラのＣＣＤ出力相当の画像信号は、従来の線形補間処理による場合と比較して、鮮明な画像となる。
【０１２７】
このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類を用いて、３板式カメラのＣＣＤ出力相当の各色信号Ｒ，Ｇ，Ｂを得ることができるので、エッジ部分や細部の鮮鋭度が増し、ＳＮの評価値も向上する。
【０１２８】
なお、上述した説明においては、画像信号処理部８が適応処理に用いる予測タップと、学習装置５１が予測係数セットを算出する際に用いるクラスタップは、異なる構造としたが、同一の構造としても良い。また、予測タップとクラスタップは、上述した構造に限定されるものではない。
【０１２９】
また、上述した説明では、色コーディングフィルタとして、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応する事は可能である。また、信号のクラス削減方式として、ＡＤＲＣを用いたが、例えば、ＤＣＴ(Discrete Cosine Transform) 、ＶＱ（ベクトル量子化）、ＤＰＣＭ(Differential Pulse Code Modulation)、ＢＴＣ(Block Trancation Coding) 、非線形量子化などを用いても良い。さらに、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【０１３０】
さらに、上記予測処理部２５におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２０に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１３１】
【発明の効果】
以上の如く本発明によれば、入力画像信号の注目画素に基づいて、クラスタップと予測タップを抽出し、抽出されたクラスタップからクラスコードを生成し、その生成されたクラスコードに対応する予測係数セットと予測タップを用いて、注目画素の位置にＲＧＢ全ての色信号を生成するようにしたので、解像度の高い画像を得ることが可能となる。
【０１３２】
また、本発明によれば、入力された教師画像信号から生徒画像信号を生成し、その生徒画像信号の注目画素に基づいて、クラスタップを抽出し、生徒画像信号の注目画素に対応する位置に位置する教師画像信号の画素値を抽出し、抽出されたクラスタタップからクラスコードを生成し、抽出されたクラスタップと画素値を用いて、生徒画像の注目画素の位置に新たな色信号を生成するための演算に用いる予測係数セットを算出し、算出された予測係数セットとクラスコードを関連付けて記憶するようにしたので、解像度の高い画像を得るための処理を行う画像信号処理装置が用いる予測係数セットを算出することができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図２】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図３】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図４】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図５】クラス分類適応処理を用いた予測演算を行うための構成例を示す示すブロック図である。
【図６】予測係数セットを決定するための構成例を示すブロック図である。
【図７】予測タップの構造例を模式的に示す図である。
【図８】上記画像信号処理部におけるクラス適応処理による画像信号処理の一例を模式的に示す図である。
【図９】予測係数セットの一例を示す図である。
【図１０】予測係数セットの一例を示す図である。
【図１１】予測係数セットの一例を示す図である。
【図１２】予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図１３】上記学習装置の動作を説明するためのフローチャートである。
【図１４】上記学習装置による学習処理の一例を模式的に示す図である。
【図１５】クラスタップを模式的に示す図である。
【図１６】クラスタップを模式的に示す図である。
【図１７】クラスタップを模式的に示す図である。
【図１８】クラスタップを模式的に示す図である。
【図１９】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２０】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２１】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１ デジタルスチルカメラ、５ ＣＣＤイメージセンサ、８ 画像信号処理部、２５ 予測処理部、２８ ブロック化部、２９ ＡＤＲＣ処理部、３０ クラス分類部、３１ 適応処理部、３２ 係数セットメモリ、４０ 学習装置、４１間引き部、４２ 生徒画像ブロック化部、４３ ＡＤＲＣ処理部、４４ クラス分類部、４５ 教師画像ブロック化部、４６ 演算部、４７ 学習データメモリ、４８ 演算部、４９ 係数メモリ
Claims (36)
- 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、
上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出手段と、
上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、
上記クラス決定手段で決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段と
を備える画像信号処理装置。 - 上記画素生成手段は、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求項１記載の画像信号処理装置。
- 上記画素生成手段は、各クラス毎の予測係数セットを記憶する記憶手段と、上記クラス決定手段で決定されたクラスに応じた予測係数セットと、上記抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを備えることを特徴とする請求項１記載の画像信号処理装置。
- 上記演算手段は、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行うことを特徴とする請求項３記載の画像信号処理装置。
- 上記抽出手段は、上記クラス決定手段と上記演算手段に対して、少なくとも１画素は異なる画素を抽出することを特徴とする請求項３記載の画像信号処理装置。
- 上記記憶手段は、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、上記生徒画像信号と上記教師画像信号から抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する学習処理により予め得られた各クラス毎の予測係数セットを記憶することを特徴とする請求項３記載の画像信号処理装置。
- 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求項１記載の画像信号処理装置。
- 画素位置毎に複数の色のうち何れか１つを表す色成分を持つ上記画像信号を取得する取得手段をさらに備えることを特徴とする請求項１記載の画像信号処理装置。
- 上記取得手段は、固体撮像素子であることを特徴とする請求項８記載の画像信号処理装置。
- 上記固体撮像素子は、ベイヤー配列のＣＣＤイメージセンサであることを特徴とする請求項９記載の画像信号処理装置。
- 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、
上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップと
を有する画像信号処理方法。 - 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求項１１記載の画像信号処理方法。
- 上記画素生成ステップでは、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを特徴とする請求項１１記載の画像信号処理方法。
- 上記画素生成ステップでは、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行うことを特徴とする請求項１３記載の画像信号処理方法。
- 上記抽出ステップでは、上記クラス決定ステップと上記画素生成ステップに対して、少なくとも１画素は異なる画素を抽出することを特徴とする請求項１３記載の画像信号処理方法。
- 上記予測係数セットは、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、上記生徒画像信号と上記教師画像信号から抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する学習処理により予め得られたものであることを特徴とする請求項１３記載の画像信号処理方法。
- 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求項１１記載の画像信号処理方法。
- 画素位置毎に複数の色のうち何れか１つを表す色成分を持つ上記画像信号を取得する取得ステップをさらに有することを特徴とする請求項１１記載の画像信号処理方法。
- 上記取得ステップでは、固体撮像素子により上記画像信号を取得することを特徴とする請求項１８記載の画像信号処理方法。
- 上記取得ステップでは、ベイヤー配列のＣＣＤイメージセンサにより上記画像信号を取得することを特徴とする請求項１９記載の画像信号処理方法。
- 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記プログラムは、上記入力画像信号の注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップと
を有する記録媒体。 - 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求項２１記載の記録媒体。
- 上記画素生成ステップでは、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを特徴とする請求項２１記載の記録媒体。
- 上記画素生成ステップでは、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行うことを特徴とする請求項２３記載の記録媒体。
- 上記抽出ステップでは、上記クラス決定ステップと上記画素生成ステップに対して、少なくとも１画素は異なる画素を抽出することを特徴とする請求項２３記載の記録媒体。
- 上記予測係数セットは、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、上記生徒画像信号と上記教師画像信号から抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する学習処理により予め得られたものであることを特徴とする請求項２３記載の記録媒体。
- 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求項２１記載の記録媒体。
- 画素位置毎に複数の色のうち何れか１つを表す色成分を持つ上記画像信号を取得する取得ステップをさらに有することを特徴とする請求項２１記載の記録媒体。
- 上記取得ステップでは、固体撮像素子により上記画像信号を取得することを特徴とする請求項２８記載の記録媒体。
- 上記取得ステップでは、ベイヤー配列のＣＣＤイメージセンサにより上記画像信号を取得することを特徴とする請求項２９記載の記録媒体。
- 画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、
上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、
上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、
上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段と
を備える学習装置。 - 上記クラス決定手段は、上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求項３０記載の学習装置。
- 画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、
上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、
上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を有する学習方法。 - 上記クラス決定ステップでは、上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理により生成される特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求項３３記載の学習方法。
- クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記プログラムは、画素位置毎に一つの色成分を持つ生徒画像信号について、注目画素毎に、注目画素の画像信号の色の種類、又は、注目画素の位置に生成する画像信号の色の種類により、クラスタップを使い分けて、注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を有する記録媒体。 - 上記クラス決定ステップでは、上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理により生成される特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求項３５記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000048983A JP4433545B2 (ja) | 1999-02-19 | 2000-02-21 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4111499 | 1999-02-19 | ||
| JP11-41114 | 1999-02-19 | ||
| JP2000048983A JP4433545B2 (ja) | 1999-02-19 | 2000-02-21 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000308079A JP2000308079A (ja) | 2000-11-02 |
| JP4433545B2 true JP4433545B2 (ja) | 2010-03-17 |
Family
ID=26380664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000048983A Expired - Fee Related JP4433545B2 (ja) | 1999-02-19 | 2000-02-21 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4433545B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4599705B2 (ja) * | 2000-11-10 | 2010-12-15 | ソニー株式会社 | 画像処理装置及びその方法、並びにプログラム記録媒体 |
| JP4839543B2 (ja) * | 2001-08-08 | 2011-12-21 | ソニー株式会社 | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 |
| JP2014515587A (ja) * | 2011-06-01 | 2014-06-30 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | デジタル画像装置用の画像処理パイプラインの学習 |
| JP2014194706A (ja) | 2013-03-29 | 2014-10-09 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
| JP2015154307A (ja) * | 2014-02-17 | 2015-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| WO2023189071A1 (ja) * | 2022-03-28 | 2023-10-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
-
2000
- 2000-02-21 JP JP2000048983A patent/JP4433545B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000308079A (ja) | 2000-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100745386B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 | |
| US7903155B2 (en) | Image capturing apparatus and program | |
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| US7479998B2 (en) | Image pickup and conversion apparatus | |
| EP0632663A2 (en) | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients | |
| US20110169980A1 (en) | Apparatus and method for obtaining high dynamic range image | |
| JP2006165975A (ja) | 撮像素子、撮像装置、画像処理方法 | |
| JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
| JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
| JP4912979B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4433545B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP5259616B2 (ja) | 画像処理システムおよび画像処理プログラム | |
| JP4547757B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4730106B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP4581199B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4547758B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4529253B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4839543B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 | |
| JP4483048B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4433546B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP2006279389A (ja) | 固体撮像装置およびその信号処理方法 | |
| JP4691762B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4730105B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP5586031B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |