JP4547758B2

JP4547758B2 - Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium

Info

Publication number: JP4547758B2
Application number: JP2000048985A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋; 貴志沢尾
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-03-25
Filing date: 2000-02-21
Publication date: 2010-09-22
Anticipated expiration: 2020-02-21
Also published as: JP2000341706A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、より高精細度の画像を得ることができるようにした画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２１の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２１の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２１の（Ｂ）乃至（Ｄ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ線形補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した単板式カメラでは、線形処理を行うことにより色信号の補間を行っているので、その撮像出力として得られる画像信号による画像の解像度が、３板式カメラの撮像出力として得られる画像信号による画像と比較して低く、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。
【０００９】
また、クラス分類適応処理により、このように単板式カメラのＣＣＤ出力から３板式カメラのＣＣＤ出力相当の出力を求める場合、クラスタップとして、ＲＧＢの各画素を独立に選択するようにして、Ｒの画素を予測する場合には、Ｒ画素だけをクラスタップとし、Ｇ画素を予測する場合にはＧの画素のみを予測タップとし、Ｂの画素を予測する場合にはＢ画素のみを予測タップとするようにしたのでは、例えば図２１の（Ａ）に示すように、単板式カメラのＣＣＤイメージセンサに色フィルタアレイとして、ベイヤー配列のものが用いられるような場合、ｎ×ｍ個の画素のうち、Ｒ画素とＢ画素は４画素に１個の割合でしか存在しないため、精度の良いクラス分類適応処理を行うことができない。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、高精度にクラス分類適応処理を実行することができるようにすることを目的とするものである。
【００１１】
【課題を解決するための手段】
本発明は、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備え、上記画素生成手段は、上記クラス決定手段により決定されるクラス毎の学習により得られた各クラス毎の予測係数セットを記憶する記憶手段と、上記クラス決定手段で決定されたクラスに応じた予測係数セットと上記抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを備え、上記予測係数セットは、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出し、抽出された複数の画素に基づいて、クラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、上記生徒画像信号と上記教師画像信号から抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する学習処理により得られたものであることを特徴とする。
【００１２】
また、本発明は、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを有し、上記画素生成ステップでは、上記クラス決定ステップで決定されるクラス毎の学習により予め得られた各クラス毎の予測係数セットを用い、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成し、上記予測係数セットは、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出し、抽出された複数の画素に基づいて、クラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、上記生徒画像信号と上記教師画像信号から抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する学習処理により得られたものであることを特徴とする。
【００１３】
また、本発明は、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを有し、上記画素生成ステップでは、上記クラス決定ステップで決定されるクラス毎の学習により予め得られた各クラス毎の予測係数セットを用い、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成し、上記予測係数セットは、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出し、抽出された複数の画素に基づいて、クラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、上記生徒画像信号と上記教師画像信号から抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する学習処理により得られたものであることを特徴とする。
【００１４】
また、本発明に係る学習装置は、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第１の画素抽出手段と、上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【００１５】
また、本発明に係る学習方法は、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする。
【００１６】
さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１８】
本発明は、例えば図１に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられた色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００１９】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２０】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２１】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２２】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２３】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２４】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２５】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２６】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２７】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２８】
次に、図２のフローチャートを参照し、図１に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００２９】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００３０】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３１】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３２】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３３】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３４】
次に、図３を参照して画像信号処理部８について説明する。
【００３５】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３６】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３７】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、ガンマ補正部２４に供給される。ガンマ補正部２４は、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２４によりガンマ補正された画像信号は、予測処理部２５に供給される。
【００３８】
予測処理部２５は、クラス分類適応処理を行うことによってガンマ補正部２４の出力を例えば３板式カメラのＣＣＤ出力相当の画像信号に変換して、補正部２６に供給する。上記予測処理部２５は、ブロック化部２８、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理部２９、クラス分類部３０、適応処理部３１、係数メモリ３２等からなる。
【００３９】
ブロック化部２８は、後述するクラスタップの画像信号をＡＤＲＣ処理部２９に供給するとともに、予測タップの画像信号を適応処理部３１に供給する。ＡＤＲＣ処理部２９は、入力されたクラスタップの画像信号に対してＡＤＲＣ処理を行って再量子化コードを生成し、この再量子化コードを特徴情報としてクラス分類部３０に供給する。クラス分類部３０は、ＡＤＲＣ処理部２９から供給される特徴情報に基づいて、画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を生成する。係数メモリ３２は、クラス分類部３０により分類されたクラス番号に対応する係数セットを適応処理部３１に供給する。適応処理部３１は、係数セットメモリ３２から供給された係数セットを用いて、ブロック化部２８から供給された予測タップの画像信号から予測画素値を求める処理を行う。
【００４０】
補正部２６は、上記予測処理部２５により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４１】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。
色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４２】
ここで、上記図２に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図４のフローチャートを参照して説明する。
【００４３】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４４】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、ガンマ補正部２４によりガンマ曲線に従った補正を施す。
【００４５】
ステップＳ１５では、クラス分類適応処理を用いた予測処理を行う。かかる処理は、ステップＳ１５１〜ステップＳ１５５までのステップからなる。ステップＳ１５１では、ガンマ補正部２４によりガンマ補正された画像信号に対してブロック化部２８によりブロック化、すなわち、クラスタップ及び予測タップの切り出しを行う。ここで、クラスタップは、複数種類の色信号に対応する画素を含む。ステップＳ１５２では、ＡＤＲＣ処理部２９によりＡＤＲＣ処理を行う。
【００４６】
ステップＳ１５３では、クラス分類部３０においてＡＤＲＣ処理に基づいてクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理部３１に与える。
【００４７】
ステップＳ１５４において、適応処理部３１は、クラス分類部３０より与えられたクラス番号に対応する予測係数セットを係数メモリ３２から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【００４８】
ステップＳ１５５では、すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合にはステップＳ１６に移行し、それ以外の場合にはステップＳ１５１に移行し、次の領域に対する処理を行う。
【００４９】
ステップＳ１６では、ステップＳ１５によつて得られた３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によつて得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００５０】
ここで、クラス分類適応処理について説明する。クラス分類適応処理を用いた予測演算を行うための一般的な構成例を図５に示す。入力画像信号が領域切り出し部１０１、１０２に供給される。領域切り出し部１０１は、入力画像信号から所定の画像領域（クラスタップと称される）を抽出し、クラスタップの信号をＡＤＲＣ処理部１０３に供給する。ＡＤＲＣ処理部１０３は、供給される信号にＡＤＲＣ処理を施すことにより、再量子化コードを生成する。なお、再量子化コードを生成する方法として、ＡＤＲＣ以外の方法を用いても良い。
【００５１】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンすなわち空間アクティビティの検出に使用することができる。ＡＤＲＣ処理部１０３では、以下の式（１）により、クラスタップとして切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００５２】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ／ＤＲ〕（１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素の信号レベルであり、Ｑが再量子化コードである。ただし、大かっこ（〔・・・〕）は小数点以下を切り捨てる処理を意味する。
【００５３】
これにより、１画素当たり例えば８ビットからなるクラスタップの画像信号が例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップの信号におけるレベル分布のパターンがより少ない情報量によつて表現される。例えば７画素からなるクラスタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ１〜ｑ７が生成される。クラスコードclass は、次の式（２）のようなものである。
【００５４】
【数１】

【００５５】
ここで、ｎはクラスタップとして切り出される画素の数である。また、ｐの値としては、例えばp＝２とすることができる。
【００５６】
クラスコードclass は、時空間内での画像信号のレベル分布のパターンすなわち空間アクティビティを特徴情報として分類してなるクラスを表現している。クラスコードclass は、予測係数メモリ１０４に供給される。予測係数メモリ１０４は、後述するようにして予め決定されたクラス毎の予測係数セットを記憶しており、供給される再量子化コードによって表現されるクラスの予測係数セットを出力する。一方、領域切り出し部１０２は、入力画像から所定の画像領域（予測タップと称される）を抽出し、予測タップの画像信号を予測演算部１０５に供給する。予測演算部１０５は、領域切り出し部１０２の出力と、予測係数メモリ１０４から供給される予測係数セットとに基づいて以下の式（３）のような演算を行うことにより、出力画像信号ｙを生成する。
【００５７】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋・・・＋ｗ_n×ｘ_n （３）
ここで、ｘ₁，・・・，ｘ_nが各予測タップの画素値であり、ｗ₁，・・・，ｗ_nが各予測係数である。
【００５８】
また、予測係数セットを決定するための処理について図６を参照して説明する。出力画像信号と同一の画像信号形式を有するＨＤ(High Definition) 画像信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を行うことにより、ＨＤ画像信号を入力画像信号と同等の解像度（画素数）の画像信号（以下、ＳＤ(Standard Definition) 画像信号という）に変換する。このＳＤ画像信号が領域切り出し部２０２、２０３に供給される。領域切り出し部２０２は、上記領域切り出し部１０１と同様に、ＳＤ画像信号からクラスタップを切り出し、クラスタップの画像信号をＡＤＲＣ処理部２０４に供給する。
【００５９】
ＡＤＲＣ処理部２０４は、図５中のＡＤＲＣ処理部１０３と同様なＡＤＲＣ処理を行い、供給される信号に基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部２０５に供給される。クラスコード生成部２０５は、供給される再量子化コードに対応するクラスを示すクラスコードを生成し、クラスコードを正規方程式加算部２０６に供給する。一方、領域切り出し部２０３は、図６中の領域切り出し部１０２と同様に、供給されるＳＤ画像信号から予測タップを切り出し、切り出した予測タップの画像信号を正規方程式加算部２０６に供給する。
【００６０】
正規方程式加算部２０６は、領域切り出し部２０３から供給される画像信号と画素抽出部２０８から供給される画像信号について、クラスコード生成部２０５から供給されるクラスコード毎に加算し、加算した各クラス毎の信号を予測係数決定部２０７に供給する。予測係数決定部２０７は、供給される各クラス毎の信号に基づいて各クラス毎に予測係数セットを決定する。
【００６１】
さらに、予測係数セットを決定するための演算について説明する。予測係数ｗ_iは、図６に示したような構成に対し、ＨＤ画像信号として複数種類の画像信号を供給することにより、次のよう演算される。これらの画像信号の種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００６２】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋・・・＋ｗ_n×ｘ_kn （４）
（ｋ＝１，２，・・・，ｍ）
ｍ＞ｎの場合には、ｗ₁ ，・・・，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅｋを以下の式（５）で定義して、式（６）によつて定義される誤差ベクトルｅの２乗を最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によつて予測係数セットを一意に定める。
【００６３】
ｅ_k＝ｙ_k−｛w₁×ｘ_k1＋ｗ₂×ｋ₂＋・・・＋ｗ_n×ｋ_n｝（５）
（ｋ＝１，２，・・・ｍ）
【００６４】
【数２】

【００６５】
式（６）のｅ²を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i（ｉ＝１，２，・・・）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを決定すればよい。
【００６６】
【数３】

【００６７】
式（７）から各予測係数ｗ_iを決定する具体的な手順について説明する。式（８），（９）のようにＸ_ji，Ｙ_iを定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００６８】
【数４】

【００６９】
【数５】

【００７０】
【数６】

【００７１】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部２０５は、供給される信号に基づいて式（８），（９）に示すような演算を行うことにより、Ｘ_ji，Ｙ_i（ｉ＝１，２，・・・，ｎ）をそれぞれ計算する。予測係数決定部２０７は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗ_i（ｉ＝１，２，・・・）を算出する。
【００７２】
ここでは、注目画素の特徴情報に対応した予測係数セットと予測タップを用いて、上述の式（３）における線形１次結合モデルの演算を行うことにより、適応処理を行う。なお、適応処理に用いる注目画素の特徴情報に対応した予測係数セットは、学習により得るが、クラス対応の画素値を用いたり、非線形モデルの演算により適応処理を行うこともできる。
【００７３】
上述したようなクラス分類適応処理により、入力画像信号から、例えばノイズが除去された画像信号、走査線構造が変換されてなる画像信号等を出力画像信号として生成する種々の画像信号変換処理が実現される。
【００７４】
このデジタルスチルカメラ１では、例えば、単板式カメラのＣＣＤイメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素のうち最も高密度の画素の色の成分に基づいて基づいてクラスを決定し、決定されたクラスに基づいて、上記注目画素の位置に、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成するクラス分類適応処理を上記予測処理部２５で行うことによって、３板式カメラのＣＣＤ出力相当の画像信号を得る。
【００７５】
すなわち、上記デジタルスチルカメラ１のＣＣＤイメージセンサ５にＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成は、各種存在するが、色フィルタアレイの中で各信号値が有する情報の密度に差がある場合、各色信号毎に独立にクラス分類適応処理を行ったのでは、情報の密度差により予測精度に差が生じる。例えば、ベイヤー配列の色フィルタアレイが用いられる場合に、Ｒ，Ｇ、Ｂの各色信号毎に独立にクラス分類適応処理を行ったのでは、ｍ×ｎ（ｍ及びｎは正の整数）個の画素のうちＲ画素とＢ画素に関しては４画素に１個の割合でしか存在しないにも拘わらずＧ（４画素に２個の割合で存在する）と同様の処理がなされることになる。このため、ＲとＢに関してはＧと比較して精度の良い予測処理を行うことができない。
【００７６】
そこで、本発明では、情報の密度に差がある場合には、最も高密度に配置されている色成分のみを利用して、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出し、抽出された複数の画素に基づいて決定されたクラスに基づいて、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成することにより予測精度を向上させることができる。
【００７７】
この場合のベイヤー配列の色フィルタアレイにより色コーディングされた画像信号に対するクラスタップと予測タップの具体例について説明する。例えば図７に示すように、Ｂ画素を予測画素位置とする場合、図８に示すように、その予測画素位置にあるＢ画素の上下左右に隣接する４個のＧ画素、左側に隣接するＧ画素の左上と左下に隣接する２個のＧ画素、さらに、予測画素位置にあるＢ画素の右側に隣接するＧ画素の右上と右下に隣接する２個のＧ画素の合計８個のＧ画素がクラスタップとされる。そして、この場合における予測タップとしては、図９に示すように、中央のＢ画素を中心とする５×５個のＲＧＢの各成分を含む画素が用いられる。
【００７８】
また、図１０に示すように、Ｒ画素が予測画素位置とされる場合、図１１に示すように、その予測画素位置にあるＲ画素のの上下左右に隣接する４個のＧ画素、左側に隣接するＧ画素の左上と左下に隣接する２個のＧ画素、さらに、右側に隣接するＧ画素の右上と右下に隣接する２個の画素の合計８個のＧ画素がクラスタップとされる。この場合における予測タップとしては、図１２に示すように、予測画素にあるＲ画素を中心とする５×５個のＲＧＢの各色成分を含む２５個の画素が用いられる。
【００７９】
さらに、図１３に示すように、Ｇ画素が予測画素位置とされる場合、予測画素位置にあるＧ画素と隣接する画素の色の違いに対応して図１４に示すような画素がクラスタップとして用いられる。すなわち、図１４の（Ａ）に示すクラスタップは、予測画素位置にあるＧ画素の左上、左下、右上及び右下に隣接する４個のＧ画素、予測画素位置にあるＧ画素のから上下方向にＲ画素を介して隣接する２個のＧ画素、及び水平方向にＢ画素を介して隣接する２個のＧ画素、並びに自分自身を含む合計９個のＧ画素により構成されている。また、図１４の（Ｂ）に示すクラスタップは、予測画素位置にあるＧ画素の左上、左下、右上及び右下に隣接する４個のＧ画素、予測画素位置にあるＧ画素のから上下方向にＢ画素を介して隣接する２個のＧ画素、及び水平方向にＲ画素を介して隣接する２個のＧ画素、並びに自分自身を含む合計９個のＧ画素により構成されている。さらに、この場合における予測タップとしては、図１５の（Ａ），（Ｂ）に示すように、予測画素位置にある画素を含む、その周囲の５×５個のＲＧＢの各色成分を含む画素が用いられる。
【００８０】
ＲＧＢの各信号値から、輝度信号Ｙは、次式に従って演算される。
【００８１】
Ｙ＝０．５９Ｇ＋０．３０Ｒ＋０．１１Ｂ
このように、輝度信号に与える影響はＧ成分が最も大きく、したがって、図７に示すように、ベイヤー配列の場合においても、Ｇ成分の画素が最も高密度に配置されている。輝度信号Ｙは、人間の視覚特性、解像度に影響する情報を多量に含んでいる。
【００８２】
そこで、クラスタップをＧ成分の画像信号をＧ画素のみから構成すれば、より精度良く、クラスを決定することができ、精度の良いクラス分類適応処理が可能となる。
【００８３】
上記予測係数セットは、予め学習により得られるもので、上記係数メモリ３２に記憶されている。
【００８４】
ここで、この学習について説明する。図１６は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００８５】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き部４１及び教師画像ブロック化部４５に供給される。間引き部４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き部４１の出力が生徒画像信号として生徒画像ブロック化部４２に供給される。
【００８６】
生徒画像ブロック化部４２は、間引き部４１により生成された生徒信号から、ブロック毎に教師画像信号の予測画素との対応を取りながら、注目画素に基づくクラスタップ及び予測タップを抽出することにより、生徒画像信号をブロック化してＡＤＲＣ処理部４３と演算部４６に供給する。ＡＤＲＣ処理部４３は、生徒画像ブロック化部４２から供給された生徒画像信号にＡＤＲＣ処理を施し特徴情報を生成し、クラス分類部４４に供給する。クラス分類部４４は、入力された特徴情報からクラスコードを発生し、演算部４６に出力する。
【００８７】
ここでは、教師画像信号は、３板式カメラのＣＣＤ出力相当の解像度をもつ画像信号であり、生徒画像信号は、単板式カメラのＣＣＤ出力相当の解像度をもつ画像信号、換言すれば、３板式カメラより解像度の低い画像信号である。さらに換言するに、教師画像信号は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色成分をもつ画像信号であり、生徒画像信号は、１画素がＲ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみをもつ画像信号である。
【００８８】
一方、教師画像ブロック化部４５は、生徒画像信号におけるクラスタップとの対応を取りながら、教師画像信号から予測画素の画像信号を切り出し、切り出した予測画像信号を演算部４６に供給する。演算部４６は、生徒画像ブロック化部４２から供給される予測タップの画像信号と、教師画像ブロック化部４５より供給される予測画画像信号との対応を取りながら、クラス分類部４４より供給されるクラス番号に従って、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算部４６によつて生成される正規方程式のデータが学習データメモリ４７に逐次読み込まれ、記憶される。
【００８９】
演算部４８は、学習データメモリ４７に蓄積された正規方程式のデータを用いて正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ４９に記憶される。係数メモリ４９の記憶内容は、上述の係数メモリ３２にロードされ、クラス分類適応処理を行う際に使用される。
【００９０】
次に、図１７のフローチャートを参照して、学習装置４０の動作について説明する。
【００９１】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図１８の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図１８の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００９２】
ステップＳ３１では、教師画像ブロック化部４５において、入力された教師画像信号をブロック化し、入力された教師画像信号から生徒画像ブロック化部４２が注目画素として設定する画素に対応する位置に位置する予測画素の画素値を抽出して、演算部４６に出力する。
【００９３】
また、ステップＳ３２では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き部４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図１８の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号を生徒画像ブロック化部４２に出力する。
【００９４】
ステップＳ３３では、生徒画像ブロック化部４２において、入力された生徒画像信号のブロック化を行い、各ブロック毎に、注目画素に基づいて、クラスタップと予測タップを生成する。
【００９５】
ステップＳ３４では、ＡＤＲＣ処理部４３において、生徒画像信号から切り出されたクラスタップの信号を各色信号毎にＡＤＲＣ処理する。
【００９６】
ステップＳ３５では、クラス分類部４４において、ステップＳ３３におけるＡＤＲＣ処理の結果に基づいてクラス分類し、分類されるクラスに対応するクラス番号を示す信号を出力する。
【００９７】
ステップＳ３６では、演算部４６において、クラス分類部４４より供給されたクラス毎に、生徒画像ブロック化部４２より供給された予測タップと、教師画像ブロック化部４５より供給される予測画像に基づいて、上述の式（１０）の正規方程式を生成する処理を実行する。正規方程式は、学習データメモリ４７に記憶される。
【００９８】
ステップＳ３７では、演算部４６によりすべてのブロックについての処理が終了したか否かを判定する。まだ処理していないブロックが存在する場合には、ステップＳ３６に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ３７において、すべてのブロックについての処理が終了したと判定された場合、ステップＳ３８に進む。
【００９９】
ステップＳ３８では、演算部４８において、学習データメモリ４７に記憶された正規方程式を例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類部４４により出力されたクラスコードと関連付けられ、係数メモリ４９に記憶される。
【０１００】
ステップＳ３９において、演算部４８においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップＳ３８に戻り、それ以降の処理を繰り返し実行する。
【０１０１】
ステップＳ３９において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【０１０２】
この学習装置４０では、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定することにより、上述のような適応処理を行うための予測係数セットを得ることができる。
【０１０３】
このようにしてクラスコードと関連付けられて係数メモリ４９に記憶された予測係数セットは、図３に示した画像信号処理部８の係数メモリ３２に記憶されることになる。そして、画像信号処理部８の適応処理部３１は、上述したように、係数メモリ３２に記憶されている予測係数セットを用いて、式（３）に示した線形１次結合モデルにより、注目画素に対して適応処理を行う。このように、入力された画像内の注目画素に基づいて、クラスタップと予測タップを抽出し、抽出されたクラスタップからクラスコードを生成し、その生成されたクラスコードに対応する予測係数セットと予測タップを用いて、注目画素の位置にＲＧＢ全ての色信号を生成するようにしたので、解像度の高い画像を得ることが可能となる。
そして、上記クラスタップとして、最も高密度に配置されている色成分の画素のみを利用することにより、予測精度を向上させることができる。
【０１０４】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定し、ＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、予測係数セットの算出に関してもその９枚を用いてシミュレーションを行った。３板式カメラのＣＣＤ出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラのＣＣＤ出力相当の画像信号を生成し、学習装置４０と同様の処理を行うアルゴリズムで予測係数セットを生成するとともに、単板式カメラのＣＣＤイメージセンサの出力に対し、上述したクラス分類適応処理により予測処理を行い、縦と横それぞれ２倍ずつの画素数を有する画像信号に変換した結果、Ｒ（Ｇ又はＢも同様）の画素を予測する場合のクラスタップを、ＲＧＢが混合する画素としたときより、エッジや細部の鮮鋭度が向上しており、より高い解像度の画像が得られた。クラス分類適応処理に代えて、線形補間処理についてもシミュレーションしてみたが、クラス分類した方が、解像度も、Ｓ／Ｎ比も良好な結果が得られた。
【０１０５】
上記シミュレーションによるＳ／Ｎ比の評価結果として、標準画像Ａ，Ｂ，Ｃについてクラス適応処理生成した各色信号のＳ／Ｎ比は、クラスタップとしてＲＧＢの各画素を独立に抽出するクラス適応処理では、
標準画像Ａ
Ｒ：３５．２２ｄｂ
Ｇ：３５．４８ｄｂ
Ｂ：３４．９３ｄｂ
標準画像Ｂ
Ｒ：３２．４５ｄｂ
Ｇ：３２．４０ｄｂ
Ｂ：２９．２９ｄｂ
標準画像Ｃでは、
Ｒ：２４．７５ｄｂ
Ｇ：２５．３１ｄｂ
Ｂ：２３．２３ｄｂ
であったものが、クラスタップとしてＧ画素を用いたクラス適応処理では、
標準画像Ａ
Ｒ：３５．３８ｄｂ
Ｇ：３５．４８ｄｂ
Ｂ：３５．１３ｄｂ
標準画像Ｂ
Ｒ：３２．６０ｄｂ
Ｇ：３２．４０ｄｂ
Ｂ：２９．４６ｄｂ
標準画像Ｃ
Ｒ：２４．９９ｄｂ
Ｇ：２５．３１ｄｂ
Ｂ：２３．７９ｄｂ
が得られた。
【０１０６】
このように、情報の密度に差がある場合には、上記クラスタップとして、最も高密度に配置されている色成分の画素のみを利用することにより、予測精度を向上させることができる。
【０１０７】
なお、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の構成のであっても情報の密度に差がある構成の色コーディングフィルタを用いる場合には本発明を適応するができる。
【０１０８】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図１９に示す。
【０１０９】
図１９の（Ａ）〜（Ｅ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。図１９の（Ａ）はベイヤー配列を示し、図１９の（Ｂ）はインタライン配列を示し、図１９の（Ｃ）はＧストライプＲＢ市松配列を示し、図１９の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図１９の（Ｅ）は原色色差配列を示す。
【０１１０】
このように、本発明を適用したデジタルスチルカメラ１においては、最も高密度の画素の色の成分に基づいて決定されたクラスに基づいて、各色成分を演算するようにしたので、より精度良く、画像信号を生成することができる。しかも、クラス分類適応処理により、３板式カメラのＣＣＤ出力相当の各色信号Ｒ，Ｇ，Ｂを得るので、エッジ部分や細部の鮮鋭度が増し、Ｓ／Ｎ比の評価値も向上する。すなわち、クラス分類適応処理により単板式カメラのＣＣＤ出力相当の画像信号から得られる３板式カメラのＣＣＤ出力相当の画像信号は、従来の線形補間処理による場合と比較して、鮮明な画像となる。
【０１１１】
なお、以上においては、画像信号のクラス削減方式として、ＡＤＲＣを用いたが、例えば、ＤＣＴ(Discrete Cosine Transform) 、ＶＱ（ベクトル量子化）、ＤＰＣＭ(Differential Pulse Code Modulation)、ＢＴＣ(Block Trancation Coding) 、非線形量子化などを用いても良い。
【０１１２】
また、ＣＣＤイメージセンサの全画素数に比べて、ＲＧＢの画素が例えば縦横それぞれ２倍で計４倍の解像度を有するなど、解像度等が異なる画像信号を生成する場合にも、この発明を適用することができる。すなわち、生成したい画像信号を教師画像信号とし、デジタルスチルカメラ１に搭載されるＣＣＤイメージセンサ５からの出力画像信号を生徒画像信号として学習を行うことによつて生成される予測係数セットを使用してクラス分類適応処理を行うようにすれば良い。
【０１１３】
また、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【０１１４】
さらに、上記予測処理部２５におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２０に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１１５】
【発明の効果】
以上の如く本発明によれば、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、そのクラスに対応する予測係数セットと予測タップを用いて、注目画素の位置にＲＧＢ全ての色信号を生成するようにしたので、より精度良く、解像度の高い画像信号を得ることができる。
【０１１６】
また、本発明によれば、画素位置毎に複数の色のうちのいずれか１つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成するので、解像度の高い画像信号を得るための処理を行う画像信号処理装置が用いる予測係数セットを算出することができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図２】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図３】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図４】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図５】クラス分類適応処理を用いた予測演算を行うための構成例を示す示すブロック図である。
【図６】予測係数セットを決定するための構成例を示すブロック図である。
【図７】予測画素を説明する図である。
【図８】クラスタップを説明する図である。
【図９】予測タップを説明する図である。
【図１０】予測画素を説明する図である。
【図１１】クラスタップを説明する図である。
【図１２】予測タップを説明する図である。
【図１３】予測画素を説明する図である。
【図１４】クラスタップを説明する図である。
【図１５】予測タップを説明する図である。
【図１６】予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図１７】上記学習装置の動作を説明するためのフローチャートである。
【図１８】上記学習装置による学習処理の一例を模式的に示す図である。
【図１９】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２０】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２１】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１デジタルスチルカメラ、５ＣＣＤイメージセンサ、８画像信号処理部、２５予測処理部、２８ブロック化部、２９ＡＤＲＣ処理部、３０クラス分類部、３１適応処理部、３２係数セットメモリ、４０学習装置、４１間引き部、４２生徒画像ブロック化部、４３ＡＤＲＣ処理部、４４クラス分類部、４５教師画像ブロック化部、４６演算部、４７学習データメモリ、４８演算部、４９係数メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing device, an image signal processing method, a learning device, a learning method, and a recording medium, and in particular, an image signal processing device, an image signal processing method, and an image signal processing method that can obtain a higher-definition image. The present invention relates to a learning device, a learning method, and a recording medium.
[0002]
[Prior art]
An image pickup apparatus using a solid-state image sensor such as a CCD (Charge Coupled Device) image sensor mainly includes a single plate type using a single CCD image sensor (hereinafter referred to as a single plate type camera) and three CCDs. There is a three-plate type using an image sensor (hereinafter referred to as a three-plate camera).
[0003]
In the three-plate camera, for example, three CCD image sensors for R signal, G signal, and B signal are used, and three primary color signals are obtained by the three CCD image sensors. A color image signal generated from the three primary color signals is recorded on a recording medium.
[0004]
In a single-plate camera, a single CCD image sensor having a color coding filter composed of a color filter array assigned to each pixel is installed on the front surface, and 1 color component signal color-coded by the color coding filter is received. Get for each pixel. Examples of the color filter array constituting the color coding filter include primary color filter arrays of R (Red), G (Green), and B (Blue), Ye (Yellow), Cy (Cyanogen), and Mg (Magenta). A complementary color filter array is used. In a single-plate camera, a CCD image sensor obtains one color component signal for each pixel, and generates a color signal other than the color component signal possessed by each pixel by linear interpolation processing. An image close to that obtained by a plate camera was obtained. In a video camera or the like, a single plate type is adopted to reduce the size and weight.
[0005]
In a single-panel camera, for example, a CCD image sensor provided with a color coding filter composed of a color filter array having a color array as shown in FIG. 21A is one of the three primary colors R, G, and B. From each pixel in which filters of one color are arranged, only an image signal corresponding to the color of the filter is output. That is, the R component image signal is output from the pixel in which the R color filter is arranged, but the G component and B component image signals are not output. Similarly, only the G component image signal is output from the G pixel, the R component and B component image signals are not output, and only the B component image signal is output from the B pixel. And the image signal of G component is not output.
[0006]
Here, the color arrangement of the color filter array shown in FIG. 21A is called a Bayer arrangement. In this case, G color filters are arranged in a checkered pattern, and R and B are alternately arranged in each row in the remaining portion.
[0007]
However, when the signal of each pixel is processed in the subsequent stage, R component, G component, and B component image signals are required for each pixel. Therefore, conventionally, as shown in FIGS. 21B to 21D, n × m number of n × m (n and m are positive integers) pixels are output from the output of a CCD image sensor. An image signal of R pixel, an image signal of n × m G pixels, and an image signal of n × m B pixels, that is, an image signal corresponding to a CCD output of a three-plate camera are obtained by linear interpolation, Those image signals are output to the subsequent stage.
[0008]
[Problems to be solved by the invention]
However, since the single-plate camera described above performs color signal interpolation by performing linear processing, the image resolution obtained by the image signal obtained as the imaging output is an image signal obtained as the imaging output of the three-plate camera. There is a problem that the image is low in comparison with the image obtained by the above and the image is blurred as a whole due to the influence of the linear processing.
[0009]
In addition, when obtaining an output corresponding to the CCD output of the three-plate camera from the CCD output of the single-plate camera in this way by the class classification adaptive processing, each pixel of RGB is selected as a class tap independently. When predicting pixels, only R pixels are class taps. When predicting G pixels, only G pixels are prediction taps. When predicting B pixels, only B pixels are prediction taps. In such a case, as shown in FIG. 21A, for example, when a color filter array is used as a color filter array in a CCD image sensor of a single-plate camera, out of n × m pixels Since the R pixel and the B pixel are present only at a rate of one in four pixels, it is impossible to perform the class classification adaptive processing with high accuracy.
[0010]
The present invention has been made in view of such a situation, and an object of the present invention is to make it possible to execute a class classification adaptation process with high accuracy.
[0011]
[Means for Solving the Problems]
The present invention provides an image signal processing apparatus that processes an input image signal having a color component representing any one of a plurality of colors for each pixel position, and the plurality of colors for each target pixel of the input image signal. An extraction means for extracting a plurality of pixels located in the vicinity of the target pixel, and a class for determining a class based on the plurality of pixels extracted by the extraction means; Determination means; and pixel generation means for generating a pixel having a color component different from at least the color component of the pixel of interest based on the class determined in the class determination step, wherein the pixel generation means includes the class A storage unit for storing a prediction coefficient set for each class obtained by learning for each class determined by the determination unit; and a prediction coefficient set corresponding to the class determined by the class determination unit. And by performing computation based on a plurality of pixels of the pixel of interest near extracted by the extracting means, and an arithmetic means for generating a pixel having the different color components, the prediction coefficient set, for each pixel position Extract and extract a plurality of pixels having a color component having the highest density among the plurality of color components, located near the target pixel of the student image signal having a color component representing one of a plurality of colors The class is determined based on the plurality of pixels, and the position of the target pixel of the student image signal is determined from the teacher image signal corresponding to the student image signal and having a plurality of color components for each pixel position. A plurality of pixels in the vicinity of the position corresponding to the image, and an image corresponding to the student image signal for each class based on pixel values of the plurality of pixels extracted from the student image signal and the teacher image signal Characterized in that is obtained by the learning process of generating a prediction coefficient set to be used for prediction calculation for generating an image signal corresponding to the teacher image signal from the item.
[0012]
The present invention is also directed to an image signal processing method for processing an input image signal having a color component representing any one of a plurality of colors for each pixel position, wherein the plurality of pixels for each pixel of interest of the input image signal. A class is determined based on an extraction step that extracts a plurality of pixels located in the vicinity of the target pixel and a plurality of pixels extracted in the extraction step. And a pixel generation step for generating a pixel having a color component different from at least the color component of the pixel of interest based on the class determined in the class determination step. In the pixel generation step, , Using the prediction coefficient set for each class obtained in advance by learning for each class determined in the class determination step, the class determined in the class determination step. By performing calculation based on a plurality of pixels of the pixel of interest near extracted by the prediction coefficient set and the extraction step in response to said generated pixels having different color components, the prediction coefficient set, for each pixel position A plurality of pixels having a color component having the highest density among the plurality of color components, the pixel being located in the vicinity of the target pixel of the student image signal having a color component representing any one of the plurality of colors, A class is determined based on the plurality of extracted pixels, and is an image signal corresponding to the student image signal. From a teacher image signal having a plurality of color components for each pixel position, a target pixel of the student image signal is determined. A plurality of pixels in the vicinity of a position corresponding to the position are extracted, and each class corresponds to the student image signal based on pixel values of the plurality of pixels extracted from the student image signal and the teacher image signal. Picture Characterized in that the signal is obtained by the learning process of generating a prediction coefficient set to be used for prediction calculation for generating an image signal corresponding to the teacher image signal.
[0013]
The present invention also provides a recording medium on which a computer-controllable program for performing image signal processing for processing an input image signal having a color component representing any one of a plurality of colors for each pixel position is recorded. The program includes, for each target pixel of the input image signal, an extraction step of extracting a plurality of pixels having a color component having the highest density among the plurality of color components and located in the vicinity of the target pixel; A class determining step for determining a class based on the plurality of pixels extracted in the extracting step, and a pixel having a color component different from at least the color component of the target pixel based on the class determined in the class determining step A pixel generation step for generating the image, wherein the pixel generation step is obtained in advance by learning for each class determined in the class determination step. Using the prediction coefficient set for each class, performing the calculation based on the prediction coefficient set corresponding to the class determined in the class determination step and a plurality of pixels in the vicinity of the target pixel extracted in the extraction step, the difference A pixel having a color component is generated, and the prediction coefficient set is located near a target pixel of a student image signal having a color component representing any one of a plurality of colors for each pixel position, and the plurality of color components A plurality of pixels having a color component having the highest density, and a class is determined based on the extracted pixels, and the image signal corresponding to the student image signal is a plurality of pixels for each pixel position. A plurality of pixels in the vicinity of the position corresponding to the position of the target pixel of the student image signal are extracted from the teacher image signal having the color components of the student image signal, and a plurality of pixels extracted from the student image signal and the teacher image signal are extracted. Learning processing for generating, for each class, a prediction coefficient set for use in a prediction calculation for generating an image signal corresponding to the teacher image signal from an image signal corresponding to the student image signal for each class It was obtained by the above.
[0014]
The learning device according to the present invention is located in the vicinity of a target pixel of a student image signal having a color component representing one of a plurality of colors for each pixel position, and has the highest density among the plurality of color components. First pixel extracting means for extracting a plurality of pixels having a color component, class determining means for determining a class based on the plurality of pixels extracted by the first pixel extracting means, and the student image A second pixel that is an image signal corresponding to the signal and extracts a plurality of pixels near a position corresponding to the position of the target pixel of the student image signal from a teacher image signal having a plurality of color components for each pixel position Corresponding to the teacher image signal from the image signal corresponding to the student image signal for each class based on the pixel values of the plurality of pixels extracted by the extracting means and the first and second pixel extracting means. For generating image signals Characterized in that it comprises a prediction coefficient generating means for generating a prediction coefficient set used for the measurement operation.
[0015]
Further, the learning method according to the present invention is located in the vicinity of a target pixel of a student image signal having a color component representing any one of a plurality of colors for each pixel position, and has the highest density among the plurality of color components. A first pixel extracting step for extracting a plurality of pixels having a color component, a class determining step for determining a class based on the plurality of pixels extracted in the first pixel extracting step, and the student image A second pixel that is an image signal corresponding to the signal and extracts a plurality of pixels near a position corresponding to the position of the target pixel of the student image signal from a teacher image signal having a plurality of color components for each pixel position Based on the extraction step and the pixel values of the plurality of pixels extracted by the first and second pixel extracting means, for each class, the image signal corresponding to the student image signal corresponds to the teacher image signal. Image signal Characterized in that it comprises a prediction coefficient generation step of generating a prediction coefficient set to be used for prediction calculation for generating.
[0016]
Furthermore, the present invention provides a recording medium on which a computer-controllable program for performing a learning process for generating a prediction coefficient set according to a class is recorded, the program being one of a plurality of colors for each pixel position. A first pixel extraction step for extracting a plurality of pixels located in the vicinity of a target pixel of a student image signal having a color component representing one of the plurality of color components and having the highest density color component; and A class determining step for determining a class based on the plurality of pixels extracted in the first pixel extracting step, and a teacher image that is an image signal corresponding to the student image signal and has a plurality of color components for each pixel position A second pixel extraction step for extracting a plurality of pixels in the vicinity of the position corresponding to the position of the target pixel of the student image signal from the signal, and extraction by the first and second pixel extraction means. Based on the pixel values of the plurality of pixels, a prediction coefficient set used for prediction calculation for generating an image signal corresponding to the teacher image signal from an image signal corresponding to the student image signal is generated for each class. And a prediction coefficient generation step.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0018]
The present invention is applied to, for example, a digital still camera 1 configured as shown in FIG. The digital still camera 1 is a single-plate camera that performs color imaging using a single CCD image sensor 5 in which a color coding filter 4 composed of color filters assigned to each pixel is installed on the front surface. Incident light is condensed by the lens 2 and incident on the CCD image sensor 5 through the iris 3 and the color coding filter 4. On the imaging surface of the CCD image sensor 5, a subject image is formed by incident light having a predetermined level of light quantity by the iris 3. In the digital still camera 1, the color coding filter 4 and the CCD image sensor 5 are separated from each other, but may be integrated.
[0019]
The CCD image sensor 5 performs exposure for a predetermined time in accordance with an electronic shutter controlled by a timing signal from the timing generator 9, and a signal charge (analog amount) corresponding to the amount of incident light transmitted through the color coding filter 4. Is generated for each pixel, the subject image formed by the incident light is imaged, and an image signal obtained as the imaging output is supplied to the signal adjustment unit 6.
[0020]
The signal adjustment unit 6 includes an AGC (Automatic Gain Control) circuit that adjusts the gain so that the signal level of the image signal is constant, and a CDS (Correiated Double Sampling) that removes 1 / f noise generated by the CCD image sensor 5. ) Circuit.
[0021]
The image signal output from the signal adjustment unit 6 is converted from an analog signal to a digital signal by the A / D conversion unit 7 and supplied to the image signal processing unit 8. In the A / D converter 7, for example, a digital imaging signal of 10 bits per sample is generated according to the timing signal from the timing generator 9.
[0022]
In the digital still camera 1, a timing generator 9 supplies various timing signals to a CCD image sensor 5, a signal adjustment unit 6, an A / D conversion unit 7, and a CPU (Central Processing Unit) 10. The CPU 10 controls the iris 3 by driving the motor 11. Further, the CPU 10 drives the motor 12 to move the lens 2 and the like, and controls zoom and autofocus. Further, the CPU 10 performs control to emit a flash by the flash 13 as necessary.
[0023]
The image signal processing unit 8 performs a defect correction process, a digital clamp process, a white balance adjustment process, a gamma correction process, a prediction process using a class classification adaptive process, and the like on the image signal supplied from the A / D conversion unit 7. Process.
[0024]
The memory 15 connected to the image signal processing unit 8 is composed of, for example, a RAM (Random Access Memory), and stores signals necessary when the image signal processing unit 8 performs image processing. The image signal processed by the image signal processing unit 8 is stored in the memory 16 via the interface 14. The image signal stored in the memory 16 is recorded on a recording medium 17 that can be attached to and detached from the digital still camera 1 via the interface 14.
[0025]
The motor 11 drives the iris 3 based on the control information from the CPU 10 and controls the amount of light incident through the lens 2. The motor 12 controls the focus state of the lens 2 with respect to the CCD image sensor 2 based on control information from the CPU 10. Thereby, an automatic aperture control operation and an automatic focus control operation are realized. The flash 13 irradiates the subject with a predetermined flash under the control of the CPU 10.
[0026]
Further, the interface 14 stores the image signal from the image signal processing unit 8 in the memory 16 as necessary, executes a predetermined interface process, and then supplies and stores the image signal in the recording medium 17. As the recording medium 17, a recording medium detachable from the main body of the digital still camera 1, for example, a disk recording medium such as a floppy disk or a hard disk, a flash memory such as a memory card, or the like can be used.
[0027]
Under the control of the CPU 10, the controller 18 supplies control information to the image signal processing unit 8 and the interface 14 to control them. Operation information by the user is input to the CPU 10 from an operation unit 20 including operation buttons such as a shutter button and a zoom button. The CPU 10 controls each unit described above based on the input operation information. The power supply unit 19 includes a battery 19A and a DC / DC converter 19B. The DC / DC converter 19B converts the electric power from the battery 19A into a DC voltage having a predetermined value and supplies it to each component in the apparatus. The rechargeable battery 19 </ b> A can be attached to and detached from the main body of the digital still camera 1.
[0028]
Next, the operation of the digital still camera 1 shown in FIG. 1 will be described with reference to the flowchart of FIG. In step S1, the digital still camera 1 starts imaging of a subject when the power is turned on. That is, the CPU 10 drives the motor 11 and the motor 12 to focus and adjust the iris 3 to form a subject image on the CCD image sensor 5 through the lens 2.
[0029]
In step S2, an image signal obtained by imaging the formed image with the CCD image sensor 5 is gain-adjusted in the signal adjustment unit 6 so that the signal level becomes constant, noise is further removed, and further, A / D Digitized by the converter 7.
[0030]
In step S3, image signal processing including class classification adaptation processing is performed by the image signal processing unit 8 on the image signal digitized by the A / D conversion unit 7.
[0031]
Here, the subject image can be confirmed by the user by displaying an image signal obtained as an imaging output of the CCD image sensor 5 on the electronic viewfinder. It should be noted that the subject image can be confirmed by the user using an optical viewfinder.
[0032]
Then, when the user wants to record the image of the subject image confirmed by the viewfinder on the recording medium 17, the user operates the shutter button of the operation unit 20. In step S4, the CPU 10 of the digital still camera 1 determines whether or not the shutter button has been operated. The digital still camera 1 repeats the processes in steps S2 to S3 until it determines that the shutter button has been operated, and proceeds to step S5 if it determines that the shutter button has been operated.
[0033]
In step S5, the image signal subjected to the image signal processing by the image signal processing unit 8 is recorded on the recording medium 17 via the interface 14.
[0034]
Next, the image signal processing unit 8 will be described with reference to FIG.
[0035]
The image signal processing unit 8 includes a defect correction unit 21 to which the image signal digitized by the A / D conversion unit 7 is supplied. Among the pixels of the CCD image sensor 5, a pixel that does not react to incident light for some reason, a pixel that does not depend on incident light, and in which charge is always stored, in other words, a defective pixel is detected. According to the detection result, a process of correcting the image signal is performed so that the influence of the defective pixels is not exposed.
[0036]
In the A / D conversion unit 7, in order to prevent the negative value from being cut, the A / D conversion is generally performed with the signal value slightly shifted in the positive direction. The clamp unit 22 clamps the image signal that has been defect-corrected by the defect correction unit 21 so that the shift amount described above is eliminated.
[0037]
The image signal clamped by the clamp unit 22 is supplied to the white balance adjustment unit 23. The white balance adjustment unit 23 adjusts the white balance by correcting the gain of the image signal supplied from the clamp unit 22. The image signal whose white balance has been adjusted by the white balance adjustment unit 23 is supplied to the gamma correction unit 24. The gamma correction unit 24 corrects the signal level of the image signal whose white balance has been adjusted by the white balance adjustment unit 23 according to the gamma curve. The image signal subjected to gamma correction by the gamma correction unit 24 is supplied to the prediction processing unit 25.
[0038]
The prediction processing unit 25 converts the output of the gamma correction unit 24 into an image signal equivalent to, for example, a CCD output of a three-plate camera by performing class classification adaptation processing, and supplies the image signal to the correction unit 26. The prediction processing unit 25 includes a blocking unit 28, an ADRC (Adaptive Dynamic Range Coding) processing unit 29, a class classification unit 30, an adaptive processing unit 31, a coefficient memory 32, and the like.
[0039]
The blocking unit 28 supplies a class tap image signal, which will be described later, to the ADRC processing unit 29, and also supplies a prediction tap image signal to the adaptive processing unit 31. The ADRC processing unit 29 performs ADRC processing on the input class tap image signal to generate a requantized code, and supplies the requantized code as feature information to the class classifying unit 30. The class classification unit 30 classifies the image signal patterns based on the feature information supplied from the ADRC processing unit 29, and generates a class number (class code) indicating the classification result. The coefficient memory 32 supplies a coefficient set corresponding to the class number classified by the class classification unit 30 to the adaptive processing unit 31. The adaptive processing unit 31 uses the coefficient set supplied from the coefficient set memory 32 to perform processing for obtaining a prediction pixel value from the image signal of the prediction tap supplied from the blocking unit 28.
[0040]
The correction unit 26 performs processing for so-called image creation necessary for visually enhancing the image such as edge enhancement on the image signal processed by the prediction processing unit 25.
[0041]
The color space conversion unit 27 performs matrix conversion on the image signal (RGB signal) that has been subjected to processing such as edge enhancement by the correction unit 26 and performs predetermined conversion such as YUV (a signal composed of luminance Y and color differences U and V). To an image signal of the signal format. However, the RGB signal may be directly output from the color space conversion unit 27 without performing the matrix conversion process. In one embodiment of the present invention, for example, a YUV signal or an RGB signal can be switched by a user operation.
The image signal converted by the color space conversion unit 27 is supplied to the interface 14 described above.
[0042]
Here, the image signal processing performed by the image signal processing unit 8 in step S3 of the flowchart shown in FIG. 2 will be described with reference to the flowchart of FIG.
[0043]
That is, when the image signal processing unit 8 starts the image signal processing on the image signal digitized by the A / D conversion unit 7, first, in step S11, the influence of the defect of the CCD image sensor 5 does not occur. The defect correction unit 21 performs defect correction of the image signal. In the next step S <b> 12, the clamping unit 22 performs a clamping process for returning the image signal corrected by the defect correcting unit 21 to the original amount shifted in the positive direction.
[0044]
In the next step S13, the white balance adjustment unit 23 adjusts the white balance of the image signal clamped by the clamp unit 22 to adjust the gain between the color signals. In step S14, the gamma correction unit 24 performs correction according to the gamma curve on the image signal whose white balance has been adjusted.
[0045]
In step S15, prediction processing using class classification adaptation processing is performed. Such processing includes steps from step S151 to step S155. In step S151, the image signal that has been gamma corrected by the gamma correction unit 24 is blocked by the blocking unit 28, that is, class taps and prediction taps are cut out. Here, the class tap includes pixels corresponding to a plurality of types of color signals. In step S152, the ADRC processing unit 29 performs ADRC processing.
[0046]
In step S153, the class classification unit 30 performs a class classification process for classifying a class based on the ADRC process. Then, the class number corresponding to the classified class is given to the adaptive processing unit 31.
[0047]
In step S154, the adaptive processing unit 31 reads out the prediction coefficient set corresponding to the class number given from the class classification unit 30 from the coefficient memory 32, multiplies the prediction coefficient set by the image signal of the corresponding prediction tap, Is used to calculate the predicted pixel value.
[0048]
In step S155, it is determined whether or not processing has been performed for all regions. If it is determined that the processing has been performed for all the regions, the process proceeds to step S16. Otherwise, the process proceeds to step S151, and the process for the next region is performed.
[0049]
In step S16, correction processing (so-called image creation) is performed on the image corresponding to the CCD output of the three-plate camera obtained in step S15 so that the image looks good visually. In step S17, the image obtained in step S16 is subjected to color space conversion processing such as converting RGB signals into YUV signals. Thereby, for example, an output image having a signal format suitable as a recording signal is generated.
[0050]
Here, the class classification adaptation process will be described. FIG. 5 shows a general configuration example for performing a prediction calculation using the class classification adaptive processing. The input image signal is supplied to the

area cutout units

101 and 102. The region cutout unit 101 extracts a predetermined image region (referred to as a class tap) from the input image signal, and supplies the class tap signal to the ADRC processing unit 103. The ADRC processing unit 103 generates a requantized code by performing ADRC processing on the supplied signal. A method other than ADRC may be used as a method for generating the requantized code.
[0051]
ADRC is an adaptive requantization method originally developed for high-efficiency coding for VTR (Video Tape Recorder), but it can efficiently express local patterns of signal level in short tone. Has characteristics. Therefore, it can be used to detect a pattern in the space-time of an image signal, that is, a spatial activity for generating a class classification code. In the ADRC processing unit 103, the maximum value MAX and the minimum value MIN in the region cut out as a class tap are equally divided by the designated number of bits and requantized according to the following equation (1).
[0052]
DR = MAX-MIN + 1
Q = [(L−MIN + 0.5) × 2n / DR] (1)
Here, DR is a dynamic range within the region. Further, n is the number of bits allocated, and can be set to n = 2, for example. L is the signal level of the pixels in the region, and Q is the requantization code. However, square brackets ([...]) mean processing to round off the decimal part.
[0053]
As a result, a class tap image signal of, for example, 8 bits per pixel is converted into, for example, a 2-bit requantization code value. By the requantization code value generated in this way, the level distribution pattern in the class tap signal is expressed by a smaller amount of information. For example, when a class tap structure including seven pixels is used, seven requantization codes q1 to q7 corresponding to each pixel are generated by the processing as described above. The class code class is as shown in the following equation (2).
[0054]
[Expression 1]

[0055]
Here, n is the number of pixels cut out as a class tap. Moreover, as a value of p, it can be set as p = 2, for example.
[0056]
The class code class represents a class formed by classifying the pattern of level distribution of image signals in space-time, that is, spatial activity as feature information. The class code class is supplied to the prediction coefficient memory 104. The prediction coefficient memory 104 stores a prediction coefficient set for each class determined in advance as described later, and outputs a prediction coefficient set for a class expressed by the supplied requantization code. On the other hand, the region cutout unit 102 extracts a predetermined image region (referred to as a prediction tap) from the input image, and supplies an image signal of the prediction tap to the prediction calculation unit 105. The prediction calculation unit 105 generates an output image signal y by performing a calculation such as the following equation (3) based on the output of the region cutout unit 102 and the prediction coefficient set supplied from the prediction coefficient memory 104. To do.
[0057]
y = w ₁ × x ₁ + w ₂ × x ₂ +... + w _n × x _n (3)
Here, x _1, ···, is x _n is the pixel value of each prediction taps, w _1, ···, is w _n is the prediction coefficient.
[0058]
In addition, a process for determining a prediction coefficient set will be described with reference to FIG. An HD (High Definition) image signal having the same image signal format as the output image signal is supplied to the HD-SD conversion unit 201 and the pixel extraction unit 208. The HD-SD conversion unit 201 converts the HD image signal into an image signal having the same resolution (number of pixels) as the input image signal (hereinafter referred to as an SD (Standard Definition) image signal) by performing a thinning process or the like. This SD image signal is supplied to the

area cutout units

202 and 203. Similar to the region cutout unit 101, the region cutout unit 202 cuts out a class tap from the SD image signal and supplies the class tap image signal to the ADRC processing unit 204.
[0059]
The ADRC processing unit 204 performs the same ADRC processing as the ADRC processing unit 103 in FIG. 5 and generates a requantization code based on the supplied signal. The requantization code is supplied to the class code generation unit 205. The class code generation unit 205 generates a class code indicating a class corresponding to the supplied requantization code, and supplies the class code to the normal equation addition unit 206. On the other hand, similarly to the region cutout unit 102 in FIG. 6, the region cutout unit 203 cuts out a prediction tap from the supplied SD image signal, and supplies the cutout image signal of the prediction tap to the normal equation addition unit 206.
[0060]
The normal equation adding unit 206 adds the image signal supplied from the region cutout unit 203 and the image signal supplied from the pixel extracting unit 208 for each class code supplied from the class code generating unit 205, and adds the added classes. Each signal is supplied to the prediction coefficient determination unit 207. The prediction coefficient determination unit 207 determines a prediction coefficient set for each class based on the supplied signal for each class.
[0061]
Furthermore, the calculation for determining a prediction coefficient set is demonstrated. The prediction coefficient w _i is calculated as follows by supplying a plurality of types of image signals as HD image signals to the configuration shown in FIG. When the number of types of these image signals is expressed as m, the following equation (4) is set from the equation (3).
[0062]
y _k = w ₁ × x _k1 + w ₂ × x _k2 +... + w _n × x _kn (4)
(K = 1, 2,..., M)
When m> n, w ₁ ,..., w _n are not uniquely determined. Therefore, the element ek of the error vector e is defined by the following equation (5) and defined by the equation (6). The prediction coefficient set is determined so as to minimize the square of the error vector e. That is, a prediction coefficient set is uniquely determined by a so-called least square method.
[0063]
e _k = y _k − {w ₁ × x _k1 + w ₂ × k ₂ +... + w _n × k _n } (5)
(K = 1, 2,... M)
[0064]
[Expression 2]

[0065]
A practical calculation method for obtaining the prediction coefficient set that minimizes the e ² of the formula (6), predicts e ² coefficients _{w i (i = 1,2, ···} ) partially differentiated by (formula (7)) Each prediction coefficient w _i may be determined so that the partial differential value becomes 0 for each value of _i .
[0066]
[Equation 3]

[0067]
A specific procedure for determining each prediction coefficient w _i from Expression (7) will be described. If X _ji and Y _i are defined as in equations (8) and (9), equation (7) can be written in the form of a determinant of equation (10).
[0068]
[Expression 4]

[0069]
[Equation 5]

[0070]
[Formula 6]

[0071]
Equation (10) is generally called a normal equation. The normal equation adding unit 205 performs operations as shown in the equations (8) and (9) based on the supplied signals, thereby _obtaining X _ji , Y _i (i = 1, 2,..., N). Respectively. The prediction coefficient determination unit 207 calculates the prediction coefficient w _i (i = 1, 2,...) By solving the normal equation (10) according to a general matrix solution method such as a sweep-out method.
[0072]
Here, the adaptive process is performed by calculating the linear first combination model in the above equation (3) using the prediction coefficient set and the prediction tap corresponding to the feature information of the target pixel. Note that the prediction coefficient set corresponding to the feature information of the target pixel used for the adaptive processing is obtained by learning, but the adaptive processing can also be performed by using a pixel value corresponding to the class or by calculating a nonlinear model.
[0073]
By the class classification adaptive processing as described above, various image signal conversion processing for generating, as an output image signal, an image signal from which noise has been removed, an image signal obtained by converting the scanning line structure, etc. is realized from the input image signal. Is done.
[0074]
In this digital still camera 1, for example, for each pixel of interest of an input image signal from an input image signal having a color component representing any one of a plurality of pixel positions generated by a CCD image sensor of a single-plate camera. In addition, a plurality of pixels in the vicinity of the target pixel are extracted, a class is determined based on a color component of the highest density pixel among the plurality of extracted pixels, and based on the determined class, An image signal corresponding to the CCD output of a three-plate camera is obtained by performing the classification processing adaptive processing for generating a pixel having a color component different from the color component of the target pixel at the position of the target pixel. .
[0075]
That is, although there are various configurations of the color filter array constituting the color coding filter 4 that can be used for the CCD image sensor 5 in the CCD image sensor 5 of the digital still camera 1, each signal value in the color filter array. When there is a difference in the information density of the information, if the classification adaptation process is performed independently for each color signal, a difference in the prediction accuracy occurs due to the information density difference. For example, when a Bayer color filter array is used, if the class classification adaptive processing is performed independently for each of the R, G, and B color signals, m × n (m and n are positive integers) Among the pixels, the R pixel and the B pixel are processed in the same manner as G (existing at a ratio of 2 per 4 pixels), although it exists at a ratio of 1 per 4 pixels. For this reason, R and B cannot be predicted with higher accuracy than G.
[0076]
Therefore, in the present invention, when there is a difference in information density, a color representing any one of a plurality of colors for each pixel position using only the color component arranged at the highest density. For each target pixel of the input image signal having a component, a plurality of pixels having the color component having the highest density among the plurality of color components and located near the target pixel are extracted, and the plurality of extracted pixels Prediction accuracy can be improved by generating a pixel having a color component different from the color component of the pixel of interest based on the class determined based on.
[0077]
A specific example of class taps and prediction taps for an image signal color-coded by the Bayer color filter array in this case will be described. For example, as shown in FIG. 7, when a B pixel is set as a predicted pixel position, as shown in FIG. 8, four G pixels that are adjacent to the B pixel at the predicted pixel position vertically and horizontally, and G that is adjacent to the left side 2 G pixels adjacent to the upper left and lower left of the pixel, and 8 G pixels in total including 2 G pixels adjacent to the upper right and lower right of the G pixel adjacent to the right side of the B pixel at the predicted pixel position Is a class tap. As the prediction tap in this case, as shown in FIG. 9, pixels including 5 × 5 RGB components centered on the central B pixel are used.
[0078]
Further, as shown in FIG. 10, when the R pixel is set as the predicted pixel position, as shown in FIG. 11, four G pixels adjacent to the upper, lower, left, and right of the R pixel at the predicted pixel position, A total of 8 G pixels including two G pixels adjacent to the upper left and lower left of the adjacent G pixel and two pixels adjacent to the upper right and lower right of the G pixel adjacent to the right side are class taps. . As the prediction tap in this case, as shown in FIG. 12, 25 pixels including 5 × 5 RGB color components centering on the R pixel in the prediction pixel are used.
[0079]
Furthermore, as shown in FIG. 13, when the G pixel is set as the predicted pixel position, the pixel as shown in FIG. 14 corresponds to the color difference between the G pixel at the predicted pixel position and the adjacent pixel as a class tap. Used. That is, the class tap shown in FIG. 14A has four G pixels adjacent to the upper left, lower left, upper right, and lower right of the G pixel at the predicted pixel position, and the vertical direction from the G pixel at the predicted pixel position. 2 G pixels adjacent to each other through R pixels, 2 G pixels adjacent to each other through B pixels in the horizontal direction, and a total of 9 G pixels including itself. Further, the class tap shown in FIG. 14B has four G pixels adjacent to the upper left, lower left, upper right, and lower right of the G pixel at the predicted pixel position, and the vertical direction from the G pixel at the predicted pixel position. 2 G pixels adjacent to each other via the B pixel, two G pixels adjacent to each other via the R pixel in the horizontal direction, and a total of 9 G pixels including itself. Furthermore, as shown in FIGS. 15A and 15B, prediction taps in this case include pixels including 5 × 5 RGB color components around the pixel including the pixel at the prediction pixel position. Used.
[0080]
From the RGB signal values, the luminance signal Y is calculated according to the following equation.
[0081]
Y = 0.59G + 0.30R + 0.11B
As described above, the G component has the largest influence on the luminance signal. Therefore, as shown in FIG. 7, even in the case of the Bayer array, pixels of the G component are arranged with the highest density. The luminance signal Y contains a large amount of information that affects human visual characteristics and resolution.
[0082]
Therefore, if the class tap is composed of only G pixels for the G component image signal, the class can be determined with higher accuracy, and highly accurate class classification adaptive processing can be performed.
[0083]
The prediction coefficient set is obtained in advance by learning and is stored in the coefficient memory 32.
[0084]
Here, this learning will be described. FIG. 16 is a block diagram illustrating a configuration of a learning device 40 that obtains a prediction coefficient set by learning.
[0085]
In this learning device 40, an output image signal to be generated as a result of the class classification adaptive processing, that is, an image signal having the same signal format as an image signal equivalent to a CCD output of a three-plate camera is used as a teacher image signal. This is supplied to the teacher image blocking unit 45. The thinning unit 41 thins out pixels from the teacher image signal according to the arrangement of each color of the color filter array. The thinning process is performed by applying a filter assuming an optical low-pass filter attached to the CCD image sensor 5. That is, thinning processing is performed assuming an actual optical system. The output of the thinning unit 41 is supplied to the student image blocking unit 42 as a student image signal.
[0086]
The student image blocking unit 42 extracts the class tap and the prediction tap based on the target pixel from the student signal generated by the thinning unit 41 while taking correspondence with the prediction pixel of the teacher image signal for each block. The student image signal is blocked and supplied to the ADRC processing unit 43 and the calculation unit 46. The ADRC processing unit 43 performs ADRC processing on the student image signal supplied from the student image blocking unit 42 to generate feature information, and supplies the feature information to the class classification unit 44. The class classification unit 44 generates a class code from the input feature information and outputs it to the calculation unit 46.
[0087]
Here, the teacher image signal is an image signal having a resolution equivalent to a CCD output of a three-plate camera, and the student image signal is an image signal having a resolution equivalent to a CCD output of a single-plate camera, in other words, a three-plate camera. This is an image signal with a lower resolution. In other words, the teacher image signal is an image signal in which one pixel has an R component, a G component, and a B component, that is, three primary color components, and a student image signal has one pixel out of the R component, the G component, or the B component. Is an image signal having only one color component.
[0088]
On the other hand, the teacher image blocking unit 45 cuts out the image signal of the predicted pixel from the teacher image signal while taking correspondence with the class tap in the student image signal, and supplies the cut out predicted image signal to the calculation unit 46. The calculation unit 46 is supplied from the class classification unit 44 while taking a correspondence between the prediction tap image signal supplied from the student image blocking unit 42 and the predicted image signal supplied from the teacher image blocking unit 45. According to the class number, an operation for generating data of a normal equation that is an equation having a prediction coefficient set as a solution is performed. The data of the normal equation generated by the arithmetic unit 46 is sequentially read and stored in the learning data memory 47.
[0089]
The calculation unit 48 executes processing for solving the normal equation using the data of the normal equation stored in the learning data memory 47. Thereby, a prediction coefficient set for each class is calculated. The calculated prediction coefficient set is stored in the coefficient memory 49 in association with the class. The content stored in the coefficient memory 49 is loaded into the coefficient memory 32 described above and used when performing the class classification adaptation process.
[0090]
Next, the operation of the learning device 40 will be described with reference to the flowchart of FIG.
[0091]
The digital image signal input to the learning device 40 is an image signal that provides an image quality equivalent to an image captured by a three-plate camera. The image signal (teacher image signal) obtained with the three-plate camera includes the three primary color signals of R, G, and B as one pixel image signal, whereas the image signal (student) obtained with the single-plate camera. The image signal) includes only one of the three primary color signals of R, G, and B as an image signal of one pixel. For example, a teacher image signal obtained by filtering an HD image signal captured by a three-plate camera as shown in FIG. 18A and converting it into a 1/4 size SD image signal as shown in FIG. Are input to the learning device 40.
[0092]
In step S31, the teacher image blocking unit 45 blocks the input teacher image signal, and the prediction is located at a position corresponding to the pixel set by the student image blocking unit 42 as the target pixel from the input teacher image signal. The pixel value of the pixel is extracted and output to the calculation unit 46.
[0093]
In step S32, a filter corresponding to the color coding filter 4 used for the CCD image sensor 5 of the single-plate camera by the thinning unit 41 with respect to the teacher image signal that can obtain the image quality corresponding to the image captured by the three-plate camera. As shown in FIG. 18C, a student image signal corresponding to the image signal output from the CCD image sensor 5 of the single-panel camera is generated from the teacher image signal, and the generated student is executed. The image signal is output to the student image blocking unit 42.
[0094]
In step S33, the student image blocking unit 42 blocks the input student image signal, and generates a class tap and a prediction tap for each block based on the target pixel.
[0095]
In step S34, the ADRC processing unit 43 performs ADRC processing on the class tap signal cut out from the student image signal for each color signal.
[0096]
In step S35, the class classification unit 44 performs class classification based on the result of the ADRC process in step S33, and outputs a signal indicating a class number corresponding to the class to be classified.
[0097]
In step S <b> 36, in the calculation unit 46, for each class supplied from the class classification unit 44, the prediction tap supplied from the student image blocking unit 42 and the predicted image supplied from the teacher image blocking unit 45 are used. Then, the process of generating the normal equation of the above equation (10) is executed. The normal equation is stored in the learning data memory 47.
[0098]
In step S37, the calculation unit 46 determines whether or not the processing for all the blocks has been completed. If there is a block that has not been processed yet, the process returns to step S36, and the subsequent processing is repeatedly executed. If it is determined in step S37 that the processing for all the blocks has been completed, the process proceeds to step S38.
[0099]
In step S38, the calculation unit 48 executes a process of solving the normal equation stored in the learning data memory 47 by using, for example, a sweeping method (Gauss-Jordan elimination method) or a Cholesky decomposition method, thereby setting a prediction coefficient set. Is calculated. The prediction coefficient set calculated in this way is associated with the class code output by the class classification unit 44 and stored in the coefficient memory 49.
[0100]
In step S39, it is determined whether or not the calculation unit 48 has executed processing for solving the normal equations for all classes. If there are still classes that have not yet been executed, the process returns to step S38, and the subsequent steps. Repeat the process.
[0101]
If it is determined in step S39 that the process of solving the normal equations for all classes has been completed, the process ends.
[0102]
In this learning device 40, the color component having the highest density among the plurality of color components is located in the vicinity of the target pixel of the student image signal having a color component representing one of a plurality of colors for each pixel position. And a class is determined based on the extracted pixels, thereby obtaining a prediction coefficient set for performing the adaptive processing as described above.
[0103]
The prediction coefficient set associated with the class code and stored in the coefficient memory 49 in this way is stored in the coefficient memory 32 of the image signal processing unit 8 shown in FIG. Then, as described above, the adaptive processing unit 31 of the image signal processing unit 8 uses the prediction coefficient set stored in the coefficient memory 32 and performs the pixel of interest using the linear linear combination model shown in Expression (3). Adaptive processing is performed on. Thus, based on the target pixel in the input image, class taps and prediction taps are extracted, class codes are generated from the extracted class taps, and a prediction coefficient set corresponding to the generated class codes; Since all the RGB color signals are generated at the position of the target pixel using the prediction tap, an image with high resolution can be obtained.
The prediction accuracy can be improved by using only the pixel of the color component arranged at the highest density as the class tap.
[0104]
In order to evaluate the effect of the above embodiment, assuming that a Bayer array is used as a color filter array, nine high definition standard images of ITE (Institute of Television Engineers) are used, and a prediction coefficient set is calculated. The simulation was also performed using the 9 sheets. The image signal corresponding to the CCD output of the single-plate camera is generated from the image signal corresponding to the CCD output of the three-plate camera by the thinning operation considering the magnification of the class classification adaptive processing and the positional relationship of the pixels. A prediction coefficient set is generated by an algorithm that performs processing, and the output of the CCD image sensor of the single-plate camera is subjected to prediction processing by the above-described classification adaptation processing, and an image having twice the number of pixels in each of the vertical and horizontal directions As a result of conversion into a signal, the sharpness of edges and details is improved and the resolution is higher than when the class tap for predicting R (G or B is the same) pixel is a pixel mixed with RGB. Images were obtained. A simulation was performed for the linear interpolation process instead of the class classification adaptive process, but the results of better resolution and S / N ratio were obtained by class classification.
[0105]
As an evaluation result of the S / N ratio by the above simulation, the S / N ratio of each color signal generated by the class adaptation process for the standard images A, B, and C is the class adaptation process in which RGB pixels are independently extracted as class taps. ,
Standard image A
R: 35.22 db
G: 35.48 db
B: 34.93db
Standard image B
R: 32.45db
G: 32.40 db
B: 29.29db
In standard image C,
R: 24.75db
G: 25.31 db
B: 23.23db
In the class adaptation process using G pixels as class taps,
Standard image A
R: 35.38 db
G: 35.48 db
B: 35.13 db
Standard image B
R: 32.60 db
G: 32.40 db
B: 29.46db
Standard image C
R: 24.99db
G: 25.31 db
B: 23.79db
was gotten.
[0106]
As described above, when there is a difference in information density, the prediction accuracy can be improved by using only the pixels of the color components arranged at the highest density as the class tap.
[0107]
In the above description, the case where a Bayer array filter is used as the color coding filter 4 has been described. However, in the case of using a color coding filter having a different information density even in other configurations. The present invention can be applied.
[0108]
Here, FIG. 19 shows a configuration example of a color filter array constituting the color coding filter 4 that can be used in the CCD image sensor 5 of the digital still camera 1.
[0109]
19A to 19E show green (G), red (R), and blue (B) in the color coding filter 4 formed of the primary color filter array that allows the primary color (R, G, B) components to pass through. An example of the color arrangement is shown. 19A shows a Bayer arrangement, FIG. 19B shows an interline arrangement, FIG. 19C shows a G stripe RB checkered arrangement, and FIG. 19D shows a G stripe RB. A complete checkered arrangement is shown, and FIG. 19E shows a primary color difference arrangement.
[0110]
As described above, in the digital still camera 1 to which the present invention is applied, each color component is calculated based on the class determined based on the color component of the highest density pixel. An image signal can be generated. In addition, since the color signals R, G, and B corresponding to the CCD output of the three-plate camera are obtained by the class classification adaptive processing, the sharpness of the edge portions and details is increased, and the evaluation value of the S / N ratio is also improved. That is, the image signal corresponding to the CCD output of the three-plate camera obtained from the image signal corresponding to the CCD output of the single-plate camera by the class classification adaptive processing becomes a clear image as compared with the case of the conventional linear interpolation processing.
[0111]
In the above description, ADRC is used as the class reduction method of the image signal. For example, DCT (Discrete Cosine Transform), VQ (Vector Quantization), DPCM (Differential Pulse Code Modulation), BTC (Block Trancation Coding). Alternatively, nonlinear quantization or the like may be used.
[0112]
The present invention is also applied to the case where image signals having different resolutions are generated, for example, the RGB pixels have a resolution of 4 times in total, for example, twice the vertical and horizontal directions compared to the total number of pixels of the CCD image sensor. be able to. That is, a prediction coefficient set generated by learning using the image signal to be generated as a teacher image signal and the output image signal from the CCD image sensor 5 mounted on the digital still camera 1 as a student image signal is used. Then, the class classification adaptive process may be performed.
[0113]
In addition to a digital still camera, the present invention can also be applied to video equipment such as a camera-integrated VTR, an image processing apparatus used for broadcasting, for example, and a printer or scanner, for example. .
[0114]
Further, the class classification adaptation process in the prediction processing unit 25 and the learning process for obtaining a prediction coefficient set in the learning device 40 are performed by a CPU (Central Processing Unit) connected to a bus 311 as shown in FIG. 20, for example. The program can be executed by a general computer system 310 including a 312, a memory 313, an input interface 314, a user interface 315, and an output interface 316. A computer program that executes the above processing is a computer-controllable program that performs image signal processing for processing an input image signal recorded on a recording medium and having a color component representing any one of a plurality of pixel positions. Is provided to the user as a recording medium on which is recorded or a computer-controllable program that performs a learning process for generating a prediction coefficient set according to a class. The recording medium includes an information recording medium such as a magnetic disk and a CD-ROM, and a transmission medium via a network such as the Internet and a digital satellite.
[0115]
【The invention's effect】
As described above, according to the present invention, the highest density among the plurality of color components is obtained for each target pixel of the input image signal having a color component representing any one of the plurality of colors for each pixel position. Extract a plurality of pixels that have color components and are located in the vicinity of the pixel of interest, determine a class based on the extracted pixels, and use a prediction coefficient set and a prediction tap corresponding to the class to Since all the RGB color signals are generated at the pixel positions, an image signal with higher resolution and higher resolution can be obtained.
[0116]
In addition, according to the present invention, the pixel image is located in the vicinity of the target pixel of the student image signal having a color component representing one of a plurality of colors for each pixel position, and has the highest density among the plurality of color components. A teacher image signal that extracts a plurality of pixels having color components, determines a class based on the extracted pixels, and corresponds to the student image signal, and has a plurality of color components for each pixel position From this, a plurality of pixels in the vicinity of the position corresponding to the position of the target pixel of the student image signal are extracted, and each class corresponds to the student image signal based on the pixel values of the extracted pixels. Since the prediction coefficient set used for the prediction calculation for generating the image signal corresponding to the teacher image signal is generated from the image signal, the prediction coefficient set used by the image signal processing apparatus that performs processing for obtaining a high-resolution image signal The It can be out.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital still camera to which the present invention is applied.
FIG. 2 is a flowchart for explaining the operation of the digital still camera.
FIG. 3 is a block diagram illustrating a configuration of an image signal processing unit in the digital still camera.
FIG. 4 is a flowchart for explaining image signal processing performed by the image signal processing unit;
FIG. 5 is a block diagram illustrating a configuration example for performing prediction calculation using class classification adaptation processing;
FIG. 6 is a block diagram illustrating a configuration example for determining a prediction coefficient set.
FIG. 7 is a diagram illustrating a prediction pixel.
FIG. 8 is a diagram illustrating class taps.
FIG. 9 is a diagram illustrating a prediction tap.
FIG. 10 is a diagram illustrating a prediction pixel.
FIG. 11 is a diagram illustrating class taps.
FIG. 12 is a diagram illustrating a prediction tap.
FIG. 13 is a diagram illustrating predicted pixels.
FIG. 14 is a diagram illustrating class taps.
FIG. 15 is a diagram illustrating a prediction tap.
FIG. 16 is a block diagram illustrating a configuration example of a learning device that obtains a prediction coefficient set by learning.
FIG. 17 is a flowchart for explaining the operation of the learning apparatus.
FIG. 18 is a diagram schematically illustrating an example of learning processing by the learning device.
FIG. 19 is a diagram schematically illustrating a configuration example of a color filter array of a color coding filter that can be used in the CCD image sensor of the digital still camera.
FIG. 20 is a block diagram showing a general configuration of a computer system that performs the above-described class classification adaptive processing and learning processing for obtaining a prediction coefficient set.
FIG. 21 is a diagram schematically illustrating conventional image signal processing by linear interpolation.
[Explanation of symbols]
1 digital still camera, 5 CCD image sensor, 8 image signal processing unit, 25 prediction processing unit, 28 block forming unit, 29 ADRC processing unit, 30 class classification unit, 31 adaptive processing unit, 32 coefficient set memory, 40 learning device, 41 decimation unit, 42 student image blocking unit, 43 ADRC processing unit, 44 class classification unit, 45 teacher image blocking unit, 46 calculation unit, 47 learning data memory, 48 calculation unit, 49 coefficient memory

Claims

In an image signal processing apparatus that processes an input image signal having a color component representing any one of a plurality of colors for each pixel position,
Extraction means for extracting a plurality of pixels having the color component having the highest density among the plurality of color components for each target pixel of the input image signal and located near the target pixel;
Class determining means for determining a class based on the plurality of pixels extracted by the extracting means;
Pixel generation means for generating a pixel having a color component different from at least the color component of the pixel of interest based on the class determined in the class determination step;
The pixel generation means includes a storage means for storing a prediction coefficient set for each class obtained by learning for each class determined by the class determination means, and a prediction coefficient corresponding to the class determined by the class determination means A calculation unit that generates a pixel having the different color component by performing a calculation based on a plurality of pixels in the vicinity of the target pixel extracted by the set and the extraction unit ;
The prediction coefficient set is located in the vicinity of the target pixel of the student image signal having a color component representing one of a plurality of colors for each pixel position, and the color component having the highest density among the plurality of color components From the teacher image signal, which is an image signal corresponding to the student image signal and having a plurality of color components for each pixel position. Extracting a plurality of pixels in the vicinity of the position corresponding to the position of the target pixel of the student image signal, and for each class based on pixel values of the plurality of pixels extracted from the student image signal and the teacher image signal the image signal processing apparatus is obtained by the learning process of generating a prediction coefficient set to be used for prediction calculation for generating an image signal corresponding to the teacher image signal from the image signal corresponding to the student image signal

The image signal processing apparatus according to claim 1, wherein the pixel generation unit generates a pixel having all color components at the position of the target pixel.

In an image signal processing method for processing an input image signal having a color component representing any one of a plurality of colors for each pixel position,
An extraction step of extracting a plurality of pixels having a color component having the highest density among the plurality of color components and located in the vicinity of the target pixel for each target pixel of the input image signal;
A class determination step for determining a class based on the plurality of pixels extracted in the extraction step;
A pixel generation step for generating a pixel having a color component different from the color component of the target pixel based on the class determined in the class determination step;
In the pixel generation step, using the prediction coefficient set for each class obtained in advance by learning for each class determined in the class determination step, the prediction coefficient set corresponding to the class determined in the class determination step and the above By performing an operation based on a plurality of pixels near the target pixel extracted in the extraction step, a pixel having the different color component is generated,
The prediction coefficient set is located in the vicinity of the target pixel of the student image signal having a color component representing one of a plurality of colors for each pixel position, and the color component having the highest density among the plurality of color components From the teacher image signal, which is an image signal corresponding to the student image signal and having a plurality of color components for each pixel position. Extracting a plurality of pixels in the vicinity of the position corresponding to the position of the target pixel of the student image signal, and for each class based on pixel values of the plurality of pixels extracted from the student image signal and the teacher image signal , the image signal processing method is obtained by the learning process of generating a prediction coefficient set to be used for prediction calculation for generating an image signal corresponding to the teacher image signal from the image signal corresponding to the student image signal

4. The image signal processing method according to claim 3 , wherein in the pixel generation step, a pixel having all color components is generated at the position of the target pixel.

In a recording medium recorded with a computer-controllable program for performing image signal processing for processing an input image signal having a color component representing any one of a plurality of colors for each pixel position,
The program includes, for each target pixel of the input image signal, an extraction step of extracting a plurality of pixels having a color component having the highest density among the plurality of color components and located in the vicinity of the target pixel; A class determining step for determining a class based on the plurality of pixels extracted in the extracting step, and a pixel having a color component different from at least the color component of the target pixel based on the class determined in the class determining step A pixel generation step for generating the image, and in the pixel generation step, a prediction coefficient set for each class obtained in advance by learning for each class determined in the class determination step is used, and the determination is performed in the class determination step. A calculation based on a prediction coefficient set corresponding to the determined class and a plurality of pixels in the vicinity of the target pixel extracted in the extraction step. More, to generate a pixel having the different color components,
The prediction coefficient set is located in the vicinity of the target pixel of the student image signal having a color component representing one of a plurality of colors for each pixel position, and the color component having the highest density among the plurality of color components From the teacher image signal, which is an image signal corresponding to the student image signal and having a plurality of color components for each pixel position. Extracting a plurality of pixels in the vicinity of the position corresponding to the position of the target pixel of the student image signal, and for each class based on pixel values of the plurality of pixels extracted from the student image signal and the teacher image signal And a recording medium obtained by a learning process for generating a prediction coefficient set used for a prediction calculation for generating an image signal corresponding to the teacher image signal from an image signal corresponding to the student image signal .

6. The recording medium according to claim 5 , wherein in the pixel generation step, a pixel having all color components is generated at the position of the target pixel.

A plurality of pixels having a color component having the highest density among the plurality of color components, located in the vicinity of the target pixel of the student image signal having a color component representing any one of a plurality of colors for each pixel position. First pixel extracting means for extracting;
Class determining means for determining a class based on the plurality of pixels extracted by the first pixel extracting means;
A plurality of pixels in the vicinity of a position corresponding to the position of the target pixel of the student image signal are extracted from a teacher image signal that is an image signal corresponding to the student image signal and has a plurality of color components for each pixel position. Two pixel extraction means;
Based on the pixel values of the plurality of pixels extracted by the first and second pixel extraction means, an image signal corresponding to the teacher image signal is generated from the image signal corresponding to the student image signal for each class. And a prediction coefficient generation means for generating a prediction coefficient set used for a prediction calculation for performing a learning operation.

The class determining means generates feature information by ADRC (Adaptive Dynamic Range Coding) processing for a plurality of pixels extracted by the first pixel extracting means, and determines a class based on the feature information. The learning device according to claim 7, characterized in that:

A plurality of pixels having a color component having the highest density among the plurality of color components, located in the vicinity of the target pixel of the student image signal having a color component representing any one of a plurality of colors for each pixel position. A first pixel extraction step to extract;
A class determining step for determining a class based on the plurality of pixels extracted in the first pixel extracting step;
A plurality of pixels in the vicinity of a position corresponding to the position of the target pixel of the student image signal are extracted from a teacher image signal that is an image signal corresponding to the student image signal and has a plurality of color components for each pixel position. Two pixel extraction steps;
Based on the pixel values of the plurality of pixels extracted by the first and second pixel extraction means, an image signal corresponding to the teacher image signal is generated from the image signal corresponding to the student image signal for each class. A prediction coefficient generation step for generating a prediction coefficient set used for a prediction calculation for performing the learning.

In the class determination step, feature information is generated by ADRC (Adaptive Dynamic Range Coding) processing for a plurality of pixels extracted in the first pixel extraction step, and a class is determined based on the feature information. The learning method according to claim 9 , wherein the learning method is characterized.

In a recording medium recorded with a computer-controllable program for performing a learning process for generating a prediction coefficient set according to a class,
The above program is located in the vicinity of a target pixel of a student image signal having a color component representing one of a plurality of colors for each pixel position, and has a color component having the highest density among the plurality of color components. A first pixel extraction step for extracting a plurality of pixels;
A class determining step for determining a class based on the plurality of pixels extracted in the first pixel extracting step, and an image signal corresponding to the student image signal and having a plurality of color components for each pixel position A second pixel extracting step for extracting a plurality of pixels in the vicinity of the position corresponding to the position of the target pixel of the student image signal from the image signal; and a plurality of pixels extracted by the first and second pixel extracting means. Prediction coefficient generation for generating a prediction coefficient set for use in a prediction calculation for generating an image signal corresponding to the teacher image signal from an image signal corresponding to the student image signal for each class based on the pixel value of the pixel A recording medium having steps.

In the class determination step, feature information is generated by ADRC (Adaptive Dynamic Range Coding) processing for a plurality of pixels extracted in the first pixel extraction step, and a class is determined based on the feature information. The recording medium according to claim 11 .