JP4839543B2 - 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 - Google Patents
画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 Download PDFInfo
- Publication number
- JP4839543B2 JP4839543B2 JP2001241155A JP2001241155A JP4839543B2 JP 4839543 B2 JP4839543 B2 JP 4839543B2 JP 2001241155 A JP2001241155 A JP 2001241155A JP 2001241155 A JP2001241155 A JP 2001241155A JP 4839543 B2 JP4839543 B2 JP 4839543B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- processing
- class
- signal
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 30
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims abstract description 73
- 230000003044 adaptive effect Effects 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims description 90
- 238000000605 extraction Methods 0.000 claims description 40
- 230000006978 adaptation Effects 0.000 description 22
- 230000007547 defect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- JMANVNJQNLATNU-UHFFFAOYSA-N oxalonitrile Chemical compound N#CC#N JMANVNJQNLATNU-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体に関し、特に、微細化技術により高密度化、高解像度化の進んだイメージセンサにより得られる撮像出力のＳ／Ｎを信号処理により改善するようにした画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ(Charge Coupled Device) イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィルタアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Magenta) の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
また、撮像信号にデジタル処理による信号処理を施すようにした撮像装置では、Ａ／Ｄ変換前のＣＣＤ出力に対してＡＧＣ(Automatic Gain Contorol) をかけることによって信号を増幅させ、Ａ／Ｄ変換時の階調がある設定値になるように処理される。
【０００６】
【発明が解決しようとする課題】
ところで、ＣＣＤイメージセンサに代表される撮像素子を用いた撮像装置では、撮影の際、入射光量が少ないと、ノイズの多い画像が得られる。入射光量が少ない場合とは、夜間の撮影や被写体が暗い場合、また撮像素子の感度が低い場合などがこれに当たる。このような場合にはノイズの問題がつきまとう。これは、Ａ／Ｄ変換前のＡＧＣが、せまいダイナミック・レンジを増大させて階調を確保しようとするため、本来の信号値と一緒にノイズまで増幅してしまうことによる。
【０００７】
特に、最近のＣＣＤイメージセンサでは、微細化技術や高密度化技術によって画素数は格段に向上したが、１つ１つの画素サイズは極度に小さくなり、入射光を受け入れる面積が小さくなった結果、各画素に入射する光量も減少し、出力画像のＳ／Ｎが低下してしまうという問題が発生している。
【０００８】
なお、ＡＧＣはＡ／Ｄ変換前のアナログ信号として処理されるが、一般にＣＣＤ出力のＡ／Ｄ変換後のデジタル信号に対して多階調化を行う信号処理は存在しない。
【０００９】
そこで、本発明の目的は、微細化技術により高密度化、高解像度化の進んだＣＣＤイメージセンサにより得られる撮像出力のＳ／Ｎを信号処理により改善することにある。
【００１０】
【課題を解決するための手段】
本発明ではクラス分類適応処理を用いてＡ／Ｄ変換後に階調を創造することでＳ／Ｎを改善する。
【００１１】
また、本発明では、撮影環境に適応的な階調創造を行い、Ｓ／Ｎを改善する。
【００１２】
すなわち、本発明に係る画像信号処理装置は、入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換手段と、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施し、多階調化した出力画像信号を得る画像信号処理手段とを備え、上記画像信号処理手段は、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するクラスタップ抽出手段と、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出する予測タップ抽出手段と、上記クラスタップ抽出手段で抽出された画素値について、画像信号パターンのクラス分類を行うクラス分類手段と、上記クラス分類手段により分類される各クラス毎の予測係数セットを記憶した係数記憶手段と、上記クラス分類手段により分類された画像信号パターンのクラス分類に対応する予測係数セットが上記係数記憶手段から与えられ、上記予測タップ抽出手段により抽出された予測タップの各画素値に上記予測係数セットを掛け、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する適応処理手段とからなり、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、被写体を撮像する撮像手段と、上記撮像手段による撮像信号として得られた入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換手段と、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施し、多階調化した出力画像信号を得る画像信号処理手段とを備え、上記画像信号処理手段は、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するクラスタップ抽出手段と、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出する予測タップ抽出手段と、上記クラスタップ抽出手段で抽出された画素値について、画像信号パターンのクラス分類を行うクラス分類手段と、上記クラス分類手段により分類される各クラス毎の予測係数セットを記憶した係数記憶手段と、上記クラス分類手段により分類された画像信号パターンのクラス分類に対応する予測係数セットが上記係数記憶手段から与えられ、上記予測タップ抽出手段により抽出された予測タップの各画素値に上記予測係数セットを掛け、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する適応処理手段とからなり、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成することを特徴とする。
【００１４】
また、本発明に係る画像信号処理方法は、入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換ステップと、
デジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施す階調創造処理ステップとを有し、上記画像信号処理ステップでは、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するとともに、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出し、抽出された上記クラスタップ位置の画素値について画像信号パターンのクラス分類を行うことにより、各クラス毎の予測係数セットを記憶しておき、分類された画像信号パターンのクラス分類に対応する予測係数セットを抽出された上記予測タップの各画素値に掛け、線形和を以て予測画素値とする処理を行うことにより、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成することを特徴とする。
【００１５】
さらに、本発明に係る記録媒体は、入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換ステップと、デジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施す階調創造処理ステップとを有し、上記画像信号処理ステップでは、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するとともに、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出し、抽出された上記クラスタップ位置の画素値について画像信号パターンのクラス分類を行うことにより、各クラス毎の予測係数セットを記憶しておき、分類された画像信号パターンのクラス分類に対応する予測係数セットを抽出された上記予測タップの各画素値に掛け、線形和を以て予測画素値とする処理を行うことにより、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成する画像信号処理を行うコンピュータ制御可能なプログラムが記録されてなる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１７】
本発明は、ＣＣＤイメージセンサをはじめとする画像入力装置一般に対して有力である。処理の対象は幾つか考えられ、図１に示すように単色用のＣＣＤイメージセンサであったり、Ｒ，Ｇ，Ｂの３枚のＣＣＤイメージセンサをもつ系では同じ画素数で、多階調化のみの処理を行えばよい。しかしながら、図２のように単板ＣＣＤイメージセンサからＲＧＢ画像を出力する場合には、多階調化とともに単板３板変換を行う必要がある。また、図３のように高解像度化を伴う場合も考えられるが、これについても入力が単色ＣＣＤイメージセンサであっても、単板ＣＣＤイメージセンサであっても処理は可能である。
【００１８】
以下に説明する実施の形態では、ベイヤ配列などの色フィルタをもつ単板ＣＣＤを搭載したデジタルスチルカメラを想定しており、クラス分類適応処理によって解像度とともに階調を創造する処理を一括で行う。
【００１９】
本発明は、例えば図４に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられた色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。
【００２０】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２１】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２２】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成する。
【００２３】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２４】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２５】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２６】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ５に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２７】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフレキシブルディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２８】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力さる。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２９】
次に、図５のフローチャートを参照し、図４に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００３０】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。このＡ／Ｄ変換部７において、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成することにより、ノイズまで増幅してしまうのを回避する。
【００３１】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示することで、ユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３２】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ３において、シャッタボタンが操作されたか否かを判断する。
【００３３】
デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ３に判定結果がＮＯ、すなわち、シャッタボタンが操作されていない場合には、ステップＳ４において、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりビューファインダにより被写体像の画像を表示するための第１の画像処理を行って、上記ステップＳ２に戻り、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ４の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３４】
ステップＳ５では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む第２の画像信号処理を行う。
【００３５】
そして、ステップＳ６では、画像信号処理部８による第２の画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３６】
次に、図６を参照して画像信号処理部８について説明する。
【００３７】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正回路２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３８】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ回路２２は、欠陥補正回路２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする処理を行うことにより、負の値を確保する。
【００３９】
クランプ回路２２によりクランプされた画像信号は、ホワイトバランス調整回路２３に供給される。ホワイトバランス調整回路２３は、クランプ回路２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整回路２３によりホワイトバランスが調整された画像信号は、スイッチ２４を介してクラス分類適応処理部２５又はガンマ補正回路２６に供給される。
【００４０】
ここで、上記スイッチ２４は、シャッタ操作に連動して切り換えられ、シャッタボタンが操作されていない状態では上記ホワイトバランス調整回路２３からの画像信号をガンマ補正回路２６に供給し、シャッタボタンが操作されると上記ホワイトバランス調整回路２３からの画像信号をクラス分類適応処理部２５に供給する。
【００４１】
クラス分類適応処理部２５では、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理などにより局所的な画像の特徴量を抽出し、各特徴にもとづいてクラスを作成して局所的な処理を行う。具体的な処理としては、多階調化、単板画像から３板相等画像への変換、任意の画素数への変換などの処理をすべて一括で行う。このクラス分類適応処理部２５によりクラス分類適応処理の施された画像信号は、ガンマ補正回路２６に供給される。
【００４２】
ガンマ補正回路２６は、上記ホワイトバランス調整回路２３からスイッチ２４を介して供給される画像信号又は上記クラス分類適応処理部２５において画像信号クラス分類適応処理の施された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正回路２６によりガンマ補正された画像信号は、補正回路２７に供給される。なお、ガンマ補正は非線形処理であるため、線形の信号処理を行うクラス分類適応処理部２５が先にある方が信号処理の情度は向上することが考えられる。
【００４３】
補正回路２７は、上記ガンマ補正回路２６により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４４】
そして、色空間変換回路２８は、補正回路２７によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換回路２８からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。色空間変換回路２８により変換された画像信号は、上述のインタフェース１４に供給される。
【００４５】
ここで、上記図５に示したフローチャートのステップＳ４において、画像信号処理部８により行われる第１の画像信号処理について、図７のフローチャートを参照して説明する。
【００４６】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する第１の画像信号処理を開始すると、先ず、ステップＳ４１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正回路２１により画像信号の欠陥補正を行う。そして、次のステップＳ４２では、欠陥補正回路２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ回路２２により行う。
【００４７】
次のステップＳ４３では、クランプ回路２２によりクランプされた画像信号に対して、ホワイトバランス調整回路２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。
【００４８】
次のステップＳ４４では、上記ホワイトバランス調整回路２３によりホワイトバランス調整された画像信号に対して、単板出力画像信号から３板相等画像信号への変換処理を行う。
【００４９】
次のステップＳ４５では、変換された３板相等画像信号に対してガンマ補正回路２６によりガンマ曲線に従った補正を施す。
【００５０】
さらに、ステップＳ４６では、ガンマ補正された画像信号に対して、視覚的に良く見せるための補正処理を行う。ステップＳ４７では、ステップＳ４６で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、ビューファインダで被写体をモニタするための画像信号が生成される。
【００５１】
次に、上記図５に示したフローチャートのステップＳ５において、画像信号処理部８により行われる第２の画像信号処理について、図８のフローチャートを参照して説明する。
【００５２】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する第２の画像信号処理を開始すると、先ず、ステップＳ５１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正回路２１により画像信号の欠陥補正を行う。そして、次のステップＳ５２では、欠陥補正回路２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ回路２２により行う。
【００５３】
次のステップＳ５３では、クランプ回路２２によりクランプされた画像信号に対して、ホワイトバランス調整回路２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。
【００５４】
次のステップＳ５４では、多階調化、単板出力画像信号から３板相等画像信号への変換、高解像度化などの処理をクラス分類適応処理を用いてクラス分類適応処理部２５により一括して行う。
【００５５】
次のステップＳ５５では、クラス分類適応処理の施された画像信号に対して、ガンマ補正回路２６によりガンマ曲線に従った補正を施す。
【００５６】
さらに、ステップＳ５６では、ガンマ補正された３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理を行う。ステップＳ５７では、ステップＳ５６で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像信号が生成される。
【００５７】
ここで、上述の図５のフローチャートに示したデジタルスチルカメラ１の動作では、ビューファインダで被写体をモニタするための画像信号を生成するための第１の画像信号処理（ステップＳ４）と記録用の画像信号を生成するための第２の画像信号処理（ステップＳ５）を画像信号処理部８で行うようにしたが、図９のフローチャートに示すような動作を行うようにしても良い。
【００５８】
すなわち、図９のフローチャートに示す動作では、デジタルスチルカメラ１は、ステップＳ１１において、電源がオンされることにより、被写体の撮像を開始する。
【００５９】
ステップＳ１２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。このＡ／Ｄ変換部７において、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成することにより、ノイズまで増幅してしまうのを回避する。これは、ビット数を少なくし、すなわち、分解能を低くし、１ビット当たりの量子化ステップを大きくすることにより、このような効果が得られる。
【００６０】
ステップＳ１３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８により欠陥処理やホワイトバランス等の第１の画像処理を行う。
【００６１】
このステップＳ１３における第１の画像処理では、図１０に示すステップＳ１３１〜Ｓ１３３の処理を行う。すなわち、ステップＳ１３１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正回路２１により画像信号の欠陥補正を行う。次のステップＳ１３２では、欠陥補正回路２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ回路２２により行う。さらに、次のステップＳ１３３では、クランプ回路２２によりクランプされた画像信号に対して、ホワイトバランス調整回路２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。
【００６２】
そして、ステップＳ１４において、デジタルスチルカメラ１のＣＰＵ１０は、操作部２０のシャッタボタンが操作されたか否かを判断する。
【００６３】
デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ１４に判定結果がＮＯ、すなわち、シャッタボタンが操作されていない場合には、ステップＳ１５において、上記第１の画像処理の施された画像信号に対し、ビューファインダで被写体像を表示するための第２の画像処理を画像信号処理部８により行って、上記ステップＳ１２に戻り、シャッタボタンが操作されたと判断するまで、ステップＳ１２〜Ｓ１５の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ１６に進む。
【００６４】
上記ステップＳ１５における第２の画像処理では、図１１に示すステップＳ１５１〜Ｓ１５４の処理を行う。すなわち、ステップＳ１５１では、上記ホワイトバランス調整回路２３によりホワイトバランス調整された画像信号に対して、単板出力画像信号から３板相等画像信号への変換処理を行う。
【００６５】
次のステップＳ１５２では、変換された３板相等画像信号に対してガンマ補正回路２６によりガンマ曲線に従った補正を施す。次のステップＳ１５３では、ガンマ補正された画像信号に対して、視覚的に良く見せるための補正処理を行う。さらに、ステップＳ１５４では、ステップＳ１５３で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、ビューファインダで被写体をモニタするための画像信号が生成される。
【００６６】
ステップＳ１６では、上記第１の画像処理の施された画像信号に対し、画像信号処理部８によりクラス分類適応処理を含む第３の画像信号処理を行う。
そして、ステップＳ１７では、画像信号処理部８による第３の画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００６７】
ここで、上記ステップＳ１６における第３の画像処理では、図１２に示すステップＳ１６１〜Ｓ１６４の処理を行う。すなわち、ステップＳ１６１では、多階調化、単板出力画像信号から３板相等画像信号への変換、高解像度化などの処理をクラス分類適応処理を用いてクラス分類適応処理部２５により一括して行う。次のステップＳ１６２では、クラス分類適応処理の施された画像信号に対して、ガンマ補正回路２６によりガンマ曲線に従った補正を施す。さらに、ステップＳ１６３では、ガンマ補正された３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理を行う。ステップＳ１６４では、ステップＳ１６３で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像信号が生成される。
【００６８】
上述の図５や図９のフローチャートでは、カメラ本体側のビューファインダで被写体をモニタするための画像信号を生成する場合の動作について説明したが、光学的ビューファインダを用いる場合等にモニタするための画像信号を生成しない場合は、図１３のに示すフローチャートに従った動作を行えばよい。
【００６９】
すなわち、図１３のフローチャートに示す動作では、デジタルスチルカメラ１は、ステップＳ２１において、電源がオンされることにより、被写体の撮像を開始する。
【００７０】
次のステップＳ２２において、デジタルスチルカメラ１のＣＰＵ１０は、操作部２０のシャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１のＣＰＵ１０は、シャッタボタンが操作されたと判断するまで、ステップＳ２２の判定処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ２３に進む。
【００７１】
ステップＳ２３では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。このＡ／Ｄ変換部７において、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成することにより、ノイズまで増幅してしまうのを回避する。
【００７２】
ステップＳ２４では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む上述の図８に示した画像処理（ステップＳ５１〜Ｓ５７）を行う。
そして、ステップＳ２５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００７３】
次に、図１４を参照してクラス分類適応処理部２５について説明する。
【００７４】
クラス分類適応処理部２５は、クラスタップ抽出回路３１、クラス分類回路３２、係数メモリ３３、予測タップ抽出回路３４、適応処理回路３５等からなる。
【００７５】
クラスタップ抽出回路３１は、注目領域から指定されたタップ位置から画素値を抽出してクラス分類回路３２に渡す。クラス分類回路３２は、クラスタップ抽出回路３１で抽出された画素値に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding)などの処理により特徴情報に基づいて画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を出力する。係数メモリ３３は、クラス分類回路３２により分類されたクラス番号に対応する予測係数セットを適応処理回路３５に供給する。予測タップ抽出回路３４は、注目領域から指定されたタップ位置から画素値を抽出して適応処理回路３５に渡す。適応処理回路３５は、予測タップの各画素値に対応する予測係数をかけ、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する。
【００７６】
ここで、上記図８に示したフローチャートのステップＳ５４や図１２に示したフローチャートのステップＳ１６１において、クラス分類適応処理部２５により行われるクラス分類適応処理について、図１５のフローチャートを参照して説明する。
【００７７】
すなわち、上記クラス分類適応処理部２５は、先ず、ステップＳ８１において、クラスタップ抽出回路３１及び予測タップ抽出回路３４によりクラスタップ及び予測タップの画素値を抽出する。
【００７８】
次のステップＳ８２では、クラス分類回路３２によりクラスタップとして抽出された画素値について、ＡＤＲＣ処理によりクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理回路３５に与える。
【００７９】
次のステップＳ８３において、適応処理回路３５は、クラス分類回路３２より与えられたクラス番号に対応する予測係数セットを係数メモリ３３から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【００８０】
そして、ステップＳ８４では、全画面に対して処理を行ったかどうか判別し、また処理していない領域が存在すれば、ステップＳ２ｌの処理に戻る。すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合には上述のステップＳ１５に移行し、それ以外の場合にはステップＳ２ｌの処理に戻って、次の領域に対する処理を行う。
【００８１】
上記予測係数セットは、予め学習により得られるもので、上記係数メモリ３３に記憶されている。
【００８２】
ここで、この学習について説明する。図１６は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００８３】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き回路４１及び予測対象画素抽出回路４５に供給される。
【００８４】
間引き回路４１は、教師画像信号に対して、処理の倍率を考慮したローパスフィルタをかけ、その後色フィルタアレイの各色の配置にしたがって画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して装着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。次に、間引いた画素値に対してビット数の削減を行う。実際に処理を行う系において、Ａ／Ｄ変換を６ビットの精度で行い、後のクラス分類適応処理で８ビットまで階調を上げるのであれば、８ビットの画像をこの学習装置４０の入力とし、この間引き回路４１で６ビットまで落とすことを行う。間引き回路４１の出力は、生徒画像信号としてクラスタップ抽出回路４２及び予測タップ抽出回路４４に供給される。
【００８５】
クラスタップ抽出回路４２は、間引き回路４１によって作成された生徒画像信号から、クラス分類に用いるクラスタップを抽出する。
【００８６】
クラス分類回路４３は、クラスタップ抽出回路４２で抽出された画素値に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding)などの処理により特徴情報に基づいて画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を出力する。
【００８７】
予測タップ抽出回路４４は、生徒画像信号におけるクラスタップとの対応をとりながら予測タップを抽出する。
【００８８】
予測対象画素抽出回路４５は、生徒画像信号から抽出されるクラスタップ及び予測タップとの対応を取りながら、予測の対象となる画素値を教師画像信号から抽出する。
【００８９】
演算回路４６は、クラス分類回路４３から出力されたクラス番号毎に、予測タップ抽出回路４４により抽出された予測タップの画素値と予測対象画素抽出回路４５により抽出された予測対象画素の画素値を、最小自乗法を解くための正規方程式に足し込み、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算回路４６によつて生成される正規方程式のデータすなわちマトリクスの係数が学習データメモリ４７に逐次読み込まれ、記憶される。
【００９０】
演算回路４８は、学習データメモリ４７に蓄積された正規方程式のマトリクスをコレスキー分解などの解法を用いて解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ４９に記憶される。係数メモリ４９の記憶内容は、上述の係数メモリ３３にロードされ、クラス分類適応処理を行う際に使用される。
【００９１】
次に、図１７のフローチャートを参照して、学習装置４０の動作について説明する。
【００９２】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。
【００９３】
ステップＳ３１では、間引き回路４１によって、単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、３板ＣＣＤ出力相等の教師画像信号から単板ＣＣＤ出力相等の生徒画像信号を作成し、同時にビット数の削減を行う。
【００９４】
次のステップＳ３２では、間引き処理によって得られた生徒画像信号から、クラスタップ抽出回路４２及び予測タップ抽出回路４４によりクラスタップ及び予測タップの各画素値を抽出する。予測対象画素抽出回路４５により、教師画像信号から生徒画像信号との対応をとりながら予測対象画素の画素値を抽出する。また、ステップＳ３２では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き回路４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号をクラスタップ抽出回路４２に出力する。
【００９５】
次のステップＳ３３では、クラスタップ抽出回路４２で抽出されたクラスタップの画素値に対して、クラス分類回路４３によりＡＤＲＣ処理などを行い、クラス番号を出力する。
【００９６】
次のステップＳ３４では、クラス分類回路４３から出力されたクラス番号にしたがって、演算回路４６により予測タップの画素値と予測対象画素の画素値を正規方程式に足し込む。正規方程式は、学習データメモリ４７に記憶される。
【００９７】
次のステップＳ３５では、演算回路４６により正規方程式への足し込みの処理が、学習の対象画像すべてに対して行われたか否かを判定する。すべての足し込みが行われていればステップＳ３６へ進み、終了していなければステップＳ３２へ戻る。
【００９８】
次のステップＳ３６では、学習対象画像すべての画素値が足し込まれた正規方程式を演算回路４８により例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類回路４３により出力されたクラスコードと関連付けられ、係数メモリ４９に記憶される。
【００９９】
そして、次のステップＳ３７では、演算回路４８においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップＳ３６に戻り、それ以降の処理を繰り返し実行する。このステップＳ３７において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【０１００】
このようにしてクラスコードと関連付けられて係数メモリ４９に記憶された予測係数セットは、図１４に示した画像信号処理部８の係数メモリ３３に記憶されることになる。
【０１０１】
次に、クラス分類方法について説明する。
【０１０２】
クラス分類処理では、処理対象となる入力信号からクラスタップを抽出して、そこにクラスタップ間に存在する特徴量を抽出し、それを分類することによって各クラスを作成することになる。
【０１０３】
ここで、クラス分類の例として単板ＣＣＤ出力から４倍密の高解像度化及び多階調化を行う場合について示す。
【０１０４】
これは飽くまで一例ではあるが、ベイヤー配列の色フィルタアレイにより色コーディングされた画像信号に対し、予測画素位置とクラスタップの配置の関係を図１８〜図２１に示す。この４種類は、予測画素位置によってＲ，Ｇ，Ｂそれぞれ４つのモードをもつことによる。
【０１０５】
図１８の（Ａ）に示すように単板ＣＣＤ出力のＢの周囲に４つの画素を作成して４倍密化を図る場合、図１８の（Ｂ）に示すようなクラスタップをとることができる（モード１）。この場合のクラスの作成方法としては、各種の印のついているクラスタップのうち、同種の印のものの間で例えば１ビットＡＤＲＣを行い、各タップに０又は１の値を与える。その結果のうち、図１８の（Ｂ）に示す点線の四角形で囲まれた９タップの値のみもち寄って、その０と１の組合せによって５１２通りのクラスを作成することが可能になる。この場合に、Ｒ，Ｇ，Ｂそれぞれに別々のＡＤＲＣ処理を行う理由は、クラスに使用する特徴量に各信号内での波形の起伏を組み入れることを考慮してのことである。このクラス分類方法においては、各モードでのタップの配置は異なるが、Ｒ，Ｇ，Ｂ間でのクラス作成方法については全く同じになる。
【０１０６】
また、図１９〜図２１についても同様の方法によってクラスの分類を行う。
【０１０７】
すなわち、図１９の（Ａ）に示すように単板ＣＣＤ出力の水平列でＢに隣接するＧの周囲に４つの画素を作成して４倍密化を図る場合、図１９の（Ｂ）に示すようなクラスタップをとる（モード２）。
【０１０８】
図２０の（Ａ）に示すように単板ＣＣＤ出力の水平列でＲに隣接するＧの周囲に４つの画素を作成して４倍密化を図る場合、図２０の（Ｂ）に示すようなクラスタップをとることができる（モード３）。
【０１０９】
図２１の（Ａ）に示すように単板ＣＣＤ出力の水平列でＲの周囲に４つの画素を作成して４倍密化を図る場合、図２１の（Ｂ）に示すようなクラスタップをとることができる（モード４）。
【０１１０】
予測タップの一例として、予測画素位置周辺に５×５の２５画素にタップをはる構造を図２２に示す。この場合においても、予測画素位置によって４つのモードは存在するものの、Ｒ，Ｇ，Ｂ間でのタップ配置についてはすべて同じになる。また、当然のことながら、それぞれのモードにおいて４つの画素を求める係数は互いに異なり、Ｒ，Ｇ，Ｂそれぞれの予測においても係数は異なることになる。
【０１１１】
クラスタップ及び予測タップの配置については様々考えられる。また、クラスタップ及び予測タップは、数多く使用すれば、その分処理の精度が向上することが確認されているが、実際には演算回路又は予測係数を保存するメモリの容量によって制限を受けることになる。
【０１１２】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定し、シミュレーションを行った。
【０１１３】
十分に高い解像度度をもつＲＧＢ画像信号を用意し、それを学習における教師画像信号とする。その教師画像信号に対して間引き処理、又はローパスフィルタをかけることによって解像度を落とし、ＣＣＤイメージセンサの各画素への少ない入射光量を考慮してＡＧＣでゲインアップした場合を想定してノイズを付加する。その画像信号に対して、各画素値のビット数の削減を行い、学習の生徒画像信号とする。生徒画像信号と教師画像信号をこのように設定した上で、学習装置４０と同じ動作を行うアルゴリズムのソースコードを作成し、上記の手法にもとづいて予測係数を求めた。その予測係数を用いて実際にシミュレーションを行ったのであるが、本処理では単板３板変換、高解像度化、多階調化の３つの処理を一括で行っている。そして、処理結果をノイズを付加しただけでビット数の削減を行っていない生徒画像信号に対して、単板３板変換と高解像度化のみのクラス分類適応処理を施した画像信号との比較を行った。
【０１１４】
シミュレーションにはＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、クラス分類適応処理の学習もその９枚で行った。また、生徒画像信号を作成する際の解像度は１／４に、ビット数の削減は８ビットから６ビットヘの処理を行った。その結果、ビット数の削減を行っていない生徒画像信号にクラス分類適応処理を行った画像信号と比較して、かなりノイズの軽減された画像信号が得られた。また、単板３板変換や高解像度化を含まない、同解像度の画像信号に対するノイズ除去手法としての効果を確認したところでも、その効果は確認された。
【０１１５】
このように上記デジタルスチルカメラ１では、Ａ/Ｄ変換部７での分解能を出力画像信号の解像度よりも低くすることでノイズを除去し、足りなくなった階調を画像信号処理部８におけるクラス分類適応処理で創造することによってＳ／Ｎを改善することができる。
【０１１６】
次に、本発明の他の実施形態について図２３及び図２４を参照して説明する。
【０１１７】
図２３に示すデジタルスチルカメラ１０１は、上述の図１に示したデジタルスチルカメラ１を改良したもので、同一の構成要素については同一番号を付して、その詳細な説明を省略する。
【０１１８】
このデジタルスチルカメラ１０１は、ＣＣＤイメージセンサ５への入射光量に応じて適応的な階調創造を行うもので、ＣＰＵ１１０により、信号調整部１０６におけるＡＧＣの増幅の度合いを監視することでＣＣＤイメージセンサ５への入射光量を検出し、信号調整部１０６におけるＡＧＣの増幅の度合い、すなわち、ＣＣＤイメージセンサ５への入射光量に応じて、多階調化をどの程度行うかを決定する。
【０１１９】
具体的には、コントローラ１１８は、ＣＰＵ１１０の制御の下で、信号調整部１０６におけるＡＧＣの増幅の度合いに応じてＡ／Ｄ変換部１０７によるＡ／Ｄ変換出力のビット数を操作し、そのビット数によって画像信号処理部１０８におけるクラス分類適応処理での係数を変化させることにより、ＣＣＤイメージセンサ５への入射光量に応じて適応的な階調創造を行う。
【０１２０】
このデジタルスチルカメラ１０１では、Ａ／Ｄ変換部１０７において選択できるビット数の種類だけ、クラス分類適応処理の係数を用意しておき、被写体が非常に明るい場合には、階調創造は全く行われずに処理されるのに対して、被写体が暗い場合には、その暗さに対応してノイズが強調されない最適な階調創造が行われる。つまり、撮影環境に適応的な階調創造が行われる。
【０１２１】
すなわち、このデジタルスチルカメラ１０１において、信号調整部１０６は、ＣＣＤイメージセンサ５による撮像出力として得られた画像信号について、信号レベルが一定となるようにゲインを調整するＡＧＣ処理における入力信号レベルを検知し、その値をＣＰＵ１１０に与えるようになっている。
【０１２２】
そして、Ａ／Ｄ変換部１０７は、画素値を何ビットで出力するかという情報をＣＰＵ１１０からコントローラ１１８を介して受け取り、その指示にしたがって、上記信号調整部１０６から出力される画像信号をアナログ信号からデジタル信号に変換する。
【０１２３】
また、画像信号処理部１０８は、クラス分類回路３２により分類されるクラス番号に対応する予測係数セットをＡ／Ｄ変換部１０７において選択できるビット数の種類だけ係数メモリ１３３に記憶している。そして、画像信号処理部１０８では、図２４に示すように、何ビットでＡ／Ｄ変換を行ったかという情報をＣＰＵ１１０からコントローラ１１８を介して受け取り、クラス分類回路３２により分類されたクラス番号と、Ａ／Ｄ変換後のビット数に対応する予測係数セットを係数メモリ１３３から読み出して、適応処理回路１３５により、予測タップの各画素値に対応する予測係数をかけ、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する。
【０１２４】
ここで、上記予測係数セットは、予め学習により得られるもので、上述の図１６に示した学習装置４０による学習処理によって求められる。学習装置４０においては、Ａ／Ｄ変換後のビット数の取りうるパターンの数だけ処理を行う。例えば、撮像系全体の出力が８ビットで、Ａ／Ｄ変換後に取りうるビット数が４，５，６，７，８ビットのうちいずれかであるならば、出力と同じ８ビットを除いた４つのパターンの係数セットを学習することになる。上述の図１７のフローチャートに従った一連の学習処理では、１つの係数セットしか得られないので、その系に必要なパターンの数だけ学習を行う必要がある。
【０１２５】
本発明の効果を評価するため、図２３に示したデジタルスチルカメラ１０１について、単板ＣＣＤイメージセンサの色フィルタアレイにベイヤー配列を想定し、シミュレーションを行った。
【０１２６】
十分に高い解像度度をもつＲＧＢ画像信号を用意し、それを学習における教師画像信号とする。その教師画像信号に対して間引き処理、又はローパスフィルタをかけることによって解像度を落とし、ＣＣＤイメージセンサの各画素への少ない入射光量を考慮してＡＧＣでゲインアップした場合を想定してノイズを付加する。ここでのノイズは、強さを変化させたものを幾つか用意しておき、それらを付加したノイズ画像信号を複数作成しておく。それらの画像信号に対して、各画素値のノイズ量に適応したビット数の削減を行い（ノイズ量が多いもの対しては大幅なビット数の削減、ノイズ量の少ないものに対しては若干のビット数の削減を行う）、学習の生徒画像信号とする。生徒画像信号と教師画像信号をこのように複数パターン用意した上で、学習装置と同じ動作を行うアルゴリズムのソースコードを作成し、上記の手法にもとづいてそれぞれのパターンの予測係数を求めた。その予測係数を用いて実際にシミュレーションを行ったのであるが、本処理では単板３板変換、高解像度化、多階調化の３つの処理を一括で行っている。そして、処理結果をノイズを付加しただけでビット数の削減を行っていない生徒画像信号に対して、単板３板変換と高解像度化のみのクラス分類適応処理を施した画像信号との比較をそれぞれのパターンにおいて行った。
【０１２７】
シミュレーションにはＩＴＥのハイビジョン標準画像９枚を使用し、クラス分類適応処理の学習もその９枚で行った。また、生徒画像信号を作成する際の解像度は１／４に、ビット数の削減はノイズ量に応じて８ビットから４ビット、８ビットから６ビットヘの処理を行った。その結果、ビット数の削減を行っていない生徒画像信号にクラス分類適応処理を行った画像信号と比較して、両方のパターンにおいてかなりノイズの軽減が確認された。また、単板３板変換や高解像度化を含まない、同解像度の画像信号に対してノイズ除去手法としての効果を確認したところでも、その効果は同様に確認された。
【０１２８】
なお、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応する事は可能である。
【０１２９】
ここで、このデジタルスチルカメラ１，１０１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図２５Ａ乃至図２５Ｎに示す。
【０１３０】
図２５Ａ〜図２５Ｇは、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１３１】
図２５Ａはベイヤー配列を示し、図２５Ｂはインタライン配列を示し、図２５ＣはＧストライプＲＢ市松配列を示し、図２５ＤはＧストライプＲＢ完全市松配列を示し、図２５Ｅはストライプ配列を示し、図２５Ｆは斜めストライプ配列を示し、図２５Ｇは原色色差配列を示す。
【０１３２】
また、図２５Ｈ〜図２５Ｎは、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図２５Ｈはフィールド色差順次配列を示し、図２５Ｉがフレーム色差順次配列を示し、図２５ＪはＭＯＳ型配列を示し、図２５Ｋは改良ＭＯＳ型配列を示し、図２５Ｌはフレームインターリーブ配列を示し、図２５Ｍはフィールドインターリーブ配列を示し、図２５Ｎはストライプ配列を示す。
【０１３３】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図２５Ｉに示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ，
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ，
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【０１３４】
また、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【０１３５】
また、上記画像信号処理部８におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２６に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１３６】
【発明の効果】
以上のように、本発明によれば、Ａ/Ｄ変換手段での分解能を出力画像信号よりも低くすることでノイズを除去し、足りなくなった階調を画像信号処理手段におけるクラス分類適応処理で創造することによってＳ／Ｎを改善することができる。
【０１３７】
また、本発明によれば、イメージセンサへの入射光量に応じて、Ａ／Ｄ変換手段における出力ビット数を決定し、そのビット数によって画像信号処理手段におけるクラス分類適応処理での係数を変化させることによって、撮影環境に適応的な階調創造を行い、Ｓ／Ｎを改善することができる。
【図面の簡単な説明】
【図１】クラス分類適応処理を用いた高階調化の概念図である。
【図２】クラス分類適応処理を用いた高階調化及び単板３板変換の概念図である。
【図３】クラス分類適応処理を用いた高階調化、単板３板変換及び高解像度化の概念図である。
【図４】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図５】上記デジタルスチルカメラの動作例を示すフローチャートである。
【図６】上記デジタルスチルカメラにおける画像信号処理回路の構成を示すブロック図である。
【図７】上記デジタルスチルカメラの動作例における上記画像信号処理回路におよる第１の画像処理の動作を示すフローチャートである。
【図８】上記デジタルスチルカメラの動作例における上記画像信号処理回路におよる第１の画像処理の動作を示すフローチャートである。
【図９】上記デジタルスチルカメラの他の動作例を示すフローチャートである。
【図１０】上記デジタルスチルカメラの他の動作例における上記画像信号処理回路におよる第１の画像処理の動作を示すフローチャートである。
【図１１】上記デジタルスチルカメラの他の動作例における上記画像信号処理回路におよる第２の画像処理の動作を示すフローチャートである。
【図１２】上記デジタルスチルカメラの他の動作例における上記画像信号処理回路におよる第３の画像処理の動作を示すフローチャートである。
【図１３】上記デジタルスチルカメラの他の動作例を示すフローチャートである。
【図１４】上記画像信号処理回路におけるクラス分類適応処理部の構成を示すブロック図である。
【図１５】上記クラス分類適応処理部の動作を示すフローチャートである。
【図１６】上記クラス分類適応処理に用いる係数セットを学習する学習装置の構成を示すブロック図である。
【図１７】上記学習装置の動作を示すフローチャートである。
【図１８】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード１）を模式的に示す図である。
【図１９】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード２）を模式的に示す図である。
【図２０】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード３）を模式的に示す図である。
【図２１】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード４）を模式的に示す図である。
【図２２】上記クラス分類適応処理における予測画素位置と予測タップの配置の関係（モード１〜４）を模式的に示す図である。
【図２３】本発明を適用したデジタルスチルカメラの他の構成を示すブロック図である。
【図２４】上記デジタルスチルカメラの画像信号処理回路におけるクラス分類適応処理部の構成を示すブロック図である。
【図２５】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタを構成する色フィルタアレイの構成例を模式的に示す図である。
【図２６】上記予測係数セットを得るための学習処理に使用されるコンピュータシステムの構成を示すブロック図である。
【符号の説明】
１ デジタルスチルカメラ、２ レンズ、３ アイリス、４ 色コーディングフィルタ、５ ＣＣＤイメージセンサ、６ 信号調整部、７ Ａ／Ｄ変換部、８画像信号処理部、９ タイミングジェネレータ、１０ ＣＰＵ、１１ モータ、１２ モータ、１３ フラッシュ、１５ メモリ、１４ インタフェース、１６ メモリ、１７ 記録媒体、１８ コントローラ、１９ 電源部、１９Ａ バッテリ、１９Ｂ ＤＣ／ＤＣコンバータ、２０ 操作部、２１ 欠陥補正回路、２２ クランプ回路、２３ ホワイトバランス調整回路、２４ スイッチ、２５クラス分類適応処理部、２６ ガンマ補正回路、２７ 補正回路、２８ 空間変換回路、３１ クラスタップ抽出回路、３２ クラス分類回路、３３ 係数メモリ、３４ 予測タップ抽出回路、３５ 適応処理回路、４０ 学習装置、４１間引き回路、４２ クラスタップ抽出回路、４３ クラス分類回路、４４ 予測タップ抽出回路、４５ 予測対象画素抽出回路、４６ 演算回路、４７ 学習データメモリ、４８ 演算回路、４９ 係数メモリ、１０１ デジタルスチルカメラ、１１０ ＣＰＵ、１０６ 信号調整部、１１８ コントローラ、１０７ Ａ／Ｄ変換部、１０８ 画像信号処理部、１３３ 係数メモリ、１３５ 適応処理回路、３１０ コンピュータシステム、３１１ バス、３１２ ＣＰＵ、３１３ メモリ、３１４ 入力インターフェース、３１５ ユーザインターフェース、３１６ 出力インターフェース
【発明の属する技術分野】
本発明は、画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体に関し、特に、微細化技術により高密度化、高解像度化の進んだイメージセンサにより得られる撮像出力のＳ／Ｎを信号処理により改善するようにした画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ(Charge Coupled Device) イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィルタアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Magenta) の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
また、撮像信号にデジタル処理による信号処理を施すようにした撮像装置では、Ａ／Ｄ変換前のＣＣＤ出力に対してＡＧＣ(Automatic Gain Contorol) をかけることによって信号を増幅させ、Ａ／Ｄ変換時の階調がある設定値になるように処理される。
【０００６】
【発明が解決しようとする課題】
ところで、ＣＣＤイメージセンサに代表される撮像素子を用いた撮像装置では、撮影の際、入射光量が少ないと、ノイズの多い画像が得られる。入射光量が少ない場合とは、夜間の撮影や被写体が暗い場合、また撮像素子の感度が低い場合などがこれに当たる。このような場合にはノイズの問題がつきまとう。これは、Ａ／Ｄ変換前のＡＧＣが、せまいダイナミック・レンジを増大させて階調を確保しようとするため、本来の信号値と一緒にノイズまで増幅してしまうことによる。
【０００７】
特に、最近のＣＣＤイメージセンサでは、微細化技術や高密度化技術によって画素数は格段に向上したが、１つ１つの画素サイズは極度に小さくなり、入射光を受け入れる面積が小さくなった結果、各画素に入射する光量も減少し、出力画像のＳ／Ｎが低下してしまうという問題が発生している。
【０００８】
なお、ＡＧＣはＡ／Ｄ変換前のアナログ信号として処理されるが、一般にＣＣＤ出力のＡ／Ｄ変換後のデジタル信号に対して多階調化を行う信号処理は存在しない。
【０００９】
そこで、本発明の目的は、微細化技術により高密度化、高解像度化の進んだＣＣＤイメージセンサにより得られる撮像出力のＳ／Ｎを信号処理により改善することにある。
【００１０】
【課題を解決するための手段】
本発明ではクラス分類適応処理を用いてＡ／Ｄ変換後に階調を創造することでＳ／Ｎを改善する。
【００１１】
また、本発明では、撮影環境に適応的な階調創造を行い、Ｓ／Ｎを改善する。
【００１２】
すなわち、本発明に係る画像信号処理装置は、入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換手段と、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施し、多階調化した出力画像信号を得る画像信号処理手段とを備え、上記画像信号処理手段は、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するクラスタップ抽出手段と、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出する予測タップ抽出手段と、上記クラスタップ抽出手段で抽出された画素値について、画像信号パターンのクラス分類を行うクラス分類手段と、上記クラス分類手段により分類される各クラス毎の予測係数セットを記憶した係数記憶手段と、上記クラス分類手段により分類された画像信号パターンのクラス分類に対応する予測係数セットが上記係数記憶手段から与えられ、上記予測タップ抽出手段により抽出された予測タップの各画素値に上記予測係数セットを掛け、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する適応処理手段とからなり、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、被写体を撮像する撮像手段と、上記撮像手段による撮像信号として得られた入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換手段と、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施し、多階調化した出力画像信号を得る画像信号処理手段とを備え、上記画像信号処理手段は、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するクラスタップ抽出手段と、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出する予測タップ抽出手段と、上記クラスタップ抽出手段で抽出された画素値について、画像信号パターンのクラス分類を行うクラス分類手段と、上記クラス分類手段により分類される各クラス毎の予測係数セットを記憶した係数記憶手段と、上記クラス分類手段により分類された画像信号パターンのクラス分類に対応する予測係数セットが上記係数記憶手段から与えられ、上記予測タップ抽出手段により抽出された予測タップの各画素値に上記予測係数セットを掛け、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する適応処理手段とからなり、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成することを特徴とする。
【００１４】
また、本発明に係る画像信号処理方法は、入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換ステップと、
デジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施す階調創造処理ステップとを有し、上記画像信号処理ステップでは、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するとともに、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出し、抽出された上記クラスタップ位置の画素値について画像信号パターンのクラス分類を行うことにより、各クラス毎の予測係数セットを記憶しておき、分類された画像信号パターンのクラス分類に対応する予測係数セットを抽出された上記予測タップの各画素値に掛け、線形和を以て予測画素値とする処理を行うことにより、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成することを特徴とする。
【００１５】
さらに、本発明に係る記録媒体は、入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換ステップと、デジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施す階調創造処理ステップとを有し、上記画像信号処理ステップでは、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するとともに、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出し、抽出された上記クラスタップ位置の画素値について画像信号パターンのクラス分類を行うことにより、各クラス毎の予測係数セットを記憶しておき、分類された画像信号パターンのクラス分類に対応する予測係数セットを抽出された上記予測タップの各画素値に掛け、線形和を以て予測画素値とする処理を行うことにより、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成する画像信号処理を行うコンピュータ制御可能なプログラムが記録されてなる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１７】
本発明は、ＣＣＤイメージセンサをはじめとする画像入力装置一般に対して有力である。処理の対象は幾つか考えられ、図１に示すように単色用のＣＣＤイメージセンサであったり、Ｒ，Ｇ，Ｂの３枚のＣＣＤイメージセンサをもつ系では同じ画素数で、多階調化のみの処理を行えばよい。しかしながら、図２のように単板ＣＣＤイメージセンサからＲＧＢ画像を出力する場合には、多階調化とともに単板３板変換を行う必要がある。また、図３のように高解像度化を伴う場合も考えられるが、これについても入力が単色ＣＣＤイメージセンサであっても、単板ＣＣＤイメージセンサであっても処理は可能である。
【００１８】
以下に説明する実施の形態では、ベイヤ配列などの色フィルタをもつ単板ＣＣＤを搭載したデジタルスチルカメラを想定しており、クラス分類適応処理によって解像度とともに階調を創造する処理を一括で行う。
【００１９】
本発明は、例えば図４に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられた色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。
【００２０】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２１】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２２】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成する。
【００２３】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２４】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２５】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２６】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ５に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２７】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフレキシブルディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２８】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力さる。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２９】
次に、図５のフローチャートを参照し、図４に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００３０】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。このＡ／Ｄ変換部７において、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成することにより、ノイズまで増幅してしまうのを回避する。
【００３１】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示することで、ユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３２】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ３において、シャッタボタンが操作されたか否かを判断する。
【００３３】
デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ３に判定結果がＮＯ、すなわち、シャッタボタンが操作されていない場合には、ステップＳ４において、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりビューファインダにより被写体像の画像を表示するための第１の画像処理を行って、上記ステップＳ２に戻り、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ４の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３４】
ステップＳ５では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む第２の画像信号処理を行う。
【００３５】
そして、ステップＳ６では、画像信号処理部８による第２の画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３６】
次に、図６を参照して画像信号処理部８について説明する。
【００３７】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正回路２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３８】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ回路２２は、欠陥補正回路２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする処理を行うことにより、負の値を確保する。
【００３９】
クランプ回路２２によりクランプされた画像信号は、ホワイトバランス調整回路２３に供給される。ホワイトバランス調整回路２３は、クランプ回路２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整回路２３によりホワイトバランスが調整された画像信号は、スイッチ２４を介してクラス分類適応処理部２５又はガンマ補正回路２６に供給される。
【００４０】
ここで、上記スイッチ２４は、シャッタ操作に連動して切り換えられ、シャッタボタンが操作されていない状態では上記ホワイトバランス調整回路２３からの画像信号をガンマ補正回路２６に供給し、シャッタボタンが操作されると上記ホワイトバランス調整回路２３からの画像信号をクラス分類適応処理部２５に供給する。
【００４１】
クラス分類適応処理部２５では、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理などにより局所的な画像の特徴量を抽出し、各特徴にもとづいてクラスを作成して局所的な処理を行う。具体的な処理としては、多階調化、単板画像から３板相等画像への変換、任意の画素数への変換などの処理をすべて一括で行う。このクラス分類適応処理部２５によりクラス分類適応処理の施された画像信号は、ガンマ補正回路２６に供給される。
【００４２】
ガンマ補正回路２６は、上記ホワイトバランス調整回路２３からスイッチ２４を介して供給される画像信号又は上記クラス分類適応処理部２５において画像信号クラス分類適応処理の施された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正回路２６によりガンマ補正された画像信号は、補正回路２７に供給される。なお、ガンマ補正は非線形処理であるため、線形の信号処理を行うクラス分類適応処理部２５が先にある方が信号処理の情度は向上することが考えられる。
【００４３】
補正回路２７は、上記ガンマ補正回路２６により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４４】
そして、色空間変換回路２８は、補正回路２７によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換回路２８からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。色空間変換回路２８により変換された画像信号は、上述のインタフェース１４に供給される。
【００４５】
ここで、上記図５に示したフローチャートのステップＳ４において、画像信号処理部８により行われる第１の画像信号処理について、図７のフローチャートを参照して説明する。
【００４６】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する第１の画像信号処理を開始すると、先ず、ステップＳ４１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正回路２１により画像信号の欠陥補正を行う。そして、次のステップＳ４２では、欠陥補正回路２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ回路２２により行う。
【００４７】
次のステップＳ４３では、クランプ回路２２によりクランプされた画像信号に対して、ホワイトバランス調整回路２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。
【００４８】
次のステップＳ４４では、上記ホワイトバランス調整回路２３によりホワイトバランス調整された画像信号に対して、単板出力画像信号から３板相等画像信号への変換処理を行う。
【００４９】
次のステップＳ４５では、変換された３板相等画像信号に対してガンマ補正回路２６によりガンマ曲線に従った補正を施す。
【００５０】
さらに、ステップＳ４６では、ガンマ補正された画像信号に対して、視覚的に良く見せるための補正処理を行う。ステップＳ４７では、ステップＳ４６で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、ビューファインダで被写体をモニタするための画像信号が生成される。
【００５１】
次に、上記図５に示したフローチャートのステップＳ５において、画像信号処理部８により行われる第２の画像信号処理について、図８のフローチャートを参照して説明する。
【００５２】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する第２の画像信号処理を開始すると、先ず、ステップＳ５１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正回路２１により画像信号の欠陥補正を行う。そして、次のステップＳ５２では、欠陥補正回路２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ回路２２により行う。
【００５３】
次のステップＳ５３では、クランプ回路２２によりクランプされた画像信号に対して、ホワイトバランス調整回路２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。
【００５４】
次のステップＳ５４では、多階調化、単板出力画像信号から３板相等画像信号への変換、高解像度化などの処理をクラス分類適応処理を用いてクラス分類適応処理部２５により一括して行う。
【００５５】
次のステップＳ５５では、クラス分類適応処理の施された画像信号に対して、ガンマ補正回路２６によりガンマ曲線に従った補正を施す。
【００５６】
さらに、ステップＳ５６では、ガンマ補正された３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理を行う。ステップＳ５７では、ステップＳ５６で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像信号が生成される。
【００５７】
ここで、上述の図５のフローチャートに示したデジタルスチルカメラ１の動作では、ビューファインダで被写体をモニタするための画像信号を生成するための第１の画像信号処理（ステップＳ４）と記録用の画像信号を生成するための第２の画像信号処理（ステップＳ５）を画像信号処理部８で行うようにしたが、図９のフローチャートに示すような動作を行うようにしても良い。
【００５８】
すなわち、図９のフローチャートに示す動作では、デジタルスチルカメラ１は、ステップＳ１１において、電源がオンされることにより、被写体の撮像を開始する。
【００５９】
ステップＳ１２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。このＡ／Ｄ変換部７において、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成することにより、ノイズまで増幅してしまうのを回避する。これは、ビット数を少なくし、すなわち、分解能を低くし、１ビット当たりの量子化ステップを大きくすることにより、このような効果が得られる。
【００６０】
ステップＳ１３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８により欠陥処理やホワイトバランス等の第１の画像処理を行う。
【００６１】
このステップＳ１３における第１の画像処理では、図１０に示すステップＳ１３１〜Ｓ１３３の処理を行う。すなわち、ステップＳ１３１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正回路２１により画像信号の欠陥補正を行う。次のステップＳ１３２では、欠陥補正回路２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ回路２２により行う。さらに、次のステップＳ１３３では、クランプ回路２２によりクランプされた画像信号に対して、ホワイトバランス調整回路２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。
【００６２】
そして、ステップＳ１４において、デジタルスチルカメラ１のＣＰＵ１０は、操作部２０のシャッタボタンが操作されたか否かを判断する。
【００６３】
デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ１４に判定結果がＮＯ、すなわち、シャッタボタンが操作されていない場合には、ステップＳ１５において、上記第１の画像処理の施された画像信号に対し、ビューファインダで被写体像を表示するための第２の画像処理を画像信号処理部８により行って、上記ステップＳ１２に戻り、シャッタボタンが操作されたと判断するまで、ステップＳ１２〜Ｓ１５の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ１６に進む。
【００６４】
上記ステップＳ１５における第２の画像処理では、図１１に示すステップＳ１５１〜Ｓ１５４の処理を行う。すなわち、ステップＳ１５１では、上記ホワイトバランス調整回路２３によりホワイトバランス調整された画像信号に対して、単板出力画像信号から３板相等画像信号への変換処理を行う。
【００６５】
次のステップＳ１５２では、変換された３板相等画像信号に対してガンマ補正回路２６によりガンマ曲線に従った補正を施す。次のステップＳ１５３では、ガンマ補正された画像信号に対して、視覚的に良く見せるための補正処理を行う。さらに、ステップＳ１５４では、ステップＳ１５３で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、ビューファインダで被写体をモニタするための画像信号が生成される。
【００６６】
ステップＳ１６では、上記第１の画像処理の施された画像信号に対し、画像信号処理部８によりクラス分類適応処理を含む第３の画像信号処理を行う。
そして、ステップＳ１７では、画像信号処理部８による第３の画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００６７】
ここで、上記ステップＳ１６における第３の画像処理では、図１２に示すステップＳ１６１〜Ｓ１６４の処理を行う。すなわち、ステップＳ１６１では、多階調化、単板出力画像信号から３板相等画像信号への変換、高解像度化などの処理をクラス分類適応処理を用いてクラス分類適応処理部２５により一括して行う。次のステップＳ１６２では、クラス分類適応処理の施された画像信号に対して、ガンマ補正回路２６によりガンマ曲線に従った補正を施す。さらに、ステップＳ１６３では、ガンマ補正された３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理を行う。ステップＳ１６４では、ステップＳ１６３で得られた画像信号に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を色空間変換回路２８により施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像信号が生成される。
【００６８】
上述の図５や図９のフローチャートでは、カメラ本体側のビューファインダで被写体をモニタするための画像信号を生成する場合の動作について説明したが、光学的ビューファインダを用いる場合等にモニタするための画像信号を生成しない場合は、図１３のに示すフローチャートに従った動作を行えばよい。
【００６９】
すなわち、図１３のフローチャートに示す動作では、デジタルスチルカメラ１は、ステップＳ２１において、電源がオンされることにより、被写体の撮像を開始する。
【００７０】
次のステップＳ２２において、デジタルスチルカメラ１のＣＰＵ１０は、操作部２０のシャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１のＣＰＵ１０は、シャッタボタンが操作されたと判断するまで、ステップＳ２２の判定処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ２３に進む。
【００７１】
ステップＳ２３では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。このＡ／Ｄ変換部７において、出力画像のビット数よりも少ない適当なビット数のディジタル撮像信号を生成することにより、ノイズまで増幅してしまうのを回避する。
【００７２】
ステップＳ２４では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む上述の図８に示した画像処理（ステップＳ５１〜Ｓ５７）を行う。
そして、ステップＳ２５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００７３】
次に、図１４を参照してクラス分類適応処理部２５について説明する。
【００７４】
クラス分類適応処理部２５は、クラスタップ抽出回路３１、クラス分類回路３２、係数メモリ３３、予測タップ抽出回路３４、適応処理回路３５等からなる。
【００７５】
クラスタップ抽出回路３１は、注目領域から指定されたタップ位置から画素値を抽出してクラス分類回路３２に渡す。クラス分類回路３２は、クラスタップ抽出回路３１で抽出された画素値に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding)などの処理により特徴情報に基づいて画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を出力する。係数メモリ３３は、クラス分類回路３２により分類されたクラス番号に対応する予測係数セットを適応処理回路３５に供給する。予測タップ抽出回路３４は、注目領域から指定されたタップ位置から画素値を抽出して適応処理回路３５に渡す。適応処理回路３５は、予測タップの各画素値に対応する予測係数をかけ、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する。
【００７６】
ここで、上記図８に示したフローチャートのステップＳ５４や図１２に示したフローチャートのステップＳ１６１において、クラス分類適応処理部２５により行われるクラス分類適応処理について、図１５のフローチャートを参照して説明する。
【００７７】
すなわち、上記クラス分類適応処理部２５は、先ず、ステップＳ８１において、クラスタップ抽出回路３１及び予測タップ抽出回路３４によりクラスタップ及び予測タップの画素値を抽出する。
【００７８】
次のステップＳ８２では、クラス分類回路３２によりクラスタップとして抽出された画素値について、ＡＤＲＣ処理によりクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理回路３５に与える。
【００７９】
次のステップＳ８３において、適応処理回路３５は、クラス分類回路３２より与えられたクラス番号に対応する予測係数セットを係数メモリ３３から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【００８０】
そして、ステップＳ８４では、全画面に対して処理を行ったかどうか判別し、また処理していない領域が存在すれば、ステップＳ２ｌの処理に戻る。すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合には上述のステップＳ１５に移行し、それ以外の場合にはステップＳ２ｌの処理に戻って、次の領域に対する処理を行う。
【００８１】
上記予測係数セットは、予め学習により得られるもので、上記係数メモリ３３に記憶されている。
【００８２】
ここで、この学習について説明する。図１６は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００８３】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き回路４１及び予測対象画素抽出回路４５に供給される。
【００８４】
間引き回路４１は、教師画像信号に対して、処理の倍率を考慮したローパスフィルタをかけ、その後色フィルタアレイの各色の配置にしたがって画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して装着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。次に、間引いた画素値に対してビット数の削減を行う。実際に処理を行う系において、Ａ／Ｄ変換を６ビットの精度で行い、後のクラス分類適応処理で８ビットまで階調を上げるのであれば、８ビットの画像をこの学習装置４０の入力とし、この間引き回路４１で６ビットまで落とすことを行う。間引き回路４１の出力は、生徒画像信号としてクラスタップ抽出回路４２及び予測タップ抽出回路４４に供給される。
【００８５】
クラスタップ抽出回路４２は、間引き回路４１によって作成された生徒画像信号から、クラス分類に用いるクラスタップを抽出する。
【００８６】
クラス分類回路４３は、クラスタップ抽出回路４２で抽出された画素値に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding)などの処理により特徴情報に基づいて画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を出力する。
【００８７】
予測タップ抽出回路４４は、生徒画像信号におけるクラスタップとの対応をとりながら予測タップを抽出する。
【００８８】
予測対象画素抽出回路４５は、生徒画像信号から抽出されるクラスタップ及び予測タップとの対応を取りながら、予測の対象となる画素値を教師画像信号から抽出する。
【００８９】
演算回路４６は、クラス分類回路４３から出力されたクラス番号毎に、予測タップ抽出回路４４により抽出された予測タップの画素値と予測対象画素抽出回路４５により抽出された予測対象画素の画素値を、最小自乗法を解くための正規方程式に足し込み、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算回路４６によつて生成される正規方程式のデータすなわちマトリクスの係数が学習データメモリ４７に逐次読み込まれ、記憶される。
【００９０】
演算回路４８は、学習データメモリ４７に蓄積された正規方程式のマトリクスをコレスキー分解などの解法を用いて解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ４９に記憶される。係数メモリ４９の記憶内容は、上述の係数メモリ３３にロードされ、クラス分類適応処理を行う際に使用される。
【００９１】
次に、図１７のフローチャートを参照して、学習装置４０の動作について説明する。
【００９２】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。
【００９３】
ステップＳ３１では、間引き回路４１によって、単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、３板ＣＣＤ出力相等の教師画像信号から単板ＣＣＤ出力相等の生徒画像信号を作成し、同時にビット数の削減を行う。
【００９４】
次のステップＳ３２では、間引き処理によって得られた生徒画像信号から、クラスタップ抽出回路４２及び予測タップ抽出回路４４によりクラスタップ及び予測タップの各画素値を抽出する。予測対象画素抽出回路４５により、教師画像信号から生徒画像信号との対応をとりながら予測対象画素の画素値を抽出する。また、ステップＳ３２では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き回路４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号をクラスタップ抽出回路４２に出力する。
【００９５】
次のステップＳ３３では、クラスタップ抽出回路４２で抽出されたクラスタップの画素値に対して、クラス分類回路４３によりＡＤＲＣ処理などを行い、クラス番号を出力する。
【００９６】
次のステップＳ３４では、クラス分類回路４３から出力されたクラス番号にしたがって、演算回路４６により予測タップの画素値と予測対象画素の画素値を正規方程式に足し込む。正規方程式は、学習データメモリ４７に記憶される。
【００９７】
次のステップＳ３５では、演算回路４６により正規方程式への足し込みの処理が、学習の対象画像すべてに対して行われたか否かを判定する。すべての足し込みが行われていればステップＳ３６へ進み、終了していなければステップＳ３２へ戻る。
【００９８】
次のステップＳ３６では、学習対象画像すべての画素値が足し込まれた正規方程式を演算回路４８により例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類回路４３により出力されたクラスコードと関連付けられ、係数メモリ４９に記憶される。
【００９９】
そして、次のステップＳ３７では、演算回路４８においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップＳ３６に戻り、それ以降の処理を繰り返し実行する。このステップＳ３７において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【０１００】
このようにしてクラスコードと関連付けられて係数メモリ４９に記憶された予測係数セットは、図１４に示した画像信号処理部８の係数メモリ３３に記憶されることになる。
【０１０１】
次に、クラス分類方法について説明する。
【０１０２】
クラス分類処理では、処理対象となる入力信号からクラスタップを抽出して、そこにクラスタップ間に存在する特徴量を抽出し、それを分類することによって各クラスを作成することになる。
【０１０３】
ここで、クラス分類の例として単板ＣＣＤ出力から４倍密の高解像度化及び多階調化を行う場合について示す。
【０１０４】
これは飽くまで一例ではあるが、ベイヤー配列の色フィルタアレイにより色コーディングされた画像信号に対し、予測画素位置とクラスタップの配置の関係を図１８〜図２１に示す。この４種類は、予測画素位置によってＲ，Ｇ，Ｂそれぞれ４つのモードをもつことによる。
【０１０５】
図１８の（Ａ）に示すように単板ＣＣＤ出力のＢの周囲に４つの画素を作成して４倍密化を図る場合、図１８の（Ｂ）に示すようなクラスタップをとることができる（モード１）。この場合のクラスの作成方法としては、各種の印のついているクラスタップのうち、同種の印のものの間で例えば１ビットＡＤＲＣを行い、各タップに０又は１の値を与える。その結果のうち、図１８の（Ｂ）に示す点線の四角形で囲まれた９タップの値のみもち寄って、その０と１の組合せによって５１２通りのクラスを作成することが可能になる。この場合に、Ｒ，Ｇ，Ｂそれぞれに別々のＡＤＲＣ処理を行う理由は、クラスに使用する特徴量に各信号内での波形の起伏を組み入れることを考慮してのことである。このクラス分類方法においては、各モードでのタップの配置は異なるが、Ｒ，Ｇ，Ｂ間でのクラス作成方法については全く同じになる。
【０１０６】
また、図１９〜図２１についても同様の方法によってクラスの分類を行う。
【０１０７】
すなわち、図１９の（Ａ）に示すように単板ＣＣＤ出力の水平列でＢに隣接するＧの周囲に４つの画素を作成して４倍密化を図る場合、図１９の（Ｂ）に示すようなクラスタップをとる（モード２）。
【０１０８】
図２０の（Ａ）に示すように単板ＣＣＤ出力の水平列でＲに隣接するＧの周囲に４つの画素を作成して４倍密化を図る場合、図２０の（Ｂ）に示すようなクラスタップをとることができる（モード３）。
【０１０９】
図２１の（Ａ）に示すように単板ＣＣＤ出力の水平列でＲの周囲に４つの画素を作成して４倍密化を図る場合、図２１の（Ｂ）に示すようなクラスタップをとることができる（モード４）。
【０１１０】
予測タップの一例として、予測画素位置周辺に５×５の２５画素にタップをはる構造を図２２に示す。この場合においても、予測画素位置によって４つのモードは存在するものの、Ｒ，Ｇ，Ｂ間でのタップ配置についてはすべて同じになる。また、当然のことながら、それぞれのモードにおいて４つの画素を求める係数は互いに異なり、Ｒ，Ｇ，Ｂそれぞれの予測においても係数は異なることになる。
【０１１１】
クラスタップ及び予測タップの配置については様々考えられる。また、クラスタップ及び予測タップは、数多く使用すれば、その分処理の精度が向上することが確認されているが、実際には演算回路又は予測係数を保存するメモリの容量によって制限を受けることになる。
【０１１２】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定し、シミュレーションを行った。
【０１１３】
十分に高い解像度度をもつＲＧＢ画像信号を用意し、それを学習における教師画像信号とする。その教師画像信号に対して間引き処理、又はローパスフィルタをかけることによって解像度を落とし、ＣＣＤイメージセンサの各画素への少ない入射光量を考慮してＡＧＣでゲインアップした場合を想定してノイズを付加する。その画像信号に対して、各画素値のビット数の削減を行い、学習の生徒画像信号とする。生徒画像信号と教師画像信号をこのように設定した上で、学習装置４０と同じ動作を行うアルゴリズムのソースコードを作成し、上記の手法にもとづいて予測係数を求めた。その予測係数を用いて実際にシミュレーションを行ったのであるが、本処理では単板３板変換、高解像度化、多階調化の３つの処理を一括で行っている。そして、処理結果をノイズを付加しただけでビット数の削減を行っていない生徒画像信号に対して、単板３板変換と高解像度化のみのクラス分類適応処理を施した画像信号との比較を行った。
【０１１４】
シミュレーションにはＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、クラス分類適応処理の学習もその９枚で行った。また、生徒画像信号を作成する際の解像度は１／４に、ビット数の削減は８ビットから６ビットヘの処理を行った。その結果、ビット数の削減を行っていない生徒画像信号にクラス分類適応処理を行った画像信号と比較して、かなりノイズの軽減された画像信号が得られた。また、単板３板変換や高解像度化を含まない、同解像度の画像信号に対するノイズ除去手法としての効果を確認したところでも、その効果は確認された。
【０１１５】
このように上記デジタルスチルカメラ１では、Ａ/Ｄ変換部７での分解能を出力画像信号の解像度よりも低くすることでノイズを除去し、足りなくなった階調を画像信号処理部８におけるクラス分類適応処理で創造することによってＳ／Ｎを改善することができる。
【０１１６】
次に、本発明の他の実施形態について図２３及び図２４を参照して説明する。
【０１１７】
図２３に示すデジタルスチルカメラ１０１は、上述の図１に示したデジタルスチルカメラ１を改良したもので、同一の構成要素については同一番号を付して、その詳細な説明を省略する。
【０１１８】
このデジタルスチルカメラ１０１は、ＣＣＤイメージセンサ５への入射光量に応じて適応的な階調創造を行うもので、ＣＰＵ１１０により、信号調整部１０６におけるＡＧＣの増幅の度合いを監視することでＣＣＤイメージセンサ５への入射光量を検出し、信号調整部１０６におけるＡＧＣの増幅の度合い、すなわち、ＣＣＤイメージセンサ５への入射光量に応じて、多階調化をどの程度行うかを決定する。
【０１１９】
具体的には、コントローラ１１８は、ＣＰＵ１１０の制御の下で、信号調整部１０６におけるＡＧＣの増幅の度合いに応じてＡ／Ｄ変換部１０７によるＡ／Ｄ変換出力のビット数を操作し、そのビット数によって画像信号処理部１０８におけるクラス分類適応処理での係数を変化させることにより、ＣＣＤイメージセンサ５への入射光量に応じて適応的な階調創造を行う。
【０１２０】
このデジタルスチルカメラ１０１では、Ａ／Ｄ変換部１０７において選択できるビット数の種類だけ、クラス分類適応処理の係数を用意しておき、被写体が非常に明るい場合には、階調創造は全く行われずに処理されるのに対して、被写体が暗い場合には、その暗さに対応してノイズが強調されない最適な階調創造が行われる。つまり、撮影環境に適応的な階調創造が行われる。
【０１２１】
すなわち、このデジタルスチルカメラ１０１において、信号調整部１０６は、ＣＣＤイメージセンサ５による撮像出力として得られた画像信号について、信号レベルが一定となるようにゲインを調整するＡＧＣ処理における入力信号レベルを検知し、その値をＣＰＵ１１０に与えるようになっている。
【０１２２】
そして、Ａ／Ｄ変換部１０７は、画素値を何ビットで出力するかという情報をＣＰＵ１１０からコントローラ１１８を介して受け取り、その指示にしたがって、上記信号調整部１０６から出力される画像信号をアナログ信号からデジタル信号に変換する。
【０１２３】
また、画像信号処理部１０８は、クラス分類回路３２により分類されるクラス番号に対応する予測係数セットをＡ／Ｄ変換部１０７において選択できるビット数の種類だけ係数メモリ１３３に記憶している。そして、画像信号処理部１０８では、図２４に示すように、何ビットでＡ／Ｄ変換を行ったかという情報をＣＰＵ１１０からコントローラ１１８を介して受け取り、クラス分類回路３２により分類されたクラス番号と、Ａ／Ｄ変換後のビット数に対応する予測係数セットを係数メモリ１３３から読み出して、適応処理回路１３５により、予測タップの各画素値に対応する予測係数をかけ、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する。
【０１２４】
ここで、上記予測係数セットは、予め学習により得られるもので、上述の図１６に示した学習装置４０による学習処理によって求められる。学習装置４０においては、Ａ／Ｄ変換後のビット数の取りうるパターンの数だけ処理を行う。例えば、撮像系全体の出力が８ビットで、Ａ／Ｄ変換後に取りうるビット数が４，５，６，７，８ビットのうちいずれかであるならば、出力と同じ８ビットを除いた４つのパターンの係数セットを学習することになる。上述の図１７のフローチャートに従った一連の学習処理では、１つの係数セットしか得られないので、その系に必要なパターンの数だけ学習を行う必要がある。
【０１２５】
本発明の効果を評価するため、図２３に示したデジタルスチルカメラ１０１について、単板ＣＣＤイメージセンサの色フィルタアレイにベイヤー配列を想定し、シミュレーションを行った。
【０１２６】
十分に高い解像度度をもつＲＧＢ画像信号を用意し、それを学習における教師画像信号とする。その教師画像信号に対して間引き処理、又はローパスフィルタをかけることによって解像度を落とし、ＣＣＤイメージセンサの各画素への少ない入射光量を考慮してＡＧＣでゲインアップした場合を想定してノイズを付加する。ここでのノイズは、強さを変化させたものを幾つか用意しておき、それらを付加したノイズ画像信号を複数作成しておく。それらの画像信号に対して、各画素値のノイズ量に適応したビット数の削減を行い（ノイズ量が多いもの対しては大幅なビット数の削減、ノイズ量の少ないものに対しては若干のビット数の削減を行う）、学習の生徒画像信号とする。生徒画像信号と教師画像信号をこのように複数パターン用意した上で、学習装置と同じ動作を行うアルゴリズムのソースコードを作成し、上記の手法にもとづいてそれぞれのパターンの予測係数を求めた。その予測係数を用いて実際にシミュレーションを行ったのであるが、本処理では単板３板変換、高解像度化、多階調化の３つの処理を一括で行っている。そして、処理結果をノイズを付加しただけでビット数の削減を行っていない生徒画像信号に対して、単板３板変換と高解像度化のみのクラス分類適応処理を施した画像信号との比較をそれぞれのパターンにおいて行った。
【０１２７】
シミュレーションにはＩＴＥのハイビジョン標準画像９枚を使用し、クラス分類適応処理の学習もその９枚で行った。また、生徒画像信号を作成する際の解像度は１／４に、ビット数の削減はノイズ量に応じて８ビットから４ビット、８ビットから６ビットヘの処理を行った。その結果、ビット数の削減を行っていない生徒画像信号にクラス分類適応処理を行った画像信号と比較して、両方のパターンにおいてかなりノイズの軽減が確認された。また、単板３板変換や高解像度化を含まない、同解像度の画像信号に対してノイズ除去手法としての効果を確認したところでも、その効果は同様に確認された。
【０１２８】
なお、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応する事は可能である。
【０１２９】
ここで、このデジタルスチルカメラ１，１０１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図２５Ａ乃至図２５Ｎに示す。
【０１３０】
図２５Ａ〜図２５Ｇは、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１３１】
図２５Ａはベイヤー配列を示し、図２５Ｂはインタライン配列を示し、図２５ＣはＧストライプＲＢ市松配列を示し、図２５ＤはＧストライプＲＢ完全市松配列を示し、図２５Ｅはストライプ配列を示し、図２５Ｆは斜めストライプ配列を示し、図２５Ｇは原色色差配列を示す。
【０１３２】
また、図２５Ｈ〜図２５Ｎは、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図２５Ｈはフィールド色差順次配列を示し、図２５Ｉがフレーム色差順次配列を示し、図２５ＪはＭＯＳ型配列を示し、図２５Ｋは改良ＭＯＳ型配列を示し、図２５Ｌはフレームインターリーブ配列を示し、図２５Ｍはフィールドインターリーブ配列を示し、図２５Ｎはストライプ配列を示す。
【０１３３】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図２５Ｉに示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ，
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ，
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【０１３４】
また、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【０１３５】
また、上記画像信号処理部８におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２６に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１３６】
【発明の効果】
以上のように、本発明によれば、Ａ/Ｄ変換手段での分解能を出力画像信号よりも低くすることでノイズを除去し、足りなくなった階調を画像信号処理手段におけるクラス分類適応処理で創造することによってＳ／Ｎを改善することができる。
【０１３７】
また、本発明によれば、イメージセンサへの入射光量に応じて、Ａ／Ｄ変換手段における出力ビット数を決定し、そのビット数によって画像信号処理手段におけるクラス分類適応処理での係数を変化させることによって、撮影環境に適応的な階調創造を行い、Ｓ／Ｎを改善することができる。
【図面の簡単な説明】
【図１】クラス分類適応処理を用いた高階調化の概念図である。
【図２】クラス分類適応処理を用いた高階調化及び単板３板変換の概念図である。
【図３】クラス分類適応処理を用いた高階調化、単板３板変換及び高解像度化の概念図である。
【図４】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図５】上記デジタルスチルカメラの動作例を示すフローチャートである。
【図６】上記デジタルスチルカメラにおける画像信号処理回路の構成を示すブロック図である。
【図７】上記デジタルスチルカメラの動作例における上記画像信号処理回路におよる第１の画像処理の動作を示すフローチャートである。
【図８】上記デジタルスチルカメラの動作例における上記画像信号処理回路におよる第１の画像処理の動作を示すフローチャートである。
【図９】上記デジタルスチルカメラの他の動作例を示すフローチャートである。
【図１０】上記デジタルスチルカメラの他の動作例における上記画像信号処理回路におよる第１の画像処理の動作を示すフローチャートである。
【図１１】上記デジタルスチルカメラの他の動作例における上記画像信号処理回路におよる第２の画像処理の動作を示すフローチャートである。
【図１２】上記デジタルスチルカメラの他の動作例における上記画像信号処理回路におよる第３の画像処理の動作を示すフローチャートである。
【図１３】上記デジタルスチルカメラの他の動作例を示すフローチャートである。
【図１４】上記画像信号処理回路におけるクラス分類適応処理部の構成を示すブロック図である。
【図１５】上記クラス分類適応処理部の動作を示すフローチャートである。
【図１６】上記クラス分類適応処理に用いる係数セットを学習する学習装置の構成を示すブロック図である。
【図１７】上記学習装置の動作を示すフローチャートである。
【図１８】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード１）を模式的に示す図である。
【図１９】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード２）を模式的に示す図である。
【図２０】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード３）を模式的に示す図である。
【図２１】上記クラス分類適応処理における予測画素位置とクラスタップの配置の関係（モード４）を模式的に示す図である。
【図２２】上記クラス分類適応処理における予測画素位置と予測タップの配置の関係（モード１〜４）を模式的に示す図である。
【図２３】本発明を適用したデジタルスチルカメラの他の構成を示すブロック図である。
【図２４】上記デジタルスチルカメラの画像信号処理回路におけるクラス分類適応処理部の構成を示すブロック図である。
【図２５】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタを構成する色フィルタアレイの構成例を模式的に示す図である。
【図２６】上記予測係数セットを得るための学習処理に使用されるコンピュータシステムの構成を示すブロック図である。
【符号の説明】
１ デジタルスチルカメラ、２ レンズ、３ アイリス、４ 色コーディングフィルタ、５ ＣＣＤイメージセンサ、６ 信号調整部、７ Ａ／Ｄ変換部、８画像信号処理部、９ タイミングジェネレータ、１０ ＣＰＵ、１１ モータ、１２ モータ、１３ フラッシュ、１５ メモリ、１４ インタフェース、１６ メモリ、１７ 記録媒体、１８ コントローラ、１９ 電源部、１９Ａ バッテリ、１９Ｂ ＤＣ／ＤＣコンバータ、２０ 操作部、２１ 欠陥補正回路、２２ クランプ回路、２３ ホワイトバランス調整回路、２４ スイッチ、２５クラス分類適応処理部、２６ ガンマ補正回路、２７ 補正回路、２８ 空間変換回路、３１ クラスタップ抽出回路、３２ クラス分類回路、３３ 係数メモリ、３４ 予測タップ抽出回路、３５ 適応処理回路、４０ 学習装置、４１間引き回路、４２ クラスタップ抽出回路、４３ クラス分類回路、４４ 予測タップ抽出回路、４５ 予測対象画素抽出回路、４６ 演算回路、４７ 学習データメモリ、４８ 演算回路、４９ 係数メモリ、１０１ デジタルスチルカメラ、１１０ ＣＰＵ、１０６ 信号調整部、１１８ コントローラ、１０７ Ａ／Ｄ変換部、１０８ 画像信号処理部、１３３ 係数メモリ、１３５ 適応処理回路、３１０ コンピュータシステム、３１１ バス、３１２ ＣＰＵ、３１３ メモリ、３１４ 入力インターフェース、３１５ ユーザインターフェース、３１６ 出力インターフェース
Claims (6)
- 入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換手段と、
上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施し、多階調化した出力画像信号を得る画像信号処理手段とを備え、
上記画像信号処理手段は、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するクラスタップ抽出手段と、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出する予測タップ抽出手段と、上記クラスタップ抽出手段で抽出された画素値について、画像信号パターンのクラス分類を行うクラス分類手段と、上記クラス分類手段により分類される各クラス毎の予測係数セットを記憶した係数記憶手段と、上記クラス分類手段により分類された画像信号パターンのクラス分類に対応する予測係数セットが上記係数記憶手段から与えられ、上記予測タップ抽出手段により抽出された予測タップの各画素値に上記予測係数セットを掛け、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する適応処理手段とからなり、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成する画像信号処理装置。 - 上記クラス分類手段は、ＡＤＲＣ(Adaptive Dynamic Range Coding)処理により特徴情報に基づいて画像信号パターンの分類を行う請求項１記載の画像信号処理装置。
- 被写体を撮像する撮像手段と、
上記撮像手段による撮像信号として得られた入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換手段と、
上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施し、多階調化した出力画像信号を得る画像信号処理手段とを備え、
上記画像信号処理手段は、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するクラスタップ抽出手段と、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出する予測タップ抽出手段と、上記クラスタップ抽出手段で抽出された画素値について、画像信号パターンのクラス分類を行うクラス分類手段と、上記クラス分類手段により分類される各クラス毎の予測係数セットを記憶した係数記憶手段と、上記クラス分類手段により分類された画像信号パターンのクラス分類に対応する予測係数セットが上記係数記憶手段から与えられ、上記予測タップ抽出手段により抽出された予測タップの各画素値に上記予測係数セットを掛け、線形和を以て予測画素値とする処理を行い、求めた予測画素値を出力する適応処理手段とからなり、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成する撮像装置。 - 上記撮像手段は、ベイヤー配列のＣＣＤイメージセンサである請求項３記載の撮像装置。
- 入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換ステップと、
デジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施す階調創造処理ステップとを有し、
上記画像信号処理ステップでは、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するとともに、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出し、抽出された上記クラスタップ位置の画素値について画像信号パターンのクラス分類を行うことにより、各クラス毎の予測係数セットを記憶しておき、分類された画像信号パターンのクラス分類に対応する予測係数セットを抽出された上記予測タップの各画素値に掛け、線形和を以て予測画素値とする処理を行うことにより、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成する画像信号処理方法。 - 入力画像信号を出力画像信号よりも低い分解能でアナログ信号からデジタル信号に変換するアナログ／デジタル変換ステップと、
デジタル信号に変換した入力画像信号に対してクラス分類適応処理による階調創造処理を施す階調創造処理ステップとを有し、
上記画像信号処理ステップでは、上記入力画像信号の注目領域から指定されたクラスタップ位置の画素値を抽出するとともに、上記入力画像信号の注目領域から指定された予測タップ位置から画素値を抽出し、抽出された上記クラスタップ位置の画素値について画像信号パターンのクラス分類を行うことにより、各クラス毎の予測係数セットを記憶しておき、分類された画像信号パターンのクラス分類に対応する予測係数セットを抽出された上記予測タップの各画素値に掛け、線形和を以て予測画素値とする処理を行うことにより、上記アナログ／デジタル変換手段によりデジタル信号に変換した入力画像信号に対して、多階調化、高解像度化、及び、単板相当画像信号から３板相当画像信号への変換処理をクラス分類適応処理により一括して施し、上記出力画像信号として３板相当画像信号を生成する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001241155A JP4839543B2 (ja) | 2001-08-08 | 2001-08-08 | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001241155A JP4839543B2 (ja) | 2001-08-08 | 2001-08-08 | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003052051A JP2003052051A (ja) | 2003-02-21 |
| JP2003052051A5 JP2003052051A5 (ja) | 2008-09-04 |
| JP4839543B2 true JP4839543B2 (ja) | 2011-12-21 |
Family
ID=19071656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001241155A Expired - Fee Related JP4839543B2 (ja) | 2001-08-08 | 2001-08-08 | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4839543B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4144377B2 (ja) | 2003-02-28 | 2008-09-03 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4517300B2 (ja) * | 2006-01-06 | 2010-08-04 | ソニー株式会社 | 表示装置および表示方法、学習装置および学習方法、並びにプログラム |
| JP4517301B2 (ja) * | 2006-01-06 | 2010-08-04 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP4544308B2 (ja) * | 2008-01-11 | 2010-09-15 | ソニー株式会社 | 画像処理装置、撮像装置、方法およびプログラム |
| CN101763629B (zh) * | 2010-01-19 | 2011-10-05 | 武汉科技大学 | 一种格形结构综合滤波器组的构造方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05191285A (ja) * | 1992-01-10 | 1993-07-30 | Toshiba Corp | ディジタル信号処理回路 |
| JP3334468B2 (ja) * | 1995-12-28 | 2002-10-15 | ソニー株式会社 | 量子化ビット数変換装置および方法 |
| TW466872B (en) * | 1998-12-02 | 2001-12-01 | Syscan Technology Shenzhen Co | Improved image sensing module for producing digital images having reduced noise |
| JP4433545B2 (ja) * | 1999-02-19 | 2010-03-17 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
-
2001
- 2001-08-08 JP JP2001241155A patent/JP4839543B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003052051A (ja) | 2003-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8106957B2 (en) | Image signal processing apparatus, and image signal processing method | |
| JP4210021B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
| WO2007058126A1 (ja) | 画像処理システム、画像処理プログラム | |
| EP2214136B1 (en) | Method and program for controlling image capture apparatus | |
| JP4839543B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 | |
| JP4730106B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP4687454B2 (ja) | 画像処理装置および撮像装置 | |
| JP4433545B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4581633B2 (ja) | 色信号補正方法、装置及びプログラム | |
| JP4547757B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4581199B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP2006135684A (ja) | 画像処理方法及び装置並びに撮像装置 | |
| US7551204B2 (en) | Imaging apparatus having a color image data measuring function | |
| JP4028395B2 (ja) | デジタルカメラ | |
| JP4547758B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4433546B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4529253B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4483048B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4730105B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP4691762B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP2006180112A (ja) | 画像処理装置及び撮像装置並びに画像処理プログラム | |
| JP2008263650A (ja) | 固体撮像装置 | |
| JPH0758997A (ja) | テレビジョンカメラ | |
| JPH08294132A (ja) | デジタル電子スチルカメラ装置 | |
| JP2004242015A (ja) | ヒストグラム算出方法、ヒストグラム算出回路、及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080718 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080718 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110919 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |