JP4735820B2 - 撮像装置の信号処理方法及び撮像装置 - Google Patents

Description

本発明は撮像装置の信号処理方法及び撮像装置に係り、特にＣＣＤ（Charge Coupled Devices）撮像素子の転送効率不良による問題を改善する技術に関する。

従来、ＣＣＤ撮像素子を用いた電子カメラ、デジタルカメラ、カメラ付き携帯電話等の撮像装置が開発されている。このような撮像装置を用いて撮像を行った場合、ＣＣＤ撮像素子の各画素には露出時間に応じて信号電荷が蓄積される。各画素に蓄積された信号電荷は、垂直転送路から水平転送路に転送されて画像処理回路に出力される。

各画素に蓄積された信号電荷は、各転送路の転送素子のそれぞれに形成されたポテンシャル井戸を介して順次転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率といい、この転送効率が低下すると、隣接する画素間のクロストークが増加し、画像の劣化（色再現性や解像度の劣化）等の様々な問題が生じる。

これに対して、例えば、特許文献１には、転送エラーによる像信号の歪を補正し、測距不良を無くすようにした測距用ＣＣＤの信号補正装置について開示されている。また、特許文献２には、ＴＤＩ(Time Delay Integration)イメージセンサの垂直転送効率からＴＤＩ段方向に並ぶ各イメージセンサの垂直転送残り量の総和を予め求め、ＴＤＩイメージセンサで試料を撮像したときのＴＤＩイメージセンサの出力から前記予め求めた垂直転送残り量の総和を減算し、該減算した出力を用いて画像処理する画像処理方法について開示されている。
特開平７−１４６１３９号公報 特開２００４−２９５７０９号公報

しかしながら、特許文献１に記載の発明は、測距用ＣＣＤを用いたものであり、この測距用ＣＣＤでの転送効率劣化が測離に影響を及ぼすため、転送効率に基づいて測距結果を補正するものであり、画像の劣化を改善するものではない。

また、特許文献２に記載の発明は、ＴＤＩイメージセンサに限定されたもので、特に垂直転送路での転送効率劣化の問題を解決するものであり、それを解決するために垂直転送残り量を算出してセンサ出力から減算している。即ち、特許文献２に記載の発明は、垂直転送残り分がないコントラストの高い画像を得るものであり、転送効率の変動に影響されない色再現性の高い画像を得るものではなく、また、垂直転送残り量等を算出するために膨大な演算が必要になる。

本発明はこのような事情に鑑みてなされたもので、撮像素子の転送効率にかかわらず、所望の画質を維持することができる撮像装置の信号処理方法及び撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る撮像装置の信号処理方法は、撮像素子から画像信号を取得するステップと、前記撮像素子の転送効率、撮影時のカメラ感度、前記撮像素子の駆動周波数、前記取得した画像信号のホワイトバランス補正に係わるＷＢパラメータ、前記取得した画像信号の画素数、撮影時のカメラ内又は撮像素子の温度、及び前記撮像素子のＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報を取得するステップと、前記取得した画像信号の信号処理を行うステップであって、前記取得した情報に応じて前記信号処理を変更し、転送効率の低下に伴う画質劣化を抑制するステップと、を含み、前記信号処理を行うステップは、前記取得した転送効率、カメラ感度、駆動周波数、ＷＢパラメータ、画素数、温度及びＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報に応じて、色補正を行うマトリクス回路のマトリクス係数を変更することを特徴としている。

即ち、撮像素子の転送効率が悪い場合は、転送効率が良い場合に比べて色再現性や解像度が劣化するなどの問題があるが、請求項１に係る発明は、その転送効率等の情報に応じて画像信号に対する信号処理を変更し、所望の画質を維持できるようにしている。

尚、前記カメラ感度が高い場合、駆動周波数が高い場合、ＷＢゲインが大きい場合、及び温度が低い場合には、転送効率が低下するため、これらの情報を考慮して信号処理を変更し、また、画素数が多い場合は、少ない場合に比べて転送効率の影響を受けやすく、また、ＣＣＤカラーフィル配列によって転送効率劣化時に混色する色の画素が異なるため、これらの情報も考慮して信号処理を変更することが好ましい。

請求項２に係る撮像装置は、撮影光学系と、前記撮影光学系によって被写体像が結像される撮像素子と、前記撮像素子から画像信号を取得する画像取得手段と、前記撮像素子の転送効率、撮影時のカメラ感度、前記撮像素子の駆動周波数、前記取得した画像信号のホワイトバランス補正に係わるＷＢパラメータ、前記取得した画像信号の画素数、撮影時のカメラ内又は撮像素子の温度、及び前記撮像素子のＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報を取得する情報取得手段と、前記取得した画像信号の信号処理を行う手段であって、前記取得した情報に応じて前記信号処理を変更し、転送効率の低下に伴う画質劣化を抑制する信号処理手段と、を備え、前記信号処理手段は、色補正を行うマトリクス回路を含み、前記取得した転送効率、カメラ感度、駆動周波数、ＷＢパラメータ、画素数、温度及びＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報に応じて前記マトリクス回路のマトリクス係数を変更することを特徴としている。

請求項３に示すように請求項２に記載の撮像装置において、前記情報取得手段は、予め測定された転送効率を記憶する記憶手段と、該記憶手段から前記転送効率を読み出す読出手段とを含むことを特徴としている。

請求項４に示すように請求項２又は３に記載の撮像装置において、前記マトリクス回路は、リニアマトリクス回路及び色差マトリクス回路の少なくとも一方であることを特徴としている。

本発明によれば、撮像素子の転送効率にかかわらず、例えば、転送効率が低下する場合でも、色再現性や解像度の劣化を抑制することができ、所望の画質を維持することができる。

以下、添付図面に従って本発明に係る撮像装置の信号処理方法及び撮像装置の好ましい実施の形態について説明する。

尚、以下の説明では、撮像装置（デジタルカメラ）を例にとって説明するが、本発明は撮像装置を備えた携帯電話や携帯情報端末（ＰＤＡ）、ＰＣカメラ等にも適用することができる。

［第１の実施の形態］
図１は本発明に係る撮像装置の第１の実施の形態を示すブロック図である。

図１に示す撮像装置１―１（以下の説明では、カメラ１―１と記載する）は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ全体の動作は中央処理装置（ＣＰＵ）１０によって統括制御される。ＣＰＵ１０は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段として機能する。

ＣＰＵ１０には、バス１２及びメモリ・インターフェース１４を介してＲＡＭ（Random Access Memory）１６及びＲＯＭ（Read Only Memory）１８が接続されている。ＲＡＭ１６は、プログラムの展開領域及びＣＰＵ１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１８には、ＣＰＵ１０が実行するプログラム及び制御に必要な各種データや、カメラ動作に関する各種定数／情報等が格納されている。

撮像部２０には、撮影レンズ及び絞り等を含む光学ユニット２２や、ＣＣＤ撮像素子２４（以下、単に「ＣＣＤ」という）等が含まれている。光学ユニット２２は、ＣＰＵ１０からのＡＦ指令やＡＥ指令によりモータ駆動部３２を介してフォーカスレンズや絞り等が駆動される。

ＣＣＤ２４は、図２に示すように多数の受光素子（フォトダイオード）２４Ａが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置されたＣＣＤ型２次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光素子２４Ａの幾何学的な形状の中心点を行方向及び列方向に１つ置きに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。

各受光素子２４Ａは、八角形の受光面を有し、各受光素子２４Ａに対応してＲＧＢの原色カラーフィルタが配置されている。図２のように、水平方向についてＲＢＲＢ…の行の次段にＧＧＧＧ…の行が配置され、その次段にＢＲＢＲ…の行、という具合に配列される。列方向についてみれば、ＲＢＲＢ…の列と、ＧＧＧＧ…の列と、ＢＲＢＲ…の列とが循環式に繰り返される配列パターンとなっている。

各受光素子２４Ａの右側（又は左側）には垂直転送路（ＶＣＣＤ）２４Ｖが形成されている。垂直転送路２４Ｖは、受光素子２４Ａの各列に近接して受光素子２４Ａを避けながらジグザグ状に蛇行して垂直方向に伸びている。図示されていないが、垂直転送路２４Ｖ上には４相駆動（φ1,φ2,φ3,φ4)に必要な転送電極が配置される。転送電極は、受光素子１６Ａの各行に近接して受光素子２４Ａの開口を避けながら蛇行して図２の水平方向に伸びるように設けられている。

各受光素子２４Ａで光電変換により生成された信号電荷は、当該受光素子２４Ａの右側（又は左側）に隣接した垂直転送路１６Ｖに読み出され、転送パルスに従って図２の下方（Ｖ方向）に転送される。

図２において垂直転送路２４Ｖの下端（垂直転送路２４Ｖの最下流側）には、垂直転送路２４Ｖから移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）２４Ｈが設けられている。

水平転送路２４Ｈは、２相又は４相駆動の転送ＣＣＤで構成されており、水平転送路２４Ｈの最終段（図２上で最左段）は出力部２５に接続されている。出力部２５は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子２５Ａに出力する。こうして、各受光素子２４Ａで生成された信号が、点順次の信号列として出力される。尚、出力端子２５Ａから出力される信号はＲＧＢＧＲＧＢＧ…という信号列となる。

図１に戻って、ＣＣＤ２４は、各受光素子の電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１０は、タイミング・ジェネレータ３４を介してＣＣＤ２４での電荷蓄積時間を制御する。

このＣＣＤ２４から順次読み出されたＣＣＤ信号は、アナログ信号処理部２６に加えられる。アナログ信号処理部２６は、ＣＤＳ回路やアナログアンプ等を有し、ＣＤＳ回路は入力するＣＣＤ信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力されるＣＣＤ信号を増幅する。

アナログ信号処理部２６にてアナログ処理されたＣＣＤ信号は、Ａ／Ｄ変換器２８に加えられ、ここで画素ごとにデジタルのカラー画像データ（点順次のＲ，Ｇ，Ｂ信号）に変換される。

Ｒ，Ｇ，Ｂ信号は、デジタル信号処理部３０を介してＲＡＭ１６に一時的に記憶される。このＲ，Ｇ，Ｂ信号は、デジタル信号処理部３０に入力され、ここで所要の信号処理が行われる。尚、デジタル信号処理部３０での画像処理の詳細については、後述する。

カメラ１―１の操作部３６には、シャッターボタン、撮影モードと再生モードを切り替えるモード切替レバー、撮影モード（オート撮影モード、マニュアル撮影モード、連写モード等）を選択するためのモードダイヤル、表示部（ＬＣＤ）４０にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するＢＡＣＫボタンなどが含まれる。操作部３６からの出力信号は、バス３２を介してＣＰＵ１０に入力され、ＣＰＵ１０は操作部３６からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。

カメラ１−１には、被写体にフラッシュ光を照射するためのフラッシュ装置４２が含まれ、フラッシュ装置４２は、ＣＰＵ１０からの発光指令によって充電部４から電源の供給を受けてフラッシュ光を照射する。

デジタル信号処理部３０で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、圧縮伸張処理回路４６に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース４８を介してメモリカード５０に記録される。

また、ＬＣＤ４０には、ＬＣＤインターフェース３８を介して加えられる画像信号により撮像準備中に映像（スルームービー画）が表示され、また、再生モード時にメモリカード５０に記録された画像が表示される。

図３は図１に示したデジタル信号処理部３０の詳細な回路構成を示すブロック図である。

前述したようにＲＡＭ１６に一時記憶されたＲ，Ｇ，Ｂ信号は、デジタル信号処理部３０のオフセット処理回路３０ＡにＲ，Ｇ，Ｂの点順次で加えられる。Ｒ，Ｇ，Ｂ信号は、オフセット処理回路３０Ａにおいてオフセット処理が行われる。オフセット処理回路３０Ａから出力されたＲ，Ｇ，Ｂ信号（ＣＣＤＲＡＷデータ）は、リニアマトリクス回路３０Ｂに出力され、ここでＣＣＤ２４の分光特性を補正する色調補正処理、及び本発明に係る色補正処理が行われる。

即ち、リニアマトリクス回路３０Ｂは、入力するＲ，Ｇ，Ｂ信号と、３行×３列の色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）とからマトリクス演算を行って、色補正されたＲ，Ｇ，Ｂ信号を算出する。

尚、マトリクス演算に使用される３行×３列の色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）の詳細については後述する。

リニアマトリクス回路３０Ｂから出力されたＲ，Ｇ，Ｂ信号は、ホワイトバランス（ＷＢ）調整回路３０Ｃに出力される。ＷＢ調整回路３０Ｃは、Ｒ，Ｇ，Ｂ信号ごとにそれぞれホワイトバランス調整用のゲインをかけることによりホワイトバランス調整を行う。ＷＢ調整回路３０Ｃから出力されたＲ，Ｇ，Ｂ信号は、ガンマ補正回路３０Ｄに出力され、ここで中間調等の階調補正を行うガンマ補正が行われる。ガンマ補正されたＲ，Ｇ，Ｂ信号は、同時化処理回路３０Ｅに出力される。

同時化処理回路３０Ｅは、単板のＣＣＤ２４のＣＣＤカラーフィルタ配列（以下、単に「ＣＣＤ配列」という）に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理を行い、同時化したＲ，Ｇ，Ｂ信号をＲＧＢ／ＹＣ変換回路３０Ｆに出力する。

ＲＧＢ／ＹＣ変換回路３０Ｆは、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃr,Ｃｂに変換し、輝度信号Ｙを輪郭補正回路３０Ｇに出力し、色差信号Ｃr,Ｃｂを色差マトリクス回路３０Ｈに出力する。輪郭補正回路３０Ｇは、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行う。

色差マトリクス回路３０Ｈは、２行×２列の色補正マトリクス係数と入力する色差信号Ｃr,Ｃｂとのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。

このようにして輪郭補正された輝度信号Ｙ、及び色差マトリクス変換された色差信号Ｃｒ，Ｃｂは、一旦ＲＡＭ１６に保存された後、圧縮伸張処理回路４６に与えられ、ここで、JPEG方式に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース４８を介してメモリカード５０に記録される。

次に、ＣＣＤ２４の水平転送路２４Ｈの転送効率について説明する。

ＣＣＤ２４の垂直転送路２４Ｖから水平転送路２４Ｈに送出されたＣＣＤ２４の各ラインの信号電荷は、水平転送路２４Ｈに形成されたポテンシャル井戸を介して順次水平方向に転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率という。また、転送効率は、元の井戸にあった電荷量（信号量）によって変わる。

図４は信号量に対する転送残量の一例を示す転送効率特性を示すグラフである。図４において、元の井戸にあった信号量をＳ０、この信号量Ｓ０の転送後に残った転送残量をｆ（S0）とすると、転送効率は、次式で表すことができる。

［数１］
転送効率＝（１―f(S0)／Ｓ０）×１００（％）
図４のグラフからも明らかなように、転送効率は、信号量Ｓ０が小さい場合に低下する。また、転送効率は、ＣＣＤ駆動周波数が高いとき、ＣＣＤ温度が低いときに低下する。

転送効率は、ＣＣＤごとに固体差があるため、例えば、出荷前にカメラ１−１により被写体（例えば、単色のチャート）を所定の条件下で撮像し、ＣＣＤ２４の有効画素領域と、オプティカルブラック（ＯＢ）領域との境目の領域において、有効画素領域とＯＢ領域側の１画素の電圧値をそれぞれ取得する。このＯＢ領域側の１画素の電圧値は、有効画素領域側の１画素の転送時の転送残量を含んでいる。従って、これらの画素の電圧値に基づいてＣＣＤ２４の転送効率を算出することができる。このようにして算出された転送効率は、ＲＯＭ１８又は図示しないフラッシュＲＯＭ等に記憶させる。

図１に戻って、ＣＣＤ転送効率検出部５２は、ＲＯＭ１８からＣＣＤ２４の転送効率を読み出す。

デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率に基づいて標準の転送効率よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

即ち、ＣＣＤ２４の水平転送路２４Ｈでは、ＧＲＧＢＧＲＧＢ…と信号電荷を転送するため、転送効率が低下すると、ＧとＲ，ＧとＢとの間の混色が大きくなり、色再現性が劣化する。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂ（図３）で使用される３行×３列の色補正マトリクス係数を変更することにより、画質劣化を抑制するようにしている。

図５（Ａ）に示すように転送効率が良い場合には、色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）を使用し、転送効率が悪い場合には、色補正マトリクス係数（Ｂ11，Ｂ12, …，Ｂ33）を使用する。

また、色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）に対する補正量をａ、ｃとし、転送効率をｘ（％）として、次式により補正量ａ、ｃを求める。

［数２］
ａ＝αｘ＋β
ａ'＝ａ
ｃ＝γｘ＋λ
ｃ'＝ｃ
但し、ａ'，ｃ'：最終補正量、α、β、γ、λ：係数（実験的に算出してもよい）
そして、図５（Ｂ）に示すように最終補正量ａ'，ｃ'によって補正した色補正マトリクス係数（変更後）を使用する。

尚、補正量ａ，ｃを求める式は、一次式としているが、多項式でも指数対数近似式でもよい。

図６は本発明に係る第１の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、デジタル信号処理部３０は、Ｒ，Ｇ，ＢのＣＣＤＲＡＷデータを入力する（ステップＳ１０）。また、ＣＣＤ２４の転送効率が良いか悪いかを判別する（ステップＳ１２）。

そして、転送効率が良い場合には、デジタル信号処理部３０のリニアマトリクス回路３０Ｂは、図５に示すように標準（変更前）の色補正マトリクス係数を使用した信号処理を実施する（ステップＳ１４）。

一方、転送効率が悪い場合には、リニアマトリクス回路３０Ｂは、図５に示すように変更後の色補正マトリクス係数を使用した信号処理を実施する（ステップＳ１６）。

これにより、転送効率が低下しても色再現性や解像度等の画質劣化が抑制された処理画像を出力することができる（ステップＳ１８）。

尚、この実施の形態では、転送効率に応じてリニアマトリクス回路３０Ｂの色補正マトリクス係数を変更するようにしているが、これに限らず、色差マトリクス回路３０Ｈの２２行×２列の色補正マトリクス係数を変更してもよく、又は両マトリクス回路の色補正マトリクス係数を変更するようにしてもよい。

［第２の実施の形態］
図７は本発明に係る撮像装置の第２の実施の形態を示すブロック図である。尚、図１に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図７に示す第２の実施の形態のカメラ１−２は、第１の実施の形態のカメラ１−１と比較して、カメラ感度検出部５４を更に備えている点で相違する。

図４で説明したように、転送する信号量Ｓ０が小さい程、信号量Ｓ０に対する転送残量f(S0) の比率が大きくなり、［数１］式からも明らかなように転送効率は低下する。従って、被写体が暗く、カメラ感度を高くして撮影する場合（例えば、ＩＳＯ８００，ＩＳＯ１６００）には、転送効率は低下する。

尚、カメラ感度は、ＣＰＵ１０によってアナログ信号処理部２６内のアナログアンプに設定される撮影感度設定用ゲインによって調整される。

カメラ感度検出部５４は、撮影時に使用するカメラ感度を検出する。デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、及びカメラ感度検出部５４が検出したカメラ感度に基づいて標準の転送効率よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、カメラ感度を考慮して次式のように求める。

［数３］
ａ’＝ａ＊２＾（ｓｖ−９）
但し、ａ：転送効率に応じた補正量（［数２］式参照）
ｓｖ：カメラ感度＝log₂(ISO/3.125)
上記［数３］式からも明らかなようにカメラ感度ＩＳＯ１６００のときに、最終補正量ａ’は、補正量ａとなり、カメラ感度が低くなるにしたがって最終補正量ａ’は小さくなる。

尚、図５（Ｂ）に示した最終補正量ｃ’も同様に求める。また、図５（Ａ）に示すようにカメラ感度ごとに色補正マトリクス係数（Ｂ11，Ｂ12, …，Ｂ33）を準備しておき、カメラ感度に対応した色補正マトリクス係数を使用するようにしてもよい。

図８は本発明に係る第２の実施の形態の信号処理方法を示すフローチャートである。尚、図６に示した第１の実施の形態のフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図８において、転送効率が良い場合には、更にステップＳ２０にてカメラ感度が低いか否かを判別する。そして、カメラ感度が高い場合には、［数３］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ２２）。

同様に、転送効率が悪い合には、更にステップＳ２４にてカメラ感度が低いか否かを判別する。そして、カメラ感度が高い場合には、［数３］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ２６）。尚、ステップＳ２２とステップＳ２６とでは、［数３］式上の転送効率に応じた補正量ａが異なり、その結果、異なる信号処理が行われる。

このように、転送効率やカメラ感度に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

［第３の実施の形態］
図９は本発明に係る撮像装置の第３の実施の形態を示すブロック図である。尚、図１に示した第１の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図９に示す第３の実施の形態のカメラ１−３は、第１の実施の形態のカメラ１−１と比較して、ＣＣＤ駆動周波数検出部５６を更に備えている点で相違する。

ＣＣＤ２４の水平転送路２４Ｈは、２相駆動又は４相駆動の転送ＣＣＤで構成されており、この水平転送路２４Ｈでの駆動周波数が高速になるため、転送効率が低下する。即ち、ＣＣＤ２４の垂直転送路２４Ｖの駆動周波数は、水平転送路２４Ｈの駆動周波数に比べて低いため、ここでの転送効率は問題にならない。

ＣＣＤ２４の水平転送路２４Ｈの駆動周波数は、例えば、ＣＣＤ２４から全画素の読み出しを行う場合には速くなり、スルームービー画の表示時、動画撮影時等のようにＣＣＤ２４から画素の間引き読み出しを行う場合や、動画撮影時のフレームレートが低く設定される場合には低くなる。

ＣＣＤ駆動周波数検出部５６は、水平転送路２４Ｈの駆動周波数を検出するもので、例えば、ＣＣＤ２４の駆動モードによって駆動周波数を検出することができる。デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、及びＣＣＤ駆動周波数検出部５６が検出した駆動周波数に基づいて標準の転送効率よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、駆動周波数を考慮して次式のように求める。

［数４］
駆動周波数が低い場合
ａ’＝ａ
駆動周波数が高い場合
ａ’＝ａ＊Ｓ （Ｓ＞１）
但し、Ｓ：駆動周波数に応じた値
上記［数４］式からも明らかなように駆動周波数が高いと、転送効率が低下する（信号電荷を良好に送ることができなくなる）ため、最終補正量ａ’を大きくする。

尚、図５（Ｂ）に示した最終補正量ｃ’も同様に求める。また、図５（Ａ）に示すように駆動周波数ごとに色補正マトリクス係数（Ｂ11，Ｂ12, …，Ｂ33）を準備しておき、駆動周波数に対応した色補正マトリクス係数を使用するようにしてもよい。

図１０は本発明に係る第３の実施の形態の信号処理方法を示すフローチャートである。尚、図６に示した第１の実施の形態のフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１０において、転送効率が良い場合には、更にステップＳ３０にてＣＣＤ２４の水平転送路２４Ｈの駆動周波数が高いか否かを判別する。そして、駆動周波数が高い場合には、［数４］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ３２）。

同様に、転送効率が悪い合には、更にステップＳ３４にて駆動周波数が高いか否かを判別する。そして、駆動周波数が高い場合には、［数４］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ３６）。尚、ステップＳ３２とステップＳ３６とでは、［数４］式上の転送効率に応じた補正量ａが異なり、その結果、異なる信号処理が行われる。

このように、転送効率や駆動周波数に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

［第４の実施の形態］
図１１は本発明に係る撮像装置の第４の実施の形態を示すブロック図である。尚、図１に示した第１の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１１に示す第４の実施の形態のカメラ１−４は、第１の実施の形態のカメラ１−１と比較して、オートホワイトバランス（ＡＷＢ）算出部５８からＷＢゲインを検出するＷＢゲイン検出部６０を更に備えている点で相違する。

ＡＷＢ算出部５８は、ＲＡＭ１６に格納されたＲ、Ｇ、Ｂ信号を用いて、１画面が１６×１６に分割された２５６個の分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、分割エリアごとにＲ、Ｇ、Ｂの平均積算値の比、即ち、Ｒ／Ｇ及びＢ／Ｇの比（ＷＢ用積算値）を算出する。このようにして算出された２５６個の分割エリアごとの色情報は、前記Ｒ／Ｇ、Ｂ／Ｇの値に基づいてＲ／Ｇ、Ｂ／Ｇ軸座標の色空間上で分布する２５６個の点として表すことができる。ＡＷＢ算出部５８は、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上で分布する２５６個の色情報のうちの相互に近似している色情報の集合の重心位置を算出し、その算出した重心位置が示す色情報の色温度を検出する。尚、前記検出した色温度を有する光源種（例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン等）を求めることで撮影時の光源種を自動判別することもできる。

前記検出した色温度に対応する所定の色順応後の色情報を目標値として設定して、ＷＢゲインを算出する。デジタル信号処理部３０のＷＢ調整回路３０Ｃは、Ｒ，Ｇ，Ｂ信号ごとに前記算出されたＷＢゲインをかけることによりホワイトバランス調整を行う。

ＷＢゲイン検出部６０は、Ｒ，Ｇ，Ｂ信号に対する前記ＷＢゲインを検出する。デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、及びＷＢゲイン検出部６０が検出したＷＢゲインに基づいて標準の転送効率よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、Ｒ，Ｇ，ＢのＷＢゲインＲ_ｇａｉｎ，Ｇ_ｇａｉｎ，Ｂ_ｇａｉｎを考慮して次式のように求める。

［数５］
Ｒ_ｇａｉｎ／Ｇ_ｇａｉｎ＞Ｂ_ｇａｉｎ／Ｇ_ｇａｉｎのとき
ａ’＝ａ
Ｒ_ｇａｉｎ／Ｇ_ｇａｉｎ≦Ｂ_ｇａｉｎ／Ｇ_ｇａｉｎのとき
ａ’＝ａ＊Ｕ （Ｕ≧１）
但し、Ｕ：ＷＢゲインに応じた値
即ち、色温度（又は光源種）がタングステンに対応する場合、Ｂ信号に対するＷＢゲインが、Ｒ信号に対するＷＢゲインに比べて非常に大きくなる。従って、このような色温度のシーンに対しては、上記［数５］式に示すように最終補正量ａ’を補正量ａよりも大きくする。

尚、図５（Ｂ）に示した最終補正量ｃ’も同様に求める。また、図５（Ａ）に示すように色温度（又は光源種）ごとに色補正マトリクス係数（Ｂ11，Ｂ12, …，Ｂ33）を準備しておき、色温度（又は光源種）に対応した色補正マトリクス係数を使用するようにしてもよい。

図１２は本発明に係る第４の実施の形態の信号処理方法を示すフローチャートである。尚、図６に示した第１の実施の形態のフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１２において、転送効率が良い場合には、更にステップＳ４０にてＷＢゲインが高いか否かを判別する。そして、ＷＢゲインが高い場合には、［数５］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ４２）。

同様に、転送効率が悪い合には、更にステップＳ４４にてＷＢゲインが高いか否かを判別する。そして、ＷＢゲインが高い場合には、［数５］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ４６）。尚、ステップＳ４２とステップＳ４６とでは、［数５］式上の転送効率に応じた補正量ａが異なり、その結果、異なる信号処理が行われる。

このように、転送効率やＷＢゲインに応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

［第５の実施の形態］
図１３は本発明に係る撮像装置の第５の実施の形態を示すブロック図である。尚、図１に示した第１の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１３に示す第５の実施の形態のカメラ１−５は、第１の実施の形態のカメラ１−１と比較して、画素数検出部６２を更に備えている点で相違する。

画素数検出部６２は、撮影時の画素数（ＶＧＡ，１Ｍ，３Ｍ，６Ｍ等）を検出する。デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、及び画素数検出部６２が検出した画素数に基づいて標準の転送効率よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

この実施の形態では、第１の実施の形態と同様にデジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される色補正マトリクス係数を最終補正量ａ’により補正する。また、画素数検出部６２によって検出された画素数に基づいてデジタル信号処理部３０内の図示しないローパスフィルタ（ＬＰＦ）の周波数帯域を変化させる処理を行う。

例えば、デジタル信号処理部３０の同時化処理回路３０ＥとＲＧＢ／ＹＣ変換回路３０Ｆとの間、又はＲＧＢ／ＹＣ変換回路３０Ｆと輪郭補正回路３０Ｇとの間にＬＰＦを設ける。このＬＰＦでは、撮影画像の画素数に対応したフィルタリング処理を行う。そして、画素数が少ないときには、その画素数に応じた通常のフィルタリング処理を行い、画素数が多いときには、その画素数に応じた通常のフィルタリング処理よりも強めにして周波数帯域を落とすようにする。

即ち、画素数が多いときの通常のＬＰＦの特性が図１４の実線で示す場合に、同図の破線で示すように周波数帯域を落とす。これは、画素数が多いときにはフィールド段差が目立ちやすいが、上記のように周波数帯域を落とすことにより、フィールド段差を緩和するためである。

尚、フィールド段差を緩和させる他の方法としては、フィールドごとにゲインを変えることも考えられる。

また、同時化処理回路３０Ｅでは、注目画素上に或る色（例えば、Ｇ）の実データがある場合には、他の色（Ｒ，Ｂ）のデータは、その注目画素の周囲の同じ色の画素を補間して作成する処理を行っている。また、注目画素の周囲の同じ色の画素であっても、色がどの方向に連続しているかを判別（連続性判別）し、連続性のある画素のみを使用して補間演算を行っている。

画素数が多く、フィールド段差が発生する場合には、同時化処理回路３０Ｅでの同時化処理時に連続性の判別処理を行わせずに、注目画素の周囲の同じ色の画素の平均化処理を行わせて同時化処理を行わせる。これは、フィールド段差によって連続性の判別を誤るおそれがあるからです。

更に、画素数に応じて輪郭補正回路３０Ｇでの輪郭補正処理を変えるようにしてもよい。例えば、ＬＰＦで周波数帯域を落とした場合には、輪郭補正を強めにかける。

図１５は本発明に係る第５の実施の形態の信号処理方法を示すフローチャートである。尚、図６に示した第１の実施の形態のフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１５において、転送効率が良い場合には、更にステップＳ５０にて画素数が多いか否かを判別する。そして、画素数が多い場合には、ＬＰＦで周波数帯域を落とす処理を実施する（ステップＳ５２）。

同様に、転送効率が悪い合には、更にステップＳ５４にて画素数が多いか否かを判別する。そして、画素数が多い場合には、転送効率が悪い場合の信号処理とともに、ＬＰＦで周波数帯域を落とす処理を実施する（ステップＳ５６）。

このように、転送効率や画素数に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

［第６の実施の形態］
図１６は本発明に係る撮像装置の第６の実施の形態を示すブロック図である。尚、図１に示した第１の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１６に示す第６の実施の形態のカメラ１−６は、第１の実施の形態のカメラ１−１と比較して、温度検出部６４を更に備えている点で相違する。

温度検出部６４は、ＣＣＤ２４の温度を検出する。尚、温度検出部６４は、ＣＣＤ２４の温度を直接検出できない場合には、カメラ筐体内の温度を検出し、これをＣＣＤ２４の温度に対応する温度として検出するようにしてもよい。

デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、及び温度検出部６４が検出したＣＣＤ２４の温度に基づいて標準の転送効率よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、ＣＣＤ２４の温度を考慮して次式のように求める。

［数６］
温度が高い場合
ａ’＝ａ
温度が低い場合
ａ’＝ａ＊Ｗ，（Ｗ＞１）
但し、Ｗ：ＣＣＤ２４の転送効率の温度特性に応じた値
上記［数６］式からも明らかなようにＣＣＤ２４の温度が低いと、転送効率が低下するため、最終補正量ａ’を大きくする。

尚、図５（Ｂ）に示した最終補正量ｃ’も同様に求める。また、図５（Ａ）に示すように温度ごとに色補正マトリクス係数（Ｂ11，Ｂ12, …，Ｂ33）を準備しておき、ＣＣＤ２４の温度に対応した色補正マトリクス係数を使用するようにしてもよい。

図１７は本発明に係る第６の実施の形態の信号処理方法を示すフローチャートである。尚、図６に示した第１の実施の形態のフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１７において、転送効率が良い場合には、更にステップＳ６０にてＣＣＤ２４の温度が高いか否かを判別する。そして、温度が低い場合には、［数６］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ２２）。

同様に、転送効率が悪い合には、更にステップＳ６４にて温度が低いか否かを判別する。そして、温度が低い場合には、［数６］式により求めた最終補正量ａ’等によって補正した色補正マトリクス係数を使用して信号処理を実施する（ステップＳ２６）。尚、ステップＳ６２とステップＳ６６とでは、［数６］式上の転送効率に応じた補正量ａが異なり、その結果、異なる信号処理が行われる。

このように、転送効率や温度に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

［第７の実施の形態］
図１８は本発明に係る撮像装置の第７の実施の形態を示すブロック図である。尚、図１に示した第１の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１８に示す第７の実施の形態のカメラ１−７は、第１の実施の形態のカメラ１−１と比較して、ＣＣＤ配列検出部６６を更に備えている点で相違する。

ＣＣＤ配列検出部６６は、ＣＣＤ２４のＣＣＤ配列を検出する。尚、ＣＣＤ２２のＣＣＤ配列はＣＣＤによって予め決まっており、ＣＣＤ２４から出力されるＲ，Ｇ，Ｂの点順次のＣＣＤ信号が、どのような色の順序で出力されるかは既知であるため、ＣＣＤ配列検出部６６は、ＣＣＤ２４のＣＣＤ配列に関連する情報（例えば、ＧストライプＲ／Ｇ完全市松、ベイヤー配列など）を記憶し、必要に応じてその情報を読み出すものとして構成することができる。

デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、及びＣＣＤ配列検出部６６から取得したＣＣＤ配列に基づいて標準の転送効率よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

即ち、ＣＣＤの水平転送路にて転送される信号電荷が、あるラインではＲＢＲＢ…、次のラインではＧＧＧＧ…となるＣＣＤ配列の場合に転送効率が悪いと、ＲＢの色の間で混色する。一方、ＣＣＤの水平転送路にて転送される信号電荷が、あるラインではＲＧＲＧ…、次のラインではＧＢＧＢ…となるＣＣＤ配列（ベイヤー配列）の場合に転送効率が悪いと、ＧＢ，ＧＲの色の間で混色し、フィールド段差が起こる。

従って、デジタル信号処理部３０は、リニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数として、ＣＣＤ配列に応じて上記混色する色間を分離させるマトリクス係数を使用してマトリクス演算を行い、色補正されたＲ，Ｇ，Ｂ信号を算出する。

尚、ＣＣＤ配列にかかわらず色再現性を維持するために、ＷＢゲインにＣＣＤ配列に係わる補正量を付加するようにしてもよい。また、フィールド段差を補正するために、前述したようにフィールドごとにゲインを補正したり、ＬＰＦによるフィルタリング処理等を行うことが考えられる。

図１９は本発明に係る第７の実施の形態の信号処理方法を示すフローチャートである。尚、図６に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１９において、転送効率が良い場合には、更にステップＳ７０にてＣＣＤ２４のＣＣＤ配列を判別する。そして、ＣＣＤ配列が、図２に示したハニカム配列（ＨＡ）の場合には、ステップＳ１４の信号処理を実施し、ベイヤー配列（ＢＡ）の場合には、ステップＳ７２にてフィールド段差を補正する信号処理を実施する。

同様に、送効率が悪い合には、更にステップＳ７４にてカラーフィル配列を判別する。そして、ＣＣＤ配列がハニカム配列（ＨＡ）の場合には、ステップＳ１６の信号処理を実施し、ベイヤー配列（ＢＡ）の場合には、ステップＳ７６にてフィールド段差を補正する信号処理を実施する。

このように、転送効率やＣＣＤ配列に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

［第８の実施の形態］
図２０は本発明に係る撮像装置の第８の実施の形態を示すブロック図である。尚、図７及び図９に示した第２及び第３の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２０に示す第８の実施の形態のカメラ１−８は、第２の実施の形態のカメラ１−２と比較して、ＣＣＤ駆動周波数検出部５６を更に備えている点で相違する。

即ち、カメラ１−８は、第２及び第３の実施の形態のカメラ１−２、１−３の機能を備えたものであり、このカメラ１−８のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度及びＣＣＤ駆動周波数検出部５６から取得したＣＣＤ駆動周波数に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、転送効率、カメラ感度及びＣＣＤ駆動周波数を考慮して次式のように求める。

［数７］
ａ’＝ａ＊２＾（ｓｖ−９）＊Ｓ
リニアマトリクス回路３０Ｂは、上記［数７］式で示す最終補正量ａ’によって補正された色補正マトリクス係数を使用してマトリクス演算を実施する。

図２１は本発明に係る第８の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、及びＣＣＤ駆動周波数の３つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度及び駆動周波数にかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第９の実施の形態］
図２２は本発明に係る撮像装置の第９の実施の形態を示すブロック図である。尚、図７及び図１１に示した第２及び第４の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２２示す第９の実施の形態のカメラ１−９は、第２の実施の形態のカメラ１−２と比較して、ＷＢゲイン検出部６０を更に備えている点で相違する。

即ち、カメラ１−９は、第２及び第４の実施の形態のカメラ１−２、１−４の機能を備えたものであり、このカメラ１−９のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度及びＷＢゲイン検出部６０から取得したＷＢゲインに応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、転送効率、カメラ感度及びＷＢゲインを考慮して次式のように求める。

［数８］
ａ’＝ａ＊２＾（ｓｖ−９）＊Ｕ
リニアマトリクス回路３０Ｂは、上記［数８］式で示す最終補正量ａ’によって補正された色補正マトリクス係数を使用してマトリクス演算を実施する。

図２３は本発明に係る第９の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、及びＷＢゲインの３つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度及びＷＢゲインにかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第１０の実施の形態］
図２４は本発明に係る撮像装置の第１０の実施の形態を示すブロック図である。尚、図７及び図１３に示した第２及び第５の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２４に示す第１０の実施の形態のカメラ１−１０は、第２の実施の形態のカメラ１−２と比較して、画素数検出部６２を更に備えている点で相違する。

即ち、カメラ１−１０は、第２及び第５の実施の形態のカメラ１−２、１−５の機能を備えたものであり、このカメラ１−１０のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度及び画素数検出部６２から取得した画素数に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

図２５は本発明に係る第１０の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、及び画素数の３つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度及び画素数にかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第１１の実施の形態］
図２６は本発明に係る撮像装置の第１１の実施の形態を示すブロック図である。尚、図７及び図１６に示した第２及び第６の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２６示す第１１の実施の形態のカメラ１−１１は、第２の実施の形態のカメラ１−２と比較して、温度検出部６４を更に備えている点で相違する。

即ち、カメラ１−１１は、第２及び第６の実施の形態のカメラ１−２、１−６の機能を備えたものであり、このカメラ１−１１のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度及び温度検出部６４から取得したＣＣＤ２４の温度に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、転送効率、カメラ感度及び温度を考慮して次式のように求める。

［数９］
ａ’＝ａ＊２＾（ｓｖ−９）＊Ｗ
リニアマトリクス回路３０Ｂは、上記［数９］式で示す最終補正量ａ’によって補正された色補正マトリクス係数を使用してマトリクス演算を実施する。

図２７は本発明に係る第１１の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、及び温度の３つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度及び温度にかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第１２の実施の形態］
図２８は本発明に係る撮像装置の第１２の実施の形態を示すブロック図である。尚、図７及び図１８に示した第２及び第７の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２８に示す第１２の実施の形態のカメラ１−１２は、第２の実施の形態のカメラ１−２と比較して、ＣＣＤ配列検出部６６を更に備えている点で相違する。

即ち、カメラ１−１２は、第２及び第７の実施の形態のカメラ１−２、１−７の機能を備えたものであり、このカメラ１−１２のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度及びＣＣＤ配列検出部６６から取得したＣＣＤ配列に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

従って、デジタル信号処理部３０は、転送効率、カメラ感度及びＣＣＤ配列に応じてリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数を変更してマトリクス演算を行い、色補正されたＲ，Ｇ，Ｂ信号を算出する。

尚、ＣＣＤ配列にかかわらず色再現性を維持するために、ＷＢゲインにＣＣＤ配列に係わる補正量を付加するようにしてもよい。また、フィールド段差を補正するために、フィールドごとにゲインを補正したり、ＬＰＦによるフィルタリング処理等を行うことが考えられる。

図２９は本発明に係る第１２の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、及びカラーフィル配列の３つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度及びカラーフィル配列にかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第１３の実施の形態］
図３０は本発明に係る撮像装置の第１３の実施の形態を示すブロック図である。尚、図１１及び図２０に示した第４及び第８の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図３０に示す第１３の実施の形態のカメラ１−１３は、第８の実施の形態のカメラ１−８と比較して、ＷＢゲイン検出部６０を更に備えている点で相違する。

即ち、カメラ１−１３は、第４及び第８の実施の形態のカメラ１−４、１−８の機能を備えたものであり、このカメラ１−１３のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度、ＣＣＤ駆動周波数検出部５６から取得したＣＣＤ駆動周波数、及びＷＢゲイン検出部６０から取得したＷＢゲインに応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂで使用される３行×３列の色補正マトリクス係数の最終補正量ａ’を、転送効率、カメラ感度、ＣＣＤ駆動周波数及びＷＢゲインを考慮して次式のように求める。

［数１０］
ａ’＝ａ＊２＾（ｓｖ−９）＊Ｓ＊Ｕ
リニアマトリクス回路３０Ｂは、上記［数１０］式で示す最終補正量ａ’によって補正された色補正マトリクス係数を使用してマトリクス演算を実施する。

図３１は本発明に係る第１３の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、ＣＣＤ駆動周波数、及びＷＢゲインの４つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度、駆動周波数及びＷＢゲインにかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第１４の実施の形態］
図３２は本発明に係る撮像装置の第１４の実施の形態を示すブロック図である。尚、図１３及び図２０に示した第５及び第８の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図３２に示す第１４の実施の形態のカメラ１−１４は、第８の実施の形態のカメラ１−８と比較して、画素数検出部６２を更に備えている点で相違する。

即ち、カメラ１−１４は、第５及び第８の実施の形態のカメラ１−５、１−８の機能を備えたものであり、このカメラ１−１４のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度、ＣＣＤ駆動周波数検出部５６から取得したＣＣＤ駆動周波数、及び画素数検出部６２から取得した画素数に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

図３３は本発明に係る第１４の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、ＣＣＤ駆動周波数、及び画素数の４つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度、駆動周波数及び画素数にかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第１５の実施の形態］
図３４は本発明に係る撮像装置の第１５の実施の形態を示すブロック図である。尚、図１８及び図２０に示した第７及び第８の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図３４に示す第１５の実施の形態のカメラ１−１５は、第８の実施の形態のカメラ１−８と比較して、ＣＣＤ配列検出部６６を更に備えている点で相違する。

即ち、カメラ１−１５は、第７及び第８の実施の形態のカメラ１−７、１−８の機能を備えたものであり、このカメラ１−１５のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度、ＣＣＤ駆動周波数検出部５６から取得したＣＣＤ駆動周波数、及びＣＣＤ配列検出部６６から取得したＣＣＤ配列に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

図３５は本発明に係る第１５の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、ＣＣＤ駆動周波数、及びＣＣＤ配列の４つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度、駆動周波数及びＣＣＤ配列にかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

［第１６の実施の形態］
図３６は本発明に係る撮像装置の第１６の実施の形態を示すブロック図である。尚、図１１、図１３、図１６及び図３４に示した第６及び第１５の実施の形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図３６に示す第１６の実施の形態のカメラ１−１６は、第１５の実施の形態のカメラ１−１５と比較して、ＷＢゲイン検出部６０、画素数検出部６２、及び温度検出部６４を更に備えている点で相違する。

即ち、カメラ１−１６は、第７及び第８の実施の形態のカメラ１−４、１−５、１−６、及び１−１５の機能を備えたものであり、このカメラ１−１６のデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率、カメラ感度検出部５４から取得したカメラ感度、ＣＣＤ駆動周波数検出部５６から取得したＣＣＤ駆動周波数、ＷＢゲイン検出部６０から取得したＷＢゲイン、画素数検出部６２から取得した画素数、温度検出部６４から取得した温度、及びＣＣＤ配列検出部６６から取得したＣＣＤ配列に応じて信号処理を変更し、転送効率の低下に伴う色再現性や解像度等の画質劣化を抑制するようにしている。

図３７は本発明に係る第１６の実施の形態の信号処理方法を示すフローチャートである。

同図に示すように、転送効率、カメラ感度、ＣＣＤ駆動周波数、ＷＢゲイン、画素数、温度及びＣＣＤ配列の７つの情報に基づいて信号処理が選択される。デジタル信号処理部３０は、その選択された信号処理を実施し、これにより、転送効率、カメラ感度、駆動周波数、ＷＢゲイン、画素数、温度及びＣＣＤ配列にかかわらず、色再現性や解像度等の画質劣化を抑制可能にしている。

尚、図３７等のフローチャートで示す信号処理は、転送効率、カメラ感度、駆動周波数、ＷＢゲイン、画素数、温度及びＣＣＤ配列の７つの情報ごとに２つに分岐して信号処理を変えるようしたが、これに限らず、各情報について段階的に又は連続的に信号処理を変えるようにしてもよい。また、信号処理を変えるための情報は、第１の実施の形態乃至第１６の実施の形態のものに限らず、上記７つの情報を適宜組み合わせた情報でもよく、更に７つの情報に限らず、他の情報を含めてもよい。

図１は本発明に係る撮像装置の第１の実施の形態を示すブロック図である。 図２はＣＣＤ撮像素子の構成例を示す図である。 図３は図１に示したデジタル信号処理部の詳細な回路構成を示すブロック図である。 図４はＣＣＤ撮像素子の転送効率特性を示すグラフである。 図５はリニアマトリクス回路における色補正マトリクス係数を変更する例を示す図である。 図６は本発明に係る第１の実施の形態の信号処理方法を示すフローチャートである。 図７は本発明に係る撮像装置の第２の実施の形態を示すブロック図である。 図８は本発明に係る第２の実施の形態の信号処理方法を示すフローチャートである。 図９は本発明に係る撮像装置の第３の実施の形態を示すブロック図である。 図１０は本発明に係る第３の実施の形態の信号処理方法を示すフローチャートである。 図１１は本発明に係る撮像装置の第４の実施の形態を示すブロック図である。 図１２は本発明に係る第４の実施の形態の信号処理方法を示すフローチャートである。 図１３は本発明に係る撮像装置の第５の実施の形態を示すブロック図である。 図１４は本発明に係る撮像装置の第５の実施の形態によって変更されるＬＰＦの特性例を示すグラフである。 図１５は本発明に係る第５の実施の形態の信号処理方法を示すフローチャートである。 図１６は本発明に係る撮像装置の第６の実施の形態を示すブロック図である。 図１７は本発明に係る第６の実施の形態の信号処理方法を示すフローチャートである。 図１８は本発明に係る撮像装置の第７の実施の形態を示すブロック図である。 図１９は本発明に係る第７の実施の形態の信号処理方法を示すフローチャートである。 図２０は本発明に係る撮像装置の第８の実施の形態を示すブロック図である。 図２１は本発明に係る第８の実施の形態の信号処理方法を示すフローチャートである。 図２２は本発明に係る撮像装置の第９の実施の形態を示すブロック図である。 図２３は本発明に係る第９の実施の形態の信号処理方法を示すフローチャートである。 図２４は本発明に係る撮像装置の第１０の実施の形態を示すブロック図である。 図２５は本発明に係る第１０の実施の形態の信号処理方法を示すフローチャートである。 図２６は本発明に係る撮像装置の第１１の実施の形態を示すブロック図である。 図２７は本発明に係る第１１の実施の形態の信号処理方法を示すフローチャートである。 図２８は本発明に係る撮像装置の第１２の実施の形態を示すブロック図である。 図２９は本発明に係る第１２の実施の形態の信号処理方法を示すフローチャートである。 図３０は本発明に係る撮像装置の第１３の実施の形態を示すブロック図である。 図３１は本発明に係る第１３の実施の形態の信号処理方法を示すフローチャートである。 図３２は本発明に係る撮像装置の第１４の実施の形態を示すブロック図である。 図３３は本発明に係る第１４の実施の形態の信号処理方法を示すフローチャートである。 図３４は本発明に係る撮像装置の第１５の実施の形態を示すブロック図である。 図３５は本発明に係る第１５の実施の形態の信号処理方法を示すフローチャートである。 図３６は本発明に係る撮像装置の第１６の実施の形態を示すブロック図である。 図３７は本発明に係る第１６の実施の形態の信号処理方法を示すフローチャートである。

符号の説明

１−１〜１−１６…撮像装置（カメラ）、１０…中央処理装置（ＣＰＵ）、１６…ＲＡＭ、１８…ＲＯＭ、２０…撮像部、２２…光学ユニット、２４…ＣＣＤ撮像素子、２４Ｖ…垂直転送路、２４Ｈ…水平転送路、２６…アナログ信号処理部、３０…デジタル信号処理部、３０Ａ…オフセット処理回路、３０Ｂ…リニアマトリクス回路、３０Ｃ…ホワイトバランス調整回路、３０Ｄ…ガンマ補正回路、３０Ｅ…同時化処理回路、３０Ｆ…ＲＧＢ／ＹＣ変換回路、３０Ｇ…輪郭補正回路、３０Ｈ…色差マトリクス回路、３６…操作部、４０…表示部（ＬＣＤ）、５０…メモリカード、５２…ＣＣＤ転送効率検出部、５４…カメラ感度検出部、５６…ＣＣＤ駆動周波数検出部、５８…オートホワイトバランス（ＡＷＢ）算出部、６０…ＷＢゲイン検出部、６２…画素数検出部、６４…温度検出部、６６…ＣＣＤ配列検出部

Claims (4)

1. 撮像素子から画像信号を取得するステップと、
   前記撮像素子の転送効率、撮影時のカメラ感度、前記撮像素子の駆動周波数、前記取得した画像信号のホワイトバランス補正に係わるＷＢパラメータ、前記取得した画像信号の画素数、撮影時のカメラ内又は撮像素子の温度、及び前記撮像素子のＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報を取得するステップと、
   前記取得した画像信号の信号処理を行うステップであって、前記取得した情報に応じて前記信号処理を変更し、転送効率の低下に伴う画質劣化を抑制するステップと、を含み、
   前記信号処理を行うステップは、前記取得した転送効率、カメラ感度、駆動周波数、ＷＢパラメータ、画素数、温度及びＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報に応じて、色補正を行うマトリクス回路のマトリクス係数を変更することを特徴とする撮像装置の信号処理方法。
2. 撮影光学系と、
   前記撮影光学系によって被写体像が結像される撮像素子と、
   前記撮像素子から画像信号を取得する画像取得手段と、
   前記撮像素子の転送効率、撮影時のカメラ感度、前記撮像素子の駆動周波数、前記取得した画像信号のホワイトバランス補正に係わるＷＢパラメータ、前記取得した画像信号の画素数、撮影時のカメラ内又は撮像素子の温度、及び前記撮像素子のＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報を取得する情報取得手段と、
   前記取得した画像信号の信号処理を行う手段であって、前記取得した情報に応じて前記信号処理を変更し、転送効率の低下に伴う画質劣化を抑制する信号処理手段と、を備え、
   前記信号処理手段は、色補正を行うマトリクス回路を含み、前記取得した転送効率、カメラ感度、駆動周波数、ＷＢパラメータ、画素数、温度及びＣＣＤカラーフィルタ配列のうちの少なくとも転送効率を含む１乃至複数の情報に応じて前記マトリクス回路のマトリクス係数を変更することを特徴とする撮像装置。
3. 前記情報取得手段は、予め測定された転送効率を記憶する記憶手段と、該記憶手段から前記転送効率を読み出す読出手段とを含むことを特徴とする請求項２に記載の撮像装置。
4. 前記マトリクス回路は、リニアマトリクス回路及び色差マトリクス回路の少なくとも一方であることを特徴とする請求項２又は３に記載の撮像装置。

Images