JP4538742B2 - 撮像装置の信号処理方法及び撮像装置 - Google Patents

Description

本発明は撮像装置の信号処理方法及び撮像装置に係り、特にＣＣＤ（Charge Coupled Devices）撮像素子の転送効率不良による問題を改善する技術に関する。

従来、ＣＣＤ撮像素子を用いた電子カメラ、デジタルカメラ、カメラ付き携帯電話等の撮像装置が開発されている。このような撮像装置を用いて撮像を行った場合、ＣＣＤ撮像素子の各画素には露出時間に応じて信号電荷が蓄積される。各画素に蓄積された信号電荷は、垂直転送路から水平転送路に転送されて画像処理回路に出力される。

各画素に蓄積された信号電荷は、各転送路の転送素子のそれぞれに形成されたポテンシャル井戸を介して順次転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率といい、この転送効率が低下すると、隣接する画素間のクロストークが増加し、画像の劣化（色再現性や解像度の劣化）等の様々な問題が生じる。

これに対して、例えば、特許文献１には、転送エラーによる像信号の歪を補正し、測距不良を無くすようにした測距用ＣＣＤの信号補正装置について開示されている。また、特許文献２には、ＴＤＩ(Time Delay Integration)イメージセンサの垂直転送効率からＴＤＩ段方向に並ぶ各イメージセンサの垂直転送残り量の総和を予め求め、ＴＤＩイメージセンサで試料を撮像したときのＴＤＩイメージセンサの出力から前記予め求めた垂直転送残り量の総和を減算し、該減算した出力を用いて画像処理する画像処理方法について開示されている。
特開平７−１４６１３９号公報 特開２００４−２９５７０９号公報

しかしながら、特許文献１に記載の発明は、測距用ＣＣＤを用いたものであり、この測距用ＣＣＤでの転送効率劣化が測離に影響を及ぼすため、転送効率に基づいて測距結果を補正するものであり、画像の劣化を改善するものではない。

また、特許文献１に記載の発明は、ＴＤＩイメージセンサに限定されたもので、特に垂直転送路での転送効率劣化の問題を解決するものであり、それを解決するために垂直転送残り量を算出してセンサ出力から減算している。即ち、特許文献１に記載の発明は、垂直転送残り分がないコントラストの高い画像を得るものであり、転送効率の変動に影響されない色再現性の高い画像を得るものではなく、また、垂直転送残り量等を算出するために膨大な演算が必要になる。

本発明はこのような事情に鑑みてなされたもので、撮像素子の転送効率に応じた信号処理を行うことができ、所望の画質の画像を得ることができる撮像装置の信号処理方法及び撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る撮像装置の信号処理方法は、撮像素子から画像信号を取得するステップと、前記撮像素子の転送効率を算出する転送効率算出ステップと、前記算出された転送効率に基づいて色補正を行うリニアマトリクス回路のマトリクス係数を制御することにより前記取得した画像信号を処理するステップと、を含むことを特徴としている。

即ち、撮像素子の転送効率が悪い場合は、転送効率が良い場合に比べて色再現性や解像度が劣化するなどの問題があるが、請求項１に係る発明は、撮像素子の転送効率を算出し、その算出した転送効率に基づいて画像信号を処理することで、所望の画質の画像を得るようにしている。

請求項２に示すように請求項１に記載の撮像装置の信号処理方法において、予め算出された転送効率を記憶保持するステップを含み、前記記憶保持された転送効率は、前記取得した画像信号の処理時に読み出されて利用されることを特徴としている。

請求項３に示すように請求項１に記載の撮像装置の信号処理方法において、前記転送効率算出ステップは、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴としている。

請求項４に示すように請求項１に記載の撮像装置の信号処理方法において、前記転送効率算出ステップは、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後（水平方向）の各１画素の垂直方向の複数の画素の信号の平均値に基づいて算出することを特徴としている。そのため、精度の高い転送効率を算出することができる。

請求項５に示すように請求項１乃至４のいずれかに記載の撮像装置の信号処理方法において、転送効率算出モードを選択するステップを含み、前記転送効率算出ステップは、前記転送効率算出モードが選択された撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。これにより、転送効率を算出するための撮影と、通常の撮影とが区別されるとともに、任意の時期に転送効率を算出することができる。転送効率を算出するための撮影時には、単色チャートを所定の撮影条件で撮影することが好ましい。

請求項６に示すように請求項１乃至４のいずれかに記載の撮像装置の信号処理方法において、転送効率に関連する撮影設定条件の変更を検出するステップを含み、前記転送効率算出ステップは、前記撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。即ち、カメラ感度、ＣＣＤ駆動周波数、撮像素子の温度等の様々な条件によって転送効率は変化するが、その条件の変化が検出されると、新たに転送効率を算出するようにしている。

請求項７に示すように請求項１乃至４のいずれかに記載の撮像装置の信号処理方法において、時間経過を測定するステップを含み、前記転送効率算出ステップは、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。即ち、上記のように様々な条件によって転送効率は変化し、特に撮像素子の温度は時間経過とともに上昇するため、時間経過が所定の閾値以上になると、新たに転送効率を算出するようにしている。

請求項８に示すように請求項１乃至４のいずれかに記載の撮像装置の信号処理方法において、本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行うステップを含み、前記転送効率算出ステップは、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。これにより、本撮影ごとにその撮影に適した転送効率を算出することができる。尚、自動焦点調節時の焦点調節完了前に取得した画像信号（焦点の合っていない画像信号）を使用することで、転送効率の算出に使用する所定領域の画像信号の均一化を図ることができる。

請求項９に係る撮像装置は、撮影光学系と、前記撮影光学系によって被写体像が結像される撮像素子と、前記撮像素子から画像信号を取得する画像取得手段と、前記撮像素子の転送効率を取得する転送効率取得手段と、色補正を行うリニアマトリクス回路を含み、前記転送効率取得手段が取得した転送効率に基づいて前記リニアマトリクス回路のマトリクス係数を制御することにより前記取得した画像信号を処理する信号処理手段と、を備えたことを特徴としている。

請求項１０に示すように請求項９に記載の撮像装置において、予め算出された転送効率を記憶保持する記憶手段を更に備え、前記転送効率取得手段は、前記記憶手段から転送効率を読み出すことを特徴としている。

請求項１１に示すように請求項９又は１０に記載の撮像装置において、前記撮像素子の転送効率を算出する転送効率算出手段を更に備え、前記転送効率取得手段は、前記転送効率算出手段から転送効率を取得することを特徴としている。

請求項１２に示すように請求項１１に記載の撮像装置において、前記転送効率算出手段は、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴としている。

請求項１３に示すように請求項１１に記載の撮像装置において、前記転送効率算出手段は、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後（水平方向）の各１画素の垂直方向の複数の画素の信号の平均値に基づいて算出することを特徴としている。

請求項１４に示すように請求項１１乃至１３のいずれかに記載の撮像装置において、転送効率算出モードを選択するモード選択手段を更に備え、前記転送効率算出手段は、前記モード選択手段によって選択された転送効率算出モードでの撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。

請求項１５に示すように請求項１１乃至１３のいずれかに記載の撮像装置において、転送効率に関連する撮影設定条件の変更を検出する検出手段を更に備え、前記転送効率算出手段は、前記検出手段によって撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。

請求項１６に示すように請求項１１乃至１３のいずれかに記載の撮像装置において、時間経過を測定する手段を更に備え、前記転送効率算出手段は、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。

請求項１７に示すように請求項１１乃至１３のいずれかに記載の撮像装置において、本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行う自動焦点調節手段を更に備え、前記転送効率算出手段は、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。

本発明によれば、撮像素子の転送効率を算出し、その転送効率に応じた信号処理を撮像素子から取得した画像信号に対して施すことができる。これにより、転送効率にかかわらず、所望の画質の画像を得ることが可能になる。

以下、添付図面に従って本発明に係る撮像装置の信号処理方法及び撮像装置の好ましい実施の形態について説明する。

尚、以下の説明では、撮像装置（デジタルカメラ）を例にとって説明するが、本発明は撮像装置を備えた携帯電話や携帯情報端末（ＰＤＡ）、ＰＣカメラ等にも適用することができる。

［第１の実施の形態］
図１は本発明に係る撮像装置の第１の実施の形態を示すブロック図である。

図１に示す撮像装置１―１（以下の説明では、カメラ１―１と記載する）は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ全体の動作は中央処理装置（ＣＰＵ）１０によって統括制御される。ＣＰＵ１０は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段として機能する。

ＣＰＵ１０には、バス１２及びメモリ・インターフェース１４を介してＲＡＭ（Random Access Memory）１６及びＲＯＭ（Read Only Memory）１８が接続されている。ＲＡＭ１６は、プログラムの展開領域及びＣＰＵ１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１８には、ＣＰＵ１０が実行するプログラム及び制御に必要な各種データや、カメラ動作に関する各種定数／情報等が格納されている。

撮像部２０には、撮影レンズ及び絞り等を含む光学ユニット２２や、ＣＣＤ撮像素子２４（以下、単に「ＣＣＤ」という）等が含まれている。光学ユニット２２は、ＣＰＵ１０からのＡＦ指令やＡＥ指令によりモータ駆動部３２を介してフォーカスレンズや絞り等が駆動される。

ＣＣＤ２４は、図２に示すように多数の受光素子（フォトダイオード）２４Ａが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置されたＣＣＤ型２次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光素子２４Ａの幾何学的な形状の中心点を行方向及び列方向に１つ置きに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。

各受光素子２４Ａは、八角形の受光面を有し、各受光素子２４Ａに対応してＲＧＢの原色カラーフィルタが配置されている。図２のように、水平方向についてＲＢＲＢ…の行の次段にＧＧＧＧ…の行が配置され、その次段にＢＲＢＲ…の行、という具合に配列される。列方向についてみれば、ＲＢＲＢ…の列と、ＧＧＧＧ…の列と、ＢＲＢＲ…の列とが循環式に繰り返される配列パターンとなっている。

各受光素子２４Ａの右側（又は左側）には垂直転送路（ＶＣＣＤ）２４Ｖが形成されている。垂直転送路２４Ｖは、受光素子２４Ａの各列に近接して受光素子２４Ａを避けながらジグザグ状に蛇行して垂直方向に伸びている。図示されていないが、垂直転送路２４Ｖ上には４相駆動（φ1,φ2,φ3,φ4)に必要な転送電極が配置される。転送電極は、受光素子１６Ａの各行に近接して受光素子２４Ａの開口を避けながら蛇行して図２の水平方向に伸びるように設けられている。

各受光素子２４Ａで光電変換により生成された信号電荷は、当該受光素子２４Ａの右側（又は左側）に隣接した垂直転送路１６Ｖに読み出され、転送パルスに従って図２の下方（Ｖ方向）に転送される。

図２において垂直転送路２４Ｖの下端（垂直転送路２４Ｖの最下流側）には、垂直転送路２４Ｖから移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）２４Ｈが設けられている。

水平転送路２４Ｈは、２相又は４相駆動の転送ＣＣＤで構成されており、水平転送路２４Ｈの最終段（図２上で最左段）は出力部２５に接続されている。出力部２５は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子２５Ａに出力する。こうして、各受光素子２４Ａで生成された信号が、点順次の信号列として出力される。尚、出力端子２５Ａから出力される信号はＲＧＢＧＲＧＢＧ…という信号列となる。

図１に戻って、ＣＣＤ２４は、各受光素子の電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１０は、タイミング・ジェネレータ３４を介してＣＣＤ２４での電荷蓄積時間を制御する。

このＣＣＤ２４から順次読み出されたＣＣＤ信号は、アナログ信号処理部２６に加えられる。アナログ信号処理部２６は、ＣＤＳ回路やアナログアンプ等を有し、ＣＤＳ回路は入力するＣＣＤ信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力されるＣＣＤ信号を増幅する。

アナログ信号処理部２６にてアナログ処理されたＣＣＤ信号は、Ａ／Ｄ変換器２８に加えられ、ここで画素ごとにデジタルのカラー画像データ（点順次のＲ，Ｇ，Ｂ信号）に変換される。

Ｒ，Ｇ，Ｂ信号は、デジタル信号処理部３０を介してＲＡＭ１６に一時的に記憶される。このＲ，Ｇ，Ｂ信号は、デジタル信号処理部３０に入力され、ここで所要の信号処理が行われる。尚、デジタル信号処理部３０での画像処理の詳細については、後述する。

カメラ１―１の操作部３６には、シャッターボタン、撮影モードと再生モードを切り替えるモード切替レバー、撮影モード（オート撮影モード、マニュアル撮影モード、連写モード等）を選択するためのモードダイヤル、表示部（ＬＣＤ）４０にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するＢＡＣＫボタンなどが含まれる。操作部３６からの出力信号は、バス３２を介してＣＰＵ１０に入力され、ＣＰＵ１０は操作部３６からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。

カメラ１−１には、被写体にフラッシュ光を照射するためのフラッシュ装置４２が含まれ、フラッシュ装置４２は、ＣＰＵ１０からの発光指令によって充電部４から電源の供給を受けてフラッシュ光を照射する。

デジタル信号処理部３０で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、圧縮伸張処理回路４６に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース４８を介してメモリカード５０に記録される。

また、ＬＣＤ４０には、ＬＣＤインターフェース３８を介して加えられる画像信号により撮像準備中に映像（スルームービー画）が表示され、また、再生モード時にメモリカード５０に記録された画像が表示される。

図３は図１に示したデジタル信号処理部３０の詳細な回路構成を示すブロック図である。

前述したようにＲＡＭ１６に一時記憶されたＲ，Ｇ，Ｂ信号は、デジタル信号処理部３０のオフセット処理回路３０ＡにＲ，Ｇ，Ｂの点順次で加えられる。Ｒ，Ｇ，Ｂ信号は、オフセット処理回路３０Ａにおいてオフセット処理が行われる。オフセット処理回路３０Ａから出力されたＲ，Ｇ，Ｂ信号（ＣＣＤＲＡＷデータ）は、リニアマトリクス回路３０Ｂに出力され、ここでＣＣＤ２４の分光特性を補正する色調補正処理、及び本発明に係る色補正処理が行われる。

即ち、リニアマトリクス回路３０Ｂは、入力するＲ，Ｇ，Ｂ信号と、３行×３列の色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）とからマトリクス演算を行って、色補正されたＲ，Ｇ，Ｂ信号を算出する。

尚、マトリクス演算に使用される３行×３列の色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）の詳細については後述する。

リニアマトリクス回路３０Ｂから出力されたＲ，Ｇ，Ｂ信号は、ホワイトバランス（ＷＢ）調整回路３０Ｃに出力される。ＷＢ調整回路３０Ｃは、Ｒ，Ｇ，Ｂ信号ごとにそれぞれホワイトバランス調整用のＷＢゲインをかけることによりホワイトバランス調整を行う。ＷＢ調整回路３０Ｃから出力されたＲ，Ｇ，Ｂ信号は、ガンマ補正回路３０Ｄに出力され、ここで中間調等の階調補正を行うガンマ補正が行われる。ガンマ補正されたＲ，Ｇ，Ｂ信号は、同時化処理回路３０Ｅに出力される。

同時化処理回路３０Ｅは、単板のＣＣＤ２４のＣＣＤカラーフィルタ配列に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理を行い、同時化したＲ，Ｇ，Ｂ信号をＲＧＢ／ＹＣ変換回路３０Ｆに出力する。

ＲＧＢ／ＹＣ変換回路３０Ｆは、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃr,Ｃｂに変換し、輝度信号Ｙを輪郭補正回路３０Ｇに出力し、色差信号Ｃr,Ｃｂを色差マトリクス回路３０Ｈに出力する。輪郭補正回路３０Ｇは、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行う。

色差マトリクス回路３０Ｈは、２行×２列の色補正マトリクス係数と入力する色差信号Ｃr,Ｃｂとのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。

このようにして輪郭補正された輝度信号Ｙ、及び色差マトリクス変換された色差信号Ｃｒ，Ｃｂは、一旦ＲＡＭ１６に保存された後、圧縮伸張処理回路４６に与えられ、ここで、JPEG方式に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース４８を介してメモリカード５０に記録される。

次に、ＣＣＤ２４の水平転送路２４Ｈの転送効率について説明する。

ＣＣＤ２４の垂直転送路２４Ｖから水平転送路２４Ｈに送出されたＣＣＤ２４の各ラインの信号電荷は、水平転送路２４Ｈに形成されたポテンシャル井戸を介して順次水平方向に転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率という。また、転送効率は、元の井戸にあった電荷量（信号量）によって変わる。

図４は信号量に対する転送残量の一例を示す転送効率特性を示すグラフである。図４において、元の井戸にあった信号量をＳ０、この信号量Ｓ０の転送後に残った転送残量をｆ（S0）とすると、転送効率は、次式で表すことができる。

［数１］
転送効率＝（１―f(S0)／Ｓ０）×１００（％）
図４のグラフからも明らかなように、転送効率は、信号量Ｓ０が小さい場合に低下する。また、転送効率は、ＣＣＤ駆動周波数が高いとき、ＣＣＤ温度が低いときに低下する。

転送効率は、ＣＣＤごとに固体差があるため、例えば、出荷前に適宜測定され、あるいはカメラ１−１の転送効率算出機能によって測定されてＲＯＭ１８又は図示しないフラッシュＲＯＭ等に記憶される。

図１に戻って、ＣＣＤ転送効率検出部５２は、ＲＯＭ１８からＣＣＤ２４の転送効率を読み出す。

デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から取得した転送効率に基づいて信号処理を行う。尚、この信号処理としては、例えば、標準の転送効率（転送効率が良い場合）よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。

即ち、ＣＣＤ２４の水平転送路２４Ｈでは、ＧＲＧＢＧＲＧＢ…と信号電荷を転送するため、転送効率が低下すると、ＧとＲ，ＧとＢとの間の混色が大きくなり、色再現性や解像度が劣化する。

この実施の形態では、デジタル信号処理部３０のリニアマトリクス回路３０Ｂ（図３）で使用される３行×３列の色補正マトリクス係数を変更することにより、画質劣化を抑制するようにしている。

例えば、図５（Ａ）に示すように転送効率が良い場合には、色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）を使用し、転送効率が悪い場合には、色補正マトリクス係数（Ｂ11，Ｂ12, …，Ｂ33）を使用する。

また、色補正マトリクス係数（Ａ11，Ａ12, …，Ａ33）に対する補正量をａ、ｃとし、転送効率をｘ（％）として、次式により補正量ａ、ｃを求める。

［数２］
ａ＝αｘ＋β
ｃ＝γｘ＋λ
但し、α、β、γ、λ：係数（実験的に算出してもよい）
そして、図５（Ｂ）に示すように補正量ａ，ｃによって補正した色補正マトリクス係数（変更後）を使用する。

尚、補正量ａ，ｃを求める式は、一次式としているが、多項式でも指数対数近似式でもよい。

図６は上記信号処理に転送効率を使用するために記憶保持しておく基本的な処理フローを示している。

同図に示すように、ＣＣＤ２４からＲ，Ｇ，ＢのＣＣＤＲＡＷデータを入力する（ステップＳ１０）。この入力したＣＣＤＲＡＷデータに基づいて転送効率を算出し（ステップＳ１２）、前記算出した転送効率をＲＯＭ１８又は図示しないフラッシュＲＯＭ等のメモリに書き込む（ステップＳ１４）。

図７は撮影画像に対して転送効率に応じた信号処理を施す処理フローを示す図である。

同図に示すように、一般シーンの被写体を撮影し（ステップＳ２０）、ＣＣＤ２４からＲ，Ｇ，ＢのＣＣＤＲＡＷデータを取得する（ステップＳ２２）。

デジタル信号処理部３０は、図３で説明したように各種の信号処理を実施するが、前記メモリに記憶されている転送効率を読み出し、その転送効率に応じた信号処理を行う（ステップＳ２４）。即ち、デジタル信号処理部３０のリニアマトリクス回路３０Ｂでは、図５に示したように転送効率に応じて色補正マトリクス係数を変更し、その変更した色補正マトリクス係数を使用した信号処理を実施する。

これにより、転送効率が低下しても色再現性や解像度等の画質劣化が抑制された処理画像を出力することができる（ステップＳ２６）。

尚、この実施の形態では、転送効率に応じてリニアマトリクス回路３０Ｂの色補正マトリクス係数を変更するようにしているが、これに限らず、色差マトリクス回路３０Ｈの２２行×２列の色補正マトリクス係数を変更してもよく、又は両マトリクス回路の色補正マトリクス係数を変更するようにしてもよい。

［第２の実施の形態］
図８は本発明に係る撮像装置の第２の実施の形態を示すブロック図である。尚、図１に示した撮像装置の第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図８に示す第２の実施の形態のカメラ１−２は、第１の実施の形態のカメラ１−１と比較して、カメラ内にＣＣＤ転送効率算出部５４及び転送効率算出モードを選択するためのモード選択手段（図示せず）を更に備えている点で相違する。

尚、撮影モードを選択するためのモードダイヤルが、転送効率算出モードを選択する手段として機能しても良いし、メニュー画面上で転送効率算出モードを選択できるようにしてもよい。

モード選択手段によって転送効率算出モードが選択されると、カメラ１−２は、転送効率を算出するための処理動作を行う。

即ち、転送効率算出モードが選択された状態でカメラ１−２にて被写体（例えば、単色チャート）を撮影すると、ＣＣＤ転送効率算出部５４は、その撮影時に得られるＣＣＤ２４の有効画素領域の画素のＣＣＤＲＡＷデータと、オプティカルブラック（ＯＢ）領域の画素のＣＣＤＲＡＷデータとに基づいて転送効率を算出する。

図９はＣＣＤ２４における電荷の転送経路を模式的に示す図である。図９に示すように、光学ユニット２２を介して入射した光が結像し、画像の取り込みに使用される有効画素領域２４Ａと、画像の取り込みに使用されない、有効画素領域の周囲の遮光されたＯＢ領域２４Ｂとに分けられる。

転送効率算出モード時にＣＣＤ２４の各画素に蓄積された電荷は、垂直転送路２４Ｖを通って垂直方向の１画素分が垂直転送された後、水平転送路２４Ｈを通って水平転送される。これを垂直方向の画素数分繰り返すことにより、ＣＣＤ２４の全ての画素の電荷が読み出される。

ＣＣＤ転送効率算出部５４は、有効画素領域２４ＡからＯＢ領域２４Ｂに変わる境目の領域において、境目を挟んだ前後（水平方向）の各１画素（有効画素領域側の１画素２７Ａ，ＯＢ領域側の１画素２７Ｂ）のＣＣＤＲＡＷデータを取得する。ここで、ＯＢ領域側の１画素２７ＢのＣＣＤＲＡＷデータは、有効画素領域側の１画素２７ＡのＣＣＤＲＡＷデータの転送残量に相当している。

従って、ＣＣＤ転送効率算出部５４は、前述した［数１］式において、有効画素領域側の１画素２７ＡのＣＣＤＲＡＷデータをＳ０，ＯＢ領域側の１画素２７ＢのＣＣＤＲＡＷデータをｆ（S0）として代入することにより転送効率を算出する。尚、各１画素の垂直方向の複数の画素のＣＣＤＲＡＷデータの平均値を使用することにより、ノイズ等の影響の少ない正確な転送効率を算出することができる。

ＣＣＤ転送効率検出部５２は、転送効率算出モード時に前記ＣＣＤ転送効率算出部５４が算出した転送効率を該ＣＣＤ転送効率算出部５４から取得する。

その後、転送効率算出モードから通常の撮影モードに切り換えて一般シーンの本撮影を行う場合には、図７に示したようにデジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から転送効率を取得し、その転送効率に応じた信号処理を行う。

［転送効率算出方法の第１の実施の形態］
図１０は上記カメラ１−２における転送効率算出方法の第１の実施の形態を示すフローチャートである。

前述したようにモード選択手段によって転送効率算出モードが選択されると、以下に示す転送効率を算出するための処理が開始される。

即ち、転送効率算出モードの状態で、例えば単色チャートを撮影し（ステップＳ３０）、ＣＣＤ２４から全ての画素のＣＣＤＲＡＷデータを取得する（ステップＳ３２）。ＣＣＤ転送効率算出部５４は、全ての画素のＣＣＤＲＡＷデータのうち、図９で説明したように有効画素領域側の１画素２７ＡのＣＣＤＲＡＷデータと、ＯＢ領域側の１画素２７ＢのＣＣＤＲＡＷデータとをそれぞれ取り込み（ステップＳ３４、Ｓ３６）、これらのＣＣＤＲＡＷデータに基づいて転送効率を算出する（ステップＳ３８）。

前記算出された転送効率は、本撮影時の信号処理時に利用するためにＣＣＤ転送効率検出部５２を介して取得される（ステップＳ４０）。

［第３の実施の形態］
図１１は本発明に係る撮像装置の第３の実施の形態を示すブロック図である。尚、図８に示した撮像装置の第２の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１１に示す第３の実施の形態のカメラ１−３は、第２の実施の形態のカメラ１−２と比較して、カメラ設定検出部５６及び温度検出部５８を更に備えている点で相違する。

カメラ設定検出部５６は、例えば、カメラ感度、ＣＣＤ駆動周波数、ＷＢゲイン等を検出し、温度検出部５８は、ＣＣＤ２４の温度を検出する。尚、温度検出部５８は、ＣＣＤ２４の温度を直接検出できない場合には、カメラ筐体内の温度を検出し、これをＣＣＤ２４の温度に対応する温度として検出するようにしてもよい。

図４のグラフからも明らかなように、転送効率は、転送する信号量Ｓ０が小さい場合に低下する。また、転送効率は、ＣＣＤ駆動周波数が高いときや、ＣＣＤ温度が低いときに低下する。

従って、カメラ感度が高い場合は、カメラ感度が低い場合に比べてＣＣＤ２４での転送する信号量が小さいため、転送効率が低下する。同様に、タングステン電球等の光源下での撮影画像は、Ｂ信号に対するＷＢゲインが、Ｒ信号に対するＷＢゲインに比べて非常に大きくなり、転送効率が低下する。

カメラ１−３のＣＣＤ転送効率算出部５４は、カメラ設定検出部５６及び温度検出部５８から得た撮影設定条件が前回の転送効率算出時の条件から変更されると、転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。

ＣＣＤ転送効率検出部５２は、撮影設定条件変更時に前記ＣＣＤ転送効率算出部５４が算出した転送効率を該ＣＣＤ転送効率算出部５４から取得し、デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から転送効率を取得し、その転送効率に応じた信号処理を行う。

［転送効率算出方法の第２の実施の形態］
図１２は上記カメラ１−３における転送効率算出方法の第２の実施の形態を示すフローチャートである。尚、図１０に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

操作部３６のシャッターボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されており、半押しすることによりＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動合焦）が機能し、全押しすることにより、画像の本撮影・記録が行われる。

図１２において、シャッターボタンが半押しされると（ステップＳ５０）、ＡＥ、ＡＦのためにＣＣＤ２４からＣＣＤＲＡＷデータを取得する（ステップＳ５２）。続いて、カメラ設定検出部５６及び温度検出部５８から得た撮影設定条件が変更されたか否かを判別する（ステップＳ５２）。尚、カメラ感度等の変更は、予め手動操作でカメラ感度を設定される場合には、その設定内容に基づいて判断してもよいし、ステップＳ５２で取得したＣＣＤＲＡＷデータに基づいて本撮影時に自動的に設定されるカメラ感度に基づいて判別してもよい。

撮影設定条件が変更されたことが判別されると、図１０で説明したようにステップＳ３２〜ステップＳ４０にて転送効率を算出した後、シャッターボタンの全押しに伴う本撮影に移行する（ステップＳ５６）。

一方、撮影設定条件が変更されていないと判別されると、前回算出した転送効率を使用することができるため、ステップＳ３２〜ステップＳ４０を省略（ジャンプ）してステップＳ５６に移行する。

このように、転送効率の変化の要因となる撮影設定条件が変更されると、本撮影に先立って新たに転送効率を算出する。

［第４の実施の形態］
図１３は本発明に係る撮像装置の第４の実施の形態を示すブロック図である。尚、図８に示した撮像装置の第２の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１３に示す第４の実施の形態のカメラ１−４は、第２の実施の形態のカメラ１−２と比較して、時間検出部６０を更に備えている点で相違する。

時間検出部６０は、最新の転送効率を算出した時点からの時間経過を検出する。尚、ＣＣＤ２４の温度は時間経過とともに変動し、これに伴って転送効率も変動する。

カメラ１−３のＣＣＤ転送効率算出部５４は、時間検出部６０から得た経過時間が、所定の閾値Ｘ（時間経過に伴って転送効率が変動する所定の時間）以上になると、転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。

ＣＣＤ転送効率検出部５２は、所定の時間経過ごとに前記ＣＣＤ転送効率算出部５４が算出した転送効率を該ＣＣＤ転送効率算出部５４から取得し、デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から転送効率を取得し、その転送効率に応じた信号処理を行う。

［転送効率算出方法の第３の実施の形態］
図１４は上記カメラ１−４における転送効率算出方法の第３の実施の形態を示すフローチャートである。尚、図１２に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１４において、シャッターボタンが半押しされ、ＡＥ、ＡＦのためにＣＣＤ２４からＣＣＤＲＡＷデータが取得されると（ステップＳ５０、Ｓ５２）、続いて、時間検出部６０から最新の転送効率を算出した時点からの時間経過を取り込み、その経過時間が閾値Ｘ以上か否かを判別する（ステップＳ６０）。

経過時間が閾値Ｘ以上になったことが判別されると、図１０で説明したようにステップＳ３２〜ステップＳ４０にて転送効率を算出した後、シャッターボタンの全押しに伴う本撮影に移行する（ステップＳ５６）。

一方、経過時間が閾値Ｘ未満であることが判別されると、前回算出した転送効率を使用することができるため、ステップＳ３２〜ステップＳ４０を省略（ジャンプ）してステップＳ５６に移行する。

このように、転送効率の変化の要因となる経過時間が閾値Ｘ以上になると、本撮影に先立って新たに転送効率を算出する。

［第５の実施の形態］
図１５は本発明に係る撮像装置の第５の実施の形態を示すブロック図である。尚、図８に示した撮像装置の第２の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１５に示す第５の実施の形態のカメラ１−５は、第２の実施の形態のカメラ１−２と比較して、ＡＦ評価部６２を更に備えている点で相違する。

尚、このカメラ１−５は、ＡＦ装置を有しているが、前記ＡＦ評価部６２は、ＡＦ装置に含まれるＡＦの評価値を算出するものである。

ここで、カメラ１−５に使用されるＡＦ装置について説明する。

このＡＦ装置は、被写体のコントラストが最大になるようにフォーカスレンズのレンズ位置を自動的に調節（コントラストＡＦ）するもので、シャッターボタンが半押しされると、コントラストＡＦを開始させる。

即ち、シャッターボタンが半押しされると、ＡＦサーチが行われる。ＡＦサーチは、図１６に示すように至近（Near) から無限遠(Inf) までの焦点調節範囲にわたってフォーカスレンズを順次移動させ、フォーカスレンズが所定量移動するごとに評価値を算出する。

前記ＡＦ評価部６２は、ＣＣＤ２４のＡＦエリア（例えば、中央領域）からＧ信号を取り込み、このＧ信号からハイパスフィルタ（ＨＰＦ）を介して高周波成分を抽出し、この高周波成分を積算することにより評価値を算出する。

ＣＰＵ１０は、ＡＦサーチ時に取り込んだ評価値に基づいて評価値がピーク（最大）になるフォーカスレンズのレンズ位置を求め、このレンズ位置にフォーカスレンズを移動（合焦動作）させることにより自動焦点調節を行う。

このカメラ１−５のＣＣＤ転送効率算出部５４は、上記ＡＦサーチ中に転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。

ＣＣＤ転送効率検出部５２は、ＡＦサーチ時にＣＣＤ転送効率算出部５４が算出した転送効率を該ＣＣＤ転送効率算出部５４から取得し、デジタル信号処理部３０は、ＣＣＤ転送効率検出部５２から転送効率を取得し、その転送効率に応じた信号処理を行う。

［転送効率算出方法の第４の実施の形態］
図１７は上記カメラ１−５における転送効率算出方法の第４の実施の形態を示すフローチャートである。尚、図１４に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１７において、シャッターボタンが半押しされると（ステップＳ５０）、前述したようにＡＦサーチが行われるが、ＡＦサーチ中に算出される評価値がピーク値以外であることが検知されると（ステップＳ７０）、ＣＣＤ２４からＣＣＤＲＡＷデータを取得する（ステップＳ７２）。尚、ＡＦサーチ中は、ＣＣＤ２４のＡＦエリアからＣＣＤＲＡＷデータを取得しているが、ステップＳ７２では、ＣＣＤ２４の全ての画素のＣＣＤＲＡＷデータを取得する。

続いて、図９に示したＣＣＤ２４の有効画素領域側の１画素２７Ａの垂直方向の画素値が略均一の値か否かを判別し（ステップＳ７４）、略均一になると、ステップＳ３２に進む。即ち、ＡＦサーチ中に算出される評価値がピーク値以外のときには、画像はボケており、特に図１６の矢印で示すようにピークから大きくずれた位置では、１画素２７Ａの垂直方向の画素値は略均一になる。

そして、１画素２７Ａの垂直方向の画素値が略均一になっているときのみ転送効率算出用のＣＣＤＲＡＷデータが取り込まれ、転送効率の算出・取得が行われる（ステップＳ３２〜Ｓ４０）。

尚、この実施の形態では、転送効率に応じてリニアマトリクス回路３０Ｃ及び／又は色差マトリクス回路３０Ｈの色補正マトリクス係数を変更するようにしたが、この補正に限らず、又はこの補正と併用してローパスフィルタ（ＬＰＦ）の周波数帯域を変更する処理、輪郭補正回路３０Ｇの輪郭強調を変更する処理等の各種の信号処理を行うようにしてもよい。

図１は本発明に係る撮像装置の第１の実施の形態を示すブロック図である。 図２はＣＣＤ撮像素子の構成例を示す図である。 図３は図１に示したデジタル信号処理部の詳細な回路構成を示すブロック図である。 図４はＣＣＤ撮像素子の転送効率特性を示すグラフである。 図５はリニアマトリクス回路における色補正マトリクス係数を変更する例を示す図である。 図６は転送効率を信号処理に使用するために記憶保持しておく基本的な処理フローを示す図である。 図７は撮影画像に対して転送効率に応じた信号処理を施す処理フローを示す図である。 図８は本発明に係る撮像装置の第２の実施の形態を示すブロック図である。 図９はＣＣＤにおける電荷の転送経路を模式的に示す図である。 図１０は本発明に係る撮像装置における転送効率算出方法の第１の実施の形態を示すフローチャートである。 図１１は本発明に係る撮像装置の第３の実施の形態を示すブロック図である。 図１２は本発明に係る撮像装置における転送効率算出方法の第２の実施の形態を示すフローチャートである。 図１３は本発明に係る撮像装置の第４の実施の形態を示すブロック図である。 図１４は本発明に係る撮像装置における転送効率算出方法の第３の実施の形態を示すフローチャートである。 図１５は本発明に係る撮像装置の第５の実施の形態を示すブロック図である。 図１６はＡＦサーチ位置におけるＡＦの評価値のＡＦ評価特性の一例を示すグラフである。 図１７は本発明に係る撮像装置における転送効率算出方法の第４の実施の形態を示すフローチャートである。

符号の説明

１−１〜１−５…撮像装置（カメラ）、１０…中央処理装置（ＣＰＵ）、１６…ＲＡＭ、１８…ＲＯＭ、２０…撮像部、２２…光学ユニット、２４…ＣＣＤ撮像素子、２４Ｖ…垂直転送路、２４Ｈ…水平転送路、２６…アナログ信号処理部、３０…デジタル信号処理部、３０Ａ…オフセット処理回路、３０Ｂ…リニアマトリクス回路、３０Ｃ…ホワイトバランス調整回路、３０Ｄ…ガンマ補正回路、３０Ｅ…同時化処理回路、３０Ｆ…ＲＧＢ／ＹＣ変換回路、３０Ｇ…輪郭補正回路、３０Ｈ…色差マトリクス回路、３６…操作部、４０…表示部（ＬＣＤ）、５０…メモリカード、５２…ＣＣＤ転送効率検出部、５４…ＣＣＤ転送効率算出部、５６…カメラ設定検出部、５８…温度検出部、６０…時間検出部、６２…ＡＦ評価部

Claims (17)

1. 撮像素子から画像信号を取得するステップと、
   前記撮像素子の転送効率を算出する転送効率算出ステップと、
   前記算出された転送効率に基づいて色補正を行うリニアマトリクス回路のマトリクス係数を制御することにより前記取得した画像信号を処理するステップと、
   を含むことを特徴とする撮像装置の信号処理方法。
2. 予め算出された転送効率を記憶保持するステップを含み、前記記憶保持された転送効率は、前記取得した画像信号の処理時に読み出されて利用されることを特徴とする請求項１に記載の撮像装置の信号処理方法。
3. 前記転送効率算出ステップは、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴とする請求項１に記載の撮像装置の信号処理方法。
4. 前記転送効率算出ステップは、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後（水平方向）の各１画素の垂直方向の複数の画素の信号の平均値に基づいて算出することを特徴とする請求項１に記載の撮像装置の信号処理方法。
5. 転送効率算出モードを選択するステップを含み、前記転送効率算出ステップは、前記転送効率算出モードが選択された撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置の信号処理方法。
6. 転送効率に関連する撮影設定条件の変更を検出するステップを含み、前記転送効率算出ステップは、前記撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置の信号処理方法。
7. 時間経過を測定するステップを含み、前記転送効率算出ステップは、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置の信号処理方法。
8. 本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行うステップを含み、前記転送効率算出ステップは、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置の信号処理方法。
9. 撮影光学系と、
   前記撮影光学系によって被写体像が結像される撮像素子と、
   前記撮像素子から画像信号を取得する画像取得手段と、
   前記撮像素子の転送効率を取得する転送効率取得手段と、
   色補正を行うリニアマトリクス回路を含み、前記転送効率取得手段が取得した転送効率に基づいて前記リニアマトリクス回路のマトリクス係数を制御することにより前記取得した画像信号を処理する信号処理手段と、
   を備えたことを特徴とする撮像装置。
10. 予め算出された転送効率を記憶保持する記憶手段を更に備え、前記転送効率取得手段は、前記記憶手段から転送効率を読み出すことを特徴とする請求項９に記載の撮像装置。
11. 前記撮像素子の転送効率を算出する転送効率算出手段を更に備え、前記転送効率取得手段は、前記転送効率算出手段から転送効率を取得することを特徴とする請求項９又は１０に記載の撮像装置。
12. 前記転送効率算出手段は、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴とする請求項１１に記載の撮像装置。
13. 前記転送効率算出手段は、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後（水平方向）の各１画素の垂直方向の複数の画素の信号の平均値に基づいて算出することを特徴とする請求項１１に記載の撮像装置。
14. 転送効率算出モードを選択するモード選択手段を更に備え、前記転送効率算出手段は、前記モード選択手段によって選択された転送効率算出モードでの撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項１１乃至１３のいずれかに記載の撮像装置。
15. 転送効率に関連する撮影設定条件の変更を検出する検出手段を更に備え、前記転送効率算出手段は、前記検出手段によって撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項１１乃至１３のいずれかに記載の撮像装置。
16. 時間経過を測定する手段を更に備え、前記転送効率算出手段は、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項１１乃至１３のいずれかに記載の撮像装置。
17. 本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行う自動焦点調節手段を更に備え、前記転送効率算出手段は、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項１１乃至１３のいずれかに記載の撮像装置。

Images