JP4695552B2

JP4695552B2 - 画像処理装置及び方法

Info

Publication number: JP4695552B2
Application number: JP2006178270A
Authority: JP
Inventors: 徹上田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-06-28
Filing date: 2006-06-28
Publication date: 2011-06-08
Anticipated expiration: 2026-06-28
Also published as: US7728887B2; JP2008011066A; US20080002037A1

Description

本発明は、ＣＣＤイメージセンサによって撮像された画像データに対して、リニアマトリクス処理を施して色補正を行う画像処理装置及び方法に関する。

近年、ＣＣＤイメージセンサを備え、このＣＣＤイメージセンサによって撮像された画像データに対して各種画像処理を施して、メモリカード等の記憶媒体に記憶させるデジタルカメラが知られている。このようなデジタルカメラでは、ＣＣＤイメージセンサの転送効率が下がることによって、前方の画像の電荷が漏れ込んで色回りが発生し、撮影画像の画質が劣化するという問題があった。

また、このような問題を解決するために、一次元イメージセンサをその長手方向に垂直な方向に複数並べた構成の時間遅延積分型（ＴＤＩ）イメージセンサを用いて被写体を撮像して得た画像データに対して画像処理を施す前に、ＴＤＩイメージセンサの垂直転送効率に基づいて、各イメージセンサの垂直転送残り量の総和を予め求め、ＴＤＩイメージセンサにて撮像された画像データから前述の総和を減算して、この画像データに対して画像処理を施すものが知られている（例えば、特許文献１参照）。

さらに、独立駆動可能な読出電極に対して、蓄積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加することで、Ｖレジスタの取り扱い電荷量の向上や転送効率の改善を行うものが知られている（例えば、特許文献２参照）。
特開２００４−２９５７０９号公報特開２００４−１７２８５９号公報

しかしながら、上記特許文献１及び２に記載の発明では、各イメージセンサの垂直転送残り量の総和を予め求め、画像データから垂直転送残り量の総和を減算する必要があるため、処理速度が低下するという問題があった。また、読出電極を独立に制御可能な複数系統に分ける必要があり、撮像装置の製造コストが高くなるという問題があった。

本発明は、上記事情に鑑みてなされたものであり、簡単な処理によって、撮像装置の転送効率の低下による色回りの改善を行うことが可能な画像処理装置及び方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、ＲＧＢのいずれか１色のカラーフィルタが割り当てられた画素が水平方向及び垂直方向に配列され、各画素で発生した信号電荷を前記垂直方向及び前記水平方向に転送する撮像装置から出力された撮像信号が、デジタル信号の画像データに変換された後、この画像データに対して画像処理を施す画像処理装置であり、前記各画素及びその周辺画素の画素データに基づいて、前記各画素に対して、前記ＲＧＢの各色の水平成分及び垂直成分を色補間処理によって算出する色補間手段と、前記撮像装置の転送効率に基づいて設定され、且つ前記ＲＧＢ色毎の前記水平成分と前記垂直成分とで異なる重み付けにされた色補正係数によって、前記水平成分及び前記垂直成分に対してリニアマトリクス演算を行って、前記各画素データに対して色補正処理を施すリニアマトリクス回路と、を備えていることを特徴とする。

本発明の画像処理方法は、ＲＧＢのいずれか１色のカラーフィルタが割り当てられた画素が水平方向及び垂直方向に配列され、各画素で発生した信号電荷を前記垂直方向及び前記水平方向に転送する撮像装置から出力された撮像信号が、デジタル信号の画像データに変換された後、この画像データに対して画像処理を施す画像処理方法であり、デジタル信号に変換後の画像データを受信する色補間手段が、各画素及びその周辺画素の画素データに基づき、前記各画素に対して、前記ＲＧＢの各色の水平成分及び垂直成分を色補間処理によって算出し、前記色補間手段で算出したＲＧＢの各色の水平成分及び垂直成分を用いて処理を行うリニアマトリクス回路が、前記撮像装置の転送効率に基づいて設定され、且つ前記ＲＧＢ色毎の前記水平成分と前記垂直成分とで異なる重み付けにされた色補正係数によって、前記水平成分及び前記垂直成分に対してリニアマトリクス演算を行って、前記各画素データに対して色補正処理を施すことを特徴とする。

本発明によれば、各画素及びその周辺画素の画素データに基づいて、各画素に対して、ＲＧＢの各色の水平成分及び垂直成分を色補間処理によって算出し、ＲＧＢ色毎の水平成分と垂直成分とで異なる重み付けにされた色補正係数によって、水平成分及び垂直成分に対してリニアマトリクス演算を行って、各画素データに対して色補正処理を施すので、垂直方向の色補正係数よりも、信号電荷の転送時に漏れ込みが起こる水平方向の色補正係数の重み付けを大きくすることによって、電荷の漏れ込みによる色回りの発生を防止できる。また、色補正処理を簡単な処理で行うことができるので処理速度を向上させることができる。

また、撮像装置の転送効率に基づいて色補正係数が設定されるので、転送効率に応じた色補正処理を行って画質を向上させることができる。

図１に示すデジタルカメラ１０は、カメラ全体の制御を行う制御手段であるＣＰＵ１１を備えており、このＣＰＵ１１には、データバス１２及びメモリＩ／Ｆ１３を介して、ＲＯＭ１４及びＲＡＭ１５が接続されている。

ＲＯＭ１４には、カメラ本体１１内の各部を制御するための制御プログラムや、各種制御用データや、後述する転送効率情報等が製造時に記憶される。また、ＲＡＭ１５には、作業用データが一時的に記憶される。ＣＰＵ１１は、これらの制御プログラムや各種制御用データ等に基づいて各部を制御する。

また、前述のデータバス１２には、ＣＰＵ１１及びメモリＩ／Ｆ１３の他に、撮像部２０、転送効率検出部２１、ＬＣＤドライバ２２、圧縮伸張処理回路２３、及びメディアコントローラ２４が接続されている。

撮像部２０は、光学ユニット３１と、固体撮像素子であるＣＣＤイメージセンサ３２と、アナログ信号処理部３３と、Ａ／Ｄ変換器３４と、デジタル信号処理部３５と、モータ駆動部３６と、ＣＣＤドライバ３７とを備えて構成されている。光学ユニット３１は、ズームレンズやフォーカスレンズ等で構成される撮影レンズと、光量を調節する絞りと、ズームレンズ及びフォーカスレンズを光軸方向に移動させるモータと、絞りを駆動するモータとを備えて構成されている。また、モータ駆動部３６は、ＣＰＵ１１によって制御され、光学ユニット３１内のモータを駆動する駆動信号を生成する。

ＣＣＤイメージセンサ３２は、光学ユニット３１の背後に配置されており、このＣＣＤイメージセンサ３２の受光面には、多数の画素（フォトダイオード）が二次元的に配列されている。撮影レンズを透過した被写体光は、絞りによって光量が調節されて入射し、ＣＣＤイメージセンサ３２は、撮影レンズによって受光面に結像される光学的な画像を電気的な撮像信号に変換して出力する。また、ＣＣＤイメージセンサ３２は、カラー画像を撮影するためのものであり、各画素には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のいずれかの微小なカラーフィルタが設けられており、各画素で蓄積される信号電荷が順次垂直方向及び水平方向に転送することによって撮像信号を出力する。

また、このＣＣＤイメージセンサ３２には、ＣＣＤドライバ３７が接続されている。ＣＰＵ１１は、ＣＣＤドライバ３７を制御することによって、ＣＣＤイメージセンサ３２を駆動するための駆動信号を生成させる。ＣＣＤイメージセンサ３２は、この駆動信号によって駆動されて、被写体像を撮像してアナログの撮像信号を出力する。

ＣＣＤイメージセンサ３２には、アナログ信号処理部３３が接続されている。このアナログ信号処理部３３は、相関二重サンプリング回路（ＣＤＳ）、及びアンプ（ＡＭＰ）を備えて構成されている。前述の撮像信号は、このアナログ信号処理部３３に入力され、ＣＤＳによってノイズが除去され、さらに、ＡＭＰによって、予め設定されたＩＳＯ感度に基づいてゲイン調整される。

その後、撮像信号は、アナログ信号処理部３３からＡ／Ｄ変換器３４に出力される。Ａ／Ｄ変換器３４は、アナログ信号である撮像信号をデジタル信号の画像データ（ＣＣＤＲＡＷデータ）に変換して、デジタル信号処理部３５に出力する。デジタル信号処理部３５は、Ａ／Ｄ変換器３４から画像データを取得すると、この画像データに対して各種信号処理を施す。

また、デジタル信号処理部３５は、図２に示すように、ホワイトバランス調整回路４１、リニアマトリクス回路４２、γ変換回路４３、ＲＧＢ補間処理回路４４、ＹＣ変換回路４５、及び色差マトリクス回路４６を備えて構成されている。

ホワイトバランス調整回路４１は、ＲＧＢ各色の画像データをゲイン補正することによって、被写体の白色が正確に再現されるようにホワイトバランスを調整する。画像データは、ホワイトバランス調整回路４１によって色補正された後、リニアマトリクス回路４２に送られる。このリニアマトリクス回路４２は、色再現性を改善するために、各画素の画素データに対して、周辺画素の画素データを所定量加算して色補正を行う回路であり、ＣＣＤイメージセンサ３２のカラーフィルタの分光特性等に応じた色補正を撮影画像に行う。

リニアマトリクス回路４２は、色補間手段である補間処理部４２ａを備えている。リニアマトリクス回路４２に入力される画像データは、各画素について１色の画素データであり、マトリクス演算の前処理として、補間処理部４２ａによってＲＧＢ補間処理が行われる。この補間処理部４２ａは、各画素及びその周辺画素の画素データに基づいて、各画素に対して、ＲＧＢ各色の水平成分Ｒｈ，Ｇｈ，Ｂｈと、垂直成分Ｒｖ，Ｇｖ，Ｂｖとを算出する。

リニアマトリクス回路４２は、下記式１〜３によって、補正後のＲ´（赤），Ｇ´（緑），Ｂ´（青）の画素データを算出して、リニアマトリクス処理を行うことにより、各画素の画素データに対して色補正処理を行う。なお、下記式１〜３において、ｒ_１〜ｒ_６，ｇ_１〜ｇ_６，ｂ_１〜ｂ_６は、リニアマトリクス係数（色補正係数）であり、後述するように、ＣＣＤイメージセンサ３２の転送効率情報に基づいて設定される。

Ｒ´＝r₁・Ｒｈ＋r₂・Ｇｈ＋r₃・Ｂｈ＋r₄・Ｒｖ＋r₅・Ｇｖ＋r₆・Ｂｖ・・・（１）
Ｇ´＝g₁・Ｒｈ＋g₂・Ｇｈ＋g₃・Ｂｈ＋g₄・Ｒｖ＋g₅・Ｇｖ＋g₆・Ｂｖ・・・（２）
Ｂ´＝b₁・Ｒｈ＋b₂・Ｇｈ＋b₃・Ｂｈ＋b₄・Ｒｖ＋b₅・Ｇｖ＋b₆・Ｂｖ・・・（３）

γ変換回路４３には、リニアマトリクス回路４２から画像データが入力される。γ変換回路４３は、画像データに対して、所定のγ変換パラメータに従って階調変換処理を施して、この画像データをＲＧＢ補間処理回路４４に出力する。また、ＲＧＢ補間処理回路４４は、各画素の画素データに対して、欠落している２色の色情報を補間して、ＲＧＢ３色の画素データとするＲＧＢ補間処理を画像データに対して施し、ＹＣ変換回路４５に出力する。

また、ＹＣ変換回路４５は、ＲＧＢ３色で表される画像データを輝度（Ｙ）及び色差（Ｃｒ，Ｃｂ）で表される画像データに変換して、色差マトリクス回路４６に出力する。色差マトリクス回路４６は、輝度及び各色差で色再現を行うＹＣ系において適切な色再現となるように色補正を行う。

デジタルカメラ１０によって撮影処理が実行される前、すなわちスルー画を表示する場合、デジタル信号処理回路３５には、低解像度の画像データが入力される。デジタル信号処理回路３５は、この低解像度の画像データに対して、前述の画像処理を施す。その後、この画像データは、ＣＰＵ１１の指示に従って順次に読み出され、ＬＣＤドライバ２２を介して、スルー画としてＬＣＤ４８に表示される。撮影者は、ＬＣＤ４８に表示されるスルー画を観察することにより被写体のフレーミングを行うことができる。

また、シャッタボタン（図示せず）が操作されて、撮影処理が実行された場合、前述のＣＣＤイメージセンサ３３によって本露光が行われ、高解像度の画像データが、デジタル信号処理回路３５に入力される。その後、デジタル信号処理回路３５は、この高解像度の画像データに対して、前述の画像処理を施す。その後、この画像データは、圧縮伸張処理回路２３によって、所定の圧縮形式（例えばＪＰＥＧ形式）で圧縮処理が施される。メディアコントローラ２４は、メモリカード４９を制御し、圧縮伸張処理回路２３によって圧縮された画像データをメモリカード４９に記録する。

また、ＣＣＤ転送率検出部２１は、例えば、水平転送レジスタの出力端の反対側に設けられた入力ゲートから単パルスを入力し、水平転送レジスタの出力側で入力パルスがどの程度鈍るかを測定することによって転送効率を検出する。なお、転送効率の検出方法は、前述の検出方法に限定されるものではなく、別の方法で検出しても良い。このＣＣＤ転送効率検出部２１は、デジタルカメラ１０の製造時に転送効率を検出し、この転送効率情報が、ＲＯＭ１４に記録する。

なお、ＣＣＤイメージセンサ３２の転送効率の検出は、デジタルカメラ１０の製造時に行われるため、ＣＣＤ転送効率検出部２１をデジタルカメラ１０に設けなくても良い。この場合、外部のＣＣＤ転送効率検出部によって転送効率を検出し、この転送効率情報をＲＯＭ１４に記録すれば良い。なお、ＲＯＭ１４に転送効率情報を記録する場合について説明したが、転送効率情報に基づいて設定されたリニアマトリクス係数をＲＯＭ１４に記録しても良い。

以下に、ＲＯＭ１４にリニアマトリクス係数を記録する記録処理について、図３のフローチャートを用いて説明する。デジタルカメラ１０の製造時の調整工程にて、前述の転送効率検出部２１により、ＣＣＤイメージセンサ３２の転送効率が検出される。

その後、この転送効率情報に基づいて、信号電荷が漏れ込まない方向よりも漏れこむ方向の係数の重み付けが大きくなるように、リニアマトリクス係数を設定する。つまり、垂直方向（ｒ_４〜ｒ_６，ｇ_４〜ｇ_６，ｂ_４〜ｂ_６）よりも水平方向の係数（ｒ_１〜ｒ_３，ｇ_１〜ｇ_３，ｂ_１〜ｂ_３）の重み付けが大きくなるように、リニアマトリクス係数を設定する。このリニアマトリクス係数は、ＲＧＢ各色の水平成分及び垂直成分の各々に対応する係数である。なお、このリニアマトリクス係数の算出は、外部演算装置によって行っても良いし、ＣＰＵ１１によって行っても良い。

その後、これらのリニアマトリクス係数ｒ_１〜ｒ_６，ｇ_１〜ｇ_６，ｂ_１〜ｂ_６がパラメータとして、ＲＯＭ１４に記録されて、リニアマトリクス係数の記録処理が終了する。

以下に、デジタルカメラ１０のリニアマトリクス処理について、図４のフローチャートを用いて説明する。ＣＣＤイメージセンサ３２によって撮像が行われて、Ａ／Ｄ変換器３４によってデジタル信号に変換された画像データが、デジタル信号処理部３５に入力される。その後、ホワイトバランス調整処理が行われた後、リニアマトリクス処理が行われる。最初に、リニアマトリクス処理の前処理として、補間処理部４２ａは、ＲＧＢ補間処理を行って、各画素及びその周辺画素の画像データに基づいて、各画素に対して、ＲＧＢの水平成分Ｒｈ，Ｇｈ，Ｂｈと、垂直成分Ｒｖ，Ｇｖ，Ｂｖとを算出する。

その後、ＣＰＵ１１は、ＲＯＭ１４からリニアマトリクス係数を読み出し、ＲＧＢ各色の水平成分Ｒｈ，Ｇｈ，Ｂｈと、垂直成分Ｒｖ，Ｇｖ，Ｂｖとに基づいて、画素毎にリニアマトリクス演算を行って、リニアマトリクス処理が終了する。なお、上記説明において、ＲＯＭ１４にリニアマトリクス係数を記録しておく場合を例に説明したが、ＲＯＭ１４に転送効率情報を記録している場合には、ＣＰＵ１１が、転送効率情報に基づいて、リニアマトリクス係数を設定すれば良い。

以下に、注目画素毎のリニアマトリクス演算について説明を行う。最初に、注目画素がＲの場合について説明する。例えば、図５に示す画素配列５１において、下記式４〜８によって、ＲＧＢ各色の水平成分及び垂直成分を算出する。
Ｒｈ＝Ｒｖ＝Ｒ・・・・（４）
Ｇｈ＝（Ｇｒ２＋Ｇｂ１）／２・・・・（５）
Ｇｖ＝（Ｇｒ１＋Ｇｂ２）／２・・・・（６）
Ｂｈ＝（Ｂ２＋Ｂ４）／２・・・・（７）
Ｂｖ＝（Ｂ１＋Ｂ３）／２・・・・（８）

また、重み付け係数は、ｒ_１＝ｒ_４，ｒ_２＞ｒ_５，ｒ_３＞ｒ_６の関係を満たすように設定される。その後、前述のＲＧＢ各色の水平及び垂直成分と、重み付け係数ｒ_１〜ｒ_６とに基づいて、数式１によってＲ´を算出する。

次に、注目画素がＧ（Ｇｒ）の場合、例えば、図６に示す画素配列５２において、Ｒｈ＝Ｒ１、Ｒｖ＝Ｒ２、Ｇｈ＝Ｇｖ＝Ｇｒ、Ｂｈ＝Ｂ２、Ｂｖ＝Ｂ１として、ＲＧＢ各色の水平成分及び垂直成分を算出する。また、注目画素Ｇ（Ｇｂ）の場合、例えば、図７に示す画素配列５３において、Ｒｈ＝Ｒ２、Ｒｖ＝Ｒ１、Ｇｈ＝Ｇｖ＝Ｇｒ、Ｂｈ＝Ｂ１、Ｂｖ＝Ｂ２として、ＲＧＢ各色の水平成分及び垂直成分を算出する。

注目画素がＧｒ，Ｇｂのいずれの場合も、重み付け係数は、ｇ_１＞ｇ_４，ｇ_２＝ｇ_５，ｇ_３＞ｇ_６の関係を満たすように設定される。その後、前述のＲＧＢ各色の水平及び垂直成分と、重み付け係数ｇ_１〜ｇ_６とに基づいて、数式２によってＧ´を算出する。

また、注目画素がＢの場合、例えば、図８に示す画素配列５４において、下記式９〜１３に基づいて、ＲＧＢ各色の水平成分及び垂直成分を求める。
Ｒｈ＝（Ｒ２＋Ｒ４）／２・・・・（９）
Ｒｖ＝（Ｒ１＋Ｒ３）／２・・・・（１０）
Ｇｈ＝（Ｇｒ１＋Ｇｂ２）／２・・・・（１１）
Ｇｖ＝（Ｇｒ２＋Ｇｂ１）／２・・・・（１２）
Ｂｈ＝Ｂｖ＝Ｂ・・・・（１３）

また、重み付け係数は、ｂ_１＞ｂ_４，ｂ_２＞ｂ_５，ｂ_３＝ｂ_６の関係を満たすように設定される。その後、前述のＲＧＢ各色の水平及び垂直成分と、重み付け係数ｂ_１〜ｂ_６とに基づいて、数式３によってＢ´を算出する。

なお、上記実施形態において、本発明をデジタルカメラに適用した場合を例に説明したが、これに限るものではなく、例えば、本発明をデジタルビデオカメラに適用しても良い。

デジタルカメラの電気的構成を示すブロック図である。デジタル信号処理部の構成を示すブロック図である。リニアマトリクス係数の記録処理を説明するフローチャートである。リニアマトリクス処理を説明するフローチャートである。注目画素がＲの場合の周辺画素の配列を示す説明図である。注目画素がＧｒの場合の周辺画素の配列を示す説明図である。注目画素がＧｂの場合の周辺画素の配列を示す説明図である。注目画素がＢの場合の周辺画素の配列を示す説明図である。

符号の説明

１０デジタルカメラ
１１ＣＰＵ
２１転送効率検出部
３２ＣＣＤ
３５デジタル信号処理部
４２リニアマトリクス回路
４２ａ補間処理部

Claims

ＲＧＢのいずれか１色のカラーフィルタが割り当てられた画素が水平方向及び垂直方向に配列され、各画素で発生した信号電荷を前記垂直方向及び前記水平方向に転送する撮像装置から出力された撮像信号が、デジタル信号の画像データに変換された後、この画像データに対して画像処理を施す画像処理装置において、
前記各画素及びその周辺画素の画素データに基づいて、前記各画素に対して、前記ＲＧＢの各色の水平成分及び垂直成分を色補間処理によって算出する色補間手段と、
前記撮像装置の転送効率に基づいて設定され、且つ前記ＲＧＢ色毎の前記水平成分と前記垂直成分とで異なる重み付けにされた色補正係数によって、前記水平成分及び前記垂直成分に対してリニアマトリクス演算を行って、前記各画素データに対して色補正処理を施すリニアマトリクス回路と、を備えていることを特徴とする画像処理装置。
ＲＧＢのいずれか１色のカラーフィルタが割り当てられた画素が水平方向及び垂直方向に配列され、各画素で発生した信号電荷を前記垂直方向及び前記水平方向に転送する撮像装置から出力された撮像信号が、デジタル信号の画像データに変換された後、この画像データに対して画像処理を施す画像処理方法において、
デジタル信号に変換後の画像データを受信する色補間手段が、各画素及びその周辺画素の画素データに基づき、前記各画素に対して、前記ＲＧＢの各色の水平成分及び垂直成分を色補間処理によって算出し、
前記色補間手段で算出したＲＧＢの各色の水平成分及び垂直成分を用いて処理を行うリニアマトリクス回路が、前記撮像装置の転送効率に基づいて設定され、且つ前記ＲＧＢ色毎の前記水平成分と前記垂直成分とで異なる重み付けにされた色補正係数によって、前記水平成分及び前記垂直成分に対してリニアマトリクス演算を行って、前記各画素データに対して色補正処理を施すことを特徴とする画像処理方法。