JP5095434B2 - 撮像装置および画像処理装置 - Google Patents

Description

本発明は、撮像装置および画像処理装置に関し、特に、簡単な構成で混色特性を軽減することが可能な撮像装置および画像処理装置に関する。

近年、固体撮像素子（例えば、ＣＣＤ（Charge Coupled Device））の更なる高画素化が進み、それに伴い固体撮像素子に与える読み出し駆動パルスの高速化も進んでいる。その結果、固体撮像素子では、画素の微細化に伴う隣接画素からの光の回り込みや、電荷転送不良により、隣の画素の信号量が漏れ込んでくる「混色」が発生している。混色が発生すると、固体撮像素子のＲＧライン（ＲＧラインのＧ画素をＧｒ画素と称する）とＧＢライン（ＲＧラインのＧ画素をＧｂ画素と称する）のＧｒとＧｂが同じ筈であるにもかかわらず差が生じ、ラインごとに明るさが異なり、画像が縞々となる現象が発生する（ラインクロール）。
また、固体撮像素子からのアナログ出力信号をサンプリングし、デジタル信号に変換するアナログフロントエンド回路（ＡＦＥ回路）においても、固体撮像素子の駆動周波数の高速化により、周波数応答が間に合わず「混色」が発生しているという状況にある。

特開２００７−１４２６９７号公報 特開２００２−２３８０５７号公報

ところで、前述の「混色」や「ラインクロール」を補正する従来技術として、前記特許文献１や特許文献２が知られている。
特許文献１には、固体撮像素子の注目画素に隣接する複数の周囲画素の各信号と、当該各信号に対して各々独立して設定される補正パラメータとを用いて注目画素の信号に対して補正処理を行うことにより混色特性を補正する方法が開示されている。但し、補正方法が複雑であり、混色補正回路の構成が大きくなることが予想される。
また、特許文献２には、Ｇｒ画素とＧｂ画素のそれぞれに対して積算値を算出し、Ｇｒ積算値とＧｂ積算値の差分を積算値の小さい方に加算、または積算値の大きい方から減算し、ラインクロールを軽減させる方法が開示されている。また、エリア毎のＧｒ画素とＧｂ画素のそれぞれに対して積算値を算出して補正する点についても示されているが、発生原因である被写体色、光源色などからくる影響については何も触れていない。

本発明は上記の問題を解決すべくなされたものであり、簡単な構成で混色特性を軽減することが可能な撮像装置および画像処理装置の提供を目的とする。

この目的を達成するために請求項1記載の発明は、Ｒ画素とＧ画素が水平方向に交互に配列されたＲＧライン（ＲＧラインのＧ画素をＧｒ画素と称する）と、Ｇ画素とＢ画素が水平方向に交互に配列されたＧＢライン（ＧＢラインのＧ画素をＧｂ画素と称する）とからなる２次元配列の構造を有し、光学系を介して入力される被写体光を電気信号に変換してカラー画像信号として出力するカラー撮像素子と、
前記ＲＧＢの各画素に対し、画素単位で色を判定することが可能な色判定手段と、
前記Ｇｒ、Ｇｂ画素に対し、異なるゲイン係数を乗算することが可能なＧｒ、Ｇｂ乗算手段と、を備え、
前記色判定手段は、ベイヤ配列Ｒ，Ｇｒ，Ｇｂ，Ｂの４画素を１ブロックとして、ＲとＧｒの比（Ｒ／Ｇｒ）、ＢとＧｂの比（Ｂ／Ｇｂ）を評価値とし、該評価値がそれぞれに対して設定された色設定範囲に含まれるか否かを判断して、
前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂが前記色設定範囲に含まれる場合に、前記Ｇｒ、Ｇｂ乗算手段による前記ゲイン係数の乗算がなされることを特徴とする。

また、請求項２記載の発明は、請求項１記載の撮像装置において、
前記Ｇｒ、Ｇｂ乗算手段は、前記Ｇｒ画素または前記Ｇｂ画素のいずれかに前記ゲイン係数を乗算するものであり、前記Ｇｒ画素の場合はＧｂ／Ｇｒの比を、前記Ｇｂ画素の場合Ｇｒ／Ｇｂの比を前記ゲイン係数とすることを特徴とする。
また、請求項３記載の発明は、請求項１または２に記載の撮像装置において、
前記ＲＧＢ信号を、輝度信号Ｙと色差信号Ｃｂ、ＣｒからなるＹＣｂＣｒデータ形式に変換するＹＣｂＣｒ変換手段を備え、
前記色判定手段は、前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂに替えて、Ｃｂ信号、Ｃｒ信号に基づき色を判定することを特徴とする。

また、請求項４記載の発明は、請求項１から３までのいずれかに記載の撮像装置において、
前記Ｇｒ信号とＧｂ信号との差分を検出するＧｒ、Ｇｂ差分検出手段を備え、
前記Ｇｒ信号とＧｂ信号との差分が所定の閾値を超えた場合に、前記色判定手段および前記Ｇｒ、Ｇｂ乗算手段を動作させることを特徴とする。

また、請求項５記載の発明は、Ｒ画素とＧ画素が水平方向に交互に配列されたＲＧラインと、Ｇ画素とＢ画素が水平方向に交互に配列されたＧＢラインとからなる２次元配列の構造を有し、光学系を介して入力される被写体光を電気信号に変換してカラー画像信号として出力するカラー撮像素子と、
該カラー撮像素子から出力されたデータを入力する入力手段と、
前記ＲＧＢの各画素に対し、画素単位で色を判定することが可能な色判定手段と、
前記Ｇｒ、Ｇｂ画素に対し、異なるゲイン係数を乗算することが可能なＧｒ、Ｇｂ乗算手段と、を備え、
前記色判定手段は、ベイヤ配列Ｒ，Ｇｒ，Ｇｂ，Ｂの４画素を１ブロックとして、ＲとＧｒの比（Ｒ／Ｇｒ）、ＢとＧｂの比（Ｂ／Ｇｂ）を評価値とし、該評価値がそれぞれに対して設定された色設定範囲に含まれるか否かを判断して、
前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂが前記色設定範囲に含まれる場合に、前記Ｇｒ、Ｇｂ乗算手段による前記ゲイン係数の乗算がなされることを特徴とする。

また、請求項６記載の発明は、請求項５記載の画像処理装置において、
前記Ｇｒ、Ｇｂ乗算手段は、前記Ｇｒ画素または前記Ｇｂ画素のいずれかに前記ゲイン係数を乗算するものであり、前記Ｇｒ画素の場合はＧｂ／Ｇｒの比を、前記Ｇｂ画素の場合Ｇｒ／Ｇｂの比を前記ゲイン係数とすることを特徴とする。
また、請求項７記載の発明は、請求項５または６に記載の画像処理装置において、
前記ＲＧＢ信号を、輝度信号Ｙと色差信号Ｃｂ、ＣｒのＹＣｂＣｒデータ形式に変換するＹＣｂＣｒ変換手段を備え、
前記色判定手段は、前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂに替えて、Ｃｂ信号、Ｃｒ信号に基づき色を判定することを特徴とする。

また、請求項８記載の発明は、請求項５から７までのいずれかに記載の画像処理装置において、
前記Ｇｒ信号とＧｂ信号との差分を検出するＧｒ、Ｇｂ差分検出手段を備え、
前記Ｇｒ信号とＧｂ信号との差分が所定の閾値を超えた場合に、前記色判定手段および前記Ｇｒ、Ｇｂ乗算手段を動作させることを特徴とする。

請求項１または請求項５記載の発明によれば、色判定結果に基づいて混色補正の要否を判断することで、画像上の部分的な混色特性に対して画像に不具合を発生させること無く混色補正を行うことができる。
また、色判定によって色毎に補正を変更することで、混色により画像不具合として目立ちやすい色を効果的に補正することができる。

また、色判定の評価値にＲ／Ｇｒ比、Ｂ／Ｇｂ比を用いることで、Ｃｒ信号、Ｃｂ信号への変換時間を省き、画像信号の処理時間を短縮させることができる。
請求項３または請求項７記載の発明によれば、色判定の評価値にＣｂ信号、Ｃｒ信号を用いることで、「ＲＧＢ」を「ＹＣｂＣｒ」に変換する変換時間は必要となるが、色設定範囲時に色空間の切り出しを容易にすることができる。

請求項４または請求項８記載の発明によれば、ＧｒとＧｂの差分検出手段を用いてＧｒＧｂの差分を検出し検出結果に応じて、混色補正処理の動作の要否を判断することにより、混色が発生しやすい画像であるかを判断することができ、混色が発生していないのに色判定によって混色補正をしてしまうことを防ぐことができる。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の各実施形態で使用するデジタルカメラ（撮像装置）の外観図であって、（Ａ）はカメラ上面図、（Ｂ）はカメラ正面図、（Ｃ）はカメラ裏面図、図２は、同デジタルカメラの制御系のブロック図である。

図１に示すように、デジタルカメラは、カメラ上面には、サブＬＣＤ（１）と、レリーズボタン（２）と、撮影／再生切り換えダイヤル（４）とを有する。サブＬＣＤ（１）は、例えば、撮影可能枚数など表示するための表示部である。また、カメラ正面には、ストロボ発光部（３）と、測距ユニット（５）と、リモコン受光部（６）と、鏡胴ユニット（７）と、光学ファインダー（正面）(11a)とを有する。メモリカードスロットル(121)は、メモリカード(130、図２参照)を挿入するスロットルであり、カメラ側面に設けてある。更に、カメラ裏面には、ＡＦＬＥＤ（オートフォーカスＬＥＤ）（８）と、ストロボＬＥＤ（９）と、ＬＣＤモニタ（１０）と、光学ファインダー（裏面）(11b)と、ズームボタン（１２）と、電源スイッチ（１３）と、操作部（１４）とを有する。

次に、図１，図２に基づいてデジタルカメラの動作を説明する。図２は、デジタルカメラのブロック図である。
図１，図２において、ストロボ発光部（３），ストロボ回路(114)は、自然光などの光が足りない場合に光量を補う装置である。暗い場所や被写体が暗い場合の撮影においては、後述するデジタルスチルカメラプロセッサ(104)からストロボ回路(114)にストロボ発光信号を送信し、ストロボ回路(114)は、ストロボ発光部（３）を発光させ被写体を明るくする。

測距ユニット（５）は、カメラと被写体との距離を測る装置である。現在、デジタルカメラでは、撮像素子（ＣＣＤ）に形成された像のコントラストを検出し、最もコントラストの高い位置にレンズを移動させてフォーカスを合わせるＣＣＤ−ＡＦ方式が用いられている。しかし、ＣＣＤ−ＡＦ方式は、レンズを少しずつ動かしコントラストを探していくため、フォーカス動作が遅いという問題があった。そこで、測距ユニット（５）を用いて被写体との距離情報を常に取得し、距離情報からレンズを一気に移動しフォーカス動作を高速化している。温度センサ(124)は環境温度を測定する装置で、カメラ内外の温度を測定し、温度が異常に上昇している場合にはカメラの電源を落としたり、温度センサのデータを参照してカメラの制御内容を変更したりする。

鏡胴ユニット（７）は、被写体の光学画像を取り込むズームレンズ(7-1a)、ズーム駆動モータ(7-1b)からなるズーム光学系(7-1)、フォーカスレンズ(7-2a)、フォーカス駆動モータ(7-2b)からなるフォーカス光学系(7-2)、絞り(7-3a)、絞りモータ(7-3b)からなる絞りユニット(7-3)、メカシャッタ(7-4a)、メカシャッタモータ(7-4ｂ)からなるメカシャッタユニット(7-4)、各モータを駆動するモータドライバ(7-5)を有する。そして、モータドライバ(7-5)は、リモコン受光部（６）入力や操作部Ｋｅｙユニット（ＳＷ１〜ＳＷ１３）の操作入力に基づく、後述するカメラプロセッサ(104)内にあるＣＰＵブロック(104-3)からの駆動指令により駆動制御される。

ＲＯＭ(108)には、ＣＰＵブロック(104-3)にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、前記ＣＰＵブロック(104-3)はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ(107)、及び後述するカメラプロセッサ(104)内にあるＬｏｃａｌ ＳＲＡＭ(104-4)に保存する。ＲＯＭ(108)として書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のＶｅｒＵｐ(バージョンアップ)が容易に行える。

ＣＣＤ(101)は、光学画像を光電変換するための固体撮像素子であり、Ｆ／Ｅ（フロントエンド）−ＩＣ(102)は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ(102-1)、利得調整を行うＡＧＣ(102-2)、ディジタル信号変換を行うＡ／Ｄ(102-3)、ＣＣＤ１信号処理ブロック(104-1)より、垂直同期信号（以下、ＶＤと記す）、水平同期信号（以下、ＨＤと記す）を供給され、ＣＰＵブロック(104-3)によって制御されるＣＣＤ(101)、及びＦ／Ｅ−ＩＣ(102)の駆動タイミング信号を発生するＴＧ(102-4)を有する。

カメラプロセッサ(104)は、ＣＣＤ(101)よりＦ／Ｅ―ＩＣ(102)の出力データにホワイトバランス設定やガンマ設定を行い、又、前述したように、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１信号処理ブロック(104-1)、フィルタリング処理により、輝度データ・色差データへの変換を行うＣＣＤ２信号処理ブロック(104-2)、前述した装置各部の動作を制御するＣＰＵブロック(104-3)、前述した制御に必要なデータ等を、一時的に、保存するＬｏｃａｌ ＳＲＡＭ(104-4)、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック（１０４−５）、パソコンなどの外部機器とシリアル通信を行うシリアルブロック(104-6)、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧ ＣＯＤＥＣブロック(104-7)、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック(104-8)、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック(104-9)、撮影された画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック(104-10)を有する。

ＳＤＲＡＭ(103)は、前述したカメラプロセッサ(104)で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ(101)から、Ｆ／Ｅ−ＩＣ(102)を経由して取りこんで、ＣＣＤ１信号処理ブロック(104-1)でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２信号処理ブロック(104-2)で輝度データ・色差データ変換が行われた状態の「ＹＣｂＣｒ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック(104-7)で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。メモリカードスロットル(121)は、着脱可能なメモリカードを装着するためのスロットルである。

内蔵メモリ(120)は、前述したメモリカードスロットル(121)にメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。ＬＣＤドライバ(117)は、後述するＬＣＤモニタ（１０）を駆動するドライブ回路であり、ＴＶ信号表示ブロック(104-9)から出力されたビデオ信号を、ＬＣＤモニタ（１０）に表示するための信号に変換する機能も有している。

ＬＣＤモニタ（１０）は、撮影前に被写体の状態を監視する、撮影した画像を確認する、メモリカードや前述した内蔵メモリ(120)に記録した画像データを表示する、などを行うためのモニタである。ビデオＡＭＰ(118)は、ＴＶ信号表示ブロック(104-9)から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック(119)は、ＴＶなどの外部表示機器と接続するためのジャックである。ＵＳＢコネクタ(122)は、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタである。
シリアルドライバ回路(123-1)は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック(104-6)の出力信号を電圧変換するための回路であり、ＲＳ−２３２Ｃコネクタ(123-2)は、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。

ＳＵＢ−ＣＰＵ(109)は、ＲＯＭ・ＲＡＭをワンチップに内蔵したＣＰＵであり、操作Ｋｅｙユニット(SW１〜13)やリモコン受光部（６）の出力信号をユーザの操作情報として、前述したＣＰＵブロック(104-3)に出力したり、該ＣＰＵブロック(104-3)より出力されるカメラの状態を、後述するサブＬＣＤ（１）、ＡＦ ＬＥＤ（８）、ストロボＬＥＤ（９），ブザー(113)の制御信号に変換して、出力する。

サブＬＣＤ（１）は、例えば、撮影可能枚数など表示するための表示部であり、ＬＣＤドライバ(111)は、前記ＳＵＢ−ＣＰＵ(109)の出力信号より、サブＬＣＤ（１）を駆動するためのドライブ回路である。ＡＦ ＬＥＤ（８）は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ（９）は、ストロボ充電状態を表すためのＬＥＤである。なお、このＡＦ ＬＥＤ（８）とストロボＬＥＤ（９）を、メモリカードアクセス中などの別の表示用途に使用しても良い。操作Ｋｅｙユニット(SW１〜13)は、ユーザーが操作するＫｅｙ回路であり、リモコン受光部（６）は、ユーザーが操作したリモコン送信機の信号の受信部である。

音声記録ユニット(115)は、ユーザーが音声信号を入力するマイク(115-3)、入力された音声信号を増幅するマイクＡＭＰ(115-2)、増幅された音声信号を記録する音声記録回路(115-3)からなる。音声再生ユニット(116)は、記録された音声信号をスピーカーから出力できる信号に変換する音声再生回路(116-1)、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰ(116-2)、音声信号を出力するスピーカー(116-3)からなる。

次に、上述のように構成されたデジタルカメラにおいて、本発明を説明する。
＜ＣＣＤセンサの構成＞
ＣＣＤセンサの構成について説明する。図３は、デジタルカメラなどに用いられるインタライン型ＣＣＤセンサの模式図である。ＣＣＤセンサは、入射した光量に応じて電荷を蓄積し光信号を電気信号に変換するフォトダイオード(45(a))と、フォトダイオードから電荷を受け取り垂直方向に順次転送する垂直転送路(45(b))と、垂直転送路からの電荷を水平方向に順次転送する水平転送路(45(c))と、水平転送路の最終段には電荷から電圧へ変換を行うフローティングディフュージョンアンプ（ＦＤアンプ）(45(d))からなる。

撮像素子（ＣＣＤセンサ）上には、フォトダイオード(45(a))が規則正しく２次元に配列され、フォトダイオード１個が１画素に相当する。１個のフォトダイオード(45(a))上には１色のカラーフィルタで覆われており、原色系ＣＣＤセンサでは、ＲＧＢのカラーフィルタが図３のようなベイヤ配列と呼ばれる配色によって配列されている。フォトダイオードには、カラーフィルタに応じた色の光が電荷として蓄積される。

＜電荷の読み出し方式＞
ＣＣＤセンサのフォトダイオードに蓄積された電荷を読み出す方式は、プログレッシブ方式とインタレース方式がある。プログレッシブ方式は、フォトダイオードに蓄積された画面全部の電荷を一回で垂直転送路に読み出す方式である。一方、インターレース方式は１ラインおきに電荷を読み出す方式であり、１枚の画像を２回に分けて読み出している（２フィールド読み出し）。
インターレース方式の場合、垂直転送路が２ラインに対して１個で済むため、ＣＣＤセンサの高画素化に適している。近年ではＣＣＤセンサの更なる高画素化のために、１枚の画像を複数フィールドに分けて読み出しが行われている。

図４は一般的なＣＣＤセンサのインターレース方式の電荷読み出しを示したものである。
図４（Ａ）では、水平転送路側から見て奇数ラインのフォトダイオードの電荷が一斉に垂直転送路に読み出される。
図４（Ｂ）では、垂直転送路に読み出された電荷は水平転送路方向に順次転送し、最下位の電荷は水平転送路に読み出される。
図４（Ｃ）では、水平転送路に読み出された電荷は、ＦＤアンプ側に順次転送されてＦＤアンプを通って１画素ずつ映像信号として出力される。奇数ラインの全ての電荷がＦＤアンプから出力されると、偶数ラインも同様にして駆動を行い電荷がＦＤアンプから読み出される。

＜ＣＣＤ出力について＞
ＣＣＤから出力される映像信号（以下、ＣＣＤ出力）について説明する。
前述の通りＣＣＤ出力信号はＣＣＤから１画素ずつ出力されるが、ＣＣＤ出力波形は水平転送路での電荷転送に用いられる水平転送パルスが大きな要素を占めている。
図５は、ＴＧ(102-4)から発生する水平転送パルスＨ１、Ｈ２及びリセットパルスＲＧとＣＣＤ出力波形、及びＣＣＤ出力のサンプリングパルス（ＳＨＰ、ＳＨＤ）を示している。
Ｈ１、Ｈ２はＣＣＤの水平転送路において電荷を転送する駆動パルスであり、Ｈ１に対しＨ２は反転したパルスとなっている。ＲＧはリセットパルスであり、水平転送路の最終段にあり、電荷から電圧へ変換を行うＦＤアンプで１画素転送するごとに一定の基準レベルに信号量をリセットし、次の画素に電荷の残りがないようにしている。

ＦＤアンプから出力されるＣＣＤ出力信号は、リセット部、フィードスルー部、データ部で構成されており、Ｈ１、Ｈ２、ＲＧパルスのタイミングから成り立っている。ＳＨＰはフィードスルー部の電圧レベルをサンプルリングするタイミングを、ＳＨＤはデータ部の電圧レベルをサンプルリングするタイミングをそれぞれＣＤＳ(102-1)に与えるパルスである。ＣＤＳでは各画素毎にフィードスルー部とデータ部の電位差を画素の信号量としてサンプリングして、ＡＧＣ(102-2)でゲインを乗算し、Ａ/Ｄ(102-3)にてアナログデータからデジタルデータに変換される。

次に、図６〜図１０を参照しつつ基本的な画像処理について説明する。
＜＜一般画像処理の内容＞＞
＜画像処理の流れ＞
基本的な画像処理フローを図６に示す。図６に示す画像処理は、図２のＣＣＤ１信号処理ブロック(104-1)及びＣＣＤ２信号処理ブロック(104-2)内に含まれる。
ＣＣＤから出力される信号を１画素毎にサンプリングしＡ／Ｄ変換したものを、画像処理されていない段階であるため一般的に「ＲＡＷデータ」と呼び、画像処理部に入力するデータはこのＲＡＷデータである。

＜ホワイトバランス(ＷＢ)処理＞
被写体からの光量を蓄積するＣＣＤのフォトダイオード上には１画素１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが貼付されているが、フィルタの色によって透過する光量が変わってくるため、フォトダイオードに蓄積される電荷量が異なっている。最も感度が高いのはＧＲＥＥＮで、ＲＥＤとＢＬＵＥはＧＲＥＥＮと比較すると感度が低く約半分程度である。
ホワイトバランス（ＷＢ）処理では、これらの感度差を補い、撮影画像の中の白色を白く見せるために、ＲとＢにゲインを掛ける処理を行う。また、物の色は光源色（例えば、太陽光、蛍光灯など）によって変わってくるため、光源が変わっても白色を白く見せるようにＲとＢのゲインを変更し、制御する機能を有している。

＜ガンマ（γ）補正処理＞
図７（Ａ）は、γ補正の曲線の一例を示すものである。横軸に入力信号、縦軸に出力信号を示しており、非線形な入出力変換を行う。一般的にＬＣＤやＣＲＴなどの出力装置では、図７（Ｂ）に示すように、入力に対して出力は非線形な特性で出力される。このような非線形な出力の場合、明るさに階調性がなく、また画像が暗くなるため、人は正しく画像を見ることができない。そこで、出力装置の特性を考慮して、出力が線形性を保つように予め入力信号に処理を行うのがガンマ補正処理である。

＜補間処理＞
図３に示すように、ＣＣＤではベイヤ配列と呼ばれる配列で、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが貼付されており、ＲＡＷデータは１画素に１色の情報しかない。しかし、ＲＡＷデータから画像として見るためには、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色の情報が必要であり、足りない２色を補うために周辺の画素から補間する補間処理を行う。

＜ＹＣｂＣｒ変換処理＞
ＲＡＷデータの段階では、ＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色によるＲＧＢデータ形式であるが、ＹＣｂＣｒ変換では輝度信号Ｙと色差信号ＣｂＣｒのＹＣｂＣｒデータ形式に変換を行う。デジタルカメラ等で一般的に用いられるファイル形式のＪＰＥＧ画像では、ＹＣｂＣｒデータから画像が作成されるため、ＲＧＢデータをＹＣｂＣｒデータに変換する。変換式は、以下の通りである。
Ｙ＝0.299ｘＲ＋0.587ｘＧ＋0.114ｘＢ
Ｃｂ＝−0.299ｘＲ−0.587ｘＧ＋0.886ｘＢ
Ｃｒ＝0.701ｘＲ−0.587ｘＧ−0.114ｘＢ

＜色補正処理＞
色補正では、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定などある。彩度設定は色の濃さを決定するパラメータ設定であり、図８はＣｂＣｒ色空間を示すものであるが、例えば、第２象限でＲＥＤの色に対して原点からＲＥＤのドットまでのベクトルの長さが長い程色の濃さは濃くなる。
次に色相設定では、色合いを決定するパラメータである。例えば、図８の第３象限でＧＲＥＥＮの色に対してベクトルの長さが同じであっても、ベクトルの向きが異なると色合いは変わってくる。部分的な色相変更設定では、図８の第４象限に示すように、部分的な色領域を回転させる設定である。
彩度が強いと色が濃くなる一方で色ノイズが強くなる傾向にある。そこで色抑圧設定では、例えば輝度信号に対してしきい値を設け、しきい値よりも低い又は高い領域に対して彩度を抑えることにより、色ノイズを抑える制御を行う。

＜エッジ強調処理＞
エッジ強調処理とは、図９に示すように、画像の輝度（Ｙ）信号からエッジ部分を抽出するエッジ抽出フィルタ部と、エッジ抽出フィルタにより抽出されたエッジに対してゲインを掛けるゲイン乗算部と、エッジ抽出と並行して画像のノイズを除去するローパスフィルタ（ＬＰＦ）部と、ゲイン乗算後のエッジ抽出データとＬＰＦ処理後の画像データを加算する加算部からなる。
エッジの強弱は、ゲイン乗算部のゲインによって決まり、ゲインが大きい場合にはエッジが強くなり、ゲインが小さい場合にはエッジが弱くなる。また、エッジ抽出フィルタのフィルタ係数によってもエッジの検出方向やエッジの抽出量が変わるため、重要なパラメータである。ＬＰＦのフィルタ係数では、画像を平滑化させて画像のノイズを減らしているが、ＬＰＦを強く掛けるとノイズは少なくなるが、一方で平滑化により細かな部分が潰れてしまい解像度が失われる傾向にある。

＜その他の処理＞
画像処理には、その他に保存する画像サイズに変更するリサイズ処理、情報量を圧縮するＪＰＥＧ圧縮処理などがある。

＜転送不良、混色特性について＞
正常なＣＣＤセンサの場合、フォトダイオードに蓄積された電荷が垂直転送路に読み出され、水平転送路を通ってそのまま出力アンプから出力される。しかし、ＣＣＤセンサの水平転送路の最終段などにて転送効率が落ちると、転送路に電荷残りが生じるために、電荷の大きな画素から電荷の小さな画素へ電荷の移動が発生する。これにより、本来の信号とは異なる色バランスの崩れた信号が出力されることになる。

例えば、原色系ＣＣＤセンサの場合、ＲＧＢの中でＧ画素の感度が最も高いので、Ｒ、Ｂ画素に比べＧ画素のフォトダイオードには多く電荷が蓄積される。
図１０は、Ｇ画素及びＲ画素の１画素に蓄積される電荷を示した図であり、水平転送路の転送効率が悪い場合、Ｇ画素に蓄積された電荷の中で水平転送路での電荷残りが生じた部分（斜線部）がＲ画素に重畳される。同様に、ＧＢラインでは、Ｇ画素の電荷がＢ画素に重畳される。これにより、ＲとＢの電荷量が本来蓄積される電荷量より増え、その結果色バランスが崩れＲとＢが濃くなったことで、画面全体としてはマゼンタ色に着色する。

一方、赤い被写体や青い被写体の場合には、Ｇ画素よりもＲ画素やＢ画素の信号量が大きかったりする。この場合、Ｒ画素やＢ画素の電荷がＧ画素に重畳される現象が発生し、ＲＧライン（ＲＧラインのＧ画素をＧｒ画素と称する）と、ＧＢライン（ＧＢラインのＧ画素をＧｂ画素と称する）のＧｒとＧｂに差が発生する。
また、高画素化に伴い画素微細化が進み、隣の画素のカラーフィルタを通過した光が漏れ込んでくる場合があり、ＲのカラーフィルターとＢのカラーフィルターの透過率の違いによりＧｒとＧｂに差が発生する。これにより、通常ＧｒとＧｂが同じであるはずであるが、撮像素子の電荷転送不良などでＧｒとＧｂに差が発生した場合に、ラインごとに明るさが異なり画像が縞々となる現象が発生し、このような現象をラインクロールと呼ぶ。

更に、ＡＦＥ回路により周波数応答が間に合わず混色が発生する状況では、ＧｒとＲ又はＧｂとＢの信号差が大きいことにより、サンプリング応答にズレが生じ混色が発生している。この場合、Ｇｒ画素とＧｂ画素の差は、画面全体ではなく部分的に発生する。そのため、画面全体に対して混色特性を補正すると部分的発生している混色は改善するが、他の部分の混色が発生していない部分では、ライン間差が発生したり格子状の縞が発生したりと不具合が発生してしまう。

次に、本発明の実施例を図を参照しつつ説明する。
［実施例１］
図１１は、実施例１のフローを示す図である。前述の図６の基本的な画像処理フロー図にて説明済みのブロックについては、説明を省略する。図１１では、γ補正処理の後に混色補正処理が追加されている点が異なっている。
混色補正処理では、所定領域の画素の色判定を行い、該当する色であると判定された場合には、ＧＲＧＢ乗算処理に進む。色判定で該当する色でないと判定された場合には、混色補正処理を行わず、補間処理に進むフローとなっている。

次に、色判定方法について詳細に説明する。
＜＜色判別方法について＞＞
＜Ｒ／Ｇｒ、Ｂ／Ｇｂ比率＞
γ補正処理後の画像信号は、ＹＣｂＣｒ変換処理前まではＲＧＢであり、特に補間処理前までは撮像素子のベイヤ配列Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素を基本ブロックとして１画素に１色の情報しか持っていない。
本実施例１では、色判定に、ベイヤ配列Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素を１ブロックとして、ＲとＧｒの比(Ｒ／Ｇｒ)、ＢとＧｂの比(Ｂ／Ｇｂ)を評価値として用いて色を判定する。
そして、評価値を判定するために、混色補正が必要な色範囲の設定値を決定し、予めＲＯＭなどの記憶手段に格納しておく。

例えば、混色補正が必要な色設定範囲を2.10≦（Ｒ／Ｇｒ）≦3.20，0≦（Ｂ／Ｇｂ）≦0.75とする。
色判定ブロックで判定する１ブロック分（４画素）の色データがＲ＝240，Ｇｒ＝100，Ｇｂ＝90，Ｂ＝5の場合、Ｒ／Ｇｒ＝2.40，Ｂ／Ｇｂ＝0.06となる。
Ｒ／Ｇｒ、Ｂ／Ｇｂ共に予め設定した色設定範囲に含まれるため、混色補正処理を行う。Ｒ／Ｇｒ、Ｂ／Ｇｂのどちらか片方でも色設定範囲に含まれない場合には、混色補正処理を行わない。
Ｒ／Ｇｒ、Ｂ／Ｇｂ比率を用いる利点としては、ベイヤ配列Ｒ、Ｇｒ、Ｇｂ、Ｂの状態で色判別ができることと、ＲＧライン、ＧＢラインそれぞれのＧ（Ｇｒ、Ｇｂ）を用いることで他のラインの影響を受けることがない点にある。

＜Ｃｒ、Ｃｂ判別＞
色判別に、Ｃｒ、Ｃｂを評価値として用いる場合の方法について説明する。
ベイヤ配列Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素を１ブロックとして、前述のＹＣｂＣｒ変換を用いたＲＧＢ→ＹＣｂＣｒ変換式のＣｂ、Ｃｒ変換を使用する。ベイヤ配列の場合ＧｒとＧｂのＧが存在するため、Ｇｒ、Ｇｂのどちらを用いてもよいが、本実施例ではＧｒとＧｂの平均を用いてＹＣｂＣｒ変換を行うこととする。
算出されたＣｂ、Ｃｒに対して、評価値を判定するために、混色補正が必要な色範囲の設定値を決定し、予めＲＯＭなどの記憶手段に格納しておく。
例えば、図１２に示すように、ＣｂＣｒ空間でＡの直線とＢの直線で囲まれる斜線の範囲の色範囲とし、式で表すと、次の２式となる。
Ｃｒ≦Ａ×Ｃｒ…（Ａの直線の傾きをＡとする）
Ｃｒ≧Ｂ×Ｃｂ…（Ｂの直線の傾きをＢとする）

色判定ブロックで判定する１ブロック分（４画素）の色データをＲ、Ｇｒ、Ｇｂ、Ｂとし、ＧｒとＧｂの平均をＧａｖとしたときに、
Ｃｂ＝−0.299ｘＲ−0.587ｘＧａｖ＋0.886ｘＢ
Ｃｒ＝0.701ｘＲ−0.587ｘＧａｖ−0.114ｘＢ
で求められるＣｂ、Ｃｒが上述の色範囲式を満たせば色設定範囲に含まれるため、混色補正処理を行う。満たさない場合には混色補正処理を行わないように制御する。
Ｃｒ、Ｃｂで色判定をする利点は、図１２にも示したように色空間を範囲で区切りやすいという点にある。

＜混色補正方法について＞
色判定にて補正が必要と判定された場合には、Ｇｒ、Ｇｂ乗算処理にてＧｒとＧｂのどちらか一方にゲイン係数を乗算する。ゲイン係数は、Ｇｒに乗算するゲイン係数の場合Ｇｂ／Ｇｒの比をゲイン係数とし、Ｇｂに乗算するゲイン係数の場合Ｇｒ／Ｇｂの比をゲイン係数とする。Ｇｒ、Ｇｂのどちらか一方にゲイン係数を乗算する目的は、ＧｒとＧｂのレベルを合わせることにあり、画像の部分的な混色に対応するためゲイン係数を乗算する混色補正処理はベイヤ配列Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素を１ブロック単位で行う。

［実施例２］
図１３は、Ｇｒ積算値とＧｂ積算値との差分から、混色補正処理を行うか否かを判定する実施例を示すフロー図である。
前述の図１１の実施例１にて説明済みのブロックについては説明を省略する。
本実施例２は、実施例１とは、Ｇｒ、Ｇｂ積分処理とＧｒ、Ｇｂ差分判定が追加となっている点が異なる。Ｇｒ、Ｇｂ積分処理により、画面全体または任意の領域の単位でＧｒ積算値、Ｇｂ積算値を算出する。任意の領域では、ベイヤ配列Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素を１ブロックとして、縦横方向に整数倍の範囲としてもよい。

＜ＧＲＧＢの差分判定方法について＞
ＧｒとＧｂの差分判定としては、ＧｒとＧｂの差の絶対値（Ｇｄｉｆ）を評価値として使用する。
Ｇｄｉｆ＝｜Ｇｒ−Ｇｂ｜
予めＧｒ、Ｇｂ差分（Ｇｄｉｆ）に対してしきい値（Ｇｔｈ）を設定しておき、Ｇｒ、Ｇｂ差分（Ｇｄｉｆ）がしきい値（Ｇｔｈ）より大きい場合には、色判定ステップに進み混色補正「あり/なし」の判定を行う。
一方、ＧＲＧＢ差分（Ｇｄｉｆ）がしきい値（Ｇｔｈ）以内の場合には、混色補正処理は行わず補間処理ステップに進む。
なお、本実施例では、混色補正処理をγ補正処理と補間処理の間に置いた場合で説明を行ったが、本発明はこれに限定されない。

本発明を適用するデジタルカメラの外観図であって、（Ａ）は上面図、（Ｂ）は正面図、（Ｃ）は裏面図である。 同デジタルカメラのブロック図である。 同デジタルカメラに用いるＣＣＤセンサの構成図である。 同ＣＣＤセンサ駆動の説明図である。 同ＣＣＤセンサの出力信号の説明図である。 基本的な画像処理のフロー図である。 ガンマ補正を説明する図であって、（Ａ）はガンマ補正曲線の例を示す図、（Ｂ）はＬＣＤなどの出力装置の特性を示す図である。 色補正処理の説明図である。 エッジ強調処理の説明図である。 転送不良の説明図である。 本発明の実施例１のフロー図である。 ＣｂＣｒ色空間での範囲選択の説明図である。 本発明の実施例２のフロー図である。

符号の説明

７…鏡胴ユニット
１０１…ＣＣＤ
１０２…Ｆ／Ｅ−ＩＣ
１０３…ＳＤＲＡＭ
１０４…カメラプロセッサ

Claims (8)

1. Ｒ画素とＧ画素が水平方向に交互に配列されたＲＧライン（ＲＧラインのＧ画素をＧｒ画素と称する）と、Ｇ画素とＢ画素が水平方向に交互に配列されたＧＢライン（ＧＢラインのＧ画素をＧｂ画素と称する）とからなる２次元配列の構造を有し、光学系を介して入力される被写体光を電気信号に変換してカラー画像信号として出力するカラー撮像素子と、
   前記ＲＧＢの各画素に対し、画素単位で色を判定することが可能な色判定手段と、
   前記Ｇｒ、Ｇｂ画素に対し、異なるゲイン係数を乗算することが可能なＧｒ、Ｇｂ乗算手段と、を備え、
   前記色判定手段は、ベイヤ配列Ｒ，Ｇｒ，Ｇｂ，Ｂの４画素を１ブロックとして、ＲとＧｒの比（Ｒ／Ｇｒ）、ＢとＧｂの比（Ｂ／Ｇｂ）を評価値とし、該評価値がそれぞれに対して設定された色設定範囲に含まれるか否かを判断して、
   前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂが前記色設定範囲に含まれる場合に、前記Ｇｒ、Ｇｂ乗算手段による前記ゲイン係数の乗算がなされることを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記Ｇｒ、Ｇｂ乗算手段は、前記Ｇｒ画素または前記Ｇｂ画素のいずれかに前記ゲイン係数を乗算するものであり、前記Ｇｒ画素の場合はＧｂ／Ｇｒの比を、前記Ｇｂ画素の場合Ｇｒ／Ｇｂの比を前記ゲイン係数とすることを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記ＲＧＢ信号を、輝度信号Ｙと色差信号Ｃｂ、ＣｒからなるＹＣｂＣｒデータ形式に変換するＹＣｂＣｒ変換手段を備え、
   前記色判定手段は、前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂに替えて、前記Ｃｂ信号、Ｃｒ信号に基づき色を判定することを特徴とする撮像装置。
4. 請求項１から３までのいずれかに記載の撮像装置において、
   前記Ｇｒ信号とＧｂ信号との差分を検出するＧｒ、Ｇｂ差分検出手段を備え、
   前記Ｇｒ信号とＧｂ信号との差分が所定の閾値を超えた場合に、前記色判定手段および前記Ｇｒ、Ｇｂ乗算手段を動作させることを特徴とする撮像装置。
5. Ｒ画素とＧ画素が水平方向に交互に配列されたＲＧラインと、Ｇ画素とＢ画素が水平方向に交互に配列されたＧＢラインとからなる２次元配列の構造を有し、光学系を介して入力される被写体光を電気信号に変換してカラー画像信号として出力するカラー撮像素子と、
   該カラー撮像素子から出力されたデータを入力する入力手段と、
   前記ＲＧＢの各画素に対し、画素単位で色を判定することが可能な色判定手段と、
   前記Ｇｒ、Ｇｂ画素に対し、異なるゲイン係数を乗算することが可能なＧｒ、Ｇｂ乗算手段と、を備え、
   前記色判定手段は、ベイヤ配列Ｒ，Ｇｒ，Ｇｂ，Ｂの４画素を１ブロックとして、ＲとＧｒの比（Ｒ／Ｇｒ）、ＢとＧｂの比（Ｂ／Ｇｂ）を評価値とし、該評価値がそれぞれに対して設定された色設定範囲に含まれるか否かを判断して、
   前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂが前記色設定範囲に含まれる場合に、前記Ｇｒ、Ｇｂ乗算手段による前記ゲイン係数の乗算がなされることを特徴とする画像処理装置。
6. 請求項５記載の画像処理装置において、
   前記Ｇｒ、Ｇｂ乗算手段は、前記Ｇｒ画素または前記Ｇｂ画素のいずれかに前記ゲイン係数を乗算するものであり、前記Ｇｒ画素の場合はＧｂ／Ｇｒの比を、前記Ｇｂ画素の場合Ｇｒ／Ｇｂの比を前記ゲイン係数とすることを特徴とする画像処理装置。
7. 請求項５または６に記載の画像処理装置において、
   前記ＲＧＢ信号を、輝度信号Ｙと色差信号Ｃｂ、ＣｒのＹＣｂＣｒデータ形式に変換するＹＣｂＣｒ変換手段を備え、
   前記色判定手段は、前記Ｒ／Ｇｒおよび前記Ｂ／Ｇｂに替えて、前記Ｃｂ信号、Ｃｒ信号に基づき色を判定することを特徴とする画像処理装置。
8. 請求項５から７までのいずれかに記載の画像処理装置において、
   前記Ｇｒ信号とＧｂ信号との差分を検出するＧｒ、Ｇｂ差分検出手段を備え、
   前記Ｇｒ信号とＧｂ信号との差分が所定の閾値を超えた場合に、前記色判定手段および前記Ｇｒ、Ｇｂ乗算手段を動作させることを特徴とする画像処理装置。

Images