JP5634331B2

JP5634331B2 - 画像処理装置

Info

Publication number: JP5634331B2
Application number: JP2011127226A
Authority: JP
Inventors: 金光　史呂志; 史呂志金光; 芦谷　達治; 達治芦谷; 立澤　之康; 之康立澤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-06-07
Filing date: 2011-06-07
Publication date: 2014-12-03
Anticipated expiration: 2031-06-07
Also published as: US8792025B2; JP2012253725A; US20120314107A1

Description

本発明の実施形態は、画像処理装置に関する。

従来、光感度を異ならせた画素群を使用することにより、ハイダイナミックレンジ（high dynamic range；ＨＤＲ）を実現させる固体撮像装置が提案されている。入射光量が少ない部分については、高い光感度を持たせた画素群のほうが、低い光感度を持たせた画素群に比べて、明暗差が良好な映像情報を得ることが可能である。高い光感度を持たせた画素群は、入射光量が高い部分については、入射光量に対して信号出力が飽和することにより、出力特性が悪化する場合がある。そこで、入射光量が高い部分については、低い光感度を持たせた画素群を使用することで、映像の再現性を確保することが可能となる。固体撮像装置は、映像のうち、良好な出力特性が得られている部分同士を合成することで、ＨＤＲ映像を得ることができる。

固体撮像装置は、高い光感度を持たせた画素群と低い光感度を持たせた画素群とで出力レベルを一致させるために、低い光感度を持たせた画素群で得られた信号値に所定のゲインを乗算する。例えば、ＣＭＯＳ（complementary metal oxide semiconductor）センサを搭載する固体撮像装置は、ＣＭＯＳセンサに一体化された画像処理回路により、デジタル方式の映像信号へデジタルゲインを乗算して、ＨＤＲ映像を合成する構成を採り得る。

かかるＨＤＲ映像の合成のためには、固体撮像装置は、映像信号を保持するラインメモリが必要となる。この他、固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）のキズ補正や、ランダムノイズ等のノイズを低減させるノイズキャンセル処理のためのラインメモリを搭載する場合がある。固体撮像装置は、必要となるラインメモリが増えることで、回路規模が増大し、コストが増大することとなる。固体撮像装置は、回路規模の縮小のためにキズ補正やノイズキャンセル処理を削減すれば、高画質という利点を損なうことになる。

このような課題に対しては、固体撮像装置内に代えて、固体撮像装置の後段のデジタルシグナルプロセッサ（digital signal processor；ＤＳＰ）に、ＨＤＲ映像の合成のための構成を搭載する措置も採られている。しかし、ＨＤＲへの対応のためにＤＳＰの汎用性が低下し、システム単価が上がることで、カメラモジュール全体としてはコストが増大してしまうことになる。

特開平４−２９８１７５号公報

本発明の一つの実施形態は、回路規模を抑制し、かつ安価な構成により、ハイダイナミックレンジでの映像の取得を可能とする画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、画像信号保持部、飽和判定部、キズ判定部、第１の補正部、第２の補正部、第３の補正部、第１の選択部及び第２の選択部を有する。画像信号保持部は、第１画素群と第２画素群とを用いて取り込まれた画像信号を保持する。第２画素群は、撮像ごとにおける光感度が第１画素群の画素より低く設定された画素からなる。飽和判定部は、第１画素群の画素を対象として、入射光量に対する出力の飽和が生じているか否かの飽和判定を実施する。キズ判定部は、第１画素群の画素及び第２画素群の画素を対象として、キズであるか否かのキズ判定を実施する。第１の補正部は、入射光量に対する出力の飽和が生じている旨の飽和判定がなされた画素に適用する信号値として、第１の補正値を生成する。第２の補正部は、第１画素群の画素及び第２画素群の画素について、ノイズキャンセル処理を経た信号値として、第２の補正値を生成する。第３の補正部は、キズである旨のキズ判定がなされた画素に適用する信号値として、第３の信号値を生成する。第１の選択部は、第１の補正値及び第２の補正値のいずれかを、飽和判定の結果に応じて選択する。第２の選択部は、第１の補正値及び第２の補正値のうち第１の選択部で選択された一方と、第３の補正値と、のいずれかを、キズ判定の結果に応じて選択する。画像処理装置は、第１の補正部における第１の補正値の生成、第２の補正部における第２の補正値の生成、及び第３の補正部における第３の補正値の生成に、共通の画像信号保持部を経た画像信号を使用する。

第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。図１に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図。イメージセンサにおける画素の配列について説明する図。高感度画素群の画素及び低感度画素群の画素の出力特性を示す図。図４に示す状態から、ＨＤＲ用の合成を実施した場合の出力特性を示す図。補正処理回路の構成を示すブロック図。対象画素及び周辺画素を示す図。対象画素が高感度画素群に含まれる場合のパターンを示す図。対象画素が高感度画素群に含まれる場合のパターンを示す図。第２の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。第３の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。第４の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。

以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図である。カメラモジュール１は、例えば、デジタルカメラである。

カメラモジュール１は、固体撮像装置２、ＤＳＰ３、記憶部４及び表示部５を有する。固体撮像装置２は、被写体像を撮像する。ＤＳＰ３は、固体撮像装置２での撮像により得られた画像信号の信号処理を実施する。ＤＳＰ３は、例えば、固体撮像装置２から出力されたＲＡＷ画像について、シェーディング補正、自動露出（auto exposure；ＡＥ）調整、自動ホワイトバランス（auto white balance；ＡＷＢ）調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等を実施する。ＤＳＰ３は、シェーディング補正のためのシェーディング係数６、ＡＷＢ調整のためのＡＷＢ係数７、ＡＥ調整のためのデジタルゲイン係数８を、固体撮像装置２へ出力する。

記憶部４は、ＤＳＰ３での信号処理を経た画像を格納する。記憶部４は、ユーザの操作等に応じて、表示部５へ画像信号を出力する。表示部５は、ＤＳＰ３あるいは記憶部４から入力される画像信号に応じて、画像を表示する。表示部５は、例えば、液晶ディスプレイである。

固体撮像装置２は、画像処理回路（画像処理装置）１０、レンズユニット１１、イメージセンサ１２、アナログデジタル変換器（ＡＤＣ）１３及びインタフェース（Ｉ／Ｆ）１７を有する。

レンズユニット１１は、被写体からの光を取り込み、イメージセンサ１２にて被写体像を結像させる。イメージセンサ１２は、レンズユニット１１により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ１２は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。

ＡＤＣ１３は、イメージセンサ１２からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理回路１０は、ＡＤＣ１３からのデジタル画像信号に対して種々の画像処理を施す。Ｉ／Ｆ１７は、画像処理回路１０での信号処理を経た画像信号を出力する。Ｉ／Ｆ１７は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。

画像処理回路１０は、ラインメモリ１４、補正処理回路１５及びデジタルアンプ回路１６を有する。ラインメモリ１４は、ＡＤＣ１３からのデジタル画像信号を保持する画像信号保持部として機能する。補正処理回路１５は、ＨＤＲ用の合成、キズ補正及びノイズキャンセル処理を実施する。

デジタルアンプ回路１６は、ＤＳＰ３からのシェーディング係数６、ＡＷＢ係数７及びデジタルゲイン係数８を用いて、デジタルアンプ係数を算出する。さらに、デジタルアンプ回路１６は、補正処理回路１５からの画像信号にデジタルアンプ係数を乗算する。なお、カメラモジュール１は、本実施形態においてＤＳＰ３で実施することとしている処理の少なくとも一部を、固体撮像装置２の画像処理回路１０で実施することとしても良い。

図３は、イメージセンサにおける画素の配列について説明する図である。図中、「Ｒ」、「Ｇ」、「Ｂ」と付したマスは、それぞれ、Ｒ光を検出するＲ画素、Ｇ光を検出するＧ画素、Ｂ光を検出するＢ画素とする。Ｒ画素、Ｇ画素及びＢ画素は、二次元方向においてベイヤー配列をなしている。

イメージセンサ１２は、水平方向に並列する画素からなる二つのラインごとに画素の感度特性を異ならせることで、ＨＤＲを実現することとしている。イメージセンサ１２は、高感度画素群（第１画素群）２１及び低感度画素群（第２画素群）２２を備える。低感度画素群２２は、撮像ごとにおける光感度が高感度画素群２１の画素より低く設定されている。イメージセンサ１２は、二つのラインからなる高感度画素群２１と、二つのラインからなる低感度画素群２２とが、垂直方向へ交互に配置されている。ラインメモリ１４は、高感度画素群２１と低感度画素群２２とを用いて取り込まれた画像信号を保持する。

本実施形態では、高感度画素群２１の画素は、低感度画素群２２の画素に対して４倍の光感度を持たせて構成されている。ここで、イメージセンサ１２は、高感度画素群２１の画素と低感度画素群２２の画素とで光感度を異ならせるために、例えば、撮像ごとにおける感光時間、受光面の面積、画素上に配置される集光レンズの構成、画素の光透過率等に差を持たせる構成を採用する。

図４は、高感度画素群の画素及び低感度画素群の画素の出力特性を示す図である。図中、高感度画素群２１の画素の出力特性を実線、低感度画素群２２の画素の出力特性を破線として示している。入射光量が少ない部分については、高感度画素群２１の画素は、低感度画素群２２の画素に比べて、入射光量に対する出力の割合が高くなることで、明暗差が良好な映像情報を得ることが可能である。高感度画素群２１の画素は、所定の入射光量より高い入射光量では信号出力が飽和し、入射光量が増加しても一定の出力しか得られないことになる。低感度画素群２２の画素は、通常の照度環境下では高感度画素群２１のような出力の飽和を生じさせず、入射光量に応じた出力を得ることができる。

図５は、図４に示す状態から、ＨＤＲ用の合成を実施した場合の出力特性を示す図である。固体撮像装置２は、入射光量が少ない部分についての高感度画素群２１の出力と、入射光量が多い部分についての低感度画素群２２の出力とを合成することにより、ＨＤＲ映像を得ることができる。低感度画素群２２の出力は、高感度画素群２１の出力に合わせてゲイン倍、本実施形態では４倍として合成される。

図６は、補正処理回路の構成を示すブロック図である。ラインメモリ１４は、４ライン分のデジタル画像信号を保持する。

図７は、対象画素及び周辺画素を示す図である。対象画素２３は、補正処理回路１５による補正対象とする画素とする。周辺画素２４は、対象画素２３と同色用の画素である。周辺画素２４は、図中斜線を付して示すように、対象画素２３の周辺に位置する８個の画素である。

補正処理回路１５には、ラインメモリ１４に保持された４ラインＬ２〜Ｌ５と、ラインメモリ１４へ入力される直前の１ラインＬ１とのうち、対象画素２３及び周辺画素２４を含む３ラインＬ１、Ｌ３、Ｌ５が入力される。対象画素２３は、対象画素２３及び周辺画素２４を含む同色用の９画素の中心に位置する。なお、周辺画素２４は、１個の対象画素２３に対して８個である場合に限られず、複数であればいくつであっても良いものとする。

補正処理回路１５は、ゲイン調整部３１、検索部３２、キズ判定部３３、平均値算出部３４、補間部３５、飽和判定部３６、ノイズキャンセル部３７及びセレクタ３８、３９を有する。

ゲイン調整部３１は、３ラインＬ１、Ｌ３、Ｌ５のうち低感度画素群２２の画素による出力に対し、デジタルゲイン係数８の乗算によるゲイン調整を実施する。検索部３２は、ゲイン調整部３１を経た画像信号から、８個の周辺画素２４の信号値の最大値４１及び最小値４２を検索する。

検索部３２は、キズである旨のキズ判定がなされた対象画素２３に適用される信号値として、第３の補正値である最大値４１及び最小値４２を生成する。検索部３２は、第３の補正部として機能する。検索部３２は、８個の周辺画素２４の信号値の最大値４１及び最小値４２と、その他の６個の周辺画素２４の信号値４３を出力する。

キズ判定部３３は、対象画素２３の信号値４０と最大値４１との比較により、対象画素２３が白キズであるか否かの白キズ判定を実施する。信号値４０は、対象画素２３が低感度画素群２２の画素である場合は、ラインメモリ１４から読み出されてから、ゲイン調整部３１でのゲイン調整が実施された信号値とする。また、信号値４０は、対象画素２３が高感度画素群２１の画素である場合は、ラインメモリ１４から読み出されてから、ゲイン調整がなされずゲイン調整部３１を通過した信号値とする。

白キズは、画素が正常に機能する場合に比べて高い輝度が検出されるようなキズとする。キズ判定部３３は、例えば、信号値４０から最大値４１を差し引いた値が、予め設定された白キズ判定用閾値より大きい場合に、対象画素２３が白キズであると判定する。なお、白キズ判定用閾値は、デジタルゲイン係数８に連動して変化させたものとしても良い。

また、キズ判定部３３は、信号値４０と最小値４２との比較により、対象画素２３が黒キズであるか否かの黒キズ判定を実施する。黒キズは、画素が正常に機能する場合に比べて低い輝度が検出されるようなキズとする。キズ判定部３３は、例えば、最小値４２から信号値４０を差し引いた値が、予め設定された黒キズ判定用閾値より大きい場合に、対象画素２３が黒キズであると判定する。なお、黒キズ判定用閾値は、デジタルゲイン係数８に連動して変化させたものとしても良い。

キズ判定部３３は、白キズ判定の結果及び黒キズ判定の結果を、キズ判定結果４４として出力する。キズ判定部３３は、対象画素２３が第１画素群２１の画素及び第２画素群２２の画素のいずれである場合も、キズ判定を実施する。

飽和判定部３６は、例えば、対象画素２３の信号値４０と、予め設定された飽和判定用閾値との比較により、入射光量に対する出力の飽和が対象画素２３に生じているか否かの飽和判定を実施する。飽和判定部３６は、対象画素２３が高感度画素群２１の画素である場合に、飽和判定を実施する。飽和判定部３６は、飽和判定結果４５を出力する。飽和判定部３６は、対象画素２３が高感度画素群２１の画素であるか否かを、例えば垂直方向についてのライン数のカウント値９に応じて判別する。

平均値算出部３４は、８個の周辺画素２４のうち、最大値４１及び最小値４２の画素を除いた６個の周辺画素２４の信号値４３の平均値４６を算出する。平均値算出部３４は、飽和判定部３６により入射光量に対する出力の飽和が生じている旨の飽和判定がなされた画素に適用する信号値として、第１の補正値である平均値４６を生成する。平均値算出部３４は、第１の補正部として機能する。また、平均値算出部３４は、平均値４６の算出に先立ち、次に述べる信号値４３の置き換えを実施する。

図８及び図９は、対象画素が高感度画素群に含まれる場合のパターンを示す図である。図８は、高感度画素群２１の互いに隣接する２ラインのうち、図中上側に示すラインに対象画素２３が含まれる状態を示している。図９は、高感度画素群２１の互いに隣接する２ラインのうち、図中下側に示すラインに対象画素２３が含まれる状態を示している。対象画素２３が高感度画素群２１に含まれる場合、図８に示す状態と図９に示す状態とのいずれかとなる。

対象画素２３が高感度画素群２１に含まれているいずれの場合も、全ての周辺画素２４は低感度画素群２２に含まれることとなる。さらに、対象画素２３が低感度画素群２２に含まれている場合は、いずれも、全ての周辺画素２４は高感度画素群２１に含まれることとなる。なお、平均値算出部３４は、対象画素２３が高感度画素群２１の画素及び低感度画素群２２の画素のいずれであるかを、例えば、垂直方向の２ラインごとのタイミングで切り換えられるカウント値９に応じて判別する。

対象画素２３が低感度画素群２２の画素である場合、高感度画素群２１の画素である周辺画素２４は、入射光量に対する出力の飽和が生じている可能性がある。平均値算出部３４は、例えば、周辺画素２４の信号値４３のそれぞれと、予め設定された飽和判定用閾値との比較により、入射光量に対する出力の飽和が周辺画素２４に生じているか否かを判定する。

平均値算出部３４は、出力の飽和が生じていると判定した周辺画素２４の信号値４３を対象画素２３の信号値４０に置き換えて、平均値４６を算出する。これにより、平均値算出部３４は、出力の飽和の影響が除外された平均値４６を得る。補正処理回路１５は、出力が飽和している画素に対して、かかる平均値４６を適用することにより高精度な補正を行うことが可能となる。

なお、平均値算出部３４は、出力の飽和が生じている周辺画素２４の信号値４３を対象画素２３の信号値４０に置き換えて平均値４６を算出する他、出力の飽和が生じている周辺画素２４の信号値４３を除外して平均値４６を算出することとしても良い。

対象画素２３が高感度画素群２１の画素である場合、低感度画素群２２の画素である周辺画素２４は、入射光量に対する出力の飽和が生じていないものとみなせる一方、白キズが生じている可能性がある。平均値算出部３４は、例えば、周辺画素２４の信号値４３のそれぞれを、予め設定された白キズ判定用閾値と比較することで、周辺画素２４に白キズが含まれているか否かを判定する。平均値算出部３４は、周辺画素２４についての飽和判定用閾値を、周辺画素２４についての白キズ判定用閾値に流用することとしても良い。

平均値算出部３４は、白キズであると判定した周辺画素２４の信号値４３を、対象画素２３の信号値４０に置き換える。これにより、平均値算出部３４は、白キズの影響が除外された平均値４６を得る。補正処理回路１５は、かかる平均値４６を基に、高精度なノイズキャンセル処理を実施することが可能となる。

なお、平均値算出部３４は、白キズである周辺画素２４の信号値４３を対象画素２３の信号値４０と置き換えて平均値４６を算出する他、白キズである周辺画素２４の信号値４３を除外して平均値４６を算出することとしても良い。

補間部３５は、主に、低感度画素群２２の画素である対象画素２３についての出力を補間するために、対象画素２３の信号値４０と平均値４６とを、予め設定された比率で足し合わせる第４の補正部として機能する。補間部３５は、例えば、以下の式（１）により、第４の補正値である補間値４７を算出する。
（補間値４７）＝｛３×（信号値４０）＋（平均値４６）｝／４・・・（１）

低感度画素群２２の画素については、ゲイン調整部３１においてデジタルゲイン係数８を乗算しているために、高感度画素群２１の画素に比べて、量子化ノイズの影響による信号対ノイズ比（ＳＮＲ）の低下が顕著となる。補間部３５は、対象画素２３についての出力の補間により、ＳＮＲを向上させる。

式（１）では、補間部３５は、信号値４０と平均値４６とを３対１の比率で足し合わせることとしている。この比率は、適宜変更可能であるものとする。画像の解像度を重視する場合は信号値４０の割合を高くすることが望ましく、また、ＳＮＲを重視する場合は平均値４６の割合を高くすることが望ましい。

ノイズキャンセル部３７は、高感度画素群２１の画素及び低感度画素群２２の画素について、ノイズキャンセル処理を経た信号値として、第２の補正値であるノイズ除去信号値４８を生成する。ノイズキャンセル部３７は、第２の補正部として機能する。

ノイズキャンセル部３７は、補間部３５による演算結果である補間値４７と、対象画素２３の信号値４０との差分を抽出する。ノイズキャンセル部３７は、抽出した信号に対して、所望とする振幅以下の信号成分のみを取り出すための振幅制限等を施し、最終ノイズ成分とする。ノイズキャンセル部３７は、信号値４０から最終ノイズ成分を差し引き、ノイズ除去信号値４８とする。なお、ノイズキャンセル部３７でのノイズキャンセル処理における各種パラメータ、例えば、振幅制限のためのパラメータ等は、デジタルゲイン係数８に連動して変化させたものとしても良い。

セレクタ３８は、飽和判定部３６からの飽和判定結果４５に応じて、第１の補正値である平均値４６及び第２の補正値であるノイズ除去信号値４８のいずれかを選択する。セレクタ３８は、第１の選択部として機能する。

セレクタ３８は、対象画素２３が高感度画素群２１の画素であって、かつ入射光量に対する出力の飽和が生じている旨の飽和判定結果４５が入力された場合、平均値４６を出力する（ＨＤＲ合成）。セレクタ３８は、対象画素２３が高感度画素群２１の画素であって、かつ入射光量に対する出力の飽和が生じていない旨の飽和判定結果４５が入力された場合、ノイズ除去信号値４８を出力する（ノイズキャンセル）。また、セレクタ３８は、対象画素２３が低感度画素群２２の画素である旨の飽和判定結果４５が入力された場合、ノイズ除去信号値４８を出力する（ノイズキャンセル）。

セレクタ３９は、平均値４６及びノイズ除去信号値４８のうちセレクタ３８で選択された一方と、第３の補正値である最大値４１及び最小値４２のうちの一方と、のいずれかを、キズ判定部３３からのキズ判定結果４４に応じて選択する。セレクタ３９は、第２の選択部として機能する。

セレクタ３９は、対象画素２３が白キズ及び黒キズのいずれでもない旨のキズ判定結果４４が入力された場合、セレクタ３８から入力された平均値４６又はノイズ除去信号値４８を出力する。また、セレクタ３９は、対象画素２３が白キズである旨のキズ判定結果４４が入力された場合、最大値４１を出力する（白キズ補正）。セレクタ３９は、対象画素２３が黒キズである旨のキズ判定結果４４が入力された場合、最小値４２を出力する（黒キズ補正）。補正処理回路１５は、セレクタ３９で選択された信号値を、対象画素２３へ適用する補正値として出力する。

画像処理回路１０は、高感度画素群２１の画素において、入射光量に対する出力の飽和が生じた部分については、低感度画素群２２の画素の信号値から算出した平均値４６を適用する。固体撮像装置２は、高感度画素群２１と低感度画素群２２とのそれぞれにおいて良好な感度特性を持つ部分同士が合成されたＨＤＲ映像を得る。固体撮像装置２は、出力の飽和によるいわゆる白飛びを生じ易い部分、例えば、晴天時における雲の陰影等について、実物を目視した場合における状態に近い映像を取得することができる。

入射光量に対する出力の飽和が対象画素２３に生じている場合、当該対象画素２３と同じラインの周辺画素２４にも、入射光量に対する出力の飽和が生じている場合があり得る。この場合において、対象画素２３が白キズでもあったとすると、対象画素２３は、白キズ判定がなされずキズ補正の対象外となる代わりに、ＨＤＲ合成による合成結果である平均値４６が反映されることとなる。

補正処理回路１５は、平均値算出部３４における平均値４６の生成、ノイズキャンセル部３７におけるノイズ除去信号値４８の生成、及び、検索部３２における最大値４１及び最小値４２の生成に、共通のラインメモリ１４を経た画像信号を使用する。画像処理回路１０は、キズ補正機能、ＨＤＲ合成機能、ノイズキャンセル機能に共通のラインメモリ１４を使用する構成とすることで、機能ごとに別途ラインメモリを搭載する場合に比べて、回路規模を抑制させることができる。

固体撮像装置２は、ＨＤＲ合成機能とともに、キズ補正機能及びノイズキャンセル機能を持たせることで、ＨＤＲ映像の取得と高画質との両立が可能となる。カメラモジュール１は、固体撮像装置２にＨＤＲ合成機能を持たせることで、ＤＳＰ３によるＨＤＲへの対応を不要とする。このため、カメラモジュール１は、汎用性が高く安価なＤＳＰ３を使用することが可能となる。

（第２の実施形態）
図１０は、第２の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部６１は、第１の実施形態にかかる補間部３５に代えて適用される。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

第４の補正部である補間部６１は、平均値算出部３４（図６参照）で生成された第１の補正値である平均値４６と、対象画素２３（図７参照）の信号値４０とを足し合わせる比率を切り換え可能とする。

補間部６１は、対象画素２３が高感度画素群２１の画素である場合に適用する高感度用比率ＳＨ＿ｒａｔｉｏと、対象画素２３が低感度画素群２２の画素である場合に適用する低感度用比率ＳＬ＿ｒａｔｉｏとを保持する。ここで、ＳＨ＿ｒａｔｉｏ及びＳＬ＿ｒａｔｉｏは、ＳＨ＿ｒａｔｉｏ＋ＳＬ＿ｒａｔｉｏ＝１６、かつＳＨ＿ｒａｔｉｏ＞ＳＬ＿ｒａｔｉｏが成立する自然数であるものとする。

セレクタ６２は、対象画素２３が高感度画素群２１の画素であるとき、高感度用比率ＳＨ＿ｒａｔｉｏを選択し、比率ＲＡＴとして出力する。また、セレクタ６２は、対象画素２３が低感度画素群２２の画素であるとき、低感度用比率ＳＬ＿ｒａｔｉｏを選択し、比率ＲＡＴとして出力する。セレクタ６２は、対象画素２３が高感度画素群２１の画素及び低感度画素群２２の画素のいずれであるかを、カウント値９に応じて判別する。

演算器６３は、セレクタ６２から出力される比率ＲＡＴを使用して、例えば、以下の式（２）により、第４の補正値である補間値６４を算出する。ノイズキャンセル部３７（図６参照）は、補間部６１による演算結果である補間値６４を使用して、ノイズ除去信号値４８を生成する。
（補間値６４）＝｛ＲＡＴ×（平均値４６）＋（１６−ＲＡＴ）×（信号値４０）｝／１６・・・（２）

対象画素２３が高感度画素群２１の画素である場合、補間部６１は、対象画素２３の信号値４０の比率を高めた補間値６４を算出する。補正処理回路１５は、入射光量に対する飽和が生じていない場合は、かかる補間値６４を使用して得られたノイズ除去信号値４８を対象画素２３に適用する。これにより、画像処理回路１０は、高感度画素群２１についての高いＳＮＲを維持しつつ、画像の解像度を重視するノイズキャンセル処理を実施することが可能となる。

対象画素２３が低感度画素群２２の画素である場合、補間部６１は、周辺画素２４についての平均値４６の比率を高めた補間値６４を算出する。補正処理回路１５は、対象画素２３が低感度画素群２２の画素である場合に、かかる補間値６４を使用して得られたノイズ除去信号値４８を対象画素２３に適用することで、ＳＮＲの向上を重視するノイズキャンセル処理を実施することが可能となる。

固体撮像装置２は、本実施形態の補間部６１を適用することで、出力の飽和が生じていないにも関わらずラインごとに生じ得るＳＮＲの変化や、垂直方向の解像度の低下を抑制させることが可能となる。

なお、本実施形態では、ＳＨ＿ｒａｔｉｏ＋ＳＬ＿ｒａｔｉｏ＝１６とし、１６段階のうちＳＨ＿ｒａｔｉｏ＞ＳＬ＿ｒａｔｉｏが成立する範囲で高感度用比率ＳＨ＿ｒａｔｉｏ及び低感度用比率ＳＬ＿ｒａｔｉｏを設定可能としている。高感度用比率ＳＨ＿ｒａｔｉｏ及び低感度用比率ＳＬ＿ｒａｔｉｏの設定はこれに限られず、適宜変更可能であるものとする。

（第３の実施形態）
図１１は、第３の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部７１は、第１の実施形態にかかる補間部３５に代えて適用される。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

第４の補正部である補間部７１は、平均値算出部３４（図６参照）で生成された第１の補正値である平均値４６と、対象画素２３（図７参照）の信号値４０とを足し合わせる比率を切り換え可能とする。

補間部７１は、第１の比率ｒａｔｉｏ＿Ａ、第２の比率ｒａｔｉｏ＿Ｂ、及び差分閾値７６を保持する。ここで、ｒａｔｉｏ＿Ａ及びｒａｔｉｏ＿Ｂは、ｒａｔｉｏ＿Ａ＋ｒａｔｉｏ＿Ｂ＝１６、かつｒａｔｉｏ＿Ａ＞ｒａｔｉｏ＿Ｂが成立する自然数であるものとする。

絶対値算出器（ＡＢＳ）７２は、平均値４６及び信号値４０の差分の絶対値を算出する。比較器（ＣＯＭＰ）７３は、ＡＢＳ７２で算出された絶対値と差分閾値７６とを比較する。ＣＯＭＰ７３での比較により、（ＡＢＳ７２で算出された絶対値）＞（差分閾値７６）が成立する場合、セレクタ７４は、第１の比率ｒａｔｉｏ＿Ａを選択し、比率ＲＡＴとして出力する。また、ＣＯＭＰ７３での比較により、（ＡＢＳ７２で算出された絶対値）≦（差分閾値７６）が成立する場合、セレクタ７４は、第２の比率ｒａｔｉｏ＿Ｂを選択し、比率ＲＡＴとして出力する。

演算器６３は、セレクタ７４から出力される比率ＲＡＴを使用して、例えば、上記の式（２）により、第４の補正値である補間値７５を算出する。ノイズキャンセル部３７（図６参照）は、補間部７１による演算結果である補間値７５を使用して、ノイズ除去信号値４８を生成する。

平均値４６及び信号値４０の差分の絶対値が差分閾値７６より大きい場合、補間部７１は、階調の高低差が大きいシャープな絵柄であるものと判断し、対象画素２３の信号値４０の比率を高めた補間値７５を算出する。これにより、画像処理回路１０は、シャープな絵柄に対して、画像の解像度を重視するノイズキャンセル処理を実施することが可能となる。

平均値４６及び信号値４０の差分の絶対値が差分閾値７６以下である場合、補間部７１は、階調の高低差が小さいフラットな絵柄であるものと判断し、周辺画素２４についての平均値４６の比率を高めた補間値７５を算出する。これにより、画像処理回路１０は、フラットな絵柄に対して、ＳＮＲの向上を重視するノイズキャンセル処理を実施することが可能となる。

固体撮像装置２は、本実施形態の補間部７１を適用することで、解像度の劣化を極力抑え、かつノイズが低減された画像を得ることが可能となる。なお、第１の比率ｒａｔｉｏ＿Ａ及び第２の比率ｒａｔｉｏ＿Ｂの設定は本実施形態で説明する場合に限られず、適宜変更可能であるものとする。補間部７１は、二つの比率ｒａｔｉｏ＿Ａ、ｒａｔｉｏ＿Ｂのいずれかを選択可能としているが、さらに多くの比率からの選択を可能としても良い。

（第４の実施形態）
図１２は、第４の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部８１は、第１の実施形態にかかる補間部３５に代えて適用される。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

第４の補正部である補間部８１は、第２の実施形態にかかる補間部６１（図１０参照）の要素と、第３の実施形態にかかる補間部７１（図１１参照）の要素とを併せ持つ。補間部８１は、第１の高感度用比率ｒａｔｉｏ＿Ａ１、第２の高感度用比率ｒａｔｉｏ＿Ｂ１、第１の低感度用比率ｒａｔｉｏ＿Ａ２、第２の低感度用比率ｒａｔｉｏ＿Ｂ２、及び差分閾値７６を保持する。

ここで、ｒａｔｉｏ＿Ａ１及びｒａｔｉｏ＿Ｂ１は、ｒａｔｉｏ＿Ａ１＋ｒａｔｉｏ＿Ｂ１＝１６、かつｒａｔｉｏ＿Ａ１＞ｒａｔｉｏ＿Ｂ１が成立する自然数であるものとする。ｒａｔｉｏ＿Ａ２及びｒａｔｉｏ＿Ｂ２は、ｒａｔｉｏ＿Ａ２＋ｒａｔｉｏ＿Ｂ２＝１６、かつｒａｔｉｏ＿Ａ２＞ｒａｔｉｏ＿Ｂ２が成立する自然数であるものとする。さらに、ｒａｔｉｏ＿Ａ１≧ｒａｔｉｏ＿Ａ２、ｒａｔｉｏ＿Ｂ１≧ｒａｔｉｏ＿Ｂ２が成立するものとする。

ＣＯＭＰ７３での比較により、（ＡＢＳ７２で算出された絶対値）＞（差分閾値７６）が成立する場合、セレクタ８２は、第１の高感度用比率ｒａｔｉｏ＿Ａ１を選択し、高感度用比率ＳＨ＿ｒａｔｉｏとして出力する。また、（ＡＢＳ７２で算出された絶対値）＞（差分閾値７６）が成立する場合、セレクタ８３は、第１の低感度用比率ｒａｔｉｏ＿Ａ２を選択し、低感度用比率ＳＬ＿ｒａｔｉｏとして出力する。

ＣＯＭＰ７３での比較により、（ＡＢＳ７２で算出された絶対値）≦（差分閾値７６）が成立する場合、セレクタ８２は、第２の高感度用比率ｒａｔｉｏ＿Ｂ１を選択し、高感度用比率ＳＨ＿ｒａｔｉｏとして出力する。また、ＣＯＭＰ７３での比較により、（ＡＢＳ７２で算出された絶対値）≦（差分閾値７６）が成立する場合、セレクタ８３は、第２の低感度用比率ｒａｔｉｏ＿Ｂ２を選択し、低感度用比率ＳＬ＿ｒａｔｉｏとして出力する。

演算器６３は、セレクタ６２から出力される比率ＲＡＴを使用して、例えば、上記の式（２）により、第４の補正値である補間値８４を算出する。ノイズキャンセル部３７（図６参照）は、補間部８１による演算結果である補間値８４を使用して、ノイズ除去信号値４８を生成する。

固体撮像装置２は、本実施形態の補間部８１を適用することで、階調の高低差に応じて、解像度の劣化を極力抑え、かつノイズが低減された画像を得ることが可能となる。また、固体撮像装置２は、対象画素２３が高感度画素群２１の画素及び低感度画素群２２の画素のいずれであるかに応じて、ラインごとのＳＮＲの変化や、垂直方向の解像度の低下を抑制させることが可能となる。

第１の高感度用比率ｒａｔｉｏ＿Ａ１、第２の高感度用比率ｒａｔｉｏ＿Ｂ１、第１の低感度用比率ｒａｔｉｏ＿Ａ２及び第２の低感度用比率ｒａｔｉｏ＿Ｂ２の設定は、本実施形態で説明する場合に限られず、適宜変更可能であるものとする。

各実施形態にかかる固体撮像装置２を適用するカメラモジュール１は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等であっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０画像処理回路、１４ラインメモリ、１５補正処理回路、２１高感度画素群、２２低感度画素群、２３対象画素、２４周辺画素、３２検索部、３３キズ判定部、３４平均値算出部、３５、６１、７１、８１補間部、３６飽和判定部、３７ノイズキャンセル部、３８、３９セレクタ。

Claims

第１画素群と、撮像ごとにおける光感度が前記第１画素群の画素より低く設定された画素からなる第２画素群と、を用いて取り込まれた画像信号を保持する画像信号保持部と、
前記第１画素群の画素を対象として、入射光量に対する出力の飽和が生じているか否かの飽和判定を実施する飽和判定部と、
前記第１画素群の画素及び前記第２画素群の画素を対象として、キズであるか否かのキズ判定を実施するキズ判定部と、
前記入射光量に対する出力の飽和が生じている旨の前記飽和判定がなされた画素に適用する信号値として、第１の補正値を生成する第１の補正部と、
前記第１画素群の画素及び前記第２画素群の画素について、ノイズキャンセル処理を経た信号値として、第２の補正値を生成する第２の補正部と、
キズである旨の前記キズ判定がなされた画素に適用する信号値として、第３の補正値を生成する第３の補正部と、
前記第１の補正部で生成された前記第１の補正値と、前記第１の補正値を生成する対象とされた対象画素の信号値と、を所定の比率で足し合わせる第４の補正部と、
前記第１の補正値及び前記第２の補正値のいずれかを、前記飽和判定の結果に応じて選択する第１の選択部と、
前記第１の補正値及び前記第２の補正値のうち前記第１の選択部で選択された一方と、前記第３の補正値と、のいずれかを、前記キズ判定の結果に応じて選択する第２の選択部と、を有し、
前記第１の補正部における前記第１の補正値の生成、前記第２の補正部における前記第２の補正値の生成、及び前記第３の補正部における前記第３の補正値の生成に、共通の前記画像信号保持部を経た前記画像信号を使用し、
前記第２の補正部は、前記第４の補正部での演算結果と、前記対象画素の信号値との差分を使用して、前記第２の補正値を生成することを特徴とする画像処理装置。
前記第４の補正部は、前記対象画素が前記第１画素群の画素及び前記第２画素群の画素のいずれであるかに応じて、前記第１の補正値と前記対象画素の信号値とを足し合わせる比率を切り換えることを特徴とする請求項１に記載の画像処理装置。
前記第４の補正部は、前記第１の補正値及び前記対象画素の信号値の差分と、予め設定された閾値との比較結果に応じて、前記第１の補正値と前記対象画素の信号値とを足し合わせる比率を切り換えることを特徴とする請求項１又は２に記載の画像処理装置。
前記第１の補正部は、前記第１の補正値を生成する対象とされた対象画素と同色用の画素であって前記対象画素の周辺に位置する複数の周辺画素の信号値から算出された平均値を、前記第１の補正値として出力し、
前記対象画素が前記第２画素群の画素である場合、前記第１の補正部は、前記複数の周辺画素のうち出力の飽和が生じていると判定した画素の信号値を、前記対象画素の信号値と置き換えて前記平均値を算出し、
前記対象画素が前記第１画素群の画素である場合、前記第１の補正部は、前記複数の周辺画素のうちキズが生じていると判定した画素の信号値を、前記対象画素の信号値と置き換えて前記平均値を算出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。