JP5634420B2

JP5634420B2 - 画像処理装置及び固体撮像装置

Info

Publication number: JP5634420B2
Application number: JP2012038652A
Authority: JP
Inventors: 立澤　之康; 之康立澤; 和浩檜田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-02-24
Filing date: 2012-02-24
Publication date: 2014-12-03
Anticipated expiration: 2032-02-24
Also published as: JP2013175896A; US8842187B2; US20130222620A1

Description

本発明の実施形態は、画像処理装置及び固体撮像装置に関する。

ハイダイナミックレンジ（high dynamic range；ＨＤＲ）合成は、通常の撮影に比べて幅広いダイナミックレンジを表現するための撮影技法として知られている。ＨＤＲ合成の手法としては、例えば、互いに露光量（電荷蓄積時間）を異ならせて取得された二以上の画像を合成するものがある。この手法によると、イメージセンサによる出力周期に対して、合成画像のフレームレートに遅れが生じることとなる。このため、特に動画を撮影する場合に、被写体像のブレ（モーションブラー）が生じ易くなることが課題となる。

また、ＨＤＲ合成の他の手法として、例えば、互いに電荷蓄積時間を異ならせた二つのラインを一組とし、電荷蓄積時間が異なる画素同士の信号電荷を組ごとに加算するものがある。この手法によると、ラインに対し垂直な方向における解像度が、通常の場合に対して実質的に半分となることから、画質を劣化させることとなる。

特開２００７−３２４７７０号公報特許第２８６８９１５号公報

本発明の一つの実施形態は、合成画像におけるブラーの発生を抑制可能とし、効果的なハイダイナミックレンジ合成を可能とする画像処理装置及び固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、ハイダイナミックレンジ合成回路を有する。ハイダイナミックレンジ合成回路は、第１画像信号と第２画像信号とを合成する。第１画像信号は、第１電荷蓄積期間における第１画素への入射光量に応じた画像信号である。第２画像信号は、第２電荷蓄積期間における第２画素への入射光量に応じた画像信号である。第２電荷蓄積期間は、第１電荷蓄積期間より短い。ハイダイナミックレンジ合成回路は、信号レベル調整部、補間処理部、ブラー検出部及び混合処理部を有する。信号レベル調整部は、第１電荷蓄積期間と第２電荷蓄積期間との比に応じて、第２画像信号の信号レベルを調整する。補間処理部は、第１画像信号と、信号レベル調整部での信号レベルの調整を経た第２画像信号と、が入力される。補間処理部は、対象画素とする第１画素について、補間処理によって補間信号を生成する。補間処理部は、対象画素とする第１画素の近傍に位置する周辺画素である第２画素からの第２画像信号を、補間処理に使用する。補間処理部は、対象画素とする第２画素について、補間処理によって補間信号を生成する。補間処理部は、対象画素とする第２画素の近傍に位置する周辺画素である第１画素からの第１画像信号を、補間処理に使用する。ブラー検出部は、第１画像信号と、信号レベル調整部での信号レベルの調整を経た第２画像信号とを使用して、被写体像に生じたブラー量を検出する。混合処理部は、補間信号への第２画像信号の混合処理により、ブラー量に応じた第２画像信号の重み付けを補間信号に施す。

実施形態にかかる固体撮像装置の概略構成を示すブロック図。図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。イメージセンサにおける画素の配列について説明する図。ＨＤＲ合成回路の構成を示すブロック図。長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図。ゲイン調整回路の構成を示すブロック図。水平遅延線の構成を示すブロック図。水平遅延線における同時刻化の対象とする画素について説明する図。ブラー検出部及びブラー量調整部の構成を示すブロック図。補間処理部、画像信号選択部及び伸張処理部の構成を示すブロック図。長時間露光画素に対する補間処理について説明する概念図。短時間露光画素に対する補間処理について説明する概念図。混合処理部の構成を示すブロック図。長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図。

以下に添付図面を参照して、実施形態にかかる画像処理装置及び固体撮像装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。

撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。

固体撮像装置５は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサである。固体撮像装置５は、ＣＭＯＳイメージセンサの他、ＣＣＤ（charge coupled device）であっても良い。固体撮像装置５は、イメージセンサ１０、アナログデジタル変換器（ＡＤＣ）１１、信号処理回路１２及びインタフェース（Ｉ／Ｆ）１４を有する。

イメージセンサ１０は、撮像光学系４により取り込まれた光をフォトダイオードにより信号電荷に変換し、被写体像を撮像する。イメージセンサ１０は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ１１は、イメージセンサ１０からの画像信号をアナログ方式からデジタル方式へ変換する。

信号処理回路１２は、ＡＤＣ１１から入力されたデジタル画像信号に対し、種々の信号処理を実施する。信号処理回路１２は、ハイダイナミックレンジ（ＨＤＲ）合成回路１３を有する。ＨＤＲ合成回路１３は、信号処理回路１２へ入力されたデジタル画像信号に対し、ＨＤＲ合成を実施する。信号処理回路１２は、ＨＤＲ合成回路１３によるＨＤＲ合成の他、例えば、キズ補正、ノイズリダクション、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。

Ｉ／Ｆ１４は、信号処理回路１２での信号処理を経た画像信号を出力する。Ｉ／Ｆ１４は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。

図３は、イメージセンサにおける画素の配列について説明する図である。イメージセンサ１０に設けられた画素アレイ１７は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素がベイヤー配列として配置されている。Ｒ画素は、Ｒ光を検出する。Ｂ画素は、Ｂ光を検出する。Ｇｒ画素及びＧｂ画素は、Ｇ光を検出する。Ｇｒ画素は、水平ラインにてＲ画素と並列している。Ｇｂ画素は、水平ラインにてＢ画素と並列している。

画素アレイ１７は、Ｇｒ／ＲラインとＢ／Ｇｂラインとの２本の水平ラインからなるラインエリアごとに、電荷蓄積期間を交互に異ならせている。長時間露光ラインエリア（第１ラインエリア）１５の電荷蓄積期間である第１電荷蓄積期間は、短時間露光ラインエリア（第２ラインエリア）１６の電荷蓄積期間である第２電荷蓄積期間より長い。

長時間露光ラインエリア１５は、第１画素である長時間露光画素からなる２本の水平ライン（第１水平ライン）により構成されている。短時間露光ラインエリア１６は、第２画素である短時間露光画素からなる２本の水平ライン（第２水平ライン）により構成されている。長時間露光ラインエリア１５及び短時間露光ラインエリア１６は、垂直方向において交互に配置されている。

イメージセンサ１０は、第１電荷蓄積期間における長時間露光画素への入射光量に応じた第１画像信号と、第２電荷蓄積期間における短時間露光画素への入射光量に応じた第２画像信号とを出力する。ＨＤＲ合成回路１３は、信号処理回路１２へ入力された第１画像信号及び第２画像信号を合成する。

図４は、ＨＤＲ合成回路の構成を示すブロック図である。ＨＤＲ合成回路１３は、ラインメモリ（４Ｈ）２１、信号レベル調整部２２、水平遅延線２３、補間処理部２４、画像信号選択部２５、ブラー検出部２６、伸張処理部２７、混合処理部２８及びブラー量調整部３０を有する。

ラインメモリ２１は、ＨＤＲ合成回路１３へ入力された４ライン分のデジタル画像信号を保持する。信号レベル調整部２２は、画像信号の信号レベルを調整する。水平遅延線２３は、水平方向についての遅延を画像信号に施す。補間処理部２４は、画像信号の補間処理を実施する。画像信号選択部２５は、補間処理部２４からの画像信号のうち、短時間露光画素からの第２画像信号を選択する。

ブラー検出部２６は、被写体像に生じたブラー量を検出する。伸張処理部２７は、画像信号の伸張処理を実施する。ブラー量調整部３０は、混合処理部２８へ入力されるブラー量を調整する。混合処理部２８は、伸張処理部２７での伸張処理を経た信号と、画像信号選択部２５で選択された第２画像信号との混合処理を実施する。

図５は、長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図である。長時間露光画素は、入射光量が所定の飽和光量より大きくなると、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達する。

図５の上段に示すグラフにおいて、長時間露光画素から出力される信号レベルを実線、短時間露光画素から出力される信号レベルを破線として表す。入射光量が飽和光量以下である場合、長時間露光画素から出力される信号レベルは、入射光量の増加に比例して高くなる。短時間露光画素から出力される信号レベルは、入射光量が長時間露光画素における飽和光量より大きい場合も、入射光量の増加に比例して高くなる。

信号レベル調整部２２は、長時間露光画素と短時間露光画素とで出力レベルを一致させるために、短時間露光画素で得られた第２画像信号に所定のゲインを乗算する。ゲインは、長時間露光画素の第１電荷蓄積期間と短時間露光画素の第２電荷蓄積期間との比である露光比に対応する。

補間処理部２４は、長時間露光画素で得られた第１画像信号と、短時間露光画素で得られてから信号レベル調整部２２での調整を経た第２画像信号との加算を実施する。図５の中段に示すグラフにおいて、補間処理部２４での加算を経た信号レベルを実線として表す。

補間処理部２４での加算を経た信号レベルは、入射光量に対する変化量が飽和光量の前後で異なる特性を示す（knee特性）。伸張処理部２７は、補間処理部２４での補間処理により、飽和光量に対応する出力飽和レベルを超過した信号レベル分についての伸張処理を実施する（knee伸張）。これにより、ＨＤＲ合成回路１３は、飽和光量の前後において近い線形特性を持つＨＤＲ合成信号を得る。図５の下段に示すグラフにおいて、伸張処理部２７での伸張処理を経た信号レベルを実線として表す。

図４に示すように、信号レベル調整部２２には、ラインメモリ２１に保持された４本の水平ライン（ラインＬ１〜Ｌ４とする）と、ラインメモリ２１で保持される直前の１本の水平ライン（ラインＬ０とする）とのうち、同色画素からの画像信号を含む３本のラインＬ０、Ｌ２及びＬ４が入力される。

信号レベル調整部２２は、入力される各ラインに対応して、３つのゲイン調整回路２９を有する。ゲイン調整回路２９は、３本の水平ラインのうち短時間露光ラインエリア１６（図３参照）からの第２画像信号に対し、露光比の乗算によるゲイン調整を実施する。

ライン識別カウント２０は、３本の水平ラインのうち中央のラインＬ２が長時間露光ラインエリア１５からの第１画像信号及び短時間露光ラインエリア１６からの第２画像信号のいずれであるかを表す信号である。例えば、ラインＬ２が第１画像信号であるときのライン識別カウント２０は「１」、ラインＬ２が第２画像信号であるときのライン識別カウント２０は「０」であるものとする。

信号レベル調整部２２のうち、ラインＬ２が入力されるゲイン調整回路２９には、反転（ＮＯＴ）を経たライン識別カウント２０が入力される。ラインＬ２以外のラインＬ０及びＬ４が入力されるゲイン調整回路２９には、ライン識別カウント２０が反転を経ず入力される。

図６は、ゲイン調整回路の構成を示すブロック図である。減算器３１は、入力されたラインから所定の黒レベル（例えば６４ＬＳＢ）を差し引く。乗算器３２は、減算器３１からの出力に露光比（ＥＸＰ＿ＲＡＴＩＯ）を乗算する。

セレクタ３３は、ゲイン調整回路２９へ入力されたライン識別カウント２０を選択制御入力信号として、乗算器３２からの信号３５と減算器３１からの信号３６とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ３３は、乗算器３２によるＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。選択制御入力信号「０」に対し、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。加算器３４は、セレクタ３３による選択結果と、黒レベルとを加算する。ゲイン調整回路２９は、加算器３４による加算結果を出力する。

ラインＬ２が長時間露光ラインエリア１５からの第１画像信号であるとき、ＨＤＲ合成回路１３には、ライン識別カウント２０として「１」が入力される。ラインＬ０及びＬ４は、いずれも短時間露光ラインエリア１６からの第２画像信号となる。

この場合、ラインＬ２についてのゲイン調整回路２９へは、「１」から「０」へ反転されたライン識別カウント２０が入力される。ラインＬ２についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。ラインＬ０についてのゲイン調整回路２９及びラインＬ４についてのゲイン調整回路２９へは、「１」のままのライン識別カウント２０が入力される。ラインＬ０についてのゲイン調整回路２９及びラインＬ４についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。

ラインＬ２が短時間露光ラインエリア１６からの第２画像信号であるとき、ＨＤＲ合成回路１３には、ライン識別カウント２０として「０」が入力される。ラインＬ０及びＬ４は、いずれも長時間露光ラインエリア１５からの第１画像信号となる。

この場合、ラインＬ２についてのゲイン調整回路２９へは、「０」から「１」へ反転されたライン識別カウント２０が入力される。ラインＬ２についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。ラインＬ０についてのゲイン調整回路２９及びラインＬ４についてのゲイン調整回路２９において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。

これにより、信号レベル調整部２２は、第１及び第２画像信号のうち、第２画像信号に対し選択的に露光比を乗算し、長時間露光画素の出力レベルに短時間露光画素の出力レベルを一致させる。例えば、イメージセンサ１０から出力される画像信号が１０ビットであって、ＥＸＰ＿ＲＡＴＩＯを１６倍とした場合、合成画像についての出力ビット数として１４ビットを得ることが可能となる。

図７は、水平遅延線の構成を示すブロック図である。フリップフロップ（ＦＦ）は、画素ごとの信号を保持する。水平遅延線２３は、ラインＬ０、Ｌ２及びＬ４のそれぞれについて４画素の信号を保持し、水平方向の遅延を施す。

図８は、水平遅延線における同時刻化の対象とする画素について説明する図である。水平遅延線２３は、ＨＤＲ合成の対象である対象画素の信号と、８個の周辺画素の信号とを同時刻化する。周辺画素は、対象画素を中心とする５×５の画素ブロックに含まれる画素であって、対象画素と同色用の画素とする。

図示する例では、画素Ｐ２３は、ラインＬ２にて並列する５つの画素の中央に位置する対象画素である。画素Ｐ４１、Ｐ４３、Ｐ４５、Ｐ２１、Ｐ２５、Ｐ０１、Ｐ０３及びＰ０５は、画素Ｐ２３を対象画素とした場合の周辺画素である。Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５は、それぞれ画素Ｐ４１、Ｐ４３、Ｐ４５、Ｐ２１、Ｐ２３、Ｐ２５、Ｐ０１、Ｐ０３及びＰ０５の信号とする。

図９は、ブラー検出部及びブラー量調整部の構成を示すブロック図である。ブラー検出部２６には、水平遅延線２３にて同時刻化された９画素の信号が入力される。ラインＬ４の画素Ｐ４１、Ｐ４３及びＰ４５の信号Ｄ４１、Ｄ４３及びＤ４５は、中央の画素Ｐ４３の信号Ｄ４３を２倍として、加算器４１へ入力される。ラインＬ０の画素Ｐ０１、Ｐ０３及びＰ０５の信号Ｄ０１、Ｄ０３及びＤ０５は、中央の画素Ｐ０３の信号Ｄ０３を２倍として、加算器４１へ入力される。

加算器４１は、このＤ４１、Ｄ４３、Ｄ４５、Ｄ０１、Ｄ０３及びＤ０５を加算する。加算器４１は、ラインＬ４及びＬ０の信号を水平方向について平滑化させることで、ブラー量の検出へのノイズの影響を抑制させる。

ラインＬ２の画素Ｐ２１、Ｐ２３及びＰ２５の信号Ｄ２１、Ｄ２３及びＤ２５は、対象画素である画素Ｐ２３の信号Ｄ２３の信号を２倍として、加算器４２へ入力される。加算器４２は、このＤ２１、Ｄ２３及びＤ２５を加算する。加算器４２は、ラインＬ２の信号を水平方向について平滑化させることで、ブラー量の検出へのノイズの影響を抑制させる。乗算器４３は、加算器４２におけるラインＬ２についての加算結果を２倍にする。なお、ブラー検出部２６における平滑化のための構成は、適宜変更しても良い。

減算器４４は、加算器４１におけるラインＬ４及びＬ０についての加算結果から、乗算器４３におけるラインＬ２についての乗算結果を減算する。絶対値演算器（Ａｂｓ）４５は、減算器４４における減算結果の絶対値を算出する。絶対値演算器４５からは、１０ビットの信号が乗算器４６へ入力される。

ブラー検出部２６は、対象画素を含むラインＬ２の信号と、ラインＬ２の上下に位置し周辺画素を含むラインＬ４及びＬ０の信号との差分の絶対値を、被写体像におけるブラー量の推定値とする。本実施形態において、ブラー量は、信号レベル調整部２２による調整を経てからの、対象画素を含むラインＬ２と、ラインＬ２とは電荷蓄積期間が異なる上下のラインＬ４及びＬ０との信号レベルの差に相当する。

対象画素である画素Ｐ２３が長時間露光画素である場合、ブラー検出部２６は、画素Ｐ２３を含むラインＬ２上の長時間露光画素Ｐ２１、Ｐ２３及びＰ２５からの第１画像信号と、ラインＬ４及びＬ０上の短時間露光画素Ｐ４１、Ｐ４３、Ｐ４５、Ｐ０１、Ｐ０３及びＰ０５からの第２画像信号との差分を、画素Ｐ２３に対するブラー量と推定する。ラインＬ４及びＬ０は、第１水平ラインであるラインＬ２に対し垂直方向における近傍に位置する第２水平ラインである。

対象画素である画素Ｐ２３が短時間露光画素である場合、ブラー検出部２６は、画素Ｐ２３を含むラインＬ２上の短時間露光画素Ｐ２１、Ｐ２３及びＰ２５からの第２画像信号と、ラインＬ４及びＬ０上の長時間露光画素Ｐ４１、Ｐ４３、Ｐ４５、Ｐ０１、Ｐ０３及びＰ０５からの第１画像信号との差分を、画素Ｐ２３に対するブラー量と推定する。ラインＬ４及びＬ０は、第２水平ラインであるラインＬ２に対し垂直方向における近傍に位置する第１水平ラインである。

ブラー量調整部３０は、混合処理部２８での混合処理において加算する第２画像信号を調整するために、ブラー検出部２６で検出されたブラー量に調整を施す。乗算器４６は、絶対値演算器４５からの１０ビット信号に、８ビットのブラーゲイン（ＢＬＵＲ＿ＧＡＩＮ）を乗算する。乗算器４６は、ＢＬＵＲ＿ＧＡＩＮの乗算により、ブラー量のゲイン調整を実施する。

ブラー量調整部３０は、ＢＬＵＲ＿ＧＡＩＮを使用するブラー量の調整により、混合処理部２８における第２画像信号の加算量を所望のレベルに調整する。ＢＬＵＲ＿ＧＡＩＮは、例えば、所望とするＨＤＲ合成信号の出力特性に応じて適宜設定されるものとする。

乗算器４７は、乗算器４６による乗算結果に１／１０２４を乗算し、８ビットの信号とする。クリップ回路４８は、ブラー量に対し、予め設定された上限値（ＭＡＸ＿ＢＬＵＲ＿Ｗ）を使用するクリップ処理を施す。ＭＡＸ＿ＢＬＵＲ＿Ｗは、例えば、ＨＤＲ合成信号において許容し得るＳＮＲのレベルに応じて設定されるものとする。

クリップ回路４８は、乗算器４７からの信号（Ｉｎ１）と８ビットのＭＡＸ＿ＢＬＵＲ＿Ｗ（Ｉｎ２）とを比較する。例えば、Ｉｎ１＞Ｉｎ２が成立する場合、クリップ回路４８は、乗算器４７からの信号（Ｉｎ１）を出力する。Ｉｎ１＞Ｉｎ２が成立しない場合、クリップ回路４８は、ＭＡＸ＿ＢＬＵＲ＿Ｗ（Ｉｎ２）を出力する。ブラー量調整部３０は、クリップ回路４８からの信号４９を出力する。

なお、ブラー量調整部３０は、ゲインの乗算によるゲイン調整と、上限値によるクリップ処理との双方を実施する場合に限られない。ブラー量調整部３０は、ゲイン調整及びクリップ調整の一方を実施するものとしても良い。ＨＤＲ合成回路１３は、ブラー量調整部３０を設けず、ブラー検出部２６で検出されたブラー量に調整を実施せず、混合処理部２８へ入力させることとしても良い。

図１０は、補間処理部、画像信号選択部及び伸張処理部の構成を示すブロック図である。補間処理部２４には、水平遅延線２３にて同時刻化された９画素のうち対象画素である画素Ｐ２３の信号Ｄ２３と、その垂直方向に位置する画素Ｐ４３及びＰ０３の信号Ｄ４３及びＤ０３が入力される。

乗算器５２は、Ｄ２３を２倍にする。加算器５１は、Ｄ４３及びＤ０３を加算する。加算器５３は、加算器５１での加算結果である信号６２と、乗算器５２での乗算結果である信号６３とを加算する。乗算器５４は、加算器５３による加算結果を１／４倍とする。補間処理部２４は、伸張処理部２７に対して、乗算器５４による乗算結果を補間信号として出力する。また、補間処理部２４は、画像信号選択部２５に対して、信号６２及び６３を出力する。

図１１は、長時間露光画素に対する補間処理について説明する概念図である。補間処理部２４は、対象画素とする長時間露光画素ＰＬに対する補間処理には、長時間露光画素ＰＬからの第１画像信号と、長時間露光画素ＰＬの近傍に位置する２つの短時間露光画素ＰＳ１及びＰＳ２からの第２画像信号とを使用する。短時間露光画素ＰＳ１及びＰＳ２は、長時間露光画素ＰＬと同色用の画素である。短時間露光画素ＰＳ１及びＰＳ２は、それぞれ、垂直方向において１画素を介して長時間露光画素ＰＬと並列している。

補間処理部２４は、ＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳ１の第２画像信号、長時間露光画素ＰＬの第１画像信号、及びＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳ２の第２画像信号を、１：２：１の割合で加算し、さらに１／４を乗算する。補間処理を経て補間処理部２４から出力される補間信号は、長時間露光画素ＰＬに由来する信号成分を５０％包含している。

図１２は、短時間露光画素に対する補間処理について説明する概念図である。補間処理部２４は、対象画素とする短時間露光画素ＰＳに対する補間処理には、短時間露光画素ＰＳからの第２画像信号と、短時間露光画素ＰＳの近傍に位置する２つの長時間露光画素ＰＬ１及びＰＬ２からの第１画像信号とを使用する。長時間露光画素ＰＬ１及びＰＬ２は、短時間露光画素ＰＳと同色用の画素である。長時間露光画素ＰＬ１及びＰＬ２は、それぞれ、垂直方向において１画素を介して短時間露光画素ＰＳと並列している。

補間処理部２４は、長時間露光画素ＰＬ１の第１画像信号、ＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳの第２画像信号、及び長時間露光画素ＰＬ２の第１画像信号を、１：２：１の割合で加算し、さらに１／４とする。補間処理を経て補間処理部２４から出力される補間信号は、長時間露光画素ＰＬ１及びＰＬ２に由来する信号成分を５０％包含している。

移動する被写体を撮影する場合、固体撮像装置５は、露光時間が短いほどブレが少ない被写体像を得ることができる。長時間露光画素と短時間露光画素とでは、被写体像に生じるブレの程度に差が生じることとなる。長時間露光画素と短時間露光画素とを適用する場合、入射光量が飽和光量に達する前後で、長時間露光画素に由来する信号成分と短時間露光画素に由来する信号成分との比率が大きく変化することがある。

補間処理部２４は、長時間露光画素に由来する信号成分と短時間露光画素に由来する信号成分とを等しく含ませる補間処理を実施する。補間処理部２４は、第１画像信号と第２画像信号との比率に変化があった場合であっても、補間信号については入射光量に対する十分な連続性を確保することができる。

これにより、ＨＤＲ合成回路１３は、入射光量に対する信号レベルについて、飽和光量の前後における変化量の変動を抑制させるようなＨＤＲ合成を実施することができる。固体撮像装置５は、ＨＤＲ合成における不用な信号レベルの変動を抑制させることで、移動する被写体を撮影する場合における偽色等の不具合を低減させる。これにより、固体撮像装置５は、高品質な画像を得ることができる。

画像信号選択部２５は、補間処理部２４の加算器５１からの信号６２と乗算器５２からの信号６３とのうち、第２画像信号を選択する。セレクタ５５は、ライン識別カウント２０を選択制御入力信号として、信号６２及び６３のいずれかを選択する。選択制御入力信号「１」に対し、セレクタ５５は、Ｄ４３及びＤ０３の加算結果である信号６２を選択する。選択制御入力信号「０」に対し、セレクタ５５は、Ｄ２３についての乗算結果である信号６３を選択する。これにより、セレクタ５５は、短時間露光画素からの第２画像信号を常時出力する。乗算器５６は、セレクタ５５による選択結果に１／２を乗算する。画像信号選択部２５は、乗算器５６による乗算結果を出力する。

伸張処理部２７は、補間処理部２４での補間処理を経た補間信号に対する伸張処理を実施する。比較器５９は、伸張処理部２７へ入力された補間信号と所定の出力飽和レベル（例えば１０２３ＬＢＳ）とを比較する。比較器５９は、伸張処理部２７へ入力された補間信号が出力飽和レベルより大きい場合、比較結果として例えば「１」を出力する。比較器５９は、伸張処理部２７へ入力された補間信号が出力飽和レベル以下であった場合、比較結果として例えば「０」を出力する。

減算器５７は、伸張処理部２７へ入力された補間信号から出力飽和レベルを差し引く。乗算器５８は、減算器５７による減算結果に、伸張の倍率として２を乗算する。乗算器５８は、補間処理部２４における補間処理により出力飽和レベルを超過した信号レベル分に対し、伸張処理のための乗算を施す。加算器６０は、乗算器５８による乗算結果に出力飽和レベルを加算する。

セレクタ６１は、比較器５９からの比較結果を選択制御入力信号として、加算器６０からの信号と伸張処理部２７へ入力された補間信号とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ６１は、乗算器５８を使用する伸張処理を経て加算器６０から出力される信号を選択する。選択制御入力信号「０」に対し、セレクタ６１は、伸張処理前の補間信号を選択する。

これにより、伸張処理部２７は、ＨＤＲ合成により出力飽和レベルより高いレベルとなった信号を対象として、出力飽和レベルからの超過分を伸張させる処理を実施する。伸張処理部２７は、セレクタ６１で選択された信号６４を出力する。

図１３は、混合処理部の構成を示すブロック図である。混合処理部２８は、伸張処理部２７からの信号６４への第２画像信号の混合処理により、ブラー量に応じた第２画像信号の重み付けを信号６４へ施す。混合処理部２８には、伸張処理部２７からの信号６４、画像信号選択部２５からの信号６５、及びブラー量調整部３０からの信号４９が入力される。

減算器７０は、ブラー量調整部３０から混合処理部２８へ入力された信号４９を、８ビットへ変換された出力飽和レベル（２５６ＬＢＳ）から減算する。乗算器７１は、伸張処理部２７から混合処理部２８へ入力された信号６４と、減算器７０による減算結果とを乗算する。

乗算器７２は、画像信号選択部２５から混合処理部２８へ入力された信号６５と、ブラー量調整部３０から混合処理部２８へ入力された信号４９とを乗算する。加算器７３は、乗算器７１での乗算結果と乗算器７２での乗算結果とを加算する。乗算器７４は、加算器７３での加算結果に１／２５６を乗算する。混合処理部２８は、乗算器７４による乗算結果を出力する。ＨＤＲ合成回路１３は、混合処理部２８からの信号を、合成画像信号として出力する。

図１４は、長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図である。実線Ａ１は、長時間露光画素への入射光量と、第１画像信号のレベルとの関係を表す。実線Ａ２は、短時間露光画素への入射光量と、露光比ＥＸＰ＿ＲＡＴＩＯによる調整を経た第２画像信号のレベルとの関係を表す。

実線Ｂ１は、入射光量と、補間処理部２４での補間処理を経た補間信号のレベルとの関係を表す。かかる補間信号は、長時間露光画素に由来する信号成分を５０％包含する。実線Ｂ２は、入射光量と、混合処理部２８での混合処理を経た合成画像信号のレベルとの関係を表す。

補間信号は、被写体の移動等によって長時間露光画素と短時間露光画素とで出力特性が大きく異なることとなった場合に、飽和光量の前後において線形特性が大きく変動する場合がある。グラフは、出力飽和レベルにて大きく折れ曲げられたものとなる。この場合、合成画像には偽色が発生し易くなる。また、合成画像に生じるブラーは、できるだけ低減可能であることが望ましい。

短時間露光画素は、長時間露光画素に対して電荷蓄積時間が短く設定されていることから、輝度の変化に対する反応は、長時間露光画素に対し短時間露光画素のほうが優れている。ＨＤＲ合成回路１３は、ブラー量が大きくなるに従い、短時間露光画素からの第２画像信号の重み付けを大きくする混合処理を実施する。ＨＤＲ合成回路１３は、長時間露光画素に比べて被写体の動きに敏感な短時間露光画素からの出力の比率を、ブラー量が大きいほど高くすることで、合成画像におけるブラーの発生を抑制させることができる。

ＨＤＲ合成回路１３は、ＢＬＵＲ＿ＧＡＩＮを使用するゲイン調整により、ＨＤＲ合成信号の出力特性を適宜変化させる。ＨＤＲ合成回路１３は、出力飽和レベルでの特性の変化を少なくするような第２画像信号の重み付けにより、偽色等の不具合を低減させる。また、ＨＤＲ合成回路１３は、ＭＡＸ＿ＢＬＵＲ＿Ｗを使用するクリップ処理により、ＳＮＲの悪化を抑制させる。

ＨＤＲ合成回路１３は、長時間露光画素からの第１画像信号と短時間露光画素からの第２画像信号とを使用するＨＤＲ合成を実施することで、複数のフレームの画像を合成する場合に比べて、被写体像のブレを抑制させることができる。ＨＤＲ合成回路１３は、長時間露光ラインエリア１５からの出力と短時間露光ラインエリア１６からの出力との補間処理を実施することで、イメージセンサ１０が持つ解像度を半減させずに合成画像を取得することができる。

以上により、ＨＤＲ合成回路１３は、合成画像におけるブラーの発生を抑制可能とし、効果的なハイダイナミックレンジ合成を実施することができる。なお、図１４には、被写体の動きによって短時間露光画素の輝度が明るくなる変化があった場合の関係を表している。ＨＤＲ合成回路１３は、被写体の動きによって短時間露光画素の輝度が明るくなる変化があった場合と、短時間露光画素の輝度が暗くなる変化があった場合とのいずれに対しても、同様の処理を実施する。

本実施形態で説明する各回路構成は、本実施形態で説明する機能を実現可能な構成であれば良く、適宜変更可能であるものとする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５固体撮像装置、１０イメージセンサ、１２信号処理回路、１３ハイダイナミックレンジ合成回路、１５長時間露光ラインエリア、１６短時間露光ラインエリア、１７画素アレイ、２２信号レベル調整部、２４補間処理部、２５画像信号選択部、２６ブラー検出部、２８混合処理部、２９ゲイン調整回路、３０ブラー量調整部。

Claims

第１電荷蓄積期間における第１画素への入射光量に応じた第１画像信号と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における第２画素への入射光量に応じた第２画像信号とを合成するハイダイナミックレンジ合成回路を有し、
前記ハイダイナミックレンジ合成回路は、
前記第１電荷蓄積期間と前記第２電荷蓄積期間との比に応じて、前記第２画像信号の信号レベルを調整する信号レベル調整部と、
前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号と、が入力され、対象画素とする前記第１画素について、その近傍に位置する周辺画素である前記第２画素からの前記第２画像信号を使用する補間処理によって補間信号を生成し、対象画素とする前記第２画素について、その近傍に位置する周辺画素である前記第１画素からの前記第１画像信号を使用する補間処理によって補間信号を生成する補間処理部と、
前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号とを使用して、被写体像に生じたブラー量を検出するブラー検出部と、
前記補間信号への前記第２画像信号の混合処理により、前記ブラー量に応じた前記第２画像信号の重み付けを前記補間信号に施す混合処理部と、を有し、
前記ブラー検出部は、前記対象画素を含む第１水平ライン上の前記第１画素からの前記第１画像信号と、前記第１水平ラインに対し垂直方向における近傍に位置する第２水平ライン上の前記第２画素からの前記第２画像信号との差分を、前記対象画素とする前記第１画素における前記ブラー量と推定し、前記対象画素を含む前記第２水平ライン上の前記第２画素からの前記第２画像信号と、前記第２水平ラインに対し垂直方向における近傍に位置する前記第１水平ライン上の前記第１画素からの前記第１画像信号との差分を、前記対象画素である前記第２画素における前記ブラー量と推定することを特徴とする画像処理装置。
第１電荷蓄積期間における入射光量を検出する第１画素と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における入射光量を検出する第２画素と、を含む画素アレイと、
前記第１画素が前記入射光量に応じて出力する第１画像信号と、前記第２画素が前記入射光量に応じて出力する第２画像信号とを合成するハイダイナミックレンジ合成回路と、を有し、
前記画素アレイは、前記第１画素を水平方向へ並列させた第１ラインエリアと、前記第２画素を前記水平方向へ並列させた第２ラインエリアとが、垂直方向において交互に配置され、
前記ハイダイナミックレンジ合成回路は、
前記第１電荷蓄積期間と前記第２電荷蓄積期間との比に応じて、前記第２画像信号の信号レベルを調整する信号レベル調整部と、
前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号と、が入力され、対象画素とする前記第１画素について、前記対象画素を含む前記第１ラインエリアに隣接する前記第２ラインエリアに含まれる前記第２画素からの前記第２画像信号を使用する補間処理によって補間信号を生成し、対象画素とする前記第２画素について、前記対象画素を含む前記第２ラインエリアに隣接する前記第１ラインエリアに含まれる前記第１画素からの前記第１画像信号を使用する補間処理によって補間信号を生成する補間処理部と、
前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号とを使用して、被写体像に生じたブラー量を検出するブラー検出部と、
前記補間信号への前記第２画像信号の混合処理により、前記ブラー量に応じた前記第２画像信号の重み付けを前記補間信号に施す混合処理部と、を有し、
前記ブラー検出部は、前記対象画素を含む第１水平ライン上の前記第１画素からの前記第１画像信号と、前記第１水平ラインに対し垂直方向における近傍に位置する第２水平ライン上の前記第２画素からの前記第２画像信号との差分を、前記対象画素とする前記第１画素における前記ブラー量と推定し、前記対象画素を含む前記第２水平ライン上の前記第２画素からの前記第２画像信号と、前記第２水平ラインに対し垂直方向における近傍に位置する前記第１水平ライン上の前記第１画素からの前記第１画像信号との差分を、前記対象画素である前記第２画素における前記ブラー量と推定することを特徴とする固体撮像装置。