JP5569298B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

ＣＭＯＳイメージセンサを有する撮像装置、例えばビデオカメラやデジタルスチルカメラは、屋内や屋外、又は昼間や夜間といった様々な環境下での撮影に使用される。受光する光の変化に応じて、ＣＭＯＳイメージセンサにおける電荷蓄積期間を制御する電子シャッターは、露光時間を調整して、感度を最適値に設定する。

ＣＭＯＳイメージセンサを使用して、ダイナミックレンジを拡大するには、電子シャッターを高速に切ることで露光時間を調整する方法や、高速に複数のフレームを撮影し撮像結果を重ね合わせる方法等がある。

特許文献１では、低照度にて通常飽和レベルを狭めることなく、線形かつ高Ｓ／Ｎでの信号取得を可能にするとともに、通常飽和レベル以上の入射光に対しても線形領域での良好なＳ／Ｎを実現しながら、ダイナミックレンジを拡大できる技術が開示されている。この方法は、例えば図９に示すように、ｔ_４〜ｔ_５間の時間を１フレームの露光時間ｔ_０〜ｔ_６間の１／１６に設定する。そして、時刻ｔ_４で蓄積電荷ｄＭ以上の電荷を一旦リセットし、再度ｔ_４〜ｔ_５間で露光し、時刻ｔ_５で蓄積電荷ｄＭ以上の電荷をリセットする。そして、ｔ_４〜ｔ_５間で露光された電荷量ｄ_３−ｄ_Ｍと、１フレームの露光時間（ｔ_０〜ｔ_６）で露光された電荷量ｄ_４に基づいて、１フレームの露光によって得られる電荷量を算出する。以下、この方法を水門方式という。

特開２００８−９９１５８号公報

ところで、上記水門方式は、暗い撮影シーンでは、長い露光時間、例えば図９のｔ_０〜ｔ_６の露光時間を使用するため、暗部のＳ／Ｎが向上する広ダイナミックレンジ方式である。しかし、図９の例で示したｔ_４〜ｔ_５の露光時間と、ｔ_０〜ｔ_６の１フレームの露光時間の比で、１フレームの本来の蓄積電荷量を推測するため、露光時間を自由に変更することができない。そのため、明るい撮影シーンでは、撮像装置のアイリス（絞り）を絞ることで対応していた。

しかしながら、アイリスによる露光制御では、明るい撮影シーンでアイリスの開口が小さくなるため、光の回折によって画像全体にボケが生じ（いわゆる小絞りボケ）、ピントが合わなくなるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、明るい撮影シーンでアイリスによる露光制御を行わず、暗い撮影シーンでＳ／Ｎを向上させた広ダイナミックレンジを実現することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、光を電荷に変換する光電変換素子を有する単位画素が行列状に２次元配置された画素アレイ部と、第１の露光期間で所定の蓄積電荷以上に単位画素に蓄積された電荷に基づく第１の電荷量、又は第１の露光期間を含む第２の露光期間で単位画素に蓄積された全ての電荷に基づく第２の電荷量に基づいて信号レベルを決定する水門モードと、複数回の露光期間で単位画素にそれぞれ蓄積された全ての電荷に基づく複数の電荷量に基づいて信号レベルを決定する複数回露光モードのいずれかによって、信号レベルを決定する信号処理部とを備える画像処理装置が提供される。

上記信号処理部は、電荷に基づく検波値に基づいて信号レベルを調整するゲインを決定し、ゲインに基づいて水門モードと複数回露光モードのいずれかへ切り替える。

上記信号処理部は、水門モードであるとき、ゲインが０になった場合に複数回露光モードへ切り替える。また、上記信号処理部は、複数回露光モードであるとき、ゲインが予め設定したヒステリシス以上になった場合に水門モードへ切り替えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、光電変換素子を有する単位画素が行列状に２次元配置された画素アレイ部が、光を電荷に変換するステップと、信号処理部が、第１の露光期間で所定の蓄積電荷以上に単位画素に蓄積された電荷に基づく第１の電荷量、又は第１の露光期間を含む第２の露光期間で単位画素に蓄積された全ての電荷に基づく第２の電荷量に基づいて信号レベルを決定する水門モードと、複数回の露光期間で単位画素にそれぞれ蓄積された全ての電荷に基づく複数の電荷量に基づいて信号レベルを決定する複数回露光モードのいずれかによって、信号レベルを決定するステップとを備える画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、光電変換素子を有する単位画素が行列状に２次元配置された画素アレイ部が、光を電荷に変換するステップ、信号処理部が、第１の露光期間で所定の蓄積電荷以上に単位画素に蓄積された電荷に基づく第１の電荷量、又は第１の露光期間を含む第２の露光期間で単位画素に蓄積された全ての電荷に基づく第２の電荷量に基づいて信号レベルを決定する水門モードと、複数回の露光期間で単位画素にそれぞれ蓄積された全ての電荷に基づく複数の電荷量に基づいて信号レベルを決定する複数回露光モードのいずれかによって、信号レベルを決定するステップ、をコンピュータに実行させるためのプログラムが提供される。

以上説明したように本発明によれば、明るい撮影シーンでアイリスによる露光制御を行わず、暗い撮影シーンでＳ／Ｎを向上させた広ダイナミックレンジを実現することができる。

本発明の第１実施形態に係るＣＭＯＳイメージセンサの構成例を示すシステム構成図である。 単位画素の構成の一例を示す回路図である。 ドライバ回路の構成の一例を示す回路図である。 通常の読み出しの場合の動作を説明するためのタイミング図である。 高Ｓ／Ｎと広ダイナミックレンジ化を図る場合の動作を説明するためのタイミング図である。 転送トランジスタの制御電極に複数の電圧を選択的に供給した場合の画素内におけるポテンシャルの一例を示すポテンシャル図である。 複数回露光モードにおける蓄積電荷と時間の関係を示すグラフである。 複数回露光モードにおける蓄積電荷と時間の関係を示すグラフであって、図７に比べて低輝度の場合を示す。 水門モードにおける蓄積電荷と時間の関係を示すグラフである。 水門モードにおける蓄積電荷と時間の関係を示すグラフであって、図９に比べて低輝度の場合を示す。 水門モードにおける蓄積電荷と時間の関係を示すグラフであって、図１０に比べて低輝度の場合を示す。 水門モードにおける蓄積電荷と時間の関係を示すグラフであって、図１１に比べて低輝度の場合を示す。 ゲインと輝度の関係、アイリスと輝度の関係を示し、従来の露光制御の遷移を示すグラフである。 ゲインと輝度の関係、アイリスと輝度の関係を示し、本発明の第１実施形態の露光制御の遷移を示すグラフである。 ゲインと輝度の関係、アイリスと輝度の関係を示し、本発明の第１実施形態の露光制御の遷移を示すグラフであって、変更例を示す。 本発明の第１の実施形態の水門モードと複数回露光モードの切り替え動作を示すフローチャートである。 水門モードの蓄積電荷の電荷量の算出動作を示すフローチャートである。 本発明に係る撮像装置の構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１実施形態の構成
２．第１実施形態の動作

＜１．第１実施形態の構成＞
図１は、本発明の第１実施形態に係る固体撮像装置、例えばＣＭＯＳイメージセンサの構成例を示すシステム構成図である。

図１に示すように、本実施形態に係るＣＭＯＳイメージセンサ１０は、光電変換素子を含む単位画素（以下、単に「画素」と記す場合もある）２０が行列状（マトリクス状）に２次元配置されてなる画素アレイ部１１を有するとともに、当該画素アレイ部１１の周辺回路として、行選択回路１２、先行選択回路１３、論理回路１４、ドライバ回路１５、コントローラユニット１６、電圧供給回路１７、カラム回路１８および水平走査回路１９を有する構成となっている。

画素アレイ部１１には、単位画素２０の行列状の配列に対して、列毎に垂直信号線１１１が配線され、行毎に駆動制御線、例えば転送制御線１１２、リセット制御線１１３および選択制御線１１４が配線されている。

（画素回路）
図２に、単位画素２０の構成の一例を示す。本回路例に係る単位画素２０は、光電変換素子、例えばフォトダイオード２１に加えて、例えば転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の４つのトランジスタを有する画素構成、即ち特許請求の範囲における転送ゲートに相当する転送トランジスタ２２を有する破壊読出しの画素構成となっている。ここでは、これらトランジスタ２２〜２５として、例えばＮＭＯＳトランジスタを用いている。

転送トランジスタ２２は、フォトダイオード２１のカソード電極と電荷電圧変換部であるＦＤ（フローティングディフュージョン）部２６との間に接続され、フォトダイオード２１で光電変換され、ここに蓄積された信号電荷（ここでは、電子）を、ゲート電極（制御電極）に転送パルスＴＲＧが与えられることによってＦＤ部２６に転送する。

リセットトランジスタ２３は、画素電源ＶＤＤにドレイン電極が、ＦＤ部２６にソース電極がそれぞれ接続され、フォトダイオード２１からＦＤ部２６への信号電荷の転送に先立って、ゲート電極にリセットパルスＲＳＴが与えられることによってＦＤ部２６の電位を所定電位にリセットする。

増幅トランジスタ２４は、ＦＤ部２６にゲート電極が、画素電源ＶＤＤにドレイン電極がそれぞれ接続され、リセットトランジスタ２３によってリセットされた後のＦＤ部２６の電位をリセットレベルとして出力し、さらに転送トランジスタ２２によって信号電荷が転送された後のＦＤ部２６の電位を信号レベルとして出力する。

選択トランジスタ２５は、例えば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線１１１にそれぞれ接続され、ゲート電極に選択パルスＳＥＬが与えられることによってオン状態となり、画素２０を選択状態として増幅トランジスタ２４から出力される信号を垂直信号線１１１に出力する。

なお、選択トランジスタ２５については、画素電源ＶＤＤと増幅トランジスタ２４のドレイン電極との間に接続した構成を採ることも可能である。また、画素回路としては、上述した４トランジスタの構成に限られるものではなく、選択トランジスタ２５を省略し、増幅トランジスタ２４を選択トランジスタ２５として兼用する３トランジスタや、増幅トランジスタ２４を複数の単位画素間で共有する構成などであってもよい。

（行選択回路）
行選択回路１２は、特許請求の範囲における第１駆動手段に相当し、シフトレジスタあるいはアドレスデコーダ等によって構成され、コントローラユニット１６による制御の下に、転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬ等の画素駆動パルスを適宜発生することにより、画素アレイ部１１の各画素２０を電子シャッター行と読み出し行それぞれについて行単位で垂直方向（上下方向）に走査しつつ選択し、電子シャッター行に対してはその行の画素２０の信号掃き捨てを行うための電子シャッター動作を行うとともに、読み出し行に対してはその行の画素２０の信号読み出しを行うための読み出し動作を行う。

ここでは、図示を省略するが、行選択回路１２は、画素２０を行単位で順に選択走査しつつ、読み出し行の各画素２０の信号を読み出す読み出し動作を行うための読み出し走査系と、当該読み出し走査系による読み出し走査よりもシャッター速度に対応した時間分だけ先行して同じ行（電子シャッタ行）に対して電子シャッター動作を行うための電子シャッター走査系とを有する構成となっている。

そして、電子シャッター走査系による電子シャッター動作によってフォトダイオード２１の不要な電荷がリセットされたタイミングから、読み出し走査系による読み出し動作によって画素２０の信号が読み出されるタイミングまでの期間が、画素２０における信号電荷の蓄積期間（第１露光時間）となる。すなわち、電子シャッター動作とは、フォトダイオード２１に蓄積された信号電荷のリセット（掃き捨て）を行い、そのリセット後から新たに信号電荷の蓄積を開始する動作である。

（先行選択回路）
先行選択回路１３は、特許請求の範囲における第２駆動手段に相当し、複数の行選択回路、例えば２つの行選択回路１３Ａ，１３Ｂによって構成され、行選択回路１２が選択走査する読み出し行に先行して等間隔に複数行（本例では、２行）を選択走査する。

行選択回路１３Ａ，１３Ｂは、シフトレジスタあるいはアドレスデコーダ等によって構成され、コントローラユニット１６による制御の下に、行選択回路１２の選択走査に同期して、転送パルスＴＲＧを適宜発生することにより、行選択回路１２によって選択走査される読み出し行に先行して等間隔に２つの行を選択走査する。この選択走査では、転送パルスＴＲＧに基づいて、フォトダイオード２１に蓄積された信号電荷をＦＤ部２６に転送する動作が行われる。その詳細については後述する。

（論理回路）
論理回路１４は、コントローラユニット１６による制御の下に、行選択回路１２および先行選択回路１３の２つの行選択回路１３Ａ，１３Ｂからそれぞれ行選択のために出力される転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬを、ドライバ１５を通して画素アレイ部１１の転送制御線１１２、リセット制御線１１３および選択制御線１１４に供給するとともに、後述するように、転送パルスＴＲＧの電圧値を選択するための信号をドライバ回路１５に与える。

（ドライバ回路）
ドライバ回路１５は、行選択回路１２による選択走査に同期して、画素２０の各トランジスタ２２，２３，２５をＯＮ／ＯＦＦするための電圧の転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬを画素２０に供給するとともに、行選択回路１３Ａ，１３Ｂによる選択走査に同期して、画素２０の各トランジスタ２２，２３，２５をＯＮ／ＯＦＦするための電圧の中間的な電圧（以下、「中間電圧」と記述する）の転送パルスＴＲＧを画素２０に供給する。すなわち、ドライバ回路１５は、特許請求の範囲における第１乃至第３供給電圧制御手段としての機能を持つ。

図３は、ドライバ回路１５の構成の一例を示す回路図である。ここでは、ある１行に対応したドライバ回路１５の転送パルスＴＲＧについての単位回路の構成を示している。この転送パルスＴＲＧについての単位回路が、リセットパルスＲＳＴおよび選択パルスＳＥＬについての単位回路と共に、画素アレイ部１１の行数分だけ配置されることによってドライバ回路１５が構成される。

図３に示すように、本例に係るドライバ回路（単位回路）１５は、電圧供給回路１７から供給される例えば３つの電圧Ｖｔｒｇ１，Ｖｔｒｇ２，Ｖｔｒｇ３に対応した３つの回路ブロック１３１〜１３３と、２入力のＮＯＲ回路１３４とを有する回路構成となっている。

これら３つの電圧Ｖｔｒｇ１，Ｖｔｒｇ２，Ｖｔｒｇ３のうち、電圧Ｖｔｒｇ１とＶｔｒｇ３とが、画素２０の各トランジスタ２２，２３，２５をＯＮ／ＯＦＦするための電圧となり、電圧Ｖｔｒｇ２が先述した中間電圧となる。

本ドライバ回路１５には、行選択回路１２および行選択回路１３Ａ，１３Ｂからアドレス信号ＡＤＲが与えられるとともに、コントローラユニット１６による制御の下に論理回路１４から行選択のタイミングでタイミング信号ＰＴＲＧ１が、中間電圧を印加するタイミングでタイミング信号ＰＴＲＧ２がそれぞれ与えられる。

回路ブロック１３１は、アドレス信号ＡＤＲとタイミング信号ＰＴＲＧ１とを２入力とするＮＡＮＤ回路１３１１およびＰチャネルの駆動トランジスタ１３１３によって構成され、電圧Ｖｔｒｇ１を選択して転送トランジスタ２２のゲート電極に供給する。

回路ブロック１３２は、アドレス信号ＡＤＲとタイミング信号ＰＴＲＧ２とを２入力とするＡＮＤ回路１３２１およびＮチャネルの駆動トランジスタ１３２２によって構成され、中間電圧である電圧Ｖｔｒｇ２を選択して転送トランジスタ２２のゲート電極に供給する。

回路ブロック１３３は、アドレス信号ＡＤＲを一方の（否定）入力とし、ＮＯＲ回路１３４の出力信号を他方の入力とするＯＲ回路１３３１およびＮチャネルの駆動トランジスタ１３３２によって構成され、電圧Ｖｔｒｇ３を選択して転送トランジスタ２２のゲート電極に供給する。

すなわち、回路ブロック１３３は、転送トランジスタ２２をＯＦＦするための電圧として、例えば接地電圧あるいは接地電圧よりも低い電圧（例えば、−１．０Ｖ）を供給するために、ＮＯＲ回路１３４の作用により他の回路ブロック１３１，１３２とは排他的に動作する回路構成となっている。

（カラム回路）
カラム回路１８は、画素アレイ部１１の例えば画素列ごとに、即ち画素列に対して１対１の対応関係をもって配置された単位回路の集合からなり、行選択回路１２および行選択回路１３Ａ，１３Ｂによって選択された読み出し行の各画素２０から垂直信号線１１１を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。

このカラム回路１８としては、垂直信号線１１１を通して出力される信号をサンプルホールドするサンプルホールド回路からなる回路構成のものや、サンプルホールド回路を含み、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理により、リセットノイズや増幅トランジスタ２４の閾値ばらつき等、画素固有の固定パターンノイズを除去するノイズ除去回路からなる回路構成のものなどが用いられる。

ただし、カラム回路１８の上記構成については一例に過ぎず、これに限定されるものではない。例えば、カラム回路１６にＡ／Ｄ（アナログ／デジタル）変換機能を持たせ、信号レベルをデジタル信号で出力する構成を採ることも可能である。

（水平走査回路）
水平走査回路１９は、シフトレジスタあるいはアドレスデコーダ等によって構成され、画素アレイ部１１の画素列ごとにカラム回路１８の各単位回路を順に水平走査しつつ、カラム回路１８の各単位回路に一時的に保持されている画素の信号を順次出力する。

続いて、上記構成の本実施形態に係るＣＭＯＳイメージセンサ１０の動作について、図４のタイミング図を用いて説明する。

図２に示す画素回路構成の単位画素２０を行列状に配置されてなるＣＭＯＳイメージセンサ１０では、一般的に、図４（Ａ）に示すように、期間Ｔ１でフォトダイオード２１およびＦＤ部２６を所定電位にリセットし、期間Ｔ２で受光した光を電子に光電変換し、フォトダイオード２１に蓄積する。また、期間Ｔ２の後半部分の期間Ｔ４でＦＤ部２６をリセットし、このときのＦＤ部２６の電位をリセットレベルとして読み出し、しかる後期間Ｔ３でフォトダイオード２１に蓄積された電子をＦＤ部２６に転送し、このときのＦＤ部２６の電位を期間Ｔ５で信号レベルとして読み出す。

この通常の読み出し動作に対し、本発明では、高Ｓ／Ｎと広ダイナミックレンジ化を図ることを目的として、光電変換によって電子を蓄積する蓄積期間（第１露光時間）において、転送トランジスタ２２のゲート電極に第１制御電圧を供給するとともに、第１制御電圧とは異なる電圧値の第２制御電圧を１回又は複数回供給し、複数の第２制御電圧のいずれか１つ又は複数の供給に先行して、当該いずれか１つ又は複数の個々の第２制御電圧と同じ電圧値の第３制御電圧を1回又は複数回供給し、第１制御電圧が供給された際に転送トランジスタ２２によってＦＤ部２６に転送される信号電荷を読み出し、第２制御電圧を順次供給した際に転送トランジスタ２２によってＦＤ部２６に転送される信号電荷を１回以上読み出す駆動を行うことを特徴とする。

ここで、第１制御電圧は、フォトダイオード２１の蓄積電荷を転送トランジスタ２２によってＦＤ部２６に完全に転送できる電圧である。以下、第１制御電圧を完全転送電圧と記述する。また、第２，第３制御電圧は先述した中間電圧である。以下、第２，第３制御電圧を中間電圧と記述する。本例では、転送トランジスタ２２がＮＭＯＳトランジスタであることから、第１制御電圧と異なる電圧値とは、第１制御電圧よりも低い電圧値を意味する。当然のことながら、転送トランジスタ２２がＰＭＯＳトランジスタの場合は、第１制御電圧よりも低い電圧値ということになる。また、第２，第３制御電圧について、「同じ電圧値」とは、電圧値が完全同一の場合だけを言うのではなく、数％程度の多少の誤差も含むものとする。

具体的には、図４（Ｂ）に示すように、期間Ｔ１０でフォトダイオード２１およびＦＤ部２６をリセットし、期間Ｔ１１で受光した光を電子に光電変換し、フォトダイオード２１に蓄積する。次いで、期間Ｔ１２でＦＤ部２６をリセットする。ここで、期間Ｔ１２でのＦＤ部２６の電位をリセットレベルとして読み出しても構わない。

次に、期間Ｔ１３で転送トランジスタ２２のゲート電極に中間電圧（第３制御電圧）Ｖｔｒｇを供給し、入射光強度によって決まるフォトダイオード２１の蓄積電子の量に応じて部分的にＦＤ部２６へ転送する。期間Ｔ１４では、転送された電子の量に応じたＦＤ部２６の電位を信号レベルとして読み出し、必要に応じて、期間Ｔ１２で読み出したリセットレベルを用いて、例えばカラム回路１８においてノイズキャンセル処理を行う。

期間Ｔ１５では継続的に蓄積動作を実行し、期間Ｔ１６で再びＦＤ部２６をリセットする。ここで、期間Ｔ１６でのＦＤ部２６の電位をリセットレベルとして読み出しても構わない。さらに、期間Ｔ１７で転送トランジスタ２２のゲート電極に中間電圧（第３制御電圧）Ｖｔｒｇを供給し、期間Ｔ１３で転送されずにフォトダイオード２１に残った電子と期間Ｔ１５で蓄積された電子との和のうち、中間電圧印加による転送トランジスタ２２のポテンシャルを超えた分がＦＤ部２６へ転送される。期間Ｔ１８で信号レベルとして読み出しても構わない。

期間Ｔ１９から期間Ｔ２２では、転送トランジスタ２２のゲート電極に先の中間電圧と同じ電圧値の中間電圧（第２制御電圧）Ｖｔｒｇを印加して同様の動作を繰り返して実行する。また、期間Ｔ１１から期間Ｔ１４までの動作を、転送トランジスタ２２への供給電圧を変えながら1回あるいは複数回実行する。そして、期間Ｔ２３での露光後、期間Ｔ２４で再びリセット動作をしてリセットレベルを読み出し、次いで期間Ｔ２５では転送トランジスタ２２を完全にＯＮ状態にしてＦＤ部２６へ完全転送を実行し、期間Ｔ２６で信号レベルを読み出す。

ここで、転送トランジスタ２２のゲート電極に中間電圧Ｖｔｒｇを供給した場合の画素内におけるポテンシャルの一例を図５に示す。フォトダイオード２１に蓄積された電子数が多く、中間電圧Ｖｔｒｇの印加によるポテンシャルφｔｒｇを超える場合は、フォトダイオード２１に蓄積された電子は部分的にＦＤ部２６に転送される。

＜２．第１実施形態の動作＞
本実施形態は、水門方式及び複数回露光方式による問題を解決するため、水門方式と複数回露光方式を切り替える。複数回露光方式は、暗部の感度は水門方式に比べて良くないが、シャッタースピードを自由に変更できるという利点がある。そのため、明るい撮影シーンでは複数回露光方式を実施することによって、広ダイナミックレンジの撮影を、アイリスを使用せずシャッターによる露光制御で実現できる。その結果、明るい撮影シーンでアイリスを絞ることによって発生する小絞りボケの問題を回避できる。

水門モードと複数回露光モードの切替えについて説明する。水門モードと複数回露光モードの切替えは、撮像装置の自動露出（ＡＥ）における露出量の更新で実行される。露出量の更新は、例えば１フレーム毎に行われる。

露出量の更新において、まず、信号レベルに基づく画素値（例えば輝度値）を取得し、画面全体の明るさを表す検波値を取得する（ステップＳ１）。そして、検波値をもとにゲイン、アイリス、シャッターそれぞれの制御量を計算する（ステップＳ２）。

次に、撮像装置において、広ダイナミックレンジモードがＯＮに設定されているか否かを判断する（ステップＳ３）。広ダイナミックレンジモードがＯＦＦに設定されている場合は、通常のダイナミックレンジで撮影が行われる。

一方、広ダイナミックレンジモードがＯＮに設定されている場合は、水門モードによる撮影、又は複数回露光モードによる撮影が行われる。

まず、現在のモードが複数回露光モードであるか、水門モードであるかを判断する（ステップＳ４）。現在のモードが複数回露光モードである場合、計算されたゲインが予め設定された戻りのヒステリシス（ＸｄＢ）より大きいか否かを判断する（ステップＳ５）。ゲインがヒステリシス以下である場合は、複数回露光モードを維持する。一方、撮影シーンがより暗くなって、ゲインがヒステリシスを超えた場合は、水門モードへ変更し、ゲインを調整する（ステップＳ６）。水門モードは暗部のＳ／Ｎが複数回露光モードに比べて良いため、ゲインを一定量、例えば６ｄＢ低下させる。

一方、現在のモードが水門モードである場合、計算されたゲインが０（ゼロ）であるか否かを判断する（ステップＳ７）。ゲインが０でない場合は、水門モードを維持する。一方、撮影シーンが明るくなって、ゲインが０である場合は、複数回露光モードへ変更し、ゲインを調整する（ステップＳ８）。複数回露光モードは水門モードに比べて感度が悪くなるため、ゲインを一定量、例えば６ｄＢ上昇させる。

以上の動作によって、１フレーム毎の露出量の更新が終了する。

次に、図１４を参照して、水門モードと複数回露光モードの遷移について説明する。図１４は、ゲインと輝度の関係、シャッター速度と輝度の関係を示すグラフである。

本実施形態での広ダイナミックレンジモードでは、アイリスの調整を行わず、全開にしておく。
まず、画面全体が明るくなっていく場合の遷移について説明する。
画面全体が暗い撮影シーンでは、例えばゲインは６ｄＢに設定され、モードは水門モードに設定される。そして、水門モードにおいて、撮影シーンが明るくなったとき、例えば図１４の例では輝度がＬ_４を超えたとき、ゲインは低下していく。そして、輝度がＬ_５になったときゲインは０になる。このとき、モードは水門モードから複数回露光モードへ変更される。そして、ゲインは再び６ｄＢに設定される。その後、複数回撮影モードにおいて、撮影シーンが明るくなったとき、ゲインは低下していく。そして、例えば輝度がＬ_６になったときゲインは０になる。このとき、シャッター速度の調整を開始し、輝度がＬ_７になるまでシャッター速度を上げて露光量を調整していく。

次に、画面全体が暗くなっていく場合の遷移について説明する。
画面全体が明るいシーンでは、モードは複数回露光モードに設定される。そして、複数回露光モードにおいて、撮影シーンが暗くなったとき、例えば輝度がＬ_６以下になったとき、ゲインが上昇していく。そして、本実施形態では、ヒステリシスを持たせるため、輝度がＬ_５になってもモードを水門モードへ変更せず、複数回露光モードのままゲインを上昇させる。そして、例えば輝度がＬ_４まで暗くなり、ゲインが１２ｄＢになったとき、ゲインが予め設定しておいたヒステリシスより大きくなる。このとき、モードは複数回露光モードから水門モードへ変更される。そして、ゲインは再び６ｄＢに設定される。その後、画面全体が更に暗くなったときは、ゲインが一定のまま、水門モードが維持される。

このように、ヒステリシスを設けることで、モードの切り替わり時のゲインの変化による画像の急激な変化等を抑制できる。

なお、上述した例では、ヒステリシスを１２ｄＢとした例を示したが、図１５に示すように他の値（ＸｄＢ）でもよい。例えば輝度がＬ_８まで暗くなり、ゲインがＸｄＢになったとき、モードが複数回露光モードから水門モードへ変更される。そして、ゲインは６ｄＢ分低下して設定される。その後、水門モードにおいて、撮影シーンが暗くなったとき、ゲインは上昇していき、輝度がＬ_４になったとき、ゲインは６ｄＢに設定される。画面全体が更に暗くなったときは、ゲインが一定のまま、水門モードが維持される。

従来、水門モードで広ダイナミックレンジを得ようとした場合は、図１３に示すように、輝度がＬ_１を超えた後、輝度が高くなるにつれて、ゲインを低下させる。そして、輝度がＬ_２を超えてゲインが０に到達した後は、輝度がＬ_３になるまでアイリスを調整していた。しかし、アイリスによる露光制御では、明るい撮影シーンで絞りが小さくなるため、光の回折によって画像全体にボケが生じ（いわゆる小絞りボケ）、ピントが合わなくなるという問題があった。一方、本実施形態では、明るい撮影シーンにおいて複数回露光モードを使用するため、アイリスを用いずにシャッター速度で露光制御が可能となり、小絞りボケの問題を解消できる。

次に、水門モードの蓄積電荷の電荷量の算出について説明する。
水門モードでは、例えば図９〜図１２に示すように、ｔ_４〜ｔ_５間の時間を１フレームの露光時間ｔ_０〜ｔ_６間の１／１６に設定する。そして、時刻ｔ_４で蓄積電荷ｄＭ以上の電荷を一旦リセットし、再度ｔ_４〜ｔ_５間で露光し、時刻ｔ_５で蓄積電荷ｄＭ以上の電荷をリセットする。その後、蓄積電荷ｄ_Ｍに更に電荷を蓄積するようにｔ_５〜ｔ_６間で露光し、時刻ｔ_６で蓄積電荷０以上の電荷をリセットする。

そして、ｔ_４〜ｔ_５間で露光された電荷量ｄｓ＝ｄ_３−ｄ_Ｍ（但し、ｄｓ＞０）と、１フレームの露光時間（ｔ_０〜ｔ_６）で露光された電荷量に基づいて、１フレームの露光によって得られる電荷量を算出する。

具体的には、まず、ｔ_４〜ｔ_５間で露光された電荷量ｄｓ＝ｄ_３−ｄ_Ｍ（但し、ｄｓ＞０）を算出する（ステップＳ１１）。また、１フレームの露光時間（ｔ_０〜ｔ_６）で露光された電荷量ｄｌ＝ｄ_４を算出する（ステップＳ１２）。

図９及び図１０に示すように、時刻ｔ_４で蓄積電荷ｄ_Ｍ以上の電荷が蓄積されている場合は、ｔ_４〜ｔ_５間で露光された電荷量ｄｓを定数倍して、１フレームの露光時間で得られる本来の電荷量を算出する。一方、図１１及び図１２に示すように、時刻ｔ_４で蓄積電荷ｄ_Ｍ未満の電荷が蓄積されている場合は、時刻ｔ_４で電荷がリセットされないため、ｔ_４〜ｔ_５間で露光された電荷量ｄｓと、１フレームの露光時間（ｔ_０〜ｔ_６）で露光された電荷量ｄｌから１フレームの露光時間で得られる本来の電荷量を算出する。

例えば、ｔ_４〜ｔ_５間の時間を１フレームの露光時間ｔ_０〜ｔ_６間の１／１６に設定している場合、ｄｓ＋ｄｌが１６ｄｓ以上であるか否かを判断する（ステップＳ１３）。そして、ｄｓ＋ｄｌが１６ｄｓ以上である場合は、例えば図１１及び図１２のようなケースであり、ｄｓ＋ｄｌを１フレームの露光時間で得られる本来の電荷量に決定する（ステップＳ１４）。一方、ｄｓ＋ｄｌが１６ｄｓ未満である場合は、例えば図９及び図１０のようなケースであり、１６ｄｓを１フレームの露光時間で得られる本来の電荷量に決定する（ステップＳ１５）。

次に、複数回露光モードの蓄積電荷の電荷量の算出について説明する。
複数回露光モードでは、例えば図７及び図８に示すように、前期ｔ_１〜ｔ_２間の露光時間を後期ｔ_２〜ｔ_３間の露光時間の１／１６に設定する。そして、時刻ｔ_２と時刻ｔ_３で蓄積電荷０以上の電荷をリセットする。その後、ｔ_１〜ｔ_２間で露光された電荷量ｄ_１やｔ_２〜ｔ_３間で露光された電荷量ｄ_２（但し飽和レベル達していない場合）を使用して、１フレームの露光時間で得られる本来の電荷量を算出する。図７及び図８の例では、後期ｔ_２〜ｔ_３間の露光時間を１／２ｆｓに設定している場合を示しているが、複数回露光モードでは、この例に限定されない。例えば、前期ｔ_１〜ｔ_２間の露光時間や後期ｔ_２〜ｔ_３間の露光時間を更に短縮するなど、露光時間を自由に設定することができる。また、露光回数も２回に限定されず、３回以上でもよい。その結果、水門モードと異なり、アイリス（絞り）を使用しないで、明るい撮影シーンでも本来の電荷量を算出することができる。

暗い撮影シーンにおいて、複数回露光モードでは、露光時間を最長１／２ｆｓにしか設定できないが、水門モードでは、露光時間を最長１ｆｓとすることができる。そのため、本実施形態では、画面全体が暗いときに水門モードを使用することから、複数回露光モードを使用する場合に比べて、暗部の感度を向上させることができる。

［撮像装置］
本実施形態に係るＣＭＯＳイメージセンサ１０は、デジタルスチルカメラやビデオカメラ等の撮像装置において、その撮像デバイス（画像入力デバイス）として用いて好適なものである。

ここに、撮像装置とは、撮像デバイスとしての固体撮像装置、当該固体撮像装置の撮像面（受光面）上に被写体の像光を結像させる光学系および当該固体撮像装置の信号処理回路を含むカメラモジュール（例えば、携帯電話等の電子機器に搭載されて用いられる）、当該カメラモジュールを搭載したデジタルスチルカメラやビデオカメラ等のカメラシステムを言うものとする。

図１８は、本発明に係る撮像装置の構成の一例を示すブロック図である。図１８に示すように、本発明に係る撮像装置は、レンズ８１を含む光学系、撮像デバイス（撮像部）８２、カメラ信号処理回路８３等によって構成されている。

レンズ８１は、被写体からの像光を撮像デバイス８２の撮像面に結像する。撮像デバイス８２は、レンズ８１によって撮像面に結像された像光を画素単位で電気信号に変換して得られる画像信号を出力する。この撮像デバイス８２として、本実施形態に係るＣＭＯＳイメージセンサ１０が用いられる。カメラ信号処理部８３は、撮像デバイス８２から出力される画像信号に対して種々の信号処理を行う。

カメラ信号処理部８３は、信号処理部の一例であり、水門モードと複数回露光モードを切り替えて、水門モードまたは複数回露光モードのいずれかで信号レベルを決定する。また、カメラ信号処理部８３は、電荷に基づく検波値に基づいて信号レベルを調整するゲインを決定し、ゲインに基づいて、水門モードと複数回露光モードを切り替える。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ ＣＭＯＳイメージセンサ
１１ 画素アレイ部
１２，１３Ａ，１３Ｂ 行選択回路
１３ 先行選択回路
１４ 論理回路
１５ ドライバ回路
１６ コントローラユニット
１７ 電圧供給回路
１８ カラム回路
１９ 水平走査回路
２０ 単位画素
２１ フォトダイオード
２２ 転送トランジスタ
２３ リセットトランジスタ
２４ 増幅トランジスタ
２５ 選択トランジスタ
２６ ＦＤ（フローティングディフュージョン）部

Claims (5)

1. 光を電荷に変換する光電変換素子を有する単位画素が行列状に２次元配置された画素アレイ部と、
   第１の露光期間で所定の蓄積電荷以上に前記単位画素に蓄積された電荷に基づく第１の電荷量、又は前記第１の露光期間を含む第２の露光期間で前記単位画素に蓄積された全ての電荷に基づく第２の電荷量に基づいて信号レベルを決定する水門モードと、複数回の露光期間で前記単位画素にそれぞれ蓄積された全ての電荷に基づく複数の電荷量に基づいて信号レベルを決定する複数回露光モードのいずれかによって、前記信号レベルを決定する信号処理部と、
   を備え、
   前記信号処理部は、前記電荷に基づく検波値に基づいて前記信号レベルを調整するゲインを決定し、前記ゲインに基づいて前記水門モードと前記複数回露光モードのいずれかへ切り替える、画像処理装置。
2. 前記信号処理部は、前記水門モードであるとき、前記ゲインが０になった場合に前記複数回露光モードへ切り替える、請求項１に記載の画像処理装置。
3. 前記信号処理部は、前記複数回露光モードであるとき、前記ゲインが予め設定したヒステリシス以上になった場合に前記水門モードへ切り替える、請求項１又は２に記載の画像処理装置。
4. 光電変換素子を有する単位画素が行列状に２次元配置された画素アレイ部が、光を電荷に変換するステップと、
   信号処理部が、第１の露光期間で所定の蓄積電荷以上に前記単位画素に蓄積された電荷に基づく第１の電荷量、又は前記第１の露光期間を含む第２の露光期間で前記単位画素に蓄積された全ての電荷に基づく第２の電荷量に基づいて信号レベルを決定する水門モードと、複数回の露光期間で前記単位画素にそれぞれ蓄積された全ての電荷に基づく複数の電荷量に基づいて信号レベルを決定する複数回露光モードのいずれかによって、前記信号レベルを決定するステップと、
   前記信号処理部が、前記電荷に基づく検波値に基づいて前記信号レベルを調整するゲインを決定し、前記ゲインに基づいて前記水門モードと前記複数回露光モードのいずれかへ切り替えるステップと、
   を備える、画像処理方法。
5. 光電変換素子を有する単位画素が行列状に２次元配置された画素アレイ部が、光を電荷に変換するステップ、
   信号処理部が、第１の露光期間で所定の蓄積電荷以上に前記単位画素に蓄積された電荷に基づく第１の電荷量、又は前記第１の露光期間を含む第２の露光期間で前記単位画素に蓄積された全ての電荷に基づく第２の電荷量に基づいて信号レベルを決定する水門モードと、複数回の露光期間で前記単位画素にそれぞれ蓄積された全ての電荷に基づく複数の電荷量に基づいて信号レベルを決定する複数回露光モードのいずれかによって、前記信号レベルを決定するステップ、
   前記信号処理部が、前記電荷に基づく検波値に基づいて前記信号レベルを調整するゲインを決定し、前記ゲインに基づいて前記水門モードと前記複数回露光モードのいずれかへ切り替えるステップ、
   をコンピュータに実行させるためのプログラム。
   

Images