JP4847768B2

JP4847768B2 - 撮像装置及びその露光制御方法

Info

Publication number: JP4847768B2
Application number: JP2006064275A
Authority: JP
Inventors: 謙太郎新倉
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2006-03-09
Filing date: 2006-03-09
Publication date: 2011-12-28
Anticipated expiration: 2026-03-09
Also published as: US7884856B2; US20070211166A1; JP2007243680A

Description

本発明は、撮像装置及びその露光制御方法に関し、特に、複数の撮像画像を生成する撮像素子を有する撮像装置及びその露光制御方法に関する。

近年、ＣＣＤ（Charge Coupled Devices）などの撮像素子を有する撮像装置において、撮影した画像の高画質化を図るため、ノイズの低減やダイナミックレンジを拡大するための技術が種々提案されている。

従来から、ダイナミックレンジを拡大するために、ＣＣＤセンサで複数枚の画像を合成し重ね合わせる手法がとられている。複数枚の画像を重ね合わせる際に、手ぶれなどによる画ぶれ（位置ずれ）を補正することで、ダイナミックレンジの拡大とともに画質の劣化を抑止している。

一般に、ＣＣＤセンサは、露光することで受光部に電荷を蓄積し、蓄積した電荷を基板側に排出した（掃き捨て）後、排出した電荷を順次転送して撮像画像として出力する。ＣＣＤセンサは、制御回路から与えられる制御信号に応じて、これらの露光、電荷排出、画像出力を行っている。制御回路からＣＣＤセンサに与えられる制御信号の一つであるＳＵＢ（電荷掃き捨て、電荷排出）パルスによって、ＣＣＤセンサの露光（シャッタ）時間が制御されている。

また、ＣＣＤセンサでは、その構造上いくつかのノイズが発生し、このノイズが画質の劣化の原因となっている。ＣＣＤセンサのノイズの一つとして暗電荷（暗電流）ノイズが知られている。暗電荷ノイズは、光を遮断した状態で光に関係なく蓄積された電荷により生じるノイズである。暗電荷ノイズは、主に、ＣＣＤセンサに与えるＳＵＢパルスによって発生する。

図５は、暗電荷ノイズが発生した撮像画像のイメージを示している。１枚の撮像画像は、ＣＣＤセンサから、画像の上側から下側まで順に行単位で画素（電荷）が出力されて構成されている。図５において、５０１は、画像出力中にＳＵＢパルスが与えられて露光を行っていない非露光期間の画像であり、５０２は、ＣＣＤセンサが画像出力中にＳＵＢパルスが停止されて次の画像の露光を行っている露光期間の画像である。そして、露光期間５０１と非露光期間５０２の境界付近に、横筋状に暗電荷ノイズ５０３が発生する。

従って、一般に、高画質が要求されるスチル撮影時では、露光期間中（ＳＵＢパルス供給中）の画像を使用せずに、破棄している。ところが、画像重ね合わせにより画ぶれ補正を行う場合、できるだけ短い時間間隔で連続撮影した複数枚のスチル撮影画像が必要になるため、露光と画像出力を同時に行わざるを得ない。

図６は、従来の撮像装置において、複数毎の撮像画像を重ね合わせた例を示している。従来の撮像装置では、画像重ね合わせにより画ぶれ補正を行う場合、適正な露出（１合成画像当たりの総露光時間Ｂ）を撮影画像の枚数Ｎで等分した撮像画像ごとの露光時間（Ｂ／Ｎ）で複数枚の撮影を行い、Ｎ枚の撮像画像を重ね合わせる。この例では、３枚の撮像画像６０１ａ〜６０１ｃを重ね合わせて補正後の合成画像６０２を得ている。

図６に示されるように、Ｖｓｙｎｃ（垂直同期）信号の間隔で、ＣＣＤセンサにおいて露光と画像出力が行われる。ＳＵＢパルスが与えられている期間が非露光期間となり、ＳＵＢパルスが与えられていない期間が露光期間となり、ＳＵＢパルスによって排出された電荷を出力する期間が画像出力期間となる。

撮像画像６０１ａ〜６０１ｃでは、画像出力期間中に露光が開始されるため、露光開始する位置に暗電荷ノイズが発生する。従来の撮像装置では、ＳＵＢパルスを与える非露光期間、ＳＵＢパルスを与えない露光期間が撮像画像ごとに同じであり、露光開始するタイミングが同じであるため、各々の撮像画像で暗電荷ノイズが同一箇所に発生する。そうすると、これらの撮像画像を重ね合わせた合成画像６０２では、各撮像画像の暗電荷ノイズが重なってしまい、ノイズがより強調され目立ってしまうため、画質が大きく劣化する。

このような暗電荷ノイズを低減する従来の撮像装置として、特許文献１及び２が知られている。
特開２００２−１０１４３号公報特開２００１−２６８４４９号公報

しかしながら、上記の特許文献１や２などの従来の撮像装置では、物理シャッタ（メカシャッタ）の開放・遮光のタイミングとＳＵＢパルスのタイミングによって露光を制御することで、ノイズによる画質の劣化を抑止している。このため、従来の撮像装置では、物理シャッターを持たない場合には、暗電荷ノイズなどのノイズを低減し、画質劣化を抑止することができないという問題があった。

本発明にかかる撮像装置は、制御信号に応じて露光し複数の撮像画像を出力する撮像素子と、前記出力された複数の撮像画像を合成して合成画像を生成する画像合成部と、前記撮像素子の露光開始するタイミングが、前記撮像画像の出力期間に含まれる場合、前記複数の撮像画像ごとに異なるように前記制御信号を前記撮像素子へ与える露光制御部と、を有するものである。この撮像装置によれば、撮像素子の制御信号のみで露光時間を制御するため、物理シャッタを持たない場合でも、暗電荷ノイズなどのノイズを低減し、画質劣化を抑止することができる。

本発明にかかる撮像装置の露光制御方法は、制御信号に応じて露光し複数の撮像画像を撮像素子によって出力し、前記出力された複数の撮像画像を合成して合成画像を生成し、前記撮像素子の露光開始するタイミングが、前記撮像画像の出力期間に含まれる場合、前記複数の撮像画像ごとに異なるように前記制御信号を前記撮像素子へ与えるものである。この撮像装置の露光制御方法によれば、撮像素子の制御信号のみで撮像素子の露光時間を制御するため、物理シャッタを持たない場合でも、暗電荷ノイズなどのノイズを低減し、画質劣化を抑止することができる。

本発明によれば、物理シャッタを持たない場合でも、画像のノイズを低減し、画質劣化を抑止できる撮像装置及び露光制御方法を提供することができる。

発明の実施の形態１．
まず、本発明の実施の形態１にかかる撮像装置について説明する。本実施形態にかかる撮像装置は、撮像画像ごとに露光時間を変化させ、暗電荷ノイズを低減させることを特徴としている。

図１を用いて、本実施形態にかかる撮像装置の構成について説明する。この撮像装置１００は、複数の画像の重ね合わせにより画ぶれ補正を行う。図に示されるように、撮像装置１００は、露光制御部１、ＣＣＤセンサ２、ＲＡＭ３、画像合成部４を備えている。

ＣＣＤセンサ２は、入射される光を光電変換した電荷によって撮像画像を生成する固体撮像素子である。尚、ＣＣＤセンサ２に限らず、ＣＣＤ以外のＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ等の撮像素子でもよい。特に、ＣＣＤセンサ２は、物理シャッタではなく電子シャッタによって露光を行うものであり、ＳＵＢパルス（電荷排出パルス）などの制御信号に応じて露光し複数の撮像画像を出力する撮像素子である。

例えば、ＣＣＤセンサ２は、色フィルタ、フォトダイオード等の受光部、電荷転送部、電荷増幅部等を有している。受光部が、色フィルタからの入射光を光電変換して電荷を蓄積し、電荷転送部が、ＳＵＢパルスに応じて受光部から排出された電荷を転送し、電荷増幅部が、電荷転送部から転送された電荷を信号電圧に変換し撮像画像（画像データ）として出力する。ＣＣＤセンサ２は、ＳＵＢパルスが与えられている間、露光を行う。つまり、ＳＵＢパルスが与えられている間が、露光を行わない非露光期間となり、ＳＵＢパルスが与えられない間が、露光を行う露光期間となる。

ＲＡＭ（Random Access Memory）３は、ＣＣＤセンサ２から出力される複数の撮像画像を格納するメモリである。画像合成部４は、ＣＣＤセンサ２が出力しＲＡＭ３に格納した複数の撮像画像を取得し、複数の撮像画像を重ね合わせて合成し１つの合成画像を生成する。また、画像合成部４は、複数の撮像画像を重ね合わせる際に、複数の画像の画ぶれを検出し、画ぶれを補正する画ぶれ検出・補正部でもある。

露光制御部１は、例えば、ＣＣＤセンサ２を駆動する駆動回路の一部であり、ＣＣＤセンサ２にＳＵＢパルス（電荷排出パルス）などの制御信号を与えることによって、ＣＣＤセンサ２の露光時間を制御する。本実施形態では、露光制御部１は、ＣＣＤセンサ２の露光開始するタイミングが、撮像画像の出力期間に含まれる場合、複数の撮像画像ごとに異なるようにＳＵＢパルスをＣＣＤセンサ２へ与える。

露光制御部１は、露光時間算出部１２と露光時間分割部１１を有している。露光時間算出部１２は、適正な露出に必要な１合成画像当たりの総露光時間Ｂを算出し、この総露光時間Ｂを露光時間分割部１１へ与える。

露光時間分割部１１は、露光時間算出部１２が算出した総露光時間Ｂを、撮像画像ごとの分割露光時間Ｃに分割し、分割露光時間Ｃに合わせてＣＣＤセンサ２にＳＵＢパルスを与える。従来の撮像装置では、画像重ね合わせ枚数がＮ枚のとき、各々の撮像画像の露光時間はＢ／Ｎで常に固定としていたが、本実施形態では、各々の撮像画像の個別露光時間Ｃ（シャッタ速度）を、それぞれの撮像画像で一致しないように変化させる。

すなわち、露光時間分割部１１は、１合成画像当たりの総露光時間Ｂを所定の値に保ち、かつ、１合成画像に含まれる各撮像画像の分割露光時間Ｃをそれぞれ別の値とする。このようにして得られた連写画像では各々の明るさ（露光時間）が異なるものの、ＳＵＢパルスによる暗電荷ノイズが分散するため、画像の重ね合わせを行ってもノイズが目立つことがない。また、全画像の合計の露光時間は適正な総露光時間Ｂに一致するため、画ぶれ補正結果に影響はない。

露光時間分割部１１は、総露光時間Ｂの範囲内で分割露光時間Ｃを別々の値にできる構成であればよい。例えば、総露光時間Ｂに対応した分割露光時間Ｃをメモリにあらかじめ格納しておき、これを取得してもよいし、総露光時間Ｂと撮像画像の枚数Ｎから所定の関数などに基づいて算出してもよい。

図２は、露光時間分割部１１の構成の一例を示すブロック図である。例えば、露光時間分割部１１は、分割露光時間判定部２１、総露光時間判定部２２、露光時間・非露光時間決定部２３、制御信号出力部２４を有している。

分割露光時間判定部２１は、総露光時間Ｂから撮像画像の枚数Ｎの数の分割露光時間Ｃを算出し、撮像画像ごとに別々の値となっているか判定する。総露光時間判定部２２は、分割露光時間Ｃの合計が、総露光時間Ｂと一致するかどうか判定する。

露光時間・非露光時間決定部２３は、分割露光時間判定部２１の判定と、総露光時間判定部２２の判定に基づいて、撮像画像ごとに露光時間と非露光時間を決定する。制御信号出力部２４は、露光時間・非露光時間決定部２３が決定した露光時間・非露光時間でＣＣＤセンサ２へ制御信号を出力する。ここでは、非露光時間に合わせてＳＵＢパルスを出力する。

次に、本実施形態にかかる撮像装置において撮像した画像を合成する例について説明する。図３は、単純に露光時間を撮像画像ごとに別に制御した場合の例である。この例では、３枚の撮像画像３０１ａ〜３０１ｃを重ね合わせて補正後の合成画像３０２を得ている。

図３に示されるように、露光制御部１からＣＣＤセンサ２にＶｓｙｎｃ（垂直同期）信号とＳＵＢパルスが与えられると、ＣＣＤセンサ２がこれらの信号に応じて、露光と撮像画像３０１ａ〜３０２ｃの出力を行い、画像合成部４がこれらの撮像画像を合成して合成画像３０２を生成する。ＣＣＤセンサ２は、Ｖｓｙｎｃ信号の間隔で、１枚の撮像画像の露光と画像出力を行う。上記のように、ＳＵＢパルスが与えられている期間が非露光期間であり、ＳＵＢパルスが与えられていない期間が露光期間であり、ＳＵＢパルスによって排出された電荷を出力する期間が画像出力期間である。

本実施形態では、露光制御部１からのＳＵＢパルスの出力時間を撮像画像ごとに別にしているため、露光時間及び非露光時間が撮像画像ごとに相違する。そうすると、撮像画像における露光開始位置が異なるため、ＳＵＢパルスによる暗電荷ノイズの発生位置が分散することになる。このため、これらの画像を重ね合わせた合成画像３０２は、複数の箇所に暗電荷ノイズが発生するものの、暗電荷ノイズが重ならないため、それぞれの暗電荷ノイズは小さいままであり、従来のように強調されて目立つことがない。

このように、本実施形態では、ＣＣＤセンサにおける露光時間を撮像画像ごとに別々にして、露光開始位置を変化させるようにした。これにより、各撮像画像で発生するノイズが重ならずに分散するため、画質の劣化を抑止することができる。また、露光時間の総量が変化しないように調整することで、重ね合わせ後に得られる画像の明るさを一定に保つことができる。

特に、本実施形態では、ＣＣＤセンサの制御信号（ＳＵＢパルス）のみによって、露光時間を制御するため、従来のように物理シャッタを用いることなく、画質の劣化を抑止することができる。

発明の実施の形態２．
まず、本発明の実施の形態１にかかる撮像装置について説明する。本実施形態にかかる撮像装置は、画像出力期間を避けた期間を露光を行い、暗電荷ノイズを低減させることを特徴としている。

本実施形態にかかる撮像装置１００や露光時間分割部１１の構成は、図１及び図２と同様である。本実施形態では、露光制御部１において、各撮像画像の露光時間を制御する際に、露光時間が画像出力時間と重ならないようにする。

ここで、本実施形態にかかる撮像装置において撮像した画像を合成する例について説明する。図４は、露光時間が画像出力時間に重ならないように制御した場合の例である。この例では、任意の複数枚撮像画像４０１ａ〜４０１ｘを重ね合わせて補正後の合成画像４０２を得ている。

本実施形態では、露光制御部１から画像出力期間の間、露光制御部１からＣＣＤセンサ２にＳＵＢパルスを出力するため、画像出力期間と露光期間が重ならない。すなわち、ＣＣＤセンサ２で、画像出力が終わった後で露光が開始されるため、撮像画像内にＳＵＢパルスによる暗電荷ノイズが発生しなくなる。したがって、これらの画像を重ね合わせた合成画像４０２は、暗電荷ノイズを含まない画像となる。

このように、本実施形態では、露光時間が画像出力時間と重ならないため、画像重ね合わせ枚数は適正露出に必要な総露光時間によって増減することになるが、ＳＵＢパルスによる暗電荷ノイズの影響を完全に排除することができ、実施の形態１よりも高画質化を図ることができる。また、実施の形態１と同様に、従来のように物理シャッタを用いることなく、画質の劣化を抑止することができる。

尚、上述の実施の形態に限らず、このほか、本発明の要旨を逸脱しない範囲で種々の変形、実施が可能である。

本発明にかかる撮像装置の構成を示すブロック図である。本発明にかかる露光時間分割部の構成を示すブロック図である。本発明にかかる撮像装置における撮像画像の合成動作を示すタイミングチャートである。本発明にかかる撮像装置における撮像画像の合成動作を示すタイミングチャートである。撮像画像に発生する暗電荷ノイズを説明するための図である。従来の撮像装置における撮像画像の合成動作を示すタイミングチャートである。

符号の説明

１露光制御部
２ＣＣＤセンサ
３ＲＡＭ
４画像合成部
１１露光時間分割部
１２露光時間算出部
２１分割露光時間判定部
２２総露光時間判定部
２３露光時間決定部
２４制御信号出力部
１００撮像装置

Claims

制御信号に応じて複数回露光し複数の撮像画像を出力する撮像素子と、
前記出力された複数の撮像画像を合成して合成画像を生成する画像合成部と、
前記撮像素子の複数回の露光において露光開始するタイミングが前記撮像画像の出力期間に含まれる場合、前記複数の撮像画像ごとに露光開始するタイミングが異なるように撮像画像ごとの露光時間を決定し、当該露光時間による露光を実行させる前記制御信号を前記撮像素子へ与える露光制御部と、を有する、
撮像装置。
前記露光制御部は、前記複数の撮像画像ごとに前記撮像素子の前記露光時間が異なるように制御する、
請求項１に記載の撮像装置。
前記露光制御部は、前記複数の撮像画像の前記露光時間の合計を所定の時間とする、
請求項１又は２に記載の撮像装置。
前記露光制御部は、露光時間算出部と露光時間分割部と、を備え、
前記露光時間算出部は、適正な露出に必要な１合成画像当たりの総露光時間を算出し、前記総露光時間を前記露光時間分割部に与え、
前記露光時間分割部は、前記総露光時間を撮像画像ごとの前記露光時間に分割し、前記分割した露光時間に合わせて前記撮像素子に前記制御信号を与える、
請求項１乃至３のいずれか一つに記載の撮像装置。
前記露光制御部は、前記撮像素子の露光期間と前記撮像画像の出力期間とが重ならないように制御する、
請求項１乃至４のいずれか一つに記載の撮像装置。
前記撮像素子は、前記複数回の露光の露光期間がそれぞれ重複しないように露光を実行する、
請求項１乃至５のいずれか一つに記載の撮像装置。
前記撮像素子の行う複数回のそれぞれの露光は、周期的な同期信号に応じて実行され、
前記露光制御部は、前記同期信号に基づいたタイミングで前記制御信号を前記撮像素子へ与える、
請求項１乃至６のいずれか一つに記載の撮像装置。
前記撮像素子に与えられる制御信号は、前記撮像素子が電荷を排出するための電荷排出パルスであり、
前記露光制御部は、前記電荷排出パルスのパルス数を変えることによって露光期間と前記撮像画像の出力期間との重複期間を制御する、
請求項１乃至７のいずれか一つに記載の撮像装置。
制御信号に応じて複数回露光し複数の撮像画像を撮像素子によって出力し、
前記出力された複数の撮像画像を合成して合成画像を生成し、
前記撮像素子の複数回の露光において露光開始するタイミングが前記撮像画像の出力期間に含まれる場合、前記複数の撮像画像ごとに露光開始するタイミングが異なるように撮像画像ごとの露光時間を決定し、当該露光時間による露光を実行させる前記制御信号を前記撮像素子へ与える、
撮像装置の露光制御方法。