JP5078458B2 - 撮像装置及びその制御方法並びに撮像システム - Google Patents

Description

本発明は、静止画撮影中の露光状態を確認可能な撮像装置及びその制御方法並びに撮像システムに関する。

銀塩写真では、フィルムを現像するまで露光状態が分からなかったが、デジタルカメラではその場で露光状態を確認できるようになった。

特許文献１は、長露光時間の撮影においても、露光状態を確認することができる技術を開示している。この技術では、破壊読出しの撮像素子の一部の特定画素を所定時間間隔で露光期間中に読み出して、順次加算しながら表示している。

特許文献２は、非破壊読み出しの撮像素子を用いることによって、本露光中に露光状態を表示することができる技術を開示している。
特開２００５−１１７３９６号公報 特開２００２−２７３２６号公報

静止画の長秒撮影において露光状態を見るためには、露出中に画像信号を読み出して、デジタル化された画像をデジタルで加算する方法が考えられる。しかしながら、複数回に分割して読み出すと、読み出し回路で発生するランダムノイズや固定パターンノイズが増幅され、静止画の画質が劣化する。また、１回あたりの露光量が不十分となり、量子化誤差に隠れて画像が得られない可能性もある。

また、特許文献１の方法では、露光状態表示用の画像については、上記のデジタルで加算する場合の問題があり、また露光状態表示では常に同じ場所の画素を用いるために表示されない画素が存在する。逆に、静止画については、露光状態表示に使った画素の情報が欠落するという問題がある。

また、デジタルで加算せずにアナログで加算する方法として、撮像素子から非破壊で読み出す方法が考えらる。ＣＭＯＳ構造は非破壊読み出しが容易であるが、ノイズが少ない高性能なものとするためには、フォトダイオードから完全転送を行う破壊読出しを行わなければならない。

本発明は、上記の課題に鑑みてなされたものであり、記録用の画像を生成する露光動作中における信号の出力を低ノイズで行うことを目的とする。

本発明の第１の側面は、撮像装置に係り、複数の画素を含む撮像素子と、前記撮像素子により撮影される撮影画像を表示する表示手段と、前記撮像素子を露光して発生した電荷を蓄積する露光動作中に、前記撮像素子から読み出す一フレーム分の画素を複数のグループに分け、設定された時間間隔でグループ毎に順番に画素の信号を前記撮像素子から読み出し、読み出した前記グループ毎の画素の信号に基づいて生成した表示用の画像を前記表示手段に順次出力するとともに、前記露光動作が終了したときに、前記撮像素子から一フレーム分の画素の信号を読み出すように制御する制御手段と、前記露光動作中に読み出した前記グループ毎の画素の信号を、前記露光動作が終了したときに読み出した前記一フレーム分の画素の信号に加算することにより、記録用の画像を生成する画像処理手段と、を備えることを特徴とする。

本発明の第３の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。

本発明の第３の側面は、複数の画素を含む撮像素子と、前記撮像素子により撮影される撮影画像を表示する表示手段とを備える撮像装置の制御方法であって、制御手段による制御により、前記撮像素子を露光して発生した電荷を蓄積する露光動作中に、前記撮像素子から読み出す一フレーム分の画素を複数のグループに分け、設定された時間間隔でグループ毎に順番に画素の信号を前記撮像素子から読み出す部分読み出し工程と、表示制御手段が、読み出した前記グループ毎の画素の信号に基づいて生成した表示用の画像を前記表示手段に順次出力させる表示工程と、前記制御手段による制御により、前記露光動作が終了したときに、前記撮像素子から一フレーム分の画素の信号を読み出すフレーム読み出し工程と、前記制御手段による制御により、前記露光動作中に読み出した前記グループ毎の画素の信号を、前記露光動作が終了したときに読み出した前記一フレーム分の画素の信号に加算することにより、記録用の画像を生成する生成工程と、を含むことを特徴とする。

本発明によれば、記録用の画像を生成する露光動作中における信号の出力を低ノイズで行うことができる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る撮像装置の構成を示すブロック図である。

１は撮像素子であり、破壊読出しを行う。２はＡＤ変換器でありアナログ信号をデジタル信号に変換する。３はメモリであり画像信号を記憶する。４は画像処理手段でありメモリ３に記憶された画像信号の合成や現像などの画像処理を行う。５は制御手段であり撮像装置全体の制御を行う。６は操作手段であり撮影者の操作を受け付ける。７は表示手段であり画像やメニューの表示を行う。８は記録手段であり撮影した画像を記録する。９はタイミング発生回路であり撮像素子１の駆動を行う。また、上記の撮像装置に光学系を搭載し、光学系からの被写体像を撮像素子１に結像させることによって撮影画像を得る撮像システムが構成される。

図２は、本発明の好適な第１の実施形態に係る撮像装置の動作を説明する図である。図２（ａ）は、撮像素子１から読み出す画素を示し、図２（ｂ）は、表示画像の読み出しタイミングを示している。図２（ｂ）において、横軸は時間を示し、図の右側に行くほど時間が経過した状態を示す。

図２（ａ）に示すように、撮像素子１は、複数の画素を含む。これらの複数の画素は、複数のグループに分けられる。グループ分けの方法としては、記録用の画像を生成する露光動作中（本露光中）に、撮像素子１から間引き読み出しを行ったときに、間引き読み出しの対象となる画素が異なるように、各画素をグループ分けする。例えば、撮像素子１のカラー・フィルタ配列として、ベイヤー配列を用いた場合を例に挙げる。この場合、撮像素子１の各画素を、縦横それぞれ１／９に間引かれた画素で構成される９つのグループに分けることができる。９つのグループの各グループの画像の大きさは、全画素の画像の１／３となるが、露光状態を確認するには十分な大きさである。この９グループは異なる画素で構成されるため、全グループの画像を合わせると全画面の画像が構成される。

次に、撮像装置の動作について図２（ｂ）を参照して説明する。本実施形態では、上記の９つのグループのうち、３つのグループｇｒｏｕｐ１〜ｇｒｏｕｐ３の画素の信号を読み出す場合を例に示す。

まず、制御手段５は、本露光時における長秒の蓄積開始からＴ１のタイミングで、一フレーム分の画素の第１の一部分であるｇｒｏｕｐ１の画素の信号を読み出し、表示手段７に順次出力させる。次いで、制御手段５は、本露光時における長秒の蓄積開始からＴ２のタイミングで、一フレーム分の画素の第２の一部分であり、ｇｒｏｕｐ１とインタレースの関係にあるｇｒｏｕｐ２の画素の信号を読み出し、表示手段７に出力させる。ここで、本露光中にｇｒｏｕｐ１の画素の信号を既に読み出しているため、ｇｒｏｕｐ１の画素からは信号の読み出しを行わないようにする。次いで、制御手段５は、本露光時における長秒の蓄積開始からＴ３のタイミングで、一フレーム分の画素の第３の一部分であるｇｒｏｕｐ３の画素の信号を読み出し、表示手段７に出力させる。ここでも、本露光中にｇｒｏｕｐ１及びｇｒｏｕｐ２の画素の信号を既に読み出しているため、ｇｒｏｕｐ１及びｇｒｏｕｐ２の画素からは信号の読み出しを行わないようにする。このように、制御手段５は、本露光中に、撮像素子１を構成する複数の画素の信号のうち、本露光中にまだ読み出されていない画素の信号を、設定された時間間隔で表示手段７に出力させる。

その後、制御手段５は、設定された蓄積終了時間又は表示手段７の表示を見て撮影者が操作手段６を操作して蓄積終了を指示した時間Ｔ４で、各ブロックの全画素の信号を読み出し、メモリ３に出力させる。このときに読み出される画素の信号量は、グループによって異なる。例えば、ｇｒｏｕｐ１ではＴ１〜Ｔ４、ｇｒｏｕｐ２ではＴ２〜Ｔ４、ｇｒｏｕｐ３ではＴ３〜Ｔ４までに各画素に蓄積された信号が読み出される。記録用の画像は、Ｔ１、Ｔ２、Ｔ３でそれぞれ読み出してメモリ３に格納した各グループの画素の信号と、Ｔ４で読み出してメモリ３に格納した一フレーム分の画素の信号と、を対応する画素毎に合成すればよい。

従来であれば、特定画素又は全画素を４回読み出すことになるため、読み出しノイズが大きかった。これに対し、本実施形態によれば、各画素の読み出し回数が２回で済み、読み出しにより発生するノイズが低減される。また、画素からの読み出し回数が少ないため、画素に十分な光量が入り、Ｓ／Ｎ比が向上するため、量子化誤差で埋もれてしまうということもない。また、蓄積時間が長い場合には、９グループに分けているので１／９回の読み出しで済む。

図３は、本発明の好適な第１の実施形態に係る撮像装置の駆動制御を示すフローチャートである。

ｓｔｅｐ１では、操作手段６によって長秒露光の撮影の露光状態の表示設定が行われる。

ｓｔｅｐ２では、操作手段６によって露光時間が設定される。

ｓｔｅｐ３では、操作手段６によって静止画撮影がスタートし、撮像素子１の蓄積動作（露光動作）が開始される。

ｓｔｅｐ４では、操作手段６によって蓄積動作（露光動作）の停止操作があったか、又は、ｓｔｅｐ２で設定した露光時間が終了したかを判断する。ｓｔｅｐ４の条件を満たせば（ｓｔｅｐ４で「ＹＥＳ」）ｓｔｅｐ１０に進み、ｓｔｅｐ４の条件を満たしていなければ（ｓｔｅｐ４で「ＮＯ」）ｓｔｅｐ５に進む。

ｓｔｅｐ５では、図４を参照して後述するが、画像読み出しのフレームレートが画像表示のフレームレートより低いため、読み出しフレーム間で、表示画像の明るさを蓄積時間に応じてゲイン補正する。蓄積を開始してから最初の読み出しがなされるまでは、画像データがないため、固定色表示（または撮影開始直前画像のフリーズ表示）される。ゲイン補正は、メモリ３に記憶された画像データに対し画像処理手段４によって行われる。

ｓｔｅｐ６では、ｓｔｅｐ５でゲイン補正された画像データを表示手段７に表示する。

ｓｔｅｐ７では、読み出しフレームレートで決定される所定時間が経過したか否か（読み出しタイミングであるか否か）を判断する。所定時間が経過した場合には（ｓｔｅｐ７で「ＹＥＳ」）ｓｔｅｐ８に進み、そうでなければ（ｓｔｅｐ７で「ＮＯ」）ｓｔｅｐ４に戻る。

ｓｔｅｐ８では、撮像素子１からタイミング発生手段９により選択されたグループ（ｇｒｏｕｐＮ）の画素の信号が出力され、ＡＤ変換器２によりデジタル信号に変換される。このデジタル信号は、画像処理手段４に入力され、メモリ３に記憶される。

ｓｔｅｐ９では、図４で後述するように、各グループ（ｇｒｏｕｐ）の画像が画像処理手段４によって表示画像として合成される。このように、複数画像を合成して露光状態表示することにより、露光状態表示においても画像情報の欠けが抑えられる。

ｓｔｅｐ１０では、撮像素子１における蓄積動作（露光動作）を終了し、露光状態表示も終了する。

ｓｔｅｐ１１では、全画素を読み出す。

ｓｔｅｐ１２では、図２に示すように、メモリ３に記憶された画像を対応する画素ごとに加算してフルサイズの静止画像を合成する。

なお、本実施形態では、縦方向及び横方向において１／３の間引き読み出しを行ったが、縦方向又は横方向のみを間引いてもよい。また、各方向において間引き読出しを行う画素は１／３に限られず、適宜変更することができる。また、本露光中に読み出すグループの数は３つに限られず、適宜変更することができる。また、ベイヤー配列の各画素（ＲＧＢ）を等ピッチで間引き読み出しする場合を例に示したが、ベイヤー配列の各画素（ＲＢＧ）を基本単位としてグルーピングしてもよい。

次に、ステップＳ９で行われる、図２Ａ及び図２Ｂに示すようにして読み出した部分画像の表示画像合成処理について、図４を参照して説明する。

ここでは、長秒露光前のライブビュー表示中は３０フレーム／秒で表示手段７に表示し、本露光中では３フレーム／秒の読み出しフレームレートで読み出すものとする。なお、露光時間によってフレームレートは可変にしてもよく、例えば、１フレーム／秒や０．５フレーム／秒などであってもよい。

本露光を開始して、露出状態を表示できるようになるのは、Ｔ１でｇｒｏｕｐ１の画素を読み出してからである。Ｔ１から１／３秒後のＴ２でｇｒｏｕｐ２の画素を読み出すまでは、ｇｒｏｕｐ１の画像をそのまま出してもよいが、本実施形態では、本露光開始時からの経過時間に応じて段階的に明るくなるようにゲインを変更する。Ｔ１〜Ｔ２では、１／３０秒毎にＴ１で読み出したｇｒｏｕｐ１の画像を１／１０倍した画像を、ｇｒｏｕｐ１の画像に加算している。したがって、Ｔ１〜Ｔ２の間に表示される画像は、ｇｒｏｕｐ１の画像×（１＋ｎ／１０）となる。Ｔ２でｇｒｏｕｐ２の画像を読み出した後は、（ｇｒｏｕｐ１の画像×２＋ｇｒｏｕｐ２の画像）×（１＋ｎ／２０）を表示する。Ｔ３でｇｒｏｕｐ３の画像を読み出した後は、（ｇｒｏｕｐ１の画像×３＋ｇｒｏｕｐ２の画像×１．５＋ｇｒｏｕｐ３の画像）×（１＋ｎ／３０）を表示する。

なお、各ｇｒｏｕｐの画像はグループ間で互いに異なる画素の信号から成るものであるが、１フレームにおける画素位置の関係は記録する時に考慮すればよく、表示画像では図２（ａ）の「表示」に示すように、同一の画素として処理する。また、露光の後半では、前半のｇｒｏｕｐの画像にゲインをかけ過ぎてしまい、ノイズが目立つことから、表示画像の演算の際に、平均の対象から除いてもよい。また、長秒の露光時間が設定されている場合は、グループの分割数で各グループの蓄積時間を決定し、１画素の読み出し回数を２回にしてもよい。また、露光状態の表示画像を見て撮影者が蓄積終了を決定する場合で、露光時間が長いには、同一グループを３回以上読み出すこともある。この場合でも、表示画像を同様にゲイン補正することが可能であり、記録画像は読み出した画像を全て合成すればよい。

以上のように、露光状態表示に使う複数の画像を、静止画撮影からの経過時間に応じてゲイン補正して表示することにより、露光状態表示用の複数画像の読み出し時間間隔を長くしても露光状態が確認できる。また、露光状態表示用の複数画像の読み出し時間間隔を長くすることにより、画像の読み出し回数を少なくすることができ、ノイズがさらに低減される。

上記の実施形態では、ｇｒｏｕｐ１、ｇｒｏｕｐ２、及びｇｒｏｕｐ３のものについて説明した。しかしながら、露光状態表示の精度は低くなるが、ｇｒｏｕｐ１のみであっても良い。

本発明の好適な第１の実施形態に係る撮像装置の構成を示すブロック図である。 本発明の好適な第１の実施形態に係る撮像装置の動作を説明する図である。 本発明の好適な第１の実施形態に係る撮像装置の駆動制御を示すフローチャートである。 本発明の好適な第２の実施形態に係るの撮像装置の駆動制御を示す図である。

符号の説明

１ 撮像素子
５ 制御手段
７ 表示手段

Claims (5)

1. 複数の画素を含む撮像素子と、
   前記撮像素子により撮影される撮影画像を表示する表示手段と、
   前記撮像素子を露光して発生した電荷を蓄積する露光動作中に、前記撮像素子から読み出す一フレーム分の画素を複数のグループに分け、設定された時間間隔でグループ毎に順番に画素の信号を前記撮像素子から読み出し、読み出した前記グループ毎の画素の信号に基づいて生成した表示用の画像を前記表示手段に順次出力するとともに、前記露光動作が終了したときに、前記撮像素子から一フレーム分の画素の信号を読み出すように制御する制御手段と、
   前記露光動作中に読み出した前記グループ毎の画素の信号を、前記露光動作が終了したときに読み出した前記一フレーム分の画素の信号に加算することにより、記録用の画像を生成する画像処理手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記表示手段に前記グループ毎の画素の信号に基づいて生成した表示用の画像を順次出力させる場合に、前記信号にかけるゲインを前記露光動作の開始時からの経過時間に応じて、前記表示用の画像が段階的に明るくなるように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記複数のグループ間の画素同士は、互いにインタレースの関係にあることを特徴とする請求項１または２に記載の撮像装置。
4. 光学系と、
   請求項１乃至請求項３のいずれか１項に記載の撮像装置と、
   を備えることを特徴とする撮像システム。
5. 複数の画素を含む撮像素子と、前記撮像素子により撮影される撮影画像を表示する表示手段とを備える撮像装置の制御方法であって、
   制御手段による制御により、前記撮像素子を露光して発生した電荷を蓄積する露光動作中に、前記撮像素子から読み出す一フレーム分の画素を複数のグループに分け、設定された時間間隔でグループ毎に順番に画素の信号を前記撮像素子から読み出す部分読み出し工程と、
   表示制御手段が、読み出した前記グループ毎の画素の信号に基づいて生成した表示用の画像を前記表示手段に順次出力させる表示工程と、
   前記制御手段による制御により、前記露光動作が終了したときに、前記撮像素子から一フレーム分の画素の信号を読み出すフレーム読み出し工程と、
   前記制御手段による制御により、前記露光動作中に読み出した前記グループ毎の画素の信号を、前記露光動作が終了したときに読み出した前記一フレーム分の画素の信号に加算することにより、記録用の画像を生成する生成工程と、
   を含むことを特徴とする撮像装置の制御方法。

Images