JP5806542B2 - 撮像装置、及び撮像方法 - Google Patents

Description

本発明は、記録用の画素信号を生成するための露出動作中に、被写体の画像を表示する機能を備えた撮像装置、及び撮像方法に関する。

従来の撮像装置においては、被写体像の観察は光学式ファインダにより行っていた。しかし、最近では光学式ファインダをなくし、または光学式ファインダとイメージセンサから読み出した画像を、液晶モニタ等によって表示する電子ビューファインダーを切り替え可能にした撮像装置が市販されている。

通常、光学ファインダの場合も電子ビューファンダーの場合もバルブ撮影のような長時間撮影時には、露出中の被写体の状態や露出状態を確認することはできず、撮影が終了して画像を確認することとなる。撮影を行いながら撮影中の被写体の状態や露出状態を確認することができれば、簡単に所望の撮影を行うことができ便利である。特許文献１には所定の時間間隔でイメージセンサから画素信号を読み出し、この画像信号をイメージセンサから読み出す毎に単純に累積加算して得られた画像を液晶モニタに表示する撮像装置が開示されている。

図９は、従来の撮像装置によって星空を含む被写体を時分割撮影した画像データを単純に累積加算して得られた画像の表示例である。図９の（ａ）、（ｂ）、（ｃ）、（ｄ）の順に露出時間が経過するにつれて、星の軌跡が流れていくと同時に背景（空や山）も明るくなっていく。

特開２００５−１１７３９５号公報

特許文献１の方式では、露出不足や露出過多などの失敗を軽減することが可能であるが、例えば図９の例では、星の軌跡を長く映そうとするほど、背景（空など）も明るくなっていくので、画面全体が白飛びしてしまい、ユーザーが所望する写真を撮影することが難しい。

また、ＣＣＤやＣＭＯＳなどのイメージセンサは、一般的に非破壊での画像信号読み出し（フォトダイオードの蓄積電荷をなくすことなく読みだす方法）に対応していないため、イメージセンサから画像信号の読み出しを行うごとに電気的な読み出しノイズが画像に重畳していき、加算画像の画質が劣化する。つまり画像を加算するコマ数が多いほど画質が劣化してしまう。

本発明は、このような事情を鑑み、イメージセンサから読み出した画像信号を加算合成して得た画像を長時間撮影中に表示する場合、適切な加算合成処理を行うことで撮影失敗を防止し、かつ画質を向上させる撮像装置、及び撮像方法を提供することを目的とする。

上述した課題を解決するために、第１の発明に係る撮像装置は、イメージセンサと、上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、上記画像合成部により加算した合成画像データのレベルを検出する出力検出部と、上記出力検出部の検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する重み付け係数演算部と、上記合成画像データに上記重み付け係数αを乗算する重み付け処理部と、上記重み付け処理部による処理された上記合成画像データによって表される画像を表示する表示部と、を備え、上記出力検出部は上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記画像合成部で合成した画像データの総コマ数ｈを演算し、上記重み付け係数演算部は上記画像合成部で合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものである。
合成画像データのレベル ＜ Ｖｓのとき
α ＝ １
合成画像データのレベル ≧ Ｖｓのとき
α ＝ ｈ／ｍ

また、第２の発明に係る撮像装置は、イメージセンサと、上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する出力検出部と、上記画像データのレベルの時間的変化があった画像のコマ数、及び上記画像合成部によって累積加算した画像の総コマ数に基づいて、上記画像合成部により加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数を演算する重み付け係数演算部と、上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する重み付け処理部と、上記重み付け処理部による処理された上記合成画像データによって表される画像を表示する表示部と、を備える。

また、本発明に係る第３の撮像方法は、イメージセンサから読み出された時間的に連続する複数コマの画像データを合成する第１ステップと、上記第１ステップにおいて合成された間合成画像データの画素データのレベルを検出する第２ステップと、上記出力検出部の検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する第３ステップと、上記合成画像データに上記重み付け係数αを乗算する第４ステップと、上記第４ステップにおいて処理された上記合成画像データによって表される画像を表示する第５ステップと、を有し、上記第２ステップは上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記第１ステップで合成した画像データの総コマ数ｈを演算し、上記第４ステップは上記第１ステップで合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものである。
合成画像データのレベル ＜Ｖｓのとき
α ＝ １
合成画像データのレベル ≧ Ｖｓのとき
α ＝ ｈ／ｍ

また、本発明に係る第４の撮像方法は、イメージセンサから読み出された画像データを順次累積加算する第１ステップと、上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する第２ステップと、上記画像データのレベルの時間的変化があった画像のコマ数、及び上記第１ステップで累積加算した画像の総コマ数に基づいて、上記第１ステップにおいて累積加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数を演算する第３ステップと、上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する第４ステップと、上記第４ステップにおいて処理された上記合成画像データによって表される画像を表示する第５ステップと、を有する。

本発明によれば、撮影失敗を防止し、かつ画質を向上させることができる。

本発明の実施形態１〜３に共通の撮像装置の構成を示すブロック図である。 本発明の実施形態１〜３に共通の動作の流れを説明するためのフローチャートである。 本発明の実施形態１に係る画像処理の動作の流れを説明するためのフローチャートである。 本発明の実施形態２に係る画像処理の動作の流れを説明するためのフローチャートである。 本発明の実施形態３に係る画像処理の動作の流れを説明するためのフローチャートである。 本発明の実施形態２の出力検出部８において、画像合成部７で合成された中間合成画像データにレベルの変化があったかどうかを検出するための画像データの分割の一例を示す図である。 本発明の実施形態１における表示部１３で表示される表示用合成画像データによって表示される画像の時間推移の一例を示す図である。 本発明の実施形態２におけるイメージセンサ４から読み出される画像、画像合成部７によって合成される中間合成画像、表示部１３で表示される表示用合成画像の時間推移の一例を示す図である。 従来の撮像装置によって星空を含む被写体を時分割により撮影した画像データを単純に累積加算して得られた画像の表示例である。

以下、図面を参照して本発明の実施の形態を説明する。
本発明の実施の形態においては、通常の撮像装置と同様の動作及び制御技術については説明を省略、又は詳細な説明を省略する。

図１から図８は本発明の実施形態を示した図である。はじめに、図１及び図２を参照しながら、本発明の実施形態１〜３に共通の構成と動作について説明する。

図１は本発明の撮像装置の構成を示すブロック図である。この撮像装置は、イメージセンサに被写体の光学像を結像するためのレンズ１と、露出量を調節するための絞り値を決定する絞り２と、開閉動作によりイメージセンサへの露出や遮光を行いシャッタ速度を制御するメカシャッタ３と、レンズ１により結像された光学像を電気信号に変換するイメージセンサ４と、イメージセンサ４から読み出されたアナログ画像信号をデジタル画像信号である画像データに変換するＡ／Ｄ変換部５と、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像を一時的に記憶しておくための、フラッシュメモリなどの不揮発性メモリによって構成される内部メモリ６と、画像合成を行う画像合成部７と、画像合成部７で合成された合成画像データのレベルやこのレベルの時間的変化を検出する出力検出部８と、出力検出部８の検出結果に基づいて重み付け係数を演算する重み付け係数演算部９と、画像合成部７で合成された画像データに重み付け係数部８で決定された重み付け係数を乗じる重み付け処理部１０と、重み付け処理部１０で重み付けされた画像データ、又はＡ／Ｄ変換部５でデジタル化されたＲＡＷ画像データに対してデモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う現像処理部１１と、現像処理部１１で現像処理された画像データを記録するための外部メモリ１２と、ＴＦＴや有機ＥＬなどのＥＶＦ(電子ビューファインダ)によって構成され、現像処理部１１で現像された画像データによって表される画像を表示する表示部１３と、撮像装置全体を統括的に制御するシステム制御部１４と、システム制御部１４に対して、ユーザー操作に基づいて各種のモード設定やレリーズ等の撮影動作の指示を行うための指示部１５と、システム制御部１４と上述した各ブロック間で信号の送受信を行うための信号線であるバス１６と、を備えている。なお、以上述べた構成のうち、画像合成部７、出力検出部８、重み付け係数演算部９、重み付け処理部１０、現像処理部１１は画像処理部を構成する。また、指示部１５に含まれる撮影動作を指示するためのレリーズスイッチは最初の押圧動作を検出する第１スイッチと、続いて最初の押圧動作よりも相対的に強い押圧動作を検出する第２スイッチを有している。

つぎに図１に示すように構成された撮像装置の動作の概要を述べる。
システム制御部１４の制御に基づき、レンズ１を構成するフォーカスレンズが調整され、絞り２が所定の値に設定され、メカシャッタ３が開いて、イメージセンサ４により光学像が電気信号に変換される。イメージセンサ４から読み出されたアナログの画像信号は、Ａ／Ｄ変換部５でデジタルの画像データに変換され、画像処理部で後述する所望の画像処理が施された後、外部メモリ１２に記録される。また、画像処理部で所定の画像処理が施された画像データはリサイズされたのち表示部１３に表示される。システム制御部１４は、指示部１５を介してユーザーからの指示を受け、イメージセンサ４の露出開始、信号読み出しなどのタイミング制御、メカシャッタの開閉タイミング制御、レンズの絞りやオートフォーカス制御を行う。また、画像処理部から画像データを受け取り、表示部１３による画像の表示や、外部メモリ１２への画像データの保存等の制御を行う。

次に本発明の撮像装置の処理の流れを、図２を参照して説明する。
本発明はバルブ撮影に関するものであるから、ユーザーが指示部１５よりバルブ撮影モードを選択した場合について動作を説明する。

本発明においては、画像データの加算、撮影経過表示（バルブ撮影の途中で撮影中の画像表示を行うこと）を行なわない通常のバルブ撮影モードと、画像加算、撮影経過表示を行なう撮影経過表示モードを選択できるようにする。これによりバルブ撮影に慣れており、画質劣化を嫌うユーザーは撮影経過表示を行なわない従来のバルブ撮影を選択できる。

まず、ユーザーは表示部１３や不図示の光学ファインダを確認して、撮影したい被写体が撮影できるように撮像装置の向きやレンズの焦点距離（ズーム）を調整する。必要に応じて、ユーザーは指示部１５を介して、撮影経過表示モードの選択、レンズ１を構成するフォーカスレンズの位置、絞り２の絞り値、ＩＳＯ感度等の撮影情報を設定する。

つぎに、ステップＳ１０１において、システム制御部１４はレリーズスイッチの最初の押圧動作である1ｓｔレリーズスイッチがＯＮ（行われた）か否かを判定する。1ｓｔレリーズスイッチがＯＮであると判定されると、つぎにステップＳ１０２において、システム制御部１４はＡＦ（オートフォーカス）を行う。このＡＦは、システム制御部１４が、イメージセンサ４から繰り返し読み出される画像信号のコントラストが最大値になるように、レンズ１に含まれるフォーカスレンズを駆動するものである。
つぎにステップ１０３において、システム制御部１４は、最初の押圧動作よりも相対的に強い押圧動作である２ｎｄレリーズスイッチがＯＮ（行われた）か否かを判定する。２ｎｄレリーズスイッチがＯＮであると判定されない場合は、ステップＳ１０２に戻り、システム制御部１４は２ｎｄレリーズスイッチがＯＮになるまでＡＦ動作を繰り返し行う。

ステップＳ１０３において２ｎｄレリーズスイッチがＯＮであると判定されると、つぎにステップＳ１０４において、システム制御部１４は撮影経過表示モードが設定されているか否かを判定する。撮影経過表示モードが設定されていない場合は、ステップＳ１０５においてイメージセンサ４に対して露出開始（イメージセンサ４における電荷蓄積の開始）を指示するための信号を送る。つぎにステップＳ１０６において、システム制御部１４は２ｎｄレリーズスイッチがＯＦＦ（終了した）か否かを判定する。２ｎｄレリーズがＯＦＦであると判定されると、ステップＳ１０７において、システム制御部１４はイメージセンサ４から１コマ分の画像信号を読み出す。

ステップＳ１０５の露出開始から、ステップＳ１０６において２ｎｄレリーズが終了したことが判定されるまで、イメージセンサ４による露出が継続される。イメージセンサ４から読み出されたＲＡＷ画像信号は、ステップＳ１０８においてＡ／Ｄ変換部５によりデジタルの画像データに変換される。このデジタルデータに変換された画像データは、ステップＳ１０９において内部メモリ６に記憶される。つぎにステップ１１０において、内部メモリ６に記憶された画像データは、現像処理部１１により現像処理が施される。この現像処理された画像データはステップＳ１１１において外部メモリ１２に記憶される。つぎに、この外部メモリ１２に記憶された画像データによって表される画像は、ステップＳ１１２において表示部１３により表示される。

つぎにステップＳ１０４において、撮影経過表示モードが設定されている場合の処理の流れについて説明する。
ステップＳ１０４において撮影経過表示モードが表示されているものと判定された場合は、つぎにステップ１１３において、システム制御部１４は１コマ目の露出を開始する。つぎにステップＳ１１４において、システム制御部１４は所定の露出時間Ｔが経過したか否かを判定する。この露出時間Ｔは撮像装置に予め設定されている初期設定値、またはユーザーが指示部１５を介して設定した時間である。ステップＳ１１４において所定の露出時間が経過したものと判定されると、ステップＳ１１５において、システム制御部１４はイメージセンサ４から画像信号を読み出す。イメージセンサ４から読み出された画像信号は、ステップＳ１１６においてＡ／Ｄ変換部４でデジタルの画像データに変換される。つぎにシステム制御部１４は、ステップＳ１１７において画像データを内部メモリ６に記憶する。

つぎにステップＳ１１８において、システム制御部１４はつぎのコマの露出（撮影）を開始する。このように１コマの画像データが内部メモリ６に記憶された直後に、つぎのコマの撮像を開始することによりコマ間の時間間隔を最小限にして連続的に撮影を行うことができる。

つぎに、システム制御部１４は、ステップＳ１１９において内部メモリ６に記憶された画像データに対して所定の画像処理を施し、表示用の合成画像データ（これを後述する実施形態においては「表示用合成画像データ」とする）を生成する。なお、この画像処理については、実施形態毎に異なるので詳細については各実施形態に分けて後述する。

つぎに、ステップＳ１２０において、現像処理部１１は画像処理が施された表示用合成画像データに対して現像処理を実行する。つぎにステップＳ１２１において、表示部１３は現像処理が施された表示用合成画像データによって表される画像を表示する。これによりユーザーはこの表示画像を撮影経過として確認しながら撮影を行うことができる。

つぎに、ステップＳ１２２において、システム制御部１４は２ｎｄレリーズスイッチがＯＦＦか否かを判定する。ここで２ｎｄレリーズスイッチがＯＦＦでないと判定されると、ステップＳ１１５に戻り、上記したのと同様の動作を繰り返す。

ステップＳ１２２において、システム制御部１４により２ｎｄレリーズスイッチがＯＦＦであるものと判定されると、システム制御部１４は内部メモリ６に記憶されている表示用合成画像データを外部メモリ１２に記憶して撮影を終了する。

なお、図２においては、イメージセンサ４の全画素に対して電子的に同時に露光を開始させるグローバルシャッタ動作を前提とするものであった。これに対して、画素の電荷を行毎に順次に画素毎に設けられた遮光された蓄積部に転送してから読み出すローリングシャッタ動作を適用してもよい。ローリングシャッタ動作を適用した場合は、ステップＳ１１４において、画素の電荷を行毎に蓄積部に転送すると同時に、この蓄積部への電荷の転送が行われた行の画素について次の露光の開始が行なわれるので、ステップＳ１１８の動作は不要になる。

つぎに、上述したステップＳ１１９の画像処理を実施形態１〜３に分けて詳細に説明する。

（実施形態１）
まず、実施形態１の動作の概要について述べる。
実施形態１では、合成処理した画像データのレベル（輝度）を検出する。例えば図７に示すように、背景である山の付近を検出範囲として画像データの平均レベルを出力検出部８にて算出する。検出範囲はユーザーが指定しても良いし、撮像装置が自動で画像全体の平均レベルを検出するとしても良い。撮影開始当初は合成処理した画像データのレベルが低く、徐々に大きくなっていく。

ＳＩ_ｎ（ｎは１以上の整数）をイメージセンサから読み出したｎコマ目の画像データ、ＳＩ_１からＳＩ_ｋまで累積加算した合成画像データを中間合成画像データ、ＣＩ_ｍを１〜ｍコマ目までの表示用合成画像データ、αを１〜ｍコマ（ｍは整数）の画像データを合成したときの中間合成画像データに対する重み付け係数、ｈを中間合成画像データのレベルが所定の適正レベル以上であると初めて判定したときの、それまで中間合成画像データを生成するために加算した総コマ数とすると、ＣＩ_ｍは数１のように表わされる。

ただし
中間合成画像データのレベル ＜ 適正レベル（Ｖｓ）のとき
α ＝ １
中間合成画像データのレベル ≧ 適正レベル（Ｖｓ）のとき
α ＝ ｈ／ｍ

このように、合成画像データのレベルが適正に達するまでは単純な加算処理（α＝１）にて合成画像データを生成し、中間合成画像データのレベルの検出結果が適正レベルに達したら、中間合成画像データに重み付け係数α＝ｈ／ｍを乗算することで、表示用合成画像データによって表される画像の背景輝度が適正に維持され、白トビを防止することができる。

つぎに本発明の実施形態１に係る図２のステップＳ１１９の画像処理を、図３を参照して説明する。なお、実施形態１のその他の動作は図２で説明したとおりである。

ステップＳ２０１において、システム制御部１４は、直前にイメージセンサ４から読み出された画像信号に対応する画像データが、１コマ目の画像データであるか否かを判定する。ここで１コマ目の画像データである場合は、図３のサブルーチンからリターンする。なお、内部メモリ６は、少なくとも１コマ目の画像データおよび最終的な合成画像データを生成するまでの中間的な合成画像データである中間合成画像データを記憶する第１記憶領域と、２コマ目以降の画像データを記憶する第２記憶領域と、表示用合成画像データを記憶する第３記憶領域を有している。

ステップＳ２０１において、１コマ目の画像データでないと判定された場合（直前にイメージセンサ４から読み出された画像信号に対応する画像データが２コマ目の画像データである場合）、つぎにステップＳ２０２において、画像合成部７は内部メモリ６の第１記憶領域に記憶されている１コマ目の画像データと、第２記憶領域に記憶されている２コマ目の画像データを合成（加算）する。そしてこの合成された画像データ（中間合成画像データ）は第１記憶領域に上書き記憶される。同様にして第２記憶領域に記憶された３コマ目以降の画像データについては、それまで撮影された複数コマの画像データが合成された中間合成画像データと合成されて第１記憶領域に上書き記憶される。

つぎにステップＳ２０３において、出力検出部８は内部メモリ６の第１記憶領域に記憶された合成された中間合成画像データのうち、この中間合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルを検出する。なお、この平均的なレベルは単純加算平均、加重平均、又はその他の公知の統計的な手法で得られた値でもよい。また、上記所定領域は、ユーザーが指示部１５を介して指定した領域、予め設定された領域、又はシステム制御部１４により自動で設定された領域のいずれでもよい。そして出力検出部８は、中間合成画像データのレベルが所定の適正レベル（例えば一般的には８ＢＩＴ出力で約１２０ＬＳＢ）以上であると初めて判定したときの、それまで中間合成画像データを生成するために加算した総コマ数ｈを演算する。

つぎにステップＳ２０４において、重み付け係数演算部９により、出力検出部８によって検出された中間合成画像データのレベルに基づいて重み付け係数αを演算する。すなわち、ｍコマ目（ｍは整数）の画像を合成したときの中間合成画像データに対する重み付け係数αの値は、中間合成画像データのレベルが適正レベル（Ｖｓ）未満のときに１とし、中間合成画像データのレベルが適正レベル（Ｖｓ）以上のときにｈ／ｍとする。

つぎにステップＳ２０５において、重み付け処理部１０により重み付け係数演算部９により決定された重み付け係数αを中間合成画像データに乗算する（数１）。つぎにシステム制御部１４は、重み付け係数が乗算された画像データ（これを「表示用合成画像データ」とする）を第１記憶領域、第２記憶領域のいずれとも異なる第３記憶領域に記憶してリターンする。

以上詳述したように、実施形態１においては中間合成画像データのレベル検出結果に基づいて、表示用合成画像データ生成時の重み付け係数αを決定することで、中間合成画像データのレベルが適正レベルに達するまでは単純な加算処理（α＝１）にて表示用合成画像データを生成し、中間合成画像データのレベル検出結果が適正レベルに達した後は重み付け係数αをα＝ｈ／ｍとし、これを中間合成画像データに乗算して表示用合成画像データを生成することにより背景の輝度が適正露出量に維持される。

図７は、実施形態１に基づいて撮影された画像の表示例である。図７（ａ）は１コマ目の画像である。画面中央下部の露出検出領域範囲内の画像データに基づいて出力検出部８によるレベル検出が行われる。このレベル検出により、１コマ目の画像はまだ暗く適正レベルＶｓ以下であるものと検出される。

図７（ｂ）は、２コマ目の画像が撮影された後に合成された表示用合成画像データによって表される画像である。このときのレベル検出の結果もまだ適正レベルＶｓ以下であるものと検出される。したがって、この段階では重み付け係数αを１とする。したがって、表示用合成画像データは実質的に中間合成画像データと等しい。

図７（ｃ）は、３コマ目の画像が撮影された後に合成された表示用合成画像データによって表される画像である。このとき、レベル検出により適正レベルＶｓであるものと検出される。したがって、このときの重み付け係数αは３／３＝１となり、表示用合成画像データは実質的に中間合成画像データと等しい。

図７（ｄ）は、４コマ目の画像が撮影された後に合成された表示用合成画像データによって表される画像である。このとき、レベル検出により適正レベルＶｓより大きいものと検出される。したがって、このときの重み付け係数αは３／４となり、背景が定常的な明るさであるものとすると背景は一定の明るさに維持される。

図７に示す例では、背景である山の輝度は適正露出が維持されつつ、星の軌跡をユーザーが好きなだけ映しこむことができる。こうすることで背景の白トビを防止しながら、山の明るさを適正レベルに維持することができる。

また、単純に画像を加算し続ける場合は一枚一枚の画像のノイズが積算されていき画質が悪化していくが、本実施形態においては適正露出に達した後は、定常的な背景に対応する表示用合成画像データのレベルが適正レベルになるように制御されるので、ノイズの増加が抑制され最終的な画質も向上する。

さらに、イメージセンサ４から読出した画像データ、中間合成画像データ、表示用合成画像データのみを内部メモリに保存するだけでよいので、長時間の露出であってもメモリ容量が増加することがない。また、イメージセンサ４から読み出された一コマ毎の画像信号のレベル（輝度）が低い場合でも、加算合成された画像データに対してレベルを検出するので、正確に画像データのレベル検出を行うことができ、適切な重み付け合成処理が可能である。

（実施形態２）
つぎに、実施形態２の動作の概要について述べる。
例えば、花火の撮影では長時間撮影を行い花火の軌跡を映しこむような撮影が想定されるが、花火が上がっているタイミングとあがっていないタイミングが想定される。このような場合、時分割により撮影した画像データを単純に加算する方式では、花火が上がっていない画像も読み出して加算される。この場合、花火が上がっていない画像についても加算を行うため、画像加算を行うコマ数が不要に多くなり加算後のノイズが増加する。また、花火の撮影では夜空などの背景は暗いが、花火の明るさを適切に撮影するとめりはりのあるシャープな画像が撮影できるが、花火が上がっていない画像も加算するため、背景（夜空や建物）が不必要に明るくなっていく。そこで、花火が上がっているときの読出し画像に対する重み付け係数を大きくし、花火が上がっていない読出し画像に対する重み付け係数を小さくすることができれば、この課題を改善できる。

内部メモリ６にはｍ−１コマ目の画像データと、１〜ｍ−１コマ目までの合成画像データ（これを「中間合成画像データ」とする）が保存されている。画像合成部７では、ｍコマ目の画像データと内部メモリ６に記憶されている１〜ｍ−１コマ目までの画像データを加算した中間合成画像データを生成する（数２）。また出力検出部８では、ｍコマ目の画像データからｍ−１枚目の画像データを減算した減算画像データを生成する（数３）とともに、この減算画像データの値と所定の閾値とを比較し、ｍコマ目とｍ−１コマ目において画像データのレベル変化があったか否かを検出する。

いま、ＳＩ_ｋをイメージセンサ４から読出したｋコマ目の画像データ、Ｓｕｂ＿ｍをｍコマ目の画像データからｍ−１枚目の画像データのそれぞれ対応する画素データを減算した減算画像データとすると、中間合成画像データは数２、減算画像データは数３で表される。

ただし数３の右辺の＜＞は、＜＞内の数値が正の場合はその正の値を表し、負の場合は０を表す演算子である。出力検出部８は数３に従って減算画像データＳｕｂ＿ｍを所定の閾値と比較してｍコマ目の画像データにレベル変化があったか否かを検出する。

レベル変化の検出方法として、例えば、図６に示すように減算画像データを縦をａ分割、横をｂ分割し、各領域の減算画像データの平均的なレベルを算出する。この平均的なレベルは単純加算平均、加重平均、又はその他の公知の統計的な手法で得られた値でもよい。各領域のうち一領域でも減算画像データの平均値が予め設定した閾値を超えている場合（図６（ａ））はｍコマ目の画像データにレベル（輝度）変化があったものと判断する。全領域の減算画像データの平均的なレベルが閾値以下の場合（図６（ｂ））はｍコマ目の画像データにレベル変化がなかったものと判断する。

つぎに重み付け係数演算部９は、検出したレベル変化の有無に応じて重み付け係数αを設定する。撮影開始からｍコマ目の画像信号を読出して合成したときの表示用合成画像データをＣＩ＿ｍ とすると、重み付け処理部１０は数４に従って重み付け処理を行う。

ここで重み付け係数αは、１〜ｍコマ目までの画像データのうち、出力検出部８によりレベル変化があると判定された画像データの総コマ数をｈとするときα ＝ｈ／ｍとする。このように重み付け係数αを設定することにより、イメージセンサ４からレベル変化がある（例えば読み出した画像信号に花火の軌跡が入っている）画像信号が読みだされた後に合成された中間合成画像データに対する重み付け係数αは大きくなり、輝度変化がない例えば（読出した画像信号に花火の軌跡が入っていない）画像信号が読みだされた後に合成された中間合成画像データに対する重み付け係数αは相対的に小さくすることになり、例えば背景輝度の増加を抑制しつつ花火を適正に撮影することが可能となる。

つぎに本発明の実施形態２に係る図２のステップＳ１１９の画像処理を、図４を参照して説明する。なお、実施形態２のその他の動作は図２で説明したとおりである。

実施形態２においては図１のバルブモードの動作スタート直後において、システム制御部１４は、レベル変化があったコマの総コマ数ｈを記憶するためのメモリ〔ｈ〕に０を記憶するものとする。

実施形態２においては内部メモリ６は、連続する２コマの画像データを記憶するための第１記憶領域及び第２記憶領域と、中間的な合成画像データである中間合成画像データを記憶する第３記憶領域と、この中間合成画像データに所定の係数を乗算することにより得られた画像表示に供するための表示用合成画像データを記憶する第４記憶領域を有する。

なお、第１記憶領域と第２記憶領域にはつぎのように記憶される。奇数番目のコマの画像データは第１記憶領域に偶数番目の画像データは第２記憶領域に、それぞれ順次上書き記憶される。このようにコマの画像データが記憶されたとき、第１記憶領域と第２記憶領域にはつねに隣り合うコマ番号の画像データが記憶されている。

そして、内部メモリ６に記憶された最新の画像データが第２記憶領域に記憶された偶数番目（ｍは２以上の整数）の画像データである場合は、第１記憶領域に記憶されている画像データがｍ−１コマ目の画像データであり、第２記憶領域に記憶された最新の画像データがｍコマ目の画像データである。また、内部メモリに記憶された最新の画像データが第１記憶領域に記憶された奇数番目（ｍは３以上の整数）の画像データである場合は、第１記憶領域に記憶された画像データがｍコマ目の画像データであり、第２記憶領域に記憶されている画像データがｍ−１コマ目の画像データである。

ステップＳ３０１において、システム制御部１４は直前にイメージセンサ４から読み出された画像信号に対応する画像データが１コマ目の画像データか否かを判定する。１コマ目の画像データであるときは図４のサブルーチンからリターンする。なお、１コマ目の画像データは、図２のステップＳ１１４において内部メモリ６の第１記憶領域に記憶される。

ステップＳ３０１において、１コマ目の画像データでないと判定された場合（直前にイメージセンサ４から読み出された画像信号に対応する画像データが２コマ目の画像データである場合）、この画像データは図２のステップＳ１１４において内部メモリ６の第２記憶領域に記憶される。

つぎにステップＳ３０２において、画像合成部７は内部メモリ６の第１記憶領域に記憶されている１コマ目の画像データと、第２記憶領域に記憶されている２コマ目の画像データを加算する（数２）。そしてこの合成された中間合成画像データは第３記憶領域に記憶される。同様にして第２記憶領域に記憶された３コマ目以降の画像データについては、それまで撮影された複数コマの画像データが加算された中間合成画像データと加算されて、第３記憶領域に上書き記憶される。

つぎにステップＳ３０３において、出力検出部８は数３に基づいて、第２記憶領域に記憶されている２コマ目の画像データから第１記憶領域に記憶されている１コマ目の画像データを減算することにより、画像データのレベルの変化を検出する。つぎに、ステップＳ３０４において、出力検出部８はレベルの変化が所定の閾値以上であったか否かを判定する。レベルの変化があったと判定された場合は、ステップＳ３０５において出力検出部８はｈをインクリメントする。すなわちｈを記憶するメモリ〔ｈ〕にｈ＋１を記憶する。

つぎにステップＳ３０６において、重み係数演算部９は重み付け係数αを演算する。つぎにステップＳ３０７において、重み係数処理部１０は第３記憶領域に記憶されている中間合成画像データに重み付け係数αを乗算する。この重み係数が乗算された中間合成画像データは表示用合成画像データとして、ステップＳ３０８においてシステム制御部１４により内部メモリ６の第４記憶部に記憶されたのち図４のサブルーチンからリターンする。
３コマ目以降の画像データに対してもステップＳ３０１〜Ｓ３０８の動作が繰り返し実行される。

図８に示す１〜３行のそれぞれ４コマの画像のうち、１行目は実施形態２を適用した撮像装置で花火を撮影したときのｍコマ目の画像データＳＩ_ｍ、２行目は減算画像データＳｕｂ＿ｍ 、３行目は表示用合成画像データＣＩ＿ｍ の時系列的な変化を、説明の便宜上画像に置き換えて示したものである。

図８の（ａ−１）、（ａ−２）、（ａ−３）は、時刻Ｔｎ−１において読み出された画像である。時刻Ｔｎにおいて、打ち上げ直後の花火が撮影されており（１行左から２番目）、図８の（ｂ−１）から（ａ-１）を減算した減算画像データＳｕｂ＿ｎ（２行左から２番目） には花火が表示されている。このとき、重み付け係数αをｈ／ｎとし表示用合成画像を表示する（３行左から２番目）。ただし、ｈはｎコマ目の画像データに対して出力検出部８によりレベル変化を検出した後に、それまでにレベル変化があると判定された画像データの総コマ数である。

つぎの時刻Ｔｎ＋１には花火の最後の大輪が表示されている（１行左から３番目）。図８の（ｃ−１）から（ｂ−１）を減算した減算画像データＳｕｂ＿ｎ＋１には大輪のみが表示されている（２行左から３番目）。ここでは出力検出部８により減算画像データにレベル変化があったものと検出され、重み付け係数αを（ｈ＋１）／（ｎ＋１）とし表示用合成画像を表示する（３行左から３番目）。

つぎの時刻Ｔｎ＋２においては花火のない夜景が表示されている（１行左から４番目）。この場合は減算画像データにレベル変化がなかったものと検出され（２行左から４番目）、重み付け係数αは（ｈ＋１）／（ｎ＋２）とし表示用合成画像を表示する（３行左から４番目）。

上述したように実施形態２においては、単純にイメージセンサから読み出した画像データを加算していくことによる不必要なノイズの増加が抑制され、花火などの主要な被写体の画質が向上する。

（実施形態３）
実施形態２においては同一の重み付け係数を中間合成画像データ全体に対して設定したのに対して、実施形態３においては中間合成画像データによって表される画像の画素位置（ｘ、ｙ）の画素データ（以下「画素データ（ｘ、ｙ）」とする）について重み付け係数を個別に設定する点で実施形態２と異なる。

画素データ（ｘ，ｙ）に対する重み付け係数をα( x , y)とする。撮影開始からｍコマ分の画像データを読出して合成したときの中間合成画像データを構成する画素データ（ｘ、ｙ）を中間合成画素データＳＩ＿ｍ（ｘ、ｙ）、この中間合成画素データ（ｘ、ｙ）に重み付け係数α（ｘ、ｙ）を乗算して得られた、表示用画像データを構成する画素データ（ｘ、ｙ）を表示用画素データＣＩ_ｍ（ｘ、ｙ）とするとき、ＣＩ_ｍ（ｘ、ｙ）は数５で表せる。

α( x , y )は、出力検出部８により、１〜ｍコマ目までの画像データのうち画素（x , y)に対応する画像データのレベル変化があったと判定された総コマ数がｈ（ｘ、ｙ）（変化がなかったと判定された総コマ数はｍ−ｈ（ｘ、ｙ））とすると、

で表せる。

つぎに本発明の実施形態３に係る図２のステップＳ１１９の画像処理を、図５を参照して説明する。なお、実施形態３のその他の動作は図２で説明したとおりである。

実施形態３においては内部メモリ６は、連続する２コマの画像データを記憶するための第１記憶領域及び第２記憶領域と、中間的な合成画像データである中間合成画像データを記憶する第３記憶領域と、この中間合成画像データに所定の係数を乗算することにより得られた画像表示に供するための表示用合成画像データを記憶する第４記憶領域を有する。

実施形態２と同様に、第１記憶領域と第２記憶領域にはつぎのように記憶される。奇数番目のコマの画像データは第１記憶領域に偶数番目の画像データは第２記憶領域に、それぞれ順次上書き記憶される。このように画像データが記憶されたとき、第１記憶領域と第２記憶領域にはつねに隣り合うコマ番号の画像データが記憶されている。

そして、内部メモリ６に記憶された最新に取得された画像データが第２記憶領域に記憶された偶数番目（ｍは２以上の整数）の画像データである場合は、第１記憶領域に記憶されている画像データがｍ−１コマ目の画像データであり、第２記憶領域に記憶された最新の画像データがｍコマ目の画像データである。また、内部メモリに記憶された最新の画像データが第１記憶領域に記憶された奇数番目（ｍは３以上の整数）の画像データである場合は、第１記憶領域に記憶された画像データがｍコマ目の画像データであり、第２記憶領域に記憶されている画像データがｍ−１コマ目の画像データである。

ステップＳ４０１において、システム制御部１４は画素の座標を表すｘ、ｙを記憶するメモリ〔ｘ〕、[ｙ]にそれぞれ０を初期設定する。

つぎにステップＳ４０２において、システム制御部１４は直前にイメージセンサ４から読み出された画像信号に対応する画像データが１コマ目の画像データか否かを判定する。１コマ目の画像データであるときは図５のサブルーチンからリターンする。なお、１コマ目の画像データは図２のステップＳ１１４において内部メモリ６の第１記憶領域に記憶されているものとする。

ステップＳ４０２において、１コマ目の画像データでないと判定された場合（直前にイメージセンサ４から読み出された画像信号に対応する画像データが２コマ目の画像データである場合）、この画像データは図２のステップＳ１１４において内部メモリ６の第２記憶領域に記憶されているものとする。

つぎにステップＳ４０３において、画像合成部７は内部メモリ６の第１記憶領域に記憶されている１コマ目の画像データと、第２記憶領域に記憶されている２コマ目の画像データを合成する（実施形態２の数２と同様）。そしてこの合成された中間合成画像データは第３記憶領域に記憶される。同様にして第２記憶領域に記憶された３コマ目以降の画像データについては、それまで撮影された複数コマの画像データが合成された中間合成画像データと合成されて第３記憶領域に上書き記憶される。

つぎにステップＳ４０４において、出力検出部８は第２記憶領域に記憶されている２コマ目の画像データの画素データ（ｘ、ｙ）から、第１記憶領域に記憶されている１コマ目の画像データの画素データ（ｘ、ｙ）を減算することにより画素データのレベルの変化を検出する。つぎに、ステップＳ４０５において、出力検出部８はレベルの変化が所定の閾値以上であったか否かを判定する。ステップＳ４０５においてレベルの変化があったものと検出された場合は、出力検出部８はｈ(ｘ、ｙ)をインクリメントする。すなわちｈ(ｘ、ｙ)を記憶するメモリ〔ｈ(ｘ、ｙ)〕にｈ＋１を記憶する。

つぎにステップＳ４０７において、重み係数演算部９は数６に従って重み付け係数αを演算する。つぎにステップＳ４０８において、重み係数処理部１０は第３記憶領域に記憶されている中間合成画素データ（ｘ、ｙ）に重み付け係数α(ｘ、ｙ)を乗算する。

この重み係数が乗算された中間合成画素データ(ｘ、ｙ)は、ステップＳ４０９において、システム制御部１４により内部メモリ６の表示用合成画像データを記憶する第４記憶部の画素データ（ｘ、ｙ）を記憶するためのメモリに記憶される。

つぎにステップＳ４１０において、システム制御部１４はｘを記憶するためのメモリ〔ｘ〕にｘ＋１を記憶する。つぎに、ステップＳ４１１において、システム制御部はｘが画像の水平方向の画素数を表すＷに等しいか否かを判定する。ここでｘ＝Ｗでないものと判定された場合は、ステップＳ４０４に戻り、つぎの水平方向の画素データに関して同様の動作を繰り返す。

ステップＳ４１１においてｘ＝Ｗであると判定された場合は、次の行の画素データについて、ステップＳ４０４以降の同様の動作を行うべく、システム制御部１４はｘを記憶するメモリ〔ｘ〕０にし、ｙを記憶するメモリ〔ｙ〕にｙ＋１を記憶する。

つぎにシステム制御部１４は、ステップＳ４１３においてｙが画像の垂直方向の画素数を表すＨに等しいか否かを判定する。ここでｙ＝Ｈでないものと判定された場合は、ステップＳ４０４に戻り、つぎの垂直方向の画素データに関してステップＳ４０４以降の同様の動作を繰り返す。

ステップＳ４１３において、ｙ＝Ｈであるものと判定された場合は、中間合成画素データのすべてに関して重み係数が乗算され、表示用合成画像データが生成されたので図５のサブルーチンからリターンする。

実施形態３においては重み付け係数を画素毎に設定することで、画素データのレベル変化がある画素（例えば読出し画像中の花火の軌跡）については重み付け係数が大きくなり、レベル変化がない画素については重み付け係数を小さくしていくことになり、単純に読み出した画像を加算していくことによる不必要なノイズの増加や、背景輝度の増加を抑制することができる。

なお、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することもできる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することもできる。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の趣旨を逸脱しない範囲において種々の変形や応用が可能である。

１…レンズ
２…絞り
３…メカシャッタ
４…イメージセンサ
５…Ａ／Ｄ変換器
６…内部メモリ
７…画像合成部
８…出力検出部
９…重み付け係数演算部
１０…重み付け処理部
１１…現像処理部
１２…外部メモリ
１３…表示部
１４…システム制御部
１５…指示部
１６…バス

Claims (6)

1. イメージセンサと、
   上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、
   上記画像合成部により加算した合成画像データのレベルを検出する出力検出部と、
   上記出力検出部の検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する重み付け係数演算部と、
   上記合成画像データに上記重み付け係数αを乗算する重み付け処理部と、
   上記重み付け処理部による処理された上記合成画像データによって表される画像を表示する表示部と、
   を備え、
   上記出力検出部は上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記画像合成部で合成した画像データの総コマ数ｈを演算し、上記重み付け係数演算部は上記画像合成部で合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものであることを特徴とする撮像装置。
   合成画像データのレベル ＜ Ｖｓのとき
   α ＝ １
   合成画像データのレベル ≧ Ｖｓのとき
   α ＝ ｈ／ｍ
2. イメージセンサと、
   上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、
   上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する出力検出部と、
   上記画像データのレベルの時間的変化があった画像のコマ数、及び上記画像合成部によって累積加算した画像の総コマ数に基づいて、上記画像合成部により加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数αを演算する重み付け係数演算部と、
   上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する重み付け処理部と、
   上記重み付け処理部による処理された上記合成画像データによって表される画像を表示する表示部と、
   を備えたことを特徴とする撮像装置。
3. 上記出力検出部はｋコマ目の画像データの平均的なレベルとｋ−１コマ目の平均的なレベルの変化量を検出した結果、正の変化量が所定値以上であったと検出された総コマ数ｈを検出するものであり、上記重み付け係数演算部は、上記画像合成部で合成した画像データの総コマ数をｍとするとき上記重み付け係数αを、
   α ＝ ｈ／ｍ
   とするものであり、
   上記重み付処理部は上記重み付け係数αを上記合成画像データに乗算することを特徴とする請求項２に記載の撮像装置。
4. 上記出力検出部はｋコマ目の画像データを構成する画素データ（ｘ、ｙ）（ただしｘ、ｙは、それぞれ直交するＸ軸方向、及びＹ軸方向の画素位置の座標を表す）のレベルと、ｋ−１コマ目の画像データを構成する画素データ（ｘ、ｙ）のレベルの変化量を検出した結果、正の変化量が所定値以上であったと検出された総コマ数ｈを検出するものであり、上記重み付け係数演算部は、上記画像合成部で合成した画像データの総コマ数をｍとするとき上記重み付け係数αを、
   α ＝ ｈ／ｍ
   とするものであり、
   上記重み付処理部は、上記重み付け係数αを上記合成画像データを構成するそれぞれの画素データに乗算することを特徴とする請求項２に記載の撮像装置。
5. イメージセンサから読み出された時間的に連続する複数コマの画像データを合成する第１ステップと、
   上記第１ステップにおいて合成された合成画像データの画素データのレベルを検出する第２ステップと、
   上記第２ステップにおいて検出された検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する第３ステップと、
   上記合成画像データに上記重み付け係数αを乗算する第４ステップと、
   上記第４ステップにおいて処理された上記合成画像データによって表される画像を表示する第５ステップと、
   を有し、
   上記第２ステップは上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記第１ステップで合成した画像データの総コマ数ｈを演算し、上記第４ステップは上記第１ステップで合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものであることを特徴とする撮像方法。
   合成画像データのレベル ＜ Ｖｓのとき
   α ＝ １
   合成画像データのレベル ≧ Ｖｓのとき
   α ＝ ｈ／ｍ
6. イメージセンサから読み出された画像データを順次累積加算する第１ステップと、
   上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する第２ステップと、
   上記画像データのレベルの時間的変化があった画像のコマ数、及び上記第１ステップで累積加算した画像の総コマ数に基づいて、上記第１ステップにおいて累積加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数を演算する第３ステップと、
   上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する第４ステップと、
   上記第４ステップにおいて処理された上記合成画像データによって表される画像を表示する第５ステップと、
   を有することを特徴とする撮像方法。