JP5914189B2 - 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置に関するものである。

シャッタを開放して長時間露光することにより、暗いシーンにおいては暗い物体を消去して花火や車のライトのような強い光の移動物の軌跡のみを記録し、明るいシーンにおいては川や滝の流れを記録する撮影方法（長秒露光撮影あるいはバルブ撮影）が知られている。そして、この長秒露光撮影を行うために、分割露光を繰り返し、取得された複数の画像をディジタル的に加算する技術や平均化合成する技術が知られている（例えば、特許文献1参照。）。

特開２００７−３０６１０６号公報

しかしながら、特許文献１の画像を加算する画像処理方法では、軌跡を記録したい露光時間と暗部が明るくなり過ぎない適正な露光時間とを一致させることが困難であるという不都合がある。また、画像を平均化合成する画像処理方法では、花火やライトのように強い光を記録した画素が存在していたとしても、平均化によって画素値が低減され、強い光の軌跡を記録することができないという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、暗部の露光を適正範囲に収めつつ、必要な時間にわたって強い光の軌跡を記録することができる画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、時間間隔をあけて取得された複数枚の画像が入力され、各該画像の対応する画素の画素値を加重平均して平均化合成画像を生成する平均化合成部と、前記複数枚の画像の対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成する高輝度画像生成部と、前記平均化合成部により生成された平均化合成画像と、前記高輝度画像生成部により生成された高輝度画像との合成比率を、該高輝度画像の画素値が大きくなるほど高輝度画像の比率が大きくなるように設定する合成比率設定部と、該合成比率設定部により設定された合成比率に基づいて前記平均化合成画像と前記高輝度画像とを合成する画像合成部とを備える画像処理装置を提供する。

本態様によれば、時間間隔をあけて取得された複数枚の画像が入力されると、平均化合成部において、各画像の対応する画素の画素値が加重平均されて平均化合成画像が生成される。また、時間間隔をあけて取得された複数枚の画像は、高輝度画像生成部において、前記複数枚の画像の対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像が生成される。そして、生成された平均化合成画像と高輝度画像とは、合成比率設定部により設定された合成比率で、画像合成部において合成される。

この場合において、合成比率設定部は、高輝度画像の画素値が大きくなればなるほど、高輝度画像の合成比率が大きくなるように設定するので、高輝度画像の画素値が小さいところでは平均化合成画像が支配的となり、高輝度画像の画素値が大きいところでは高輝度画像が支配的となった合成画像が生成される。すなわち、暗部の露光を適正範囲に収めつつ、必要な時間にわたって強い光の軌跡を記録した合成画像を生成することができる。

上記態様においては、前記高輝度画像生成部が、前記複数枚の画像の対応する画素の画素値のうち、最大の画素値を選択して高輝度画像を生成してもよい。
このようにすることで、強い光の軌跡が最大限に明るく記録された合成画像を生成することができる。

また、上記態様においては、前記合成比率設定部が、撮影シーンに応じて異なる合成比率で前記平均化合成画像と高輝度画像とを合成してもよい。
このようにすることで、撮影シーンに応じた適正な合成比率で合成画像を合成することができる。

また、上記態様においては、入力された前記画像に基づいて撮影シーンを判定するシーン判定部を備えていてもよい。
このようにすることで、入力された画像から自動的に撮影シーンが判定され、撮影シーンに適した合成比率で合成された合成画像を取得することができる。

また、上記態様においては、前記シーン判定部が、入力された複数の前記画像に基づいて被写体の動きを検出し、検出された被写体の動きに基づいて撮影シーンを判定してもよい。
このようにすることで、被写体に動きがある場合に、川や滝のように画像内の一定の領域で動いているのか、画像内の異なる領域に動きが広がるのか等の判定によって撮影シーンを判定でき、撮影シーンに適した合成比率で合成された合成画像を取得することができる。

また、上記態様においては、前記シーン判定部が、入力された前記画像の画素値の分布に基づいて撮影シーンを判定してもよい。
すなわち、昼間に取得された画像と夜間に取得された画像とでは、その画素値の分布の傾向が異なるので、これによって撮影シーンを判定でき、撮影シーンに適した合成比率で合成された合成画像を取得することができる。

また、上記態様においては、時間軸方向に並ぶ複数の画像の画素値を対応する画素毎に累積加算して累積加算画像を生成する累積加算部を備え、前記平均化合成部が、前記累積加算部により生成された複数枚の前記累積加算画像の対応する画素の画素値を加重平均して平均化合成画像を生成し、前記高輝度画像生成部が、前記累積加算部により生成された複数枚の前記累積加算画像の対応する画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成してもよい。

このようにすることで、平均化合成部および高輝度画像生成部が、累積加算部により生成された累積加算画像を用いて、それぞれ平均化合成画像および高輝度画像を生成するので、ダイナミックレンジが非常に広い撮影シーンにおいても、暗部の露光を適正範囲に収めつつ、必要な時間にわたって強い光の軌跡を記録した合成画像を生成することができる。

また、上記態様においては、前記累積加算部による加算枚数を設定する加算枚数設定部を有していてもよい。
このようにすることで、合成画像の露出をユーザ所望の露出に設定することができる。

また、上記態様においては、前記加算枚数設定部が、入力された画像の画素値の分布に基づいて前記加算枚数を算出してもよい。
このようにすることで、合成画像の露出を自動的に適正な露出に設定することができる。

また、本発明の他の態様は、被写体を撮影して画像を取得する撮像部と、上記いずれかの画像処理装置と、該画像処理装置のシーン判定部により判定された撮影シーンに基づいて前記撮像部の露出時間を設定する露出設定部とを備える撮像装置を提供する。
本発明によれば、画像処理装置における画像合成に用いるシーン判定結果を利用して撮像装置の露出時間の設定を行うことができ、撮像装置により取得される画像の露出を適正に設定することができる。

また、本発明の他の態様は、時間間隔をあけて取得された複数枚の画像の対応する画素の画素値を加重平均して平均化合成画像を生成する平均化合成ステップと、前記複数枚の画像の対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成する高輝度画像生成ステップと、前記平均化合成ステップにより生成された平均化合成画像と、前記高輝度画像生成ステップにより生成された高輝度画像との合成比率を、該高輝度画像の画素値が大きくなるほど高輝度画像の比率が大きくなるように設定する合成比率設定ステップと、該合成比率設定ステップにより設定された合成比率に基づいて前記平均化合成画像と前記高輝度画像とを合成する画像合成ステップとを含む画像処理方法を提供する。

また、本発明の他の態様は、時間間隔をあけて取得された複数枚の画像の対応する画素の画素値を加重平均して平均化合成画像を生成する平均化合成ステップと、前記複数枚の画像の対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成する高輝度画像生成ステップと、前記平均化合成ステップにより生成された平均化合成画像と、前記高輝度画像生成ステップにより生成された高輝度画像との合成比率を、該高輝度画像の画素値が大きくなるほど高輝度画像の比率が大きくなるように設定する合成比率設定ステップと、該合成比率設定ステップにより設定された合成比率に基づいて前記平均化合成画像と前記高輝度画像とを合成する画像合成ステップとをコンピュータに実行させる画像処理プログラムを提供する。

本発明によれば、暗部の露光を適正範囲に収めつつ、必要な時間にわたって強い光の軌跡を記録することができるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置および撮像装置を示すブロック図である。 図１の画像処理装置の合成比率算出部に記憶された画素値に対する合成比率の特性の一例を示すグラフである。 図１の画像処理装置を用いた画像処理方法を説明するフローチャートである。 図２の画素値に対する合成比率の特性の変形例を示すグラフである。 本発明の第２の実施形態に係る画像処理装置および撮像装置を示すブロック図である。 図５の撮像装置において、第１のシーンにおける（ａ）本撮影に先立って取得される画像例、（ｂ）被写体動きマップの例をそれぞれ示す図である。 図５の撮像装置において、第２のシーンにおける（ａ）本撮影に先立って取得される画像例、（ｂ）被写体動きマップの例をそれぞれ示す図である。 図５の画像処理装置の合成比率算出部に記憶された図６の第１のシーンに対応する画素値に対する合成比率の特性の一例を示すグラフである。 図５の画像処理装置による撮影シーンの他の判定方法としてのヒストグラム例であり、（ａ）第１のシーン、（ｂ）第２のシーンのヒストグラムをそれぞれ示す図である。 図５の画像処理装置による画像処理方法を説明するフローチャートである。 本発明の第３の実施形態に係る画像処理装置および撮像装置を示すブロック図である。 図１１の第１の変形例を示すブロック図である。 図１１の第２の変形例を示すブロック図である。 図１１の第３の変形例を示すブロック図である。 図１１の第４の変形例を示すブロック図である。 図１１の第５の変形例を示すブロック図である。 図１１の画像処理装置による画像処理方法を説明するフローチャートである。

本発明の第１の実施形態に係る画像処理装置３、画像処理方法および撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、撮像部２と、画像処理装置３とを備えている。

撮像部２は、時間間隔をあけて複数枚の画像を取得し、後段の画像処理装置３に供給するようになっている。
撮像部２においては、図示しない撮像光学系を介して入力されてきた光が、固体撮像素子において任意の露光時間にわたって撮影され、電気信号に変換され、固定パターンノイズの除去およびアナログゲインの調整等が行われた後に、ディジタル信号に変換されて画像処理部３に送られるようになっている。

本実施形態においては、撮像部２により最初に取得された画像を基準画像とし、該基準画像の後に取得された１枚以上の画像を対象画像とする。
本実施形態に係る画像処理装置３は、図１に示されるように、撮像部２から入力されてきた基準画像および対象画像を加重平均して平均化合成画像を生成する平均化合成部４と、基準画像および対象画像から高輝度画像を生成する高輝度画像生成部５と、平均化合成部４により生成された平均化合成画像と、高輝度画像生成部５により生成された高輝度画像との合成比率を算出する合成比率算出部６と、該合成比率算出部６により算出された合成比率によって加重平均化画像と高輝度画像とを合成して合成画像を生成する画像合成部７とを備えている。

平均化合成部４は、撮像部２から入力されてきた基準画像および対象画像が加重平均されて合成されるようになっている。これにより、ノイズが低減された平均化合成画像が生成される。基準画像および対象画像は、画面全体で同一の比率で加重平均されてもよいし、被写体の構造や画面位置のずれの大きさに応じて、画面内領域毎に比率を変化させてもよい。また、基準画像と対象画像との間に、撮影に起因する画面位置のずれが生じている場合には、基準画像に対する対象画像の画面位置のずれを補正した後に加重平均を行うことにしてもよい。

高輝度画像生成部５は、撮像部２から入力されてきた基準画像と対象画像との対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成するようになっている。ここで一例としては、画素値の最大値の加重平均比率を１００％とし、他のより低い画素値の加重平均比率を０％とする、即ち画素値の最大値を選択するようにしてもよい。
上記と同様にして、基準画像と対象画像との間に、撮影に起因する画面位置のずれが生じている場合には、基準画像に対する対象画像の画面位置のずれを補正した後に上記加重平均を行うことにしてもよい。

合成比率算出部６は、高輝度画像生成部５により生成された高輝度画像の各画素の画素値に基づいて合成比率を算出するようになっている。具体的には、図２に示される特性の関数式もしくはルックアップテーブルを記憶していて、高輝度画像の各画素の画素値から対応する合成比率を求めるようになっている。合成比率は、高輝度画像の画素値が大きくなればなるほど高輝度画像の合成比率が大きくなるように設定されるようになっている。図２に示す例では、画素値が小さい領域では、高輝度画像の合成比率はゼロであり、画素値が閾値Ｓより大きくなると、高輝度画像の合成比率が徐々に大きくなるような特性を示している。

画像合成部７は、次式によって平均化合成画像と高輝度画像とを合成して合成画像を生成するようになっている。
合成画像＝（１−合成比率）×平均化画像＋合成比率×高輝度画像

このように構成された本実施形態に係る撮像装置１および画像処理装置３における画像処理方法について以下に説明する。
本実施形態に係る撮像装置１および画像処理装置３を用いて合成画像を生成するには、図３に示されるように、撮像部２において、時間間隔をあけて複数枚の画像を取得し、取得された画像を画像処理装置３に入力する（ステップＳ１）。

取得された複数枚の画像は、画像処理装置３に入力されると、平均化合成部４および高輝度画像生成部５に入力される。平均化合成部４に入力された複数枚の画像は、平均化合成部４において加重平均される。これにより、平均化合成画像が生成される（ステップＳ２）。また、高輝度画像生成部５に入力された複数枚の画像は、各画像の対応する画素の画素値どうしが比較されることにより、各画素において画像間における最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像が生成される（ステップＳ３）。生成された平均化合成画像および高輝度画像は画像合成部７に送られる。

また、高輝度画像生成部５において生成された高輝度画像は、合成比率算出部６に送られる。合成比率算出部６においては、高輝度画像の各画素の画素値から、記憶されている合成比率を示す関数またはルックアップデーブルを参照して合成比率が求められる（ステップＳ４）。
そして、算出された各画素の合成比率は、画像合成部７に送られる。

画像合成部７においては、平均化合成部４から送られてきた平均化合成画像と、高輝度画像生成部５から送られてきた高輝度画像とが、合成比率算出部６から送られてきた合成比率に基づいて加重平均され、合成画像が生成される（ステップＳ５）。

この場合において、本実施形態に係る画像処理装置３、画像処理方法および撮像装置１によれば、合成比率を求めるための関数またはルックアップテーブルが、高輝度画像の各画素において、画素値が大きいほど高輝度画像の合成比率を大きくする特性を有しているので、生成される合成画像は、画素値の低い領域では平均化合成画像の影響が支配的となり、画素値が高くなって行くに従って高輝度画像の影響が支配的となる。
すなわち、比較的暗い領域では平均化合成によってノイズが除去された露光が適正な範囲に収められた鮮明な画像が記録され、強い光が存在する領域では、強い光がそのまま残されることによって強い光の軌跡が記録された合成画像を生成することができる。

このように、本実施形態に係る画像処理装置３、画像処理方法および撮像装置１によれば、暗部の露光を適正範囲に収めつつ、必要な時間にわたって強い光の軌跡を記録することができるという利点がある。

なお、本実施形態においては、合成比率算出部６において、図２に示される特性を示す関数またはルックアップテーブルに基づいて平均化合成画像と高輝度画像との合成比率を求めることとしたが、これに代えて、図４（ａ）〜（ｃ）に示されるような特性を示す関数またはルックアップテーブルを採用してもよい。

また、本実施形態に係る画像処理方法は、ハードウェアによって実行することにしてもよいし、コンピュータにより実行させる画像処理プログラムによって実行することにしてもよい。

次に、本発明の第２の実施形態に係る画像処理装置１１および撮像装置１０について図面を参照して以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る画像処理装置３および撮像装置１と構成を共通とする箇所には同一符号を付して説明を省略する。

本実施形態に係る撮像装置１０は、図５に示されるように、撮像部２の露出を設定する露出設定部１２をさらに備えている。また、本実施形態に係る画像処理装置１１は、撮像部２により取得された画像から被写体の動きを検出する動き検出部１３と、該動き検出部１３により検出された被写体の動きに基づいて撮影シーンを判定するシーン判定部１４とをさらに備えている。

動き検出部１３は、図６（ａ）および図７（ａ）に示されるように、撮像部２により本撮影に先立って撮影された３枚の画像Ｇ１〜Ｇ３を比較して、被写体の動きを検出するようになっている。すなわち、動き検出部１３においては、撮像部２から入力された３枚の画像Ｇ１〜Ｇ３を複数の領域Ｒに分割して、２つの画像Ｇ１，Ｇ２：Ｇ２，Ｇ３毎もしくはＧ１，Ｇ２：Ｇ２，Ｇ３毎に、同じ領域Ｒ間でブロックマッチング処理を行い、動きベクトルを算出する。そして、図６（ｂ）および図７（ｂ）に示されるように、算出された動きベクトルが所定の閾値より大きい領域（斜線で示す領域）Ｒ’を被写体の動きがある領域として、動きのない領域とを区別した被写体動きマップＭ１，Ｍ２を生成する。入力された３枚の画像Ｇ１〜Ｇ３に対して２つの被写体動きマップＭ１，Ｍ２が生成されるようになっている。

シーン判定部１４は、動き検出部１３により生成された２つの被写体動きマップＭ１，Ｍ２を比較し、被写体の動きある領域Ｒが、２つの被写体動きマップＭ１，Ｍ２間で同じ位置に存在する図６の場合を第１のシーン、異なる位置に存在する図７の場合を第２のシーンとして、シーン判定結果を出力するようになっている。

長秒露光撮影において、第１のシーンは川や滝などを撮影している撮影シーンであり、第２のシーンは、花火や車のライトなどを撮影している撮影シーンである。
シーン判定部１４の判定結果は、露出設定部１２および合成比率算出部６に送られるようになっている。

露出設定部１２は、シーン判定部１４から出力された撮影シーンの判定結果に基づいて撮像部２における露出を設定する露出情報を生成するようになっている。例えば、第１のシーンの場合には、通常の露出設定で画像全体の明るさを十分に表現できるため、通常の露出情報を生成して撮像部２に出力するようになっている。また、第２のシーンの場合には、強い光の軌跡部分を飽和させたくないため、シーン内に飽和する領域が存在しないような露出となる露出情報を生成して撮像部２に出力するようになっている。

また、合成比率算出部６は、撮影シーンに応じた合成比率の関数またはルックアップテーブルを記憶していて、シーン判定部１４から入力された撮影シーンの判定結果に応じて合成比率の関数またはルックアップテーブル（ＬＵＴ）を選択し、選択された合成比率の関数またはルックアップテーブルを用いて、高輝度画像生成部５から送られてくる高輝度画像の画素値によって、第１の実施形態と同様に、合成比率を算出するようになっている。

このように構成された本実施形態に係る画像処理装置１１および撮像装置１０による画像処理方法について、図１０を参照して説明する。
ユーザが撮像部２を駆動する（例えば、シャッタを押す。）と、撮像部２は、本撮影に先立って、時間間隔をあけた３枚の画像を取得する（プリ撮影：ステップＳ１０）。

取得された３枚の画像は画像処理装置１１の動き検出部１３に入力されて、２つの被写体動きマップＭ１，Ｍ２が生成され（ステップＳ１１）、シーン判定部１４に送られる。そして、シーン判定部１４において、送られてきた２つの被写体動きマップＭ１，Ｍ２が比較されることにより、第１のシーンか第２のシーンかが判定され（ステップＳ１２）、判定結果が、露出設定部１２に送られて露出情報が生成され（ステップＳ１３）、撮像部２に送られる。

撮像部２においては、送られてきた露出情報に基づいて本撮影が行われる（ステップＳ１４）。本撮影においては、時間間隔をあけた複数枚の画像（例えば、１枚の基準画像と１枚以上の対象画像）が取得される。取得された画像は、第１の実施形態と同様に、画像処理装置１１に入力され（ステップＳ１５）、平均化合成部４と高輝度画像生成部５にそれぞれ送られて平均化合成画像と高輝度画像とが生成される（ステップＳ１６，Ｓ１７）。

そして、高輝度画像生成部５において生成された高輝度画像およびシーン判定部１４における判定結果が合成比率算出部６に送られると、合成比率算出部６において、シーン判定部１４における判定結果に応じた合成比率を示す関数またはルックアップテーブルが選択され（ステップＳ１８）、高輝度画像における各画素の画素値に対応する合成比率が、選択された関数またはルックアップテーブルにより求められる（ステップＳ１９）。

例えば、シーン判定部１４において第１のシーンであると判定された場合には、合成比率算出部６において、図８に示される合成比率を示す関数またはルックアップテーブルが選択され、高輝度画像を含まない平均化合成画像のみが合成画像として生成される。一方、シーン判定部１４において第２のシーンであると判定された場合には、第１の実施形態と同様に、図２または図４に示される合成比率を示す関数またはルックアップテーブルが選択され、高輝度画像の各画素における画素値が大きいほど、高輝度画像の合成比率が高くなるように合成画像が生成される（ステップＳ２０）。

このように、本実施形態に係る画像処理装置１１、画像処理方法および撮像装置１０によれば、撮影シーンを判定して、撮影シーンに適した合成比率で平均化合成画像と高輝度画像とを合成するので、撮影シーン毎に、適正な合成画像を生成することができるという利点がある。

なお、本実施形態に係る画像処理方法においても、ハードウェアによって実行することにしてもよいし、コンピュータにより実行させる画像処理プログラムによって実行することにしてもよい。
また、本実施形態においては、画像を複数の領域Ｒに分割して領域Ｒ毎にブロックマッチング処理を行うことにより、被写体の動きを検出して撮影シーンを判定したが、これに代えて、図９（ａ）、（ｂ）に示されるように、取得された画像のヒストグラムを作成して、そのパターンによって第１のシーンと第２のシーンとを判定することにしてもよい。

図９（ａ）は全体的に明るい画像であって第１のシーンと判定する場合のヒストグラムであり、図９（ｂ）は全体的に暗い画像内に強い光が存在する第２のシーンと判定する場合のヒストグラムである。
また、本実施形態においては、撮影シーンを判定するために、本撮影に先立って３枚の画像Ｇ１〜Ｇ３を取得することとしたが、これに代えて、４枚以上の画像を取得して撮影シーンを判定することにしてもよい。

次に、本発明の第３の実施形態に係る画像処理装置２１、画像処理方法および撮像装置２０について図面を参照して以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る画像処理装置３および撮像装置１と構成を共通とする箇所には同一符号を付して説明を省略する。

本実施形態に係る画像処理装置２１は、第１の実施形態に係る画像処理装置３が、撮像部２から入力されてくる複数枚の画像をそのまま平均化合成部４および高輝度画像生成部５に入力していたのに対し、これに代えて、図１１に示されるように、複数枚累積した後に平均化合成部４および高輝度画像生成部５に入力している点で相違している。
このために、本実施形態に係る画像処理装置２１は、第１の累積画像生成部２２および第２の累積画像生成部２３を備えている。

第１の累積画像生成部２２は、図１７に示されるように、撮像部２から入力された予め定められた枚数の複数枚の画像を累積加算して第１の累積画像である基準画像を生成するようになっている（ステップＳ２１）。
また、第２の累積画像生成部２３は、第１の累積画像を生成した複数枚の画像の後に撮像部から入力された予め定められた枚数の複数枚の画像を累積加算して第２の累積画像である対象画像を生成するようになっている（ステップＳ２２）。

本実施形態に係る画像処理装置２１、画像処理方法および撮像装置２０によれば、第１の累積画像生成部２２および第２の累積画像生成部２３において、複数枚の画像を累積加算して基準画像および対象画像を生成するので、動いている強い光を撮影している場合には、基準画像および対象画像ともに、強い光の軌跡を飽和させることなく、シーン全体を明るくすることができるという利点がある。

なお、本実施形態においては、第１，第２の累積画像生成部２２，２３において、予め定められた枚数の複数枚の画像を累積加算することとしたが、これに代えて、図１２に示されるように、ユーザインタフェース２４を設け、ユーザが累積加算枚数を入力することにしてもよい。

この場合には、第１の累積画像生成部２２において、複数枚の画像が累積加算される途中経過の画像を撮像装置に設けたモニタ（図示略）に表示し、ユーザがモニタを確認して、画像全体が所望の明るさになった時点でユーザインタフェース２４を介して累積加算枚数を入力することにすればよい。第２の累積画像生成部２３における累積加算枚数については、第１の累積画像生成部２２における累積加算枚数と同じに設定してもよいし、同様の方法で入力させることにしてもよい。

また、図１３に示されるように、第２の実施形態におけるシーン判定部１４を有する場合には、シーン判定部１４が第１，第２の累積画像生成部２２，２３における累積加算枚数を決定することにしてもよい。例えば、シーン判定部１４が画像のヒストグラムを生成する場合、画像全体の明るさの統計値（平均値、中央値、最頻値等）として任意の目標値を設定し、生成されたヒストグラム全体もしくは目標値より低い画素値のヒストグラムから目標値と同様の統計値を算出する。そして、算出した統計値と目標値との比率から第１の累積画像生成部２２における累積加算枚数を決定することにすればよい。第２の累積画像生成部２３における累積加算枚数については、第１の累積画像生成部２２における累積加算枚数と同じに設定してもよいし、同様の方法で入力させることにしてもよい。

また、同様にして、図１４に示されるように、平均化合成部４に接続するユーザインタフェース２５を設け、ユーザが平均化合成部４における加算平均の途中経過の画像を撮像装置に設けたモニタ（図示略）を確認して、画像全体が所望のＳ／Ｎになった時点でユーザインタフェース２５を介して加算平均枚数を入力することにしてもよい。

また、これに代えて、図１５に示されるように、撮像部２に接続されたＳ／Ｎ算出部２６からの出力信号により平均化合成部４における加算平均枚数を設定することにしてもよい。
この場合には、Ｓ／Ｎ算出部２６は、撮像部２から、シャッタを閉じた状態の画像（遮光画像）を入力されてＳ／Ｎを算出し、予め設定されたＳ／Ｎの目標値との比率から加算平均枚数を決定すればよい。なお、遮光画像からＳ／Ｎを算出することに代えて、通常に取得された画像からＳ／Ｎの算出に適した領域、例えば、平坦領域を検出してＳ／Ｎを算出することにしてもよい。

また、図１６に示されるように、高輝度画像生成部５において高輝度画像の生成に用いる画像の枚数を決定するために、高輝度画像生成部５に接続するユーザインタフェース２７を設け、合成する画像の枚数を変更した際の高輝度画像生成部５により生成された画像を撮像装置１に設けたモニタ（図示略）によってユーザが確認して、画像中の強い光の軌跡の長さが所望の長さになった時点でユーザインタフェース２７を介して枚数を入力することにしてもよい。高輝度画像を生成するための枚数は平均化合成部４における加算平均枚数と同じかそれよりも多いことが望ましい。

１，１０，２０ 撮像装置
２ 撮像部
３，１１，２１ 画像処理装置
４ 平均化合成部
５ 高輝度画像生成部
６ 合成比率算出部（合成比率設定部）
７ 画像合成部
１２ 露出設定部
１４ シーン判定部
２２ 第１の累積画像生成部（累積加算部）
２３ 第２の累積画像生成部（累積加算部）
２４，２５，２７ ユーザインタフェース（加算枚数設定部）
Ｓ２ 平均化合成ステップ
Ｓ３ 高輝度画像生成ステップ
Ｓ４ 合成比率算出ステップ
Ｓ５ 画像合成ステップ

Claims (12)

1. 時間間隔をあけて取得された複数枚の画像が入力され、各該画像の対応する画素の画素値を加重平均して平均化合成画像を生成する平均化合成部と、
   前記複数枚の画像の対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成する高輝度画像生成部と、
   前記平均化合成部により生成された平均化合成画像と、前記高輝度画像生成部により生成された高輝度画像との合成比率を、該高輝度画像の画素値が大きくなるほど高輝度画像の比率が大きくなるように設定する合成比率設定部と、
   該合成比率設定部により設定された合成比率に基づいて前記平均化合成画像と前記高輝度画像とを合成する画像合成部とを備える画像処理装置。
2. 前記高輝度画像生成部が、前記複数枚の画像の対応する画素の画素値のうち、最大の画素値を選択して高輝度画像を生成する請求項１に記載の画像処理装置。
3. 前記合成比率設定部が、撮影シーンに応じて異なる合成比率で前記平均化合成画像と高輝度画像とを合成する請求項１または請求項２に記載の画像処理装置。
4. 入力された前記画像に基づいて撮影シーンを判定するシーン判定部を備える請求項３に記載の画像処理装置。
5. 前記シーン判定部が、入力された複数の前記画像に基づいて被写体の動きを検出し、検出された被写体の動きに基づいて撮影シーンを判定する請求項４に記載の画像処理装置。
6. 前記シーン判定部が、入力された前記画像の画素値の分布に基づいて撮影シーンを判定する請求項４に記載の画像処理装置。
7. 時間軸方向に並ぶ複数の画像の画素値を対応する画素毎に累積加算して累積加算画像を生成する累積加算部を備え、
   前記平均化合成部が、前記累積加算部により生成された複数枚の前記累積加算画像の対応する画素の画素値を加重平均して平均化合成画像を生成し、
   前記高輝度画像生成部が、前記累積加算部により生成された複数枚の前記累積加算画像の対応する画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成する請求項１に記載の画像処理装置。
8. 前記累積加算部による加算枚数を設定する加算枚数設定部を有する請求項７に記載の画像処理装置。
9. 前記加算枚数設定部が、入力された画像の画素値の分布に基づいて前記加算枚数を算出する請求項８に記載の画像処理装置。
10. 被写体を撮影して画像を取得する撮像部と、
    請求項４から請求項６のいずれかに記載の画像処理装置と、
    該画像処理装置の前記シーン判定部により判定された撮影シーンに基づいて前記撮像部の露出時間を設定する露出設定部とを備える撮像装置。
11. 時間間隔をあけて取得された複数枚の画像の対応する画素の画素値を加重平均して平均化合成画像を生成する平均化合成ステップと、
    前記複数枚の画像の対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成する高輝度画像生成ステップと、
    前記平均化合成ステップにより生成された平均化合成画像と、前記高輝度画像生成ステップにより生成された高輝度画像との合成比率を、該高輝度画像の画素値が大きくなるほど高輝度画像の比率が大きくなるように設定する合成比率設定ステップと、
    該合成比率設定ステップにより設定された合成比率に基づいて前記平均化合成画像と前記高輝度画像とを合成する画像合成ステップとを含む画像処理方法。
12. 時間間隔をあけて取得された複数枚の画像の対応する画素の画素値を加重平均して平均化合成画像を生成する平均化合成ステップと、
    前記複数枚の画像の対応する画素の画素値の中で最大値の加重平均比率を他の画素値の加重平均比率よりも大きくして加重平均することにより高輝度画像を生成する高輝度画像生成ステップと、
    前記平均化合成ステップにより生成された平均化合成画像と、前記高輝度画像生成ステップにより生成された高輝度画像との合成比率を、該高輝度画像の画素値が大きくなるほど高輝度画像の比率が大きくなるように設定する合成比率設定ステップと、
    該合成比率設定ステップにより設定された合成比率に基づいて前記平均化合成画像と前記高輝度画像とを合成する画像合成ステップとをコンピュータに実行させる画像処理プログラム。

Images