JP4998439B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に時系列に撮像された撮像画像における軌跡を表示する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

時系列に撮像された複数の撮像画像（以下、フレーム画像という。）から動被写体の軌跡を示す画像を生成する方法として、例えば複数フレーム画像を単純に重ね合わせて合成する方法が考えられる。この単純な方法によると、フレーム数が多くなればなるほど、合成結果に対する一枚のフレームの寄与率が低くなり、動被写体の軌跡が薄くなってしまうという問題がある。例えば、図１０のような５枚のフレーム画像を想定した場合、単純に合成を行うと、合成結果に対する各画素の寄与率は２０％になり、動被写体が横切る画素位置においては、動被写体が２０％、背景が８０％という比率で合成されるため、図１１（ｃ）のように動被写体の軌跡が薄くなってしまう。

これに対し、単純な合成に改良を加えた手法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて一枚の静止画像を合成する方法が提案されている（例えば、特許文献１参照。）。この従来技術では、各フレーム画像における同一位置の画素において、輝度値の平均値からの距離が輝度値の分散以上離れている画素には大きい重みを付けて、輝度値の平均値からの距離が輝度値の分散以下に収まっている画素には小さい重みを付けて合成が行われ、その結果が出力画像の同一位置の画素として出力される。これにより、合成画像において動被写体の重みが背景の重みより大きくなり、単純な合成方法に比べて動被写体の軌跡をはっきりさせるものである。

また、動被写体を抽出してその追跡を行うことによって動被写体の軌跡の合成を行う手法が提案されている（例えば、特許文献２参照。）。この従来技術では、動被写体の追跡が失敗した場合に、追跡が成功した時刻の動被写体の特徴量や位置などから動被写体を補間することにより、動被写体の抽出および追跡の精度を高めている。
特開平１０−２９０４５０号公報（図１） 特開２００５−１２３８２４号公報（図１）

上述の従来技術のように、動被写体の重みを大きくして合成する方法によれば、単純な合成方法に比べて動被写体の軌跡をはっきりさせるという効果がある。しかしながら、背景以外は等しい重みによる多重合成になるため、背景以外のフレーム画像の数が多ければ多いほど軌跡に対する一枚の寄与率が低くなり、原画像と同等にはっきりとした軌跡を作成することは困難である。また、輝度値の分散により背景を判断する方法では、画像の状態によっては背景とそれ以外を明確に区別することが困難な場合がある。

また、動被写体を追跡する従来技術によれば、動被写体を補間しながら、任意の態様により軌跡を表示させることができる。しかしながら、この場合、特徴量として動被写体の存在領域、色、輝度、テクスチャ等が用いられるため、これらの変化や変形などに対応できないという問題がある。また、動被写体が多い場合には、演算等に要するコストの関係上、それら全ての動被写体を追跡することが困難になるという問題がある。

そこで、本発明は、時系列に撮像された複数の撮像画像から、その撮像画像の背景の状態や、動被写体の数、大きさ、変形、色などに左右されずに、動被写体の軌跡合成画像を効率良く生成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の入力画像から所定の数の入力画像を選択画像として選択する画像選択手段と、上記選択画像の対応する画素位置のそれぞれについて上記選択画像の画素値の中で所定の分布を有する画素値を上記画素位置の背景画素値として生成する背景生成手段と、上記画素位置のそれぞれについて上記入力画像の画素値が上記背景画素値と相違する程度を示す相違度を生成する相違度生成手段と、上記画素位置のそれぞれについて上記相違度に応じて上記入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段とを具備する画像処理装置である。これにより、背景画素値を生成するための選択画像の数を任意に設定させるという作用をもたらす。

また、この第１の側面において、上記背景生成手段は上記所定の分布を有する画素値として最も出現頻度の高い画素値を生成するようにしてもよい。動被写体は一時的に通過する性質を有するが、背景は比較的恒常性を有する、という差異を利用したものである。

また、この第１の側面において、上記背景生成手段は、上記背景画素値を保持する背景画素値保持手段と、上記背景画素値の出現頻度を保持する出現頻度保持手段と、上記入力画像の画素値に対する基準値を設定する基準値設定手段と、上記基準値との差異が所定範囲内にある上記入力画像の画素値を背景候補値として判定する背景候補生成手段と、上記背景候補値の出現頻度を計数して上記背景候補値の出現頻度が上記出現頻度保持手段に保持された出現頻度よりも大きい場合には上記背景候補値を新たな背景画素値として上記背景画素値保持手段に保持させるとともに上記背景候補値の出現頻度を上記出現頻度保持手段に保持させるよう更新する更新判定手段とを具備してもよい。これにより、各画素値の出現頻度を全て保持することなく、最も出現頻度の高い画素値を背景画素値保持手段に保持させるという作用をもたらす。

また、この第１の側面において、上記出力画像生成手段は、上記出力画像の画素値を保持する出力画像保持手段と、上記画素位置のそれぞれについて上記相違度に応じて合成比率を生成する合成比率生成手段と、上記画素位置のそれぞれについて上記合成比率に応じて上記入力画像の画素値を上記出力画像保持手段に保持された上記出力画像の画素値と合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる合成値算出手段とを具備するようにしてもよい。これにより、相違度から生成された合成比率に応じて出力画像の画素値を生成させるという作用をもたらす。

また、この第１の側面において、上記出力画像生成手段は、上記出力画像の画素値を保持する出力画像保持手段と、上記出力画像の画像番号を保持する画像番号保持手段と、上記入力画像の画像番号が上記画像番号保持手段に保持された画像番号よりも時系列上で新しい場合において上記相違度が所定以上の程度を示していれば上記入力画像の画素値を新たな出力画像の画素値として上記出力画像保持手段に保持させるとともに上記入力画像の画像番号を上記画像番号保持手段に保持させる更新判定手段とを具備するようにしてもよい。これにより、最新の画像番号に対応する入力画像の画素値のみを出力画像に反映させるという作用をもたらす。

また、この第１の側面において、上記出力画像生成手段は、上記出力画像の画素値を保持する出力画像保持手段と、上記出力画像の相違度を保持する相違度保持手段と、上記入力画像の相違度が上記相違度保持手段に保持された相違度よりも大きい場合には上記入力画像の画素値を新たな出力画像の画素値として上記出力画像保持手段に保持させるとともに上記入力画像の相違度を上記相違度保持手段に保持させる更新判定手段とを具備するようにしてもよい。これにより、相違度の最も大きい入力画像の画素値のみを出力画像に反映させるという作用をもたらす。

また、本発明の第２の側面は、複数の入力画像から所定の数の入力画像を選択画像として選択する画像選択手段と、上記選択画像の対応する画素位置のそれぞれについて上記選択画像の画素値の中で所定の分布を有する画素値を背景画像の対応する画素位置の画素値として生成する背景生成手段と、上記背景画像の画素値を保持する背景画像保持手段と、出力画像の画素値を保持する出力画像保持手段と、上記入力画像の画素値が背景画像保持手段に保持された上記背景画像の対応する画素値と相違する程度を示す相違度を生成する相違度生成手段と、上記出力画像の画素値について上記相違度に応じて上記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる出力画像合成手段とを具備する画像処理装置である。これにより、背景画素値を生成するための選択画像の数を任意に設定させるという作用をもたらす。

また、本発明の第３の側面は、複数の入力画像から所定の数の入力画像を選択画像として選択する画像選択手段と、前記選択画像の対応する画素位置のそれぞれについて前記選択画像の画素値の中で所定の分布を有する画素値を背景画像の対応する画素位置の画素値として生成する背景生成手段と、前記背景画像の画素値を保持する背景画像保持手段と、出力画像の画素値を保持する出力画像保持手段と、前記入力画像の画素値が背景画像保持手段に保持された前記背景画像の対応する画素値と相違する程度を示す相違度を生成する相違度生成手段と、前記出力画像の画素値について前記相違度に応じて前記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる出力画像合成手段と、前記背景画像保持手段に保持された背景画像の画素値を保存する背景画像保存手段とを具備し、前記背景画像保持手段は、前記背景画像保存手段に必要な背景画像が保存されている場合には前記背景画像保存手段に保存された背景画像を復元して保持する画像処理装置である。これにより、背景画像保存手段に保存された背景画像を復元して用いることによって、背景画像の生成に要する処理を省かせるという作用をもたらす。

本発明によれば、時系列に撮像された複数の撮像画像から、その撮像画像の背景の状態や、動被写体の数、大きさ、変形、色などに左右されずに、動被写体の軌跡合成画像を効率良く生成するという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置の一例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサなどにより実現される。

信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるデジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。なお、画像処理回路２３により実行される処理の詳細については後述する。

記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。

表示系は、画像処理回路２３によって処理された画像信号をアナログ化するＤ／Ａ変換回路４１と、アナログ化された画像信号を後段の表示部４３に適合する形式のビデオ信号にエンコードするビデオエンコーダ４２と、入力されるビデオ信号に対応する画像を表示する表示部４３とから構成される。表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。

制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムをドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。

画像処理回路２３、符号化／復号器３１、メモリ３２、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。

この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってディジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。

なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路４１によってアナログ信号に変換され、ビデオエンコーダ４２によってビデオ信号に変換されて対応する画像が表示部４３に表示される。

表示部４３は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッターボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッターボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。

図２は、本発明の実施の形態における撮像装置の画像処理回路２３の第１の実施例を示す図である。この第１の実施例による画像処理回路２３は、画素選択部１２０と、背景生成部１３０と、相違度生成部１４０と、軌跡合成部１５０と、軌跡合成画像表示部１９０とを備えている。

画素選択部１２０は、時系列に撮像されたｎ枚（ｎは２以上の整数）の入力画像１１０（Ｉ_１〜Ｉ_ｎ）において対応する画素位置のｎ個の画素値を選択するものである。例えば、入力画像１１０のそれぞれが座標（１，１）乃至（ｐ，ｑ）のｐ×ｑ画素（ｐおよびｑは１以上の整数）からなる場合、画素選択部１２０は、まず、ｎ枚の入力画像１１０の中から座標（１，１）の画素位置の画素値をそれぞれ選択する。これによりｎ個の画素値が選択される。画素選択部１２０は、次に、ｎ枚の入力画像１１０の中から座標（１，２）の画素位置の画素値をそれぞれ選択する。これにより次のｎ個の画素値が選択される。この要領で、最終的には入力画像１１０（Ｉ_１〜Ｉ_ｎ）に対してｎ個の画素値がｐ×ｑ組分選択されることになる。これら選択された画素値は、信号線１２９を介して、背景生成部１３０、相違度生成部１４０および軌跡合成部１５０に供給される。

背景生成部１３０は、信号線１２９を介して画素選択部１２０から供給されたｎ個の画素値に基づいて背景値を生成するものである。ｎ個の画素値は上述のようにｐ×ｑ組分供給されるため、背景生成部１３０は、最終的には入力画像１１０（Ｉ_１〜Ｉ_ｎ）に対してｐ×ｑ個の背景値を生成する。これらの背景値は、信号線１３９を介して、相違度生成部１４０に供給される。

相違度生成部１４０は、信号線１３９を介して背景生成部１３０から供給された背景値と、信号線１２９を介して画素選択部１２０から供給された画素値との相違度を生成するものである。上述のように、背景生成部１３０によってｐ×ｑ画素からなる背景値が１つ生成される。相違度生成部１４０は、この背景値の画素位置毎に入力画像１１０（Ｉ_１〜Ｉ_ｎ）のｎ個の画素値との相違度をそれぞれ生成する。これにより、最終的には入力画像１１０（Ｉ_１〜Ｉ_ｎ）に対してｎ個の相違度がｐ×ｑ組分生成されることになる。これら生成された相違度は、信号線１４９を介して、軌跡合成部１５０に供給される。

軌跡合成部１５０は、信号線１４９を介して相違度生成部１４０から供給された相違度に基づいて、信号線１２９を介して画素選択部１２０から供給された画素値を合成するものである。上述のように、ｎ個の相違度はｐ×ｑ組分生成され、ｎ個の画素値はｐ×ｑ組分選択される。すなわち、相違度と画素値の数は一致している。軌跡合成部１５０は、最終的にはｎ個の画素値から１個の画素値を軌跡合成値として合成する。これにより、ｐ×ｑ個の軌跡合成値を有する軌跡合成画像が生成されることになる。これら軌跡合成値は、信号線１５９を介して、軌跡合成画像表示部１９０に供給される。

軌跡合成画像表示部１９０は、信号線１５９を介して軌跡合成部１５０から供給された軌跡合成値に基づいて軌跡合成画像を表示するものである。この軌跡合成画像表示部１９０は、表示部４３をそのまま用いてもよく、また、撮像装置に接続された他の表示装置により実現されてもよい。

図３は、本発明の実施の形態における画像処理回路２３の第１の実施例の背景生成部１３０の第１の構成例を示す図である。この背景生成部１３０は、ヒストグラム生成部１３１と、背景値判定部１３２とを備えている。

ヒストグラム生成部１３１は、信号線１２９を介して画素選択部１２０から供給されたｎ個の画素値についてヒストグラムを生成するものである。このヒストグラムは、画素値の大きさに対する出現頻度を表すものである。例えば、画素値が図４のような分布を示している場合を想定すると、そのヒストグラムは図５のようになる。すなわち、図４の１３個の画素値において、画素値ａの出現頻度が２回、画素値ｂの出現頻度が１回、画素値ｃの出現頻度が７回、画素値ｄの出現頻度が１回、画素値ｅの出現頻度が２回であることから、図５のようなヒストグラムが生成される。

なお、ヒストグラムは、輝度のみであれば図４のように一次元のヒストグラムになるが、ＲＧＢ形式の画素値であれば三次元のヒストグラムになる。すなわち、定義する色空間に応じた次元のヒストグラムが生成される。

背景値判定部１３２は、ヒストグラム生成部１３１において生成されたヒストグラムに基づいて、背景値を判定するものである。具体的には、背景値判定部１３２は、ヒストグラムにおいて最も頻度の高い画素値を背景値であると判定する。例えば、図４の例であれば、最頻値を示す画素値ｃが背景値であると判定される。

図６は、本発明の実施の形態における画像処理回路２３の第１の実施例の背景生成部１３０の第２の構成例を示す図である。この背景生成部１３０は、背景閾値設定部１０１と、基準値設定部１３３と、基準値カウンタ１３３１と、背景判定部１３４と、背景値算出部１３５と、更新判定部１３６と、背景頻度カウンタ１３６１と、背景頻度保持部１３７と、背景値保持部１３８とを備えている。

背景判定部１３４は、入力画像１１０の画素値が背景であるか否かを判定するものである。基準値設定部１３３は、背景判定部１３４が背景を判定する際の基準となる値（基準値）を設定するものである。基準値カウンタ１３３１は、基準値設定部１３３に設定すべき基準値を順次供給するものである。背景閾値設定部１０１は、背景判定部１３４が背景を判定する際の基準値からの閾値（背景閾値）を供給するものである。背景判定部１３４は、基準値設定部１３３に設定された基準値と入力画像１１０の画素値との間の距離を算出して、その距離が背景閾値以下である画素値を背景と判定する。なお、この場合の距離は、例えば色空間上の距離などを意味する。したがって、例えばＲＧＢ空間のように多次元空間であれば、全ての次元においてそれぞれ背景閾値以下である場合に、その距離が背景閾値以下であると判断される。

例えば、図７のような画素値の分布において、図のように基準値が与えられた場合、この基準値を中心として画素値の高低のそれぞれに背景閾値を加味した範囲が背景の範囲になる。基準値設定部１３３に設定される基準値は基準値カウンタ１３３１によって順次変更される。例えば、画素値の昇順もしくは降順に順次設定されていく。これにより、背景判定部１３４によって、基準値から見て背景の範囲にあるか否かが画素値の範囲の全てにおいて判定される。

背景値算出部１３５は、背景判定部１３４によって背景と判定された画素値から背景値を算出する。この背景値は、例えば、背景判定部１３４によって背景と判定された画素値の平均値として算出される。

更新判定部１３６は、背景判定部１３４によって背景と判定された画素値の頻度を背景頻度カウンタ１３６１によって計数し、背景頻度保持部１３７および背景値保持部１３８を更新すべきか否かを判定するものである。すなわち、背景頻度カウンタ１３６１のカウント値が背景頻度保持部１３７に保持された値より大きい場合のみ、背景頻度保持部１３７の内容を背景頻度カウンタ１３６１のカウント値によって更新するとともに背景値保持部１３８の内容を背景値算出部１３５から供給された背景値によって更新する。これにより、背景値保持部１３８にはその時点において最頻値を示す画素値が保持され、背景頻度保持部１３７には最頻値を示す画素値の頻度が保持されることになる。これを全ての画素値を基準値とするように基準値設定部１３３を順次変更していくことによって、最終的に背景値保持部１３８には最頻値を示す画素値が保持されることになる。

図３の背景生成部１３０の第１の構成例では、ヒストグラムの全体を記憶しておくためのメモリ領域が必要になるが、この図６の背景生成部１３０の第２の構成例によれば、その時点において最頻値を示す画素値の頻度を保持しておくだけでよいため、メモリ領域の節減が可能になる。

図８は、本発明の実施の形態における画像処理回路２３の第１の実施例の相違度生成部１４０の一構成例を示す図である。この相違度生成部１４０は、距離算出部１４１と、距離閾値設定部１０２と、相違度算出部１４２とを備えている。

距離算出部１４１は、信号線１３９を介して背景生成部１３０から供給された背景値と、信号線１２９を介して画素選択部１２０から供給された画素値との間の距離を算出するものである。なお、この場合の距離は、例えば色空間上の距離などを意味する。

相違度算出部１４２は、距離算出部１４１によって算出された距離に応じて、背景値と入力画像の画素値との相違度を算出するものである。すなわち、この相違度算出部１４２は、入力画像において動被写体と背景とを区別して、両者が異なるものであることを相違度として示すものである。相違度は、例えば、動被写体に対して「１」、背景に対して「０」が付与されるように算出するものであるが、両者を完全には区別できない場合には、その中間値をとることもある。

相違度を算出する際、相違度算出部１４２は、画像の品質による誤差を考慮して、背景と動被写体とを区別するための距離の閾値（距離閾値）を想定する。すなわち、背景値と入力画像の画素値との間の距離が距離閾値以内であれば両者を完全には区別できないものとして扱い、距離閾値を越える場合には両者は完全に区別できるものとして扱う。その結果、例えば、背景値と入力画像の画素値との間の距離が距離閾値を越える場合には相違度として最大値の「１」が算出され、距離閾値以内の場合には距離に比例するように相違度が算出される。なお、距離閾値は、距離閾値設定部１０２に予め設定される。

図９は、本発明の実施の形態における画像処理回路２３の第１の実施例の軌跡合成部１５０の第１の構成例を示す図である。この軌跡合成部１５０は、軌跡合成比率生成部１５１と、軌跡合成値算出部１５２と、軌跡合成値保持部１５３とを備える。

軌跡合成比率生成部１５１は、信号線１４９を介して相違度生成部１４０から供給された相違度に基づいて、入力画像の画素値を軌跡として合成する比率（軌跡合成比率）を生成するものである。この軌跡合成比率は、例えば、相違度に比例するように定められてもよく、また、その画素の近傍の相違度も考慮して定められてもよい。

軌跡合成値保持部１５３は、軌跡合成部１５０の出力画像の画素値（軌跡合成値）を保持するものである。軌跡合成値算出部１５２は、軌跡合成比率生成部１５１によって生成された軌跡合成比率に応じて、軌跡合成値保持部１５３に保持された画素値に対して入力画像の画素値を合成するものである。すなわち、軌跡合成値保持部１５３に保持される軌跡合成値は、軌跡合成値算出部１５２によって随時更新されていくことになる。

ここで、軌跡合成比率をβ、ｊ番目の入力画像によって更新された後の軌跡合成値をＳ_ｊ、ｋ（＝ｊ＋１）番目の入力画像をＩ_ｋ、ｋ番目の入力画像によって更新された後の軌跡合成値をＳ_ｋとすると、
Ｓ_ｋ＝β×Ｉ_ｋ＋（１−β）×Ｓ_ｊ
となる。但し、ｊおよびｋは整数であり、β、Ｉ_ｋ、Ｓ_ｊおよびＳ_ｋは実数である。

軌跡合成比率βによる効果を説明するために、図１０（ａ）、同（ｂ）、同（ｃ）、同（ｄ）および同（ｅ）の順番で撮像された撮像画像を入力画像として想定する。軌跡合成比率βとして、相違度が大きい動被写体領域には「１」、相違度が小さい背景領域には「０」を与えた場合には、合成の際に背景と動被写体が混ざることがないため、図１１（ａ）のように動被写体の軌跡が全て濃く表示される。

一方、軌跡合成比率βとして、動被写体領域には「１」、背景領域には「０．３」乃至「０．５」程度を与えた場合には、合成されるたびに背景が動被写体に混ざっていくため、図１１（ｂ）のように動被写体の軌跡は古いものほど薄く表示される。

図１２は、本発明の実施の形態における画像処理回路２３の第１の実施例の軌跡合成部１５０の第２の構成例を示す図である。この軌跡合成部１５０は、更新判定部１５４と、最新フレーム番号保持部１５５と、軌跡合成値保持部１５６とを備える。この軌跡合成部１５０の第２の構成例は、入力画像１１０（Ｉ_１〜Ｉ_ｎ）が撮像順に入力されない場合を考慮し、各画素位置において新しい画素値のみが更新されるように制御するものである。すなわち、入力画像１１０の各々に対して古い順に昇順の連続番号をフレーム番号として付与した場合、このフレーム番号が大きいほど新しいことになる。なお、このフレーム番号は、信号線１２９によって画素値とともに供給されるものとする。

軌跡合成値保持部１５６は、軌跡合成値保持部１５３と同様に、軌跡合成値を保持するものである。但し、この第２の構成例では、信号線１３９を介して供給された背景値を予め初期値として保持しているものとする。

最新フレーム番号保持部１５５は、現在の画素位置においてそれまでに入力された入力画像１１０のフレーム番号の最大値を保持するものである。

更新判定部１５４は、信号線１２９によって供給されたフレーム番号と最新フレーム番号保持部１５５に保持されたフレーム番号とを比較して、信号線１２９によって供給されたフレーム番号の方が新しければ、背景でないことを条件として、信号線１２９によって供給された画素値を軌跡合成値保持部１５６に保持させる。但し、更新判定部１５４は、各画素位置における最初の入力画像が選択される前に、信号線１３９を介して供給された背景値を軌跡合成値保持部１５６の初期値として保持させる。これにより、軌跡合成値保持部１５６には、最新であってかつ背景でない画素値のみが更新され、一番新しい時刻の動被写体が最終的な軌跡合成値になるため、時系列順を考慮した軌跡合成値を得ることができる。

図１３は、本発明の実施の形態における画像処理回路２３の第１の実施例の軌跡合成部１５０の第３の構成例を示す図である。この軌跡合成部１５０は、更新判定部１５７と、最大相違度保持部１５８と、軌跡合成値保持部１５６とを備える。軌跡合成値保持部１５６は、軌跡合成部１５０の第２の構成例のものと同様である。

最大相違度保持部１５８は、現在の画素位置においてそれまでに入力された相違度の最大値を保持するものである。

更新判定部１５７は、信号線１４９によって供給された相違度と最大相違度保持部１５８に保持された相違度とを比較して、信号線１２９によって供給された相違度の方が大きければ、信号線１２９によって供給された画素値を軌跡合成値保持部１５６に保持させる。これにより、軌跡合成値保持部１５６には、最も相違度の大きい画素値のみが更新され、動被写体が重なる領域においては相違度のより大きい軌跡が反映されることになる。

図１４は、本発明の実施の形態における撮像装置の画像処理回路２３の第２の実施例を示す図である。この第２の実施例による画像処理回路２３は、軌跡画素選択部１２１と、背景画素選択部１２２と、背景生成部１３０と、相違度生成部１４０と、軌跡合成部１５０と、軌跡合成画像表示部１９０とを備えている。すなわち、図２の第１の実施例による画像処理回路２３の画素選択部１２０が、この第２の実施例では軌跡画素選択部１２１および背景画素選択部１２２に分かれている点で、両者は異なっている。

背景画素選択部１２２は、時系列に撮像されたｎ枚の入力画像１１０（Ｉ_１〜Ｉ_ｎ）において対応する画素位置のｎ個の画素値の中から背景値の生成に必要な画素値を選択するものである。第１の実施例ではｎ枚の全てを背景値の生成のために選択していたが、この第２の実施例ではｎ枚の中から間引いて利用することにより背景値の生成のための処理を簡略化する。例えば、背景画素選択部１２２によって選択される画素値を「ｎ／１０」枚に間引くことにより、処理の高速化を図ることができる。

軌跡画素選択部１２１は、背景以外の画素値、すなわち動被写体の軌跡の画素値を選択するものである。この軌跡画素選択部１２１は、第１の実施例における画素選択部１２０と同様であり、ｎ枚の入力画像１１０（Ｉ_１〜Ｉ_ｎ）において対応する画素位置のｎ個の画素値を選択する。

このように、この第２の実施例による画像処理回路２３では、動被写体と比べて背景の変化の頻度が低いことを利用して、背景画素選択部１２２において選択される画像を間引くことにより、背景算出のコストを抑えることが可能となる。

図１５は、本発明の実施の形態における撮像装置の画像処理回路２３の第３の実施例を示す図である。この第３の実施例による画像処理回路２３は、フレーム選択部２２０と、背景生成部２３０と、背景画像保持部２６０と、相違度生成部２４０と、軌跡合成部２５０と、軌跡合成画像保持部２７０と、軌跡合成画像表示部２９０とを備えている。第１および第２の実施例では動被写体の軌跡を１枚の軌跡合成画像に表示することを想定していたが、この第３の実施例では例えば図１８や図１９のように動被写体の移動する途中の状態を複数枚の軌跡合成画像として表示することを想定する。

フレーム選択部２２０は、入力画像１１１から時系列順にｐ×ｑ画素からなる画像Ｉ_ｔをフレームとして順次選択するものである。選択されたフレームは、信号線２２９を介して、背景生成部２３０、相違度生成部２４０および軌跡合成部２５０に順次供給されていく。

背景画像保持部２６０は、ｐ×ｑ画素からなる背景画像を保持するものである。この背景画像保持部２６０に保持された背景画像は、信号線２６９を介して背景生成部２３０に供給される。背景生成部２３０は、信号線２６９を介して背景生成部２３０から供給された背景画像Ｂ_ｔ−１の画素値および信号線２２９を介してフレーム選択部２２０から供給されたフレームＩ_ｔの画素値に基づいて新たな背景画像Ｂ_ｔを生成するものである。すなわち、背景生成部２３０は、背景画像保持部２６０に保持される背景画像を新たなフレームによって更新していくことによって、背景画像保持部２６０にその時点の背景画像を保持させる。生成された背景画像は、信号線２３９を介して、相違度生成部２４０および背景画像保持部２６０に供給される。

相違度生成部２４０は、信号線２３９を介して背景生成部２３０から供給された背景画像の画素値と、信号線２２９を介してフレーム選択部２２０から供給されたフレームの画素値との画素位置毎の相違度を生成するものである。すなわち、相違度生成部２４０は、ｐ×ｑ組の対応する画素値同士の距離を算出して、ｐ×ｑ組分の相違度を生成する。この相違度生成部２４０の内部構成は、図８の相違度生成部１４０と同様である。

軌跡合成画像保持部２７０は、ｐ×ｑ画素からなる軌跡合成画像を保持するものである。この軌跡合成画像保持部２７０に保持された軌跡合成画像は、信号線２７９を介して軌跡合成部２５０に供給される。軌跡合成部２５０は、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像Ｓ_ｔ−１の画素値と、信号線２２９を介してフレーム選択部２２０から供給されたフレームＩ_ｔの画素値とを合成して新たな軌跡合成画像Ｓ_ｔを生成するものである。すなわち、軌跡合成部２５０は、軌跡合成画像保持部２７０に保持される軌跡合成画像を新たなフレームによって更新していくことによって、軌跡合成画像保持部２７０にその時点の軌跡合成画像を保持させる。

軌跡合成画像表示部２９０は、信号線２５９を介して軌跡合成部２５０から供給された軌跡合成画像Ｓ_ｔを表示するものである。この軌跡合成画像表示部２９０は、表示部４３をそのまま用いてもよく、また、撮像装置に接続された他の表示装置により実現されてもよい。

図１６は、本発明の実施の形態における画像処理回路２３の第３の実施例の背景生成部２３０の一構成例を示す図である。この背景生成部２３０は、背景合成比率生成部２３２と、背景画像更新部２３３とを備えている。

背景合成比率生成部２３２は、信号線２２９を介してフレーム選択部２２０から供給されたフレームと、信号線２６９を介して背景画像保持部２６０から供給された背景画像とから背景画像の合成比率（背景合成比率α）を生成するものである。背景合成比率αの具体的な算出方法としては、例えば、フレームＩ_ｔの画素値と背景画像Ｂ_ｔ−１の画素値との間の相違度が小さい場合にはフレームＩ_ｔの画素値の寄与度が大きくなるように背景合成比率を決定し、または、時間的に近傍の相違度の分散が小さければフレームＩ_ｔの画素値の寄与度を大きくするなど、相違度に基づいて動的に合成比率を決定する方法が考えられる。また、予め固定値として背景合成比率αを定めておいてもよい。

背景画像更新部２３３は、背景合成比率生成部２３２によって生成された背景合成比率αに応じて、信号線２６９を介して背景画像保持部２６０から供給された背景画像を、信号線２２９を介してフレーム選択部２２０から供給されたフレームによって更新するものである。

ここで、座標（ｘ，ｙ）におけるフレームＩ_ｔの画素値をＩ（ｘ，ｙ，ｔ）、同じく背景画像Ｂ_ｔ−１の画素値をＢ（ｘ，ｙ，ｔ−１）とすると、新たな背景画像Ｂ_ｔの画素値Ｂ（ｘ，ｙ，ｔ）は、次式により得られる。
Ｂ（ｘ，ｙ，ｔ）＝α×Ｉ（ｘ，ｙ，ｔ）＋（１−α）×Ｂ（ｘ，ｙ，ｔ−１）

背景画像更新部２３３は、上式の処理を全ての画素に対して行う。

なお、上記の実施の形態では、フレーム選択部２２０が１つの画像Ｉ_ｔをフレームとして選択しているが、変形例として、複数の画像に基づいてフレームを背景生成部２３０に供給するようにしてもよい。例えば、画像Ｉ_ｔを中心とした前後の画像Ｉ_ｔ−ｉ乃至Ｉ_ｔ＋ｉに基づいて、図３もしくは図６の例のように、それらの頻度から暫定的な背景画像を求めて、その暫定的な背景画像を背景生成部２３０に供給することができる。これにより、背景生成部２３０において精度の高い背景生成を実現することが期待できる。

図１７は、本発明の実施の形態における画像処理回路２３の第３の実施例の軌跡合成部２５０の一構成例を示す図である。この軌跡合成部２５０は、軌跡合成比率算出部２５１と、軌跡合成値更新部２５２とを備えている。

軌跡合成比率算出部２５１は、信号線２４９を介して相違度生成部２４０から供給された相違度に基づいて軌跡合成の合成比率（軌跡合成比率β）を生成するものである。軌跡合成比率βの具体的な算出方法としては、例えば、フレームＩ_ｔの画素値と背景画像Ｂ_ｔ−１との相違度が大きい場合には、フレームＩ_ｔの画素値の寄与度が大きくなるような軌跡合成比率を決定することが考えられる。これにより、背景と異なる領域ほど軌跡合成値への寄与率が高くなり、よりはっきりとした動被写体の軌跡を得ることができる。

軌跡合成値更新部２５２は、軌跡合成比率算出部２５１によって生成された軌跡合成比率βに応じて、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像を、信号線２２９を介してフレーム選択部２２０から供給されたフレームによって更新するものである。

ここで、座標（ｘ，ｙ）におけるフレームＩ_ｔの画素値をＩ（ｘ，ｙ，ｔ）、同じく軌跡合成画像Ｓ_ｔ−１の画素値をＳ（ｘ，ｙ，ｔ−１）とすると、新たな軌跡合成画像Ｓ_ｔの画素値Ｓ（ｘ，ｙ，ｔ）は、次式により得られる。
Ｓ（ｘ，ｙ，ｔ）＝β×Ｉ（ｘ，ｙ，ｔ）＋（１−β）×Ｓ（ｘ，ｙ，ｔ−１）

軌跡合成値更新部２５２は、上式の処理を全ての画素に対して行う。

また、他の軌跡合成の手法として、相違度に基づいて２種類の算出規則を用いて軌跡合成比率を算出することが考えられる。すなわち、相違度が小さい背景領域における軌跡合成比率の算出規則を、相違度が大きい動被写体領域の算出規則とは別にして、相違度が小さくてもある程度の軌跡合成比率を与える。これにより、動被写体軌跡領域が古くなればなるほど背景の寄与率が高くなり、動被写体の軌跡がフェードアウトされたように見せることができる。つまり、新しい時刻の軌跡ははっきりしているが、時間が経つにつれて軌跡が背景に溶け込んでフェードアウトしていくようにすることが可能となる。

例えば、図１０のような５枚のフレームを合成する際、軌跡をはっきり残したい場合には、軌跡合成比率βとして、相違度が大きい動被写体領域には「１」、相違度が小さい背景領域には「０」を与えれば、図１８のような結果を得ることができる。一方、軌跡をフェードアウトさせたい場合には、軌跡合成比率βとして、動被写体領域には「１」、背景領域には「０．３」乃至「０．５」程度を与えれば、図１９のような結果を得ることができる。

図２０は、本発明の実施の形態における撮像装置の画像処理回路２３の第４の実施例を示す図である。この第４の実施例による画像処理回路２３は、軌跡画素フレーム選択部２２１と、背景画素フレーム選択部２２２と、背景生成部２３１と、背景画像保持部２６１と、相違度生成部２４０と、軌跡合成部２５０と、軌跡合成画像保持部２７０と、軌跡合成画像表示部２９０とを備えている。この第４の実施例は、動被写体の移動する途中の状態を複数枚の軌跡合成画像として表示する点では第３の実施例と同様である。但し、第３の実施例では入力画像１１１からのフレームが予め固定されていないことを想定したが、この第４の実施例ではｎ枚の入力画像１１０が予め判明していることを想定する。

背景画素フレーム選択部２２２は、時系列に撮像されたｎ枚の入力画像１１０（Ｉ_１〜Ｉ_ｎ）において対応する画素位置のｎ個の画素値の中から背景値の生成に必要な画素値を選択するものである。第３の実施例ではｎ枚の全てを背景値の生成のために選択していたが、この第４の実施例ではｎ枚の中から間引いて利用することにより背景値の生成のための処理を簡略化する。例えば、背景画素フレーム選択部２２２によって選択される画素値を「ｎ／１０」枚に間引くことにより、処理の高速化を図ることができる。

背景生成部２３１は、背景画素フレーム選択部２２２から供給された画素値に基づいて背景値を生成するものであり、第１の実施例の場合と同様の構成により実現される。

背景画像保持部２６１は、背景生成部２３１によって生成された背景画像を保持するものである。第３の実施例では背景画像保持部２６０に保持された背景画像を背景生成部２３０が順次更新していたが、この第４の実施例では背景画像が一旦生成されると、特に必要がない限り変更されない。

軌跡画素フレーム選択部２２１は、時系列に撮像されたｎ枚の入力画像１１０（Ｉ_１〜Ｉ_ｎ）において対応する画素位置のｎ個の画素値を選択するものである。すなわち、背景画素フレーム選択部２２２とは異なり、軌跡画素フレーム選択部２２１は間引きを行うことなく全ての入力画像を選択する。

なお、これ以外の構成は第３の実施例の場合と同様であるため、ここでは説明を省略する。

このように、この第４の実施例では、背景画像のフレームを一度だけ算出して、それを利用して軌跡合成をフレーム単位で順次行うため、処理コストを簡略化することができる。

次に本発明の実施の形態における撮像装置の動作について図面を参照して説明する。

図２１は、本発明の実施の形態における撮像装置の画像処理回路２３の第１および第２の実施例による処理手順の一例を示す流れ図である。

まず、背景の生成対象となる画素（フレーム）が選択される（ステップＳ９１１）。この処理は、第１の実施例では画素選択部１２０によって行われるが、第２の実施例では背景画素選択部１２２によって行われる。そして、この選択された画素（フレーム）から背景が生成される（ステップＳ９１２）。この処理は、背景生成部１３０によって行われる。

次に、軌跡合成の対象となる画素（フレーム）が選択される（ステップＳ９１３）。この処理は、第１の実施例では画素選択部１２０によって行われるが、第２の実施例では軌跡画素選択部１２１によって行われる。そして、この選択された画素（フレーム）および背景から両者の相違度が生成される（ステップＳ９１４）。この処理は、相違度生成部１４０によって行われる。

そして、相違度に基づいて軌跡合成画像が出力される（ステップＳ９１５）。この処理は、軌跡合成部１５０によって行われる。

図２２は、本発明の実施の形態における撮像装置の画像処理回路２３の第３の実施例による処理手順の一例を示す流れ図である。

まず、軌跡合成の対象となるフレームが入力画像として選択される（ステップＳ９３１）。この処理は、フレーム選択部２２０によって行われる。そして、この選択されたフレームによって背景画像が更新される（ステップＳ９３２）。この処理は、背景生成部２３０によって行われる。

次に、背景画像および入力画像から両者の相違度が生成される（ステップＳ９３４）。この処理は、相違度生成部２４０によって行われる。

そして、相違度に基づいて軌跡合成画像が更新される（ステップＳ９３５）。この処理は、軌跡合成部２５０によって行われる。

軌跡合成の対象となるフレームが全て選択された場合には終了となり、そうでない場合はステップＳ９３１以降の処理が繰り返される（ステップＳ９３６）。ステップＳ９３１において時系列順にフレームを選択すると、ステップＳ９３５において時系列順に軌跡合成が行われ、それを出力することによって軌跡動画の再生が可能になる。

図２３は、本発明の実施の形態における撮像装置の画像処理回路２３の第４の実施例による処理手順の一例を示す流れ図である。

まず、背景生成の対象となるフレームが全て選択される（ステップＳ９４１）。この処理は、背景画素フレーム選択部２２２によって行われる。そして、この選択されたフレームによって背景画像が生成される（ステップＳ９４２）。この処理は、背景生成部２３１によって行われる。

次に、軌跡合成の対象となるフレームが入力画像として選択される（ステップＳ９４３）。この処理は、軌跡画素フレーム選択部２２１によって行われる。そして、背景画像および入力画像から両者の相違度が生成される（ステップＳ９４４）。この処理は、相違度生成部２４０によって行われる。

そして、相違度に基づいて軌跡合成画像が更新される（ステップＳ９４５）。この処理は、軌跡合成部２５０によって行われる。

軌跡合成の対象となるフレームが全て選択された場合には終了となり、そうでない場合はステップＳ９４３以降の処理が繰り返される（ステップＳ９４６）。

このように、本発明の実施の形態によれば、入力画像の画素値と背景画像の画素値との間の相違度を生成して、この相違度に応じて入力画像の画素値を出力画像としての軌跡合成画像に反映させることにより、動被写体の軌跡静止画や軌跡動画を生成することができる。

なお、本発明の実施の形態では、軌跡合成画像を生成する際に（その直前に）背景画像を生成する構成例について説明したが、予め生成されていた背景画像を利用するようにしても構わない。例えば、図２４の変形例のように、背景画像保持部２６１に保持されて相違度生成部２４０に供給された背景画像を背景画像保存部２０６に保存しておく。そして、その後、軌跡合成画像を生成する際には、背景生成部２３１による背景画像の生成を行わずに、背景画像保存部２０６に保存されていた背景画像を復元して背景画像保持部２６１に保持させる。

これにより、同じ入力画像について軌跡合成画像を何度も生成する場合、背景画像の生成を省くことができる。背景生成のための計算コストは、軌跡合成画像の生成の場合よりも高くなるのが一般的であり、これを省略することによる効果は高い。例えば、連射撮影された複数フレーム、軌跡合成画像および背景画像を保存した後、表示部４３において対象シーンの軌跡動画の再生を行う場合などに有効である。

図２４において、軌跡画素フレーム選択部２２１、背景画素フレーム選択部２２２、背景生成部２３１、背景画像保持部２６１、相違度生成部２４０、軌跡合成部２５０、および、軌跡合成画像保持部２７０の構成および動作は、図２０の例と同様である。この例では、画像処理回路２３が、Ａ／Ｄ変換回路２２から信号線２０１を介して供給された入力画像を受け、その入力画像、背景画像および軌跡合成画像を、それぞれ信号線２０７、２０８および２０９を介して後段のＤ／Ａ変換回路４１や符号化／復号器３１に供給することを想定している。

カメラ信号処理部２０２は、Ａ／Ｄ変換回路２２によってデジタル信号に変換された入力画像に対して、ＲＧＢ同時化処理、カラーマトリックス処理、および、ガンマ処理などを施して、その結果を出力するものである。通常の画像出力の場合は、このカメラ信号処理部２０２の結果が信号線２０７を介してそのまま出力される。

入力画像保持部２０３は、軌跡画素フレーム選択部２２１および背景画素フレーム選択部２２２に供給する入力画像を保持するものである。ここでは、上述の第４の実施例と同様に、ｎ枚の入力画像（Ｉ_１〜Ｉ_ｎ）が保持されるものとする。入力画像保存部２０５は、カメラ信号処理部２０２から供給された入力画像を保存するものである。入力画像保持部２０３は、撮影中の画像を入力画像とする場合にはカメラ信号処理部２０２から供給された画像を入力画像として保持し、過去に保存された画像を入力画像とする場合には入力画像保存部２０５に保存された画像を復元して入力画像として保持する。

背景画像保存部２０６は、背景画像保持部２６１に保持された背景画像を保存するものである。背景画像保存部２０６は、信号線２０８を介して背景画像保持部２６１から供給された背景画像を一旦保存する。その後、背景画像保存部２０６に保存された背景画像は、必要に応じて復元されて背景画像保持部２６１に保持される。すなわち、軌跡合成画像を生成する際に（その直前に）背景画像を生成する場合には、背景画像保持部２６１は背景生成部２３１から供給される背景画像を保持する。一方、以前に保存した背景画像を用いて軌跡合成画像を生成する場合には、背景画像保持部２６１は背景画像保存部２０６に保存された背景画像を復元して保持する。

軌跡合成部２５０から出力された軌跡合成画像は、軌跡合成画像保持部２７０に保持されるとともに、信号線２０９を介して後段のＤ／Ａ変換回路４１や符号化／復号器３１に供給される。

図２５は、本発明の実施の形態における撮像装置の操作関連の構成例を示す図である。ここでは、操作入力受付部５２に撮影操作受付部４２１および撮影間隔設定部４２２が含まれ、画像処理回路２３に被写体状態検出部４３１が含まれ、制御部５４に撮影開始検出部４４１、撮影終了検出部４４２、撮影間隔取得部４４３および撮影制御部４４４が含まれるものと想定する。もっとも、これらの機能は他の回路等によって実現することができる。

撮影操作受付部４２１は、ユーザによる撮影のための操作を受け付けるものであり、例えば、デジタルスチルカメラにおけるシャッターボタンやデジタルビデオカメラにおける動画撮影ボタンなどに対応する。撮影間隔設定部４２２は、撮影の際の各フレームの時間的間隔が設定されるものである。撮影間隔は、連写モードにおいて用いられるものであり、ユーザによって予め設定され、もしくは、固定的に設定される。撮影間隔取得部４４３は、撮影間隔設定部４２２に設定された撮影間隔を取得するものである。

被写体状態検出部４３１は、入力画像における被写体の状態を検出するものである。被写体状態検出部４３１は、時間的に連続する入力画像のフレームについて各画素の差分を生成して、その差分が無ければ被写体は静止した状態であると判断し、差分が有れば被写体は動いている状態であると判断する。

撮影開始検出部４４１は、撮影操作受付部４２１において受け付けられた撮影操作に基づいて撮影の開始が指示されたことを検出する。撮影終了検出部４４２は、撮影操作受付部４２１において受け付けられた撮影操作に基づいて撮影の終了が指示されたことを検出する。例えば、通常の連写モードにおいては、シャッターボタンが押下されると撮影の開始を意味し、シャッターボタンの押下が解除されると撮影の終了を意味する。

また、被写体の状態に注目して連写の制御を行うことも可能である。例えば、シャッターボタンが押下されている状態で、被写体状態検出部４３１によって被写体が静止した状態であると判断された場合に撮影を終了するように制御してもよい。

撮影制御部４４４は、撮影開始検出部４４１によって撮影開始が検出されてから撮影終了検出部４４２によって撮影終了が検出されるまでの間、撮影間隔取得部４４３によって取得された撮影間隔で連続撮影を行うようタイミング生成器５１を制御するものである。

図２６は、本発明の実施の形態における撮像装置の撮影の際の処理手順の一例を示す流れ図である。まず、撮影開始検出部４４１によって撮影の開始が検出されると（ステップＳ９５１）、撮影間隔取得部４４３によって取得された撮影間隔によって撮影が行われる（ステップＳ９５２）。この撮影は、撮影終了検出部４４２によって撮影の終了が検出されるまで繰り返され（ステップＳ９５４）、この間、被写体状態検出部４３１によって被写体の状態が検出される（ステップＳ９５３）。

撮影操作受付部４２１においてシャッターボタンの押下の解除が受け付けられた場合や、被写体状態検出部４３１において被写体が静止した状態であることが検出された場合に撮影の終了が検出される（ステップＳ９５４）。

撮影が終了すると、背景生成部２３１において背景画像が生成される（ステップＳ９５５）。すなわち、図２３のように背景生成の対象となるフレームが全て選択され（ステップＳ９４１）、この選択されたフレームによって背景画像が生成される（ステップＳ９４２）。

そして、軌跡合成部２５０によって軌跡合成画像が生成される（ステップＳ９５６）。また、入力画像や背景画像が、それぞれ入力画像保存部２０５や背景画像保存部２０６に保存される（ステップＳ９５７）。

図２７は、本発明の実施の形態における撮像装置の再生の際の処理手順の一例を示す流れ図である。まず、操作入力受付部５２による再生の開始指示が検出されると（ステップＳ９６１）、再生方向および再生速度が取得される（ステップＳ９６２）。再生方向および再生速度は、操作入力受付部５２によって受け付けられるものである。例えば、順方向の再生ボタン、逆方向の再生ボタン、および、早送りボタンなどが想定される。

ステップＳ９５７において背景画像が保存されていた場合、背景画像保存部２０６から背景画像が復元されて背景画像保持部２６１に保持される（ステップＳ９６３）。また、入力画像保存部２０５から入力画像が復元されて入力画像保持部２０３に保持された後に、ステップＳ９６２で取得された再生方向の時系列順に入力画像保持部２０３から入力画像が取得される（ステップＳ９６４）。これにより、軌跡合成部２５０において軌跡合成画像が生成され（ステップＳ９６５）、ステップＳ９６２で取得された再生速度によって再生が行われる（ステップＳ９６６）。これらステップＳ９６４乃至Ｓ９６６の処理は、対象シーンの全撮影画像について繰り返される（ステップＳ９６７）。

なお、本発明の実施の形態では、撮像装置における画像処理を回路によって実現する一態様について説明したが、この画像処理の内容はソフトウェアにより実現してもよい。すなわち、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。また、撮像装置と一体化した画像処理回路だけでなく、独立した画像処理装置として実現することもできる。さらに、画像再生装置や携帯機器に内蔵させるようにしてもよい。

また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

本発明の実施の形態における撮像装置の一例を示す図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第１の実施例を示す図である。 本発明の実施の形態における画像処理回路２３の第１の実施例の背景生成部１３０の第１の構成例を示す図である。 画素値の分布例を示す図である。 画素値の分布に基づいたヒストグラムの一例を示す図である。 本発明の実施の形態における画像処理回路２３の第１の実施例の背景生成部１３０の第２の構成例を示す図である。 本発明の実施の形態における基準値および背景閾値の一例を示す図である。 本発明の実施の形態における画像処理回路２３の第１の実施例の相違度生成部１４０の一構成例を示す図である。 本発明の実施の形態における画像処理回路２３の第１の実施例の軌跡合成部１５０の第１の構成例を示す図である。 入力画像の一例を示す図である。 軌跡合成画像の一例を示す図である。 本発明の実施の形態における画像処理回路２３の第１の実施例の軌跡合成部１５０の第２の構成例を示す図である。 本発明の実施の形態における画像処理回路２３の第１の実施例の軌跡合成部１５０の第３の構成例を示す図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第２の実施例を示す図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第３の実施例を示す図である。 本発明の実施の形態における画像処理回路２３の第３の実施例の背景生成部２３０の一構成例を示す図である。 本発明の実施の形態における画像処理回路２３の第３の実施例の軌跡合成部２５０の一構成例を示す図である。 軌跡合成動画における各フレームの一例を示す図である。 軌跡合成動画における各フレームの他の例を示す図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第４の実施例を示す図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第１および第２の実施例による処理手順の一例を示す流れ図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第３の実施例による処理手順の一例を示す流れ図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第４の実施例による処理手順の一例を示す流れ図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第５の実施例を示す図である。 本発明の実施の形態における撮像装置の操作関連の構成例を示す図である。 本発明の実施の形態における撮像装置の撮影の際の処理手順の一例を示す流れ図である。 本発明の実施の形態における撮像装置の再生の際の処理手順の一例を示す流れ図である。

符号の説明

１０１ 背景閾値設定部
１０２ 距離閾値設定部
１１０、１１１ 入力画像
１２０ 画素選択部
１２１ 軌跡画素選択部
１２２ 背景画素選択部
１３０ 背景生成部
１３１ ヒストグラム生成部
１３２ 背景値判定部
１３３ 基準値設定部
１３４ 背景判定部
１３５ 背景値算出部
１３６ 更新判定部
１３７ 背景頻度保持部
１３８ 背景値保持部
１４０ 相違度生成部
１４１ 距離算出部
１４２ 相違度算出部
１５０ 軌跡合成部
１５１ 軌跡合成比率生成部
１５２ 軌跡合成値算出部
１５３ 軌跡合成値保持部
１５４ 更新判定部
１５５ 最新フレーム番号保持部
１５６ 軌跡合成値保持部
１５７ 更新判定部
１５８ 最大相違度保持部
１９０ 軌跡合成画像表示部
２０２ カメラ信号処理部
２０３ 入力画像保持部
２０５ 入力画像保存部
２０６ 背景画像保存部
２２０ フレーム選択部
２２１ 軌跡画素フレーム選択部
２２２ 背景画素フレーム選択部
２３０、２３１ 背景生成部
２３２ 背景合成比率生成部
２３３ 背景画像更新部
２４０ 相違度生成部
２５０ 軌跡合成部
２５１ 軌跡合成比率算出部
２５２ 軌跡合成値更新部
２６０、２６１ 背景画像保持部
２７０ 軌跡合成画像保持部
２９０ 軌跡合成画像表示部
４２１ 撮影操作受付部
４２２ 撮影間隔設定部
４３１ 被写体状態検出部
４４１ 撮影開始検出部
４４２ 撮影終了検出部
４４３ 撮影間隔取得部
４４４ 撮影制御部
１３３１ 基準値カウンタ
１３６１ 背景頻度カウンタ

Claims (7)

1. 複数の入力画像から所定の数の入力画像を選択画像として選択する画像選択手段と、
   前記選択画像の対応する画素位置のそれぞれについて前記選択画像の画素値の中で所定の分布を有する画素値を前記画素位置の背景画素値として生成する背景生成手段と、
   前記画素位置のそれぞれについて前記入力画像の画素値が前記背景画素値と相違する程度を示す相違度を生成する相違度生成手段と、
   前記画素位置のそれぞれについて前記相違度に応じて前記入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段と
   を具備し、
   前記出力画像生成手段は、
   前記出力画像の画素値を保持する出力画像保持手段と、
   前記画素位置のそれぞれについて前記相違度に応じて合成比率を生成する合成比率生成手段と、
   前記画素位置のそれぞれについて前記合成比率に応じて前記入力画像の画素値を前記出力画像保持手段に保持された前記出力画像の画素値と合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる合成値算出手段とを備える
   画像処理装置。
2. 前記背景生成手段は前記所定の分布を有する画素値として最も出現頻度の高い画素値を生成する請求項１記載の画像処理装置。
3. 前記背景生成手段は、
   前記背景画素値を保持する背景画素値保持手段と、
   前記背景画素値の出現頻度を保持する出現頻度保持手段と、
   前記選択画像の画素値に対する基準値を順次設定する基準値設定手段と、
   前記順次設定された基準値の各々について当該基準値と前記選択画像の画素値とを比較してその差異が所定範囲内にある前記選択画像の画素値を背景候補値として判定する背景候補生成手段と、
   前記順次設定された基準値の各々に対して前記背景候補値の出現頻度を計数して、その時点で設定されている前記基準値に対する前記背景候補値の出現頻度が前記出現頻度保持手段に保持された出現頻度よりも大きい場合には、その時点で設定されている前記基準値に対する前記背景候補値を新たな背景画素値として前記背景画素値保持手段に保持させるとともに、その時点で設定されている前記基準値に対する前記背景候補値の出現頻度を前記出現頻度保持手段に保持させるよう更新する更新判定手段とを具備する
   請求項２記載の画像処理装置。
4. 前記出力画像生成手段は、
   前記出力画像の画素値を保持する出力画像保持手段と、
   前記出力画像の画像番号を保持する画像番号保持手段と、
   前記入力画像の画像番号が前記画像番号保持手段に保持された画像番号よりも時系列上で新しい場合において前記相違度が所定以上の程度を示していれば前記入力画像の画素値を新たな出力画像の画素値として前記出力画像保持手段に保持させるとともに前記入力画像の画像番号を前記画像番号保持手段に保持させる更新判定手段とを具備する
   請求項１記載の画像処理装置。
5. 前記出力画像生成手段は、
   前記出力画像の画素値を保持する出力画像保持手段と、
   前記出力画像の相違度を保持する相違度保持手段と、
   前記入力画像の相違度が前記相違度保持手段に保持された相違度よりも大きい場合には前記入力画像の画素値を新たな出力画像の画素値として前記出力画像保持手段に保持させるとともに前記入力画像の相違度を前記相違度保持手段に保持させる更新判定手段とを具備する請求項１記載の画像処理装置。
6. 複数の入力画像から所定の数の入力画像を選択画像として選択する手順と、
   前記選択画像の対応する画素位置のそれぞれについて前記選択画像の画素値の中で所定の分布を有する画素値を前記画素位置の背景画素値として生成する手順と、
   前記画素位置のそれぞれについて前記入力画像の画素値が前記背景画素値と相違する程度を示す相違度を生成する手順と、
   前記画素位置のそれぞれについて前記相違度に応じて合成比率を生成する手順と、
   前記画素位置のそれぞれについて前記合成比率に応じて前記入力画像の画素値を出力画像保持手段に保持された出力画像の画素値と合成して新たな出力画像の画素値として前記出力画像保持手段に保持させることにより前記入力画像の画素値を反映させて出力画像の画素値を生成する手順と
   を具備する画像処理方法。
7. 複数の入力画像から所定の数の入力画像を選択画像として選択する手順と、
   前記選択画像の対応する画素位置のそれぞれについて前記選択画像の画素値の中で所定の分布を有する画素値を前記画素位置の背景画素値として生成する手順と、
   前記画素位置のそれぞれについて前記入力画像の画素値が前記背景画素値と相違する程度を示す相違度を生成する手順と、
   前記画素位置のそれぞれについて前記相違度に応じて合成比率を生成する手順と、
   前記画素位置のそれぞれについて前記合成比率に応じて前記入力画像の画素値を出力画像保持手段に保持された出力画像の画素値と合成して新たな出力画像の画素値として前記出力画像保持手段に保持させることにより前記入力画像の画素値を反映させて出力画像の画素値を生成する手順と
   をコンピュータに実行させるプログラム。

Images