JP5901353B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来知られている動体除去技術として、撮影者がカメラのレリーズボタンを押し続けている期間中に、画像データの取り込みと、動体を除去するための加算平均処理とを繰り返し実行する技術が知られている（例えば、特許文献１参照）。この技術では、撮影者がカメラのレリーズボタンを長時間押し続けるほど、画面上から人や車などの移動する被写体が除去され、建物や道路など静止した被写体のみが残るというものである。

また、他の動体除去技術として、複数の撮影画像の同一位置の画素値について、ヒストグラムを作成し、出現回数（以下、度数と示す）が最も高い画素値を出力し、動体を除去する方法が知られている（例えば、特許文献２参照）。

特開平１１−２２４３２４号公報 特開平９−１４９３６４号公報

しかしながら、上述したいずれの動体除技術においても、動体を除去して背景画像を取得するためには大量の画像を撮影する必要がある。例えば、特許文献１に記載の技術は撮影を長時間行い、加算平均した画像枚数が多ければ多いほど動体を除去しやすい技術である。また、特許文献２に記載の技術では、動体を除去するために用いる複数枚の画像において、背景が写っている画像の枚数が多数を占めなければならない。そのため、少ない枚数では背景がヒストグラム上で一番多い度数にならない可能性があるため、大量の画像を用いる必要がある。従って、上述した動体除去技術を用いて背景画像を取得するためには、大量の画像を撮像する必要があるという問題がある。

また、上述した技術では、大量の画像を用いて動体除去処理を行って背景画像を取得するため、処理時間の増加や、機器の消費電力の増加を招く恐れがある。

本発明は、上記事情に鑑みてなされたものであり、予め記憶されている画像を用いた場合においても、より少ない枚数の画像を用いて、背景を推定するために用いる情報を取得することができる画像処理装置を提供することを目的とする。

本発明は、予め記憶されている複数枚のフレーム画像を用い、前記フレーム画像毎に、当該フレーム画像を複数のブロックに分割し、前記ブロックごとに当該ブロックに写っている被写体の特徴を示す背景パラメータを算出する背景パラメータ算出部と、前記背景パラメータ算出部が算出した前記背景パラメータに基づいて、前記ブロックに写っている被写体が背景である場合の前記背景パラメータと推定することができる背景推定値を前記ブロック毎に算出する背景推定値算出部と、前記フレーム画像と前記背景推定値とを用いて、当該フレーム画像に背景が写っている確率を示す背景確率を、前記ブロック毎に算出する背景確率算出部と、前記背景確率に基づいて、前記フレーム画像全体の領域のうち、背景が写っている前記ブロックが存在する確率を示す総合背景確率を算出し、前記総合背景確率が所定の値以上である前記フレーム画像を、当該フレーム画像に含まれる動体を除去した動体除去画像を生成する際に用いる画像であると判定する判定部と、を備えることを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記判定部は、前記背景確率算出部が算出した複数の前記フレーム画像の前記背景確率に基づいて、前記フレーム画像の前記ブロック毎に背景が写っている確率を示す背景充足率を算出し、当該背景充足率に基づいた前記ブロック毎の重みを用いて前記総合背景確率を算出することを特徴とする。

また、本発明は、前記背景確率と、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像とを用いて、前記動体除去画像を生成する動体除去画像生成部を備えることを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記背景パラメータは、前記ブロックに写っている被写体の輝度情報と、色情報と、形状情報と、距離情報とのうちいずれか一つまたは複数であることを特徴とする。

また、本発明の画像処理装置において、前記背景推定値は、複数フレーム間の前記背景パラメータの平均値あるいは前記背景パラメータのヒストグラムのピーク位置のパラメータ値であることを特徴とする。

また、本発明は、前記背景パラメータのばらつき度合いを算出するばらつき算出部を備え、前記背景推定値算出部は、前記ばらつき算出部が算出した前記ばらつき度合いに基づいて、前記背景推定値を確定することを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記ばらつき算出部は、前記フレーム画像に含まれる動体の移動速度または前記フレーム画像の撮影フレームレートの少なくともいずれか一方に応じて、前記ばらつき度合いの算出に用いる前記フレーム画像の枚数を決定することを特徴とする。

また、本発明の画像処理装置において、前記ばらつき算出部は、前記動体の移動速度が低いもしくは前記撮影フレームレートが高い場合には前記ばらつき度合いの算出に用いる前記フレーム画像の枚数を多くし、前記動体の移動速度が高いもしくは前記撮影フレームレートが低い場合には前記ばらつき度合いの算出に用いる前記フレーム画像の枚数を少なくすることを特徴とする。

また、本発明の画像処理装置において、前記ばらつき算出部は、異なる枚数の前記フレーム画像を用いて複数の前記ばらつき度合いを算出することを特徴とする。

また、本発明の画像処理装置において、前記フレーム画像は連続撮影した静止画像であることを特徴する。

また、本発明の画像処理装置において、前記フレーム画像は動画像から取得した静止画像であることを特徴とする。

また、本発明の画像処理装置において、前記背景確率は、前記背景パラメータと前記背景推定値との差分、または、前記背景推定値を算出する際に用いた母集団データである前記背景パラメータ内での当該背景推定値の偏差値のうちいずれか一つまたは複数であることを特徴とする。

また、本発明の画像処理装置において、前記背景充足率は、前記フレーム画像の同一位置のブロックの背景確率の平均値、または、背景確率が高いブロック数あるいは割合のいずれか一つまたは複数であることを特徴とする。

また、本発明の画像処理装置において、前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像は連続撮影した静止画像であることを特徴する。

また、本発明の画像処理装置において、前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像は動画像から取得した静止画像であることを特徴する。

また、本発明の画像処理装置において、前記動体除去画像生成部は、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像の前記背景確率が上位ｎ位（ｎは整数）までの前記ブロックのみを用いて当該フレーム画像に含まれる動体を除去した前記動体除去画像を生成することを特徴とする。

また、本発明の画像処理装置において、前記動体除去画像生成部は、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像の前記背景確率が一定値以上の前記ブロックのみを用いて当該フレーム画像に含まれる動体を除去した前記動体除去画像を生成することを特徴とする。

また、本発明の画像処理装置において、前記動体除去画像生成部は、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像の重み付けした前記背景確率を用いて当該フレーム画像に含まれる動体を除去した前記動体除去画像を生成することを特徴とする。

本発明によれば、背景パラメータ算出部は、予め記憶されている複数枚のフレーム画像を用い、フレーム画像毎に、当該フレーム画像を複数のブロックに分割し、ブロックごとに当該ブロックに写っている被写体の特徴を示す背景パラメータを算出する。また、背景推定値算出部は、背景パラメータ算出部が算出した背景パラメータに基づいて、ブロックに写っている被写体が背景である場合の背景パラメータと推定することができる背景推定値をブロック毎に算出する。これにより、予め記憶されている画像を用いた場合においても、より少ない枚数の画像を用いて、背景を推定するために用いる情報を取得することができる。

本発明の一実施形態における画像処理装置の構成を示したブロック図である。 本実施形態における背景推定部の構成を示したブロック図である。 本実施形態における画像選択部の構成を示したブロック図である。 本実施形態における動体除去画像生成部の構成を示したブロック図である。 本実施形態における背景推定部の動作手順を示したフローチャートである。 本実施形態において、インタフェース部がフレーム画像を微小ブロックに分割した例を示した概略図である。 本実施形態において、背景推定値算出部が背景推定値を算出する例を示した概略図である。 本実施形態におけるフレーム画像の撮影時間の推移と、背景パラメータのばらつき度合い（分散値）との関係の一例を示した図である。 本実施形態における画像選択部の動作手順を示したフローチャートである。 本実施形態において、背景確率算出部が背景確率を算出する例を示した概略図である。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本実施形態における画像処理装置の構成を示したブロック図である。図示する例では、画像処理装置１００は、撮像部１と、背景推定部２と、画像選択部３と、動体除去画像生成部４と、記憶部５と、これらを接続するデータバス６とを備える。画像処理装置１００は、静止画像または動画像に含まれる、通行人や車両等の撮影者の所望しない動体を除去し、背景に置きかえた動体除去画像を生成する。

撮像部１は、レンズと、ＣＭＯＳセンサなどの撮像素子と、ＡＤ変換回路などのアナログ回路等を備えている。撮像部１は、静止画像や動画像などを撮影し、撮影した静止画像や動画像を、データバス６を介して記憶部５に入力する。また、撮像部１が連続して撮影した画像をフレーム画像と呼ぶ。背景推定部２は被写体の背景を簡易的に推定する。画像選択部３は、記憶部５が記憶しているフレーム画像のうち、背景が写っている可能性の高いフレーム画像を選択する。動体除去画像生成部４は、画像選択部３が選択したフレーム画像をもとに動体除去画像を生成する。記憶部５は、撮像部１が撮像した複数枚のフレーム画像を記憶する。また、記憶部５は、画像処理装置１００が備える各部が用いるデータを記憶する。

次に、背景推定部２について説明する。図２は、本実施形態における背景推定部２の構成を示したブロック図である。図示する例では、背景推定部２は、背景パラメータ算出部２１と、背景推定値算出部２２と、ばらつき算出部２３と、インタフェース部２４とを備えており、被写体の背景を簡易的に推定する。背景パラメータ算出部２１は、記憶部５が記憶しているフレーム画像から背景パラメータを算出する。背景推定値算出部２２は、背景パラメータ算出部２１が算出した背景パラメータのうち背景と思われる値を推定し、背景推定値として取得する。ばらつき算出部２３は、背景パラメータ算出部２１が算出した背景パラメータの時間的ばらつきを算出する。インタフェース部２４は、記憶部５からデータバス６を介してフレーム画像を読み出す。また、インタフェース部２４は、背景推定値算出部２２が算出した背景推定値を、データバス６を介して記憶部５に入力する。

次に、画像選択部３について説明する。図３は、本実施形態における画像選択部３の構成を示したブロック図である。図示する例では、画像選択部３は、背景パラメータ算出部３０と、背景確率算出部３１と、判定部３２と、インタフェース部３３とを備えており、記憶部５が記憶しているフレーム画像のうち、背景が写っている可能性の高いフレーム画像を判定する。背景パラメータ算出部３０は、背景推定部２が備える背景パラメータ算出部２１と同様である。背景確率算出部３１は、背景推定部２であらかじめ算出した背景推定値と、背景パラメータ算出部３０が算出した背景パラメータとに基づいて、記憶部５が記憶しているフレーム画像の背景確率を算出する。

判定部３２は、背景確率算出部３１が算出した背景確率に基づいて、フレーム画像全体の領域のうち、背景が写っている微小ブロックが存在する確率を示す総合背景確率を算出し、総合背景確率が所定の値以上となったフレーム画像を選択する。すなわち、背景が写っている可能性の高いフレーム画像を選択する。微小ブロックについては後述する。インタフェース部３３は、記憶部５からデータバス６を介してフレーム画像を読み出す。また、インタフェース部３３は、背景確率算出部３１が算出した背景確率や、判定部３２が選択したフレーム画像または判定部３２が選択したフレーム画像を後段の処理で特定することができる選択信号を、データバス６を介して記憶部５に入力する。

次に、動体除去画像生成部４について説明する。図４は、本実施形態における動体除去画像生成部４の構成を示したブロック図である。図示する例では、動体除去画像生成部４は、動体除去処理部４１と、画像処理部４２と、インタフェース部４３とを備えており、画像選択部３が選択したフレーム画像をもとに動体除去画像を生成する。動体除去処理部４１は、画像選択部３が選択した複数枚のフレーム画像と、各フレーム画像の背景確率とを用いて、フレーム画像に含まれる動体を除去した画像（動体除去画像）を生成する。画像処理部４２は、動体除去処理部４１が生成した動体除去画像に対して様々な画像処理や変換処理を行う。例えば、画像処理部４２は、ホワイトバランス補正や、色補正や、輪郭強調や、歪補正などの画像処理や、ＪＰＥＧ圧縮などの変換処理を行う。インタフェース部４３は、記憶部５からデータバス６を介してフレーム画像や背景確率を読み出す。また、インタフェース部４３は、画像処理部４２が画像処理を行った動体除去画像を、データバス６を介して記憶部５に入力する。

次に、画像処理装置１００が備える背景推定部２の動作手順について説明する。図５は、本実施形態における背景推定部２の動作手順を示したフローチャートである。本実施形態では、記憶部５は、撮像部１が予め撮像した複数枚のフレーム画像を記憶しているとする。なお、記憶部５が記憶しているフレーム画像は、撮像部１が撮影した静止画像でもよく、あるいは動画像として撮影した画像から切り出したまたは再構成などで取得した静止画像でもよい。例えば、Ｍｏｔｉｏｎ−ＪＰＥＧなどの複数枚の静止画像によって構成されている動画像からは静止画像を切り出すことが可能であるし、ＭＰＥＧなどのフレーム間の差分を基に構成している動画像からは、差分情報を元に静止画を再構成することが可能である。なお、本実施形態では、動画像の種別はどのような種別でもよく、静止画像の取得方法（生成方法）はどのような方法でもよい。

（ステップＳ１０１）背景推定部２のインタフェース部２４は、記憶部５が記憶しているフレーム画像のうち、処理対象とする複数枚のフレーム画像を読み出す。その後、ステップＳ１０２の処理に進む。このとき、インタフェース部２４は、複数のフレーム画像全体を読み出してもよいし、フレーム画像を微小ブロックに分割し、微小ブロック毎に読み出してもよい。以下、インタフェース部２４が、フレーム画像を微小ブロック毎に読み出す例を用いて説明する。なお、インタフェース部２４がフレーム画像を微小ブロックに分割する際の分割数は予め決められていても良く、任意に設定できるようにしてもよい。

図６は、本実施形態において、インタフェース部２４がフレーム画像を微小ブロックに分割した例を示した概略図である。図示する例では、インタフェース部２４は、フレーム画像１１０を縦に６分割、横に１１分割し、６６個の微小ブロックに分割している。

（ステップＳ１０２）背景パラメータ算出部２１は、ステップＳ１０１の処理でインタフェース部２４が読み出したフレーム画像の微小ブロック毎に背景パラメータを算出する。その後、ステップＳ１０３の処理に進む。

なお、ステップＳ１０２の処理で背景パラメータ算出部２１が算出する背景パラメータは、後に画像選択部３が読み出すフレーム画像に対して、このフレーム画像に写っているものが背景か否かを微小ブロック単位で判定するために用いる情報であり、微小ブロックに写っている被写体の特徴を示す情報である。つまり、背景パラメータは、背景と、背景を遮る動体との区別をつけることができる情報であればよい。例えば、背景パラメータとして、微小ブロックごとの輝度平均値や、色差信号の平均値や、高周波成分の絶対値の総和や、位相差による被写体までの距離情報などを用いる。背景パラメータとして輝度情報や色情報を用いることで、背景と異なる明るさや色の動体の判別は可能であるし、同じ明るさや色であっても、高周波成分を検出することで、形状の違いや、背景と動体の距離の差によるボケ具合の違いが判別できるため、背景と動体の区別が可能となる。また、背景パラメータとして位相差を用いる場合、位相差オートフォーカスで得られた被写体との距離情報を背景パラメータとして用いても良い。また、背景パラメータとして用いる情報の種類は１つだけではなく、複数種類の情報を用いてもよい。

（ステップＳ１０３）背景推定値算出部２２は、ステップＳ１０２の処理で背景パラメータ算出部２１が算出した背景パラメータに基づいて、微小ブロック毎に背景推定値を算出する。その後、ステップＳ１０４の処理に進む。なお、背景推定値を算出する処理は、背景と思われる背景パラメータを特定する処理であり、上述した背景パラメータの複数フレーム分の平均値や、ヒストグラムのピークとなるパラメータ値などを用いて背景推定値を算出する。例えば、動体は移動するため、ある時間（たとえば数秒〜数十秒）の間に複数フレームの静止画像または動画像を撮影した場合、各微小ブロック単位で見ると、大部分の静止画像または動画像には背景が写ることが予想できる。従って、各微小ブロックにおいては、背景パラメータの平均値がほぼ背景を示す値となることが期待できる。また、ヒストグラムを求めれば、その度数が最大となる辺りの背景パラメータ値を背景とみなすことが可能である。なお、ヒストグラムは平均値に比べて動体の影響を排除できるため、より正確に背景と思われる背景パラメータを推定することができる。

ここで、図７を参照して、背景パラメータとして各微小ブロック内の輝度平均値を用い、複数枚のフレーム画像の平均値を用いて背景推定値を算出する例を説明する。図７は、本実施形態において、背景推定値算出部２２が背景推定値を算出する例を示した概略図である。図示する例では、フレーム１〜フレーム５の５枚のフレーム画像１１０を用いて、上から３つ目左から３つ目の微小ブロック１２０の背景推定値を算出している。フレーム１，２，４，５の上から３つ目左から３つ目の微小ブロック１２０には比較的明るい背景が写り、フレーム３の上から３つ目左から３つ目の微小ブロック１２０には背景より暗い動体が写っていると仮定する。明るさの範囲を０〜２５５の数値で表したとき、背景が写っている微小ブロック１２０は、ノイズの影響などがあって多少のばらつきはあるが、ほぼ２００という輝度平均値をもち、動体が写っている微小ブロック１２０は５０という輝度平均値をもつ。このときの上から３つ目左から３つ目の微小ブロック１２０の背景推定値は、５つの微小ブロック１２０の平均値であるから１７０となる。この値は背景が写っている際の輝度平均値２００に近いため、背景を推定する際に用いる背景推定値とみなすことができる。

（ステップＳ１０４）ばらつき算出部２３は、ステップＳ１０１の処理で読み出したすべてのフレーム画像の背景パラメータの時間的なばらつき度合いを、微小ブロックごとに算出する。その後、ステップＳ１０５の処理に進む。ばらつき度合いは、例えば（１）式で求められる一般的な分散値等を用いればよい。なお、（１）式におけるｓ^２は分散値であり、ｎは画像枚数であり、ｘは背景パラメータであり、ｘバーは背景パラメータの平均値である。このばらつき度合いの具体的な算出方法については後述する。

（ステップＳ１０５）背景推定値算出部２２は、ステップＳ１０４の処理で算出した微小ブロック毎のばらつき度合いに基づいて、ばらつき度合いが所定の値よりも小さい微小ブロックの背景推定値を、ステップＳ１０３で算出した背景推定値と確定する。その後、ステップＳ１０６の処理に進む。なお、所定の値は、背景が写っている期間と、動体が写っている期間を精度よく区別することができる値であればどのような値でもよい。また、所定の値は、予め定められていてもよく、任意に設定できるようにしてもよい。

なお、ばらつき度合いが所定の値よりも小さい微小ブロックの背景推定値を確定する原理は以下のとおりである。例えば、背景の前を動体が横切る場合を考える。この場合、フレーム画像中のある微小ブロックに着目すると、背景が撮影される期間がしばらく続き、その後、動体がしばらくの時間撮影され、また、その後に背景がしばらく撮影されるということが繰り返されるはずである。このときの背景パラメータのばらつき度合いは、背景が撮影されているときは同じ画像が撮影され続けるので低くなり、動体が撮影されている間は常に変化した画像が撮影されるので高くなる。従って、背景推定値算出部２２は、ばらつき算出部２３が算出したばらつき度合いの時間的変動をもとに、ばらつき度合いが小さい時の背景パラメータを用いて背景推定値を算出する。これにより、背景が写っている期間と、動体が写っている期間を精度よく区別することが可能となる。

図８はフレーム画像の撮影時間の推移と、背景パラメータのばらつき度合い（分散値）との関係の一例を示した図である。グラフの横軸はフレーム画像が撮影された順を示しており、縦軸は分散値を示している。また、グラフ線８０１，８０２は、各順で撮影されたフレーム画像と、このフレーム画像の直前に撮影された２枚および直後に撮影された２枚のフレーム画像との計５枚のフレーム画像の背景パラメータの分散値を示している。

破線のグラフ線８０１は、複数枚のフレーム画像全てに動体が含まれている場合を模したもので、実際にはランダム値を用いている。この場合の分散値は、全体的に特別な特徴がなくばらついている。それに対して実線のグラフ線８０２は、複数枚のフレーム画像に背景と動体が一定枚数ずつ交互に含まれている場合を模したもので、実際には動体としてランダム値１０個と、背景として固定値１０個を交互に与えたものである。図示する例では、１枚目から１０枚目および２１枚目から３０枚目に撮影されたフレーム画像には動体が含まれており、１１枚目から２０枚目および３１枚目から４０枚目に撮影されたフレーム画像には背景が含まれている例を示している。この場合は、動体が含まれている期間（１枚目から１０枚目および２１枚目３０枚目）に撮影されたフレーム画像の背景パラメータの分散値は大きい。また、背景が含まれている期間（１１枚目から２０枚目および３１枚目から４０枚目）に撮影されたフレーム画像の背景パラメータの分散値は小さい。従って、このように分散値が小さいときの背景パラメータを使用して背景推定値を算出すると、より精度よく背景推定を行うことができると言える。

なお、図８に示した例では、５枚のフレーム画像から分散値を求めているが、これに限る訳ではなく、動体の移動速度があらかじめ分かっている場合や、撮影フレームレートを可変にできる場合は、これらの情報によって適宜設定してかまわない。例えば、分散値を算出する際に用いるフレーム画像の枚数があまりに少ない場合、ノイズやフレーム画像の位置ずれによって生じる差分の影響が大きく出てしまい、背景が写り続けているにもかかわらず分散値が大きくなる可能性がある。従って、動体の移動速度が遅い場合もしくはフレームレートが高い場合など、動体が写り続けている可能性が高い場合においては、十分な枚数のフレーム画像を用いて分散値を算出することが望ましい。

また、例えば、動体の移動速度が速い場合もしくはフレームレートが低い場合など、動体が写り続けている可能性が低い場合には動体が含まれているフレーム画像の枚数が少ない。そのため、あまり多くのフレーム画像を用いて分散値を算出した場合、動体が写っているにもかかわらず分散値が高くならず、背景と動体との区別が難しくなる。従って、動体の移動速度が速い場合もしくはフレームレートが低い場合など、動体が写り続けている可能性が低い場合においては、動体が連続的に写っている必要最低限の枚数のフレーム画像を用いて分散値を算出することが望ましい。

すなわち、ばらつき算出部２３は、フレーム画像に含まれる動体の移動速度またはフレーム画像の撮影フレームレートの少なくともいずれか一方に応じて、ばらつき度合いの算出に用いるフレーム画像の枚数を決定するようにしてもよい。具体的には、ばらつき算出部２３は、動体の移動速度が低いもしくは撮影フレームレートが高い場合にはばらつき度合いの算出に用いるフレーム画像の枚数を多くし、動体の移動速度が高いもしくは撮影フレームレートが低い場合にはばらつき度合いの算出に用いるフレーム画像の枚数を少なくするようにしてもよい。

また、分散値の算出に用いる画像枚数は、複数の値を併用してもかまわない。例えば、５枚のフレーム画像を用いた分散値と、１０枚のフレーム画像を用いた分散値と、２０枚のフレーム画像を用いた分散値とを算出することで、移動速度が遅い動体と移動速度が速い動体とが混在している場合でも背景を精度良く検出することが可能となる。すなわち、ばらつき算出部２３は、異なる枚数のフレーム画像を用いて複数のばらつき度合いを算出するようにしてもよい。

（ステップＳ１０６）背景推定値算出部２２は、全ての微小ブロックの背景推定値を確定したか否かを判定する。全ての微小ブロックの背景推定値を確定したと背景推定値算出部２２が判定した場合にはステップＳ１０７の処理に進み、それ以外の場合にはステップＳ１０１の処理に戻る。
（ステップＳ１０７）背景推定値算出部２２は、確定した全ての微小ブロックの背景推定値を記憶部５に記憶させる。その後、背景推定処理を終了する。

上述したステップＳ１０１〜ステップＳ１０７処理により、簡単な方法でかつ精度よく背景画像を推定することができる。

次に、画像処理装置１００が備える画像選択部３の動作手順について説明する。画像選択部３は、動体除去画像を生成する際に使用するフレーム画像を選択するブロックであり、背景推定部２が背景推定処理を完了したのちに動作する。図９は、本実施形態における画像選択部３の動作手順を示したフローチャートである。

（ステップＳ２０１）画像選択部３のインタフェース部３３は、記憶部５が記憶しているフレーム画像のうち、処理対象とする複数枚のフレーム画像のうち一枚のフレーム画像を読み出す。その後、ステップＳ２０２の処理に進む。
（ステップＳ２０２）背景パラメータ算出部３０は、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像を微小ブロックに分割し、微小ブロック毎に背景パラメータを算出する。その後、ステップＳ２０３の処理に進む。微小ブロックは上述した通りである。

（ステップＳ２０３）背景確率算出部３１は、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像に背景が写っている確率（背景確率）を微小ブロック毎に算出する。その後、ステップＳ２０４の処理に進む。具体的には、背景確率算出部３１は、微小ブロック毎に、ステップＳ１０７の処理で記憶部５が記憶した背景推定値と、ステップＳ２０２の処理で背景パラメータ算出部３０が算出した背景パラメータとを比較し、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像に背景が写っている確率（背景確率）を算出する。例えば、背景推定値がヒストグラムピーク位置の背景パラメータ値の場合は、この値とステップＳ２０２の処理で算出した背景パラメータとの差分を背景確率とする。すなわち、差分が小さいほど背景である確率が高いという指標となる。また、例えば、背景推定値が背景パラメータの平均値の場合は、この値とステップＳ２０２の処理で算出した背景パラメータとの差分を背景確率とする。この場合も差分が小さいほど背景である確率が高いという指標となる。なお、背景推定値が背景パラメータの平均値の場合は、ステップＳ１０１〜ステップＳ１０７の処理で背景推定値を算出する際に用いた背景パラメータ（母集団）における、ステップＳ２０２の処理で算出した背景パラメータの偏差値を背景確率としてもよい。この場合は、偏差値が５０に近いほど背景である確率が高いという指標となる。

ここで、図１０を用いて具体的な背景確率の算出例を説明する。図１０は、本実施形態において、背景確率算出部３１が背景確率を算出する例を示した概略図である。図示する例では、上から３つ目左から３つ目の微小ブロック１２０の背景推定値は１７０である。また、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像１１０が図示するフレームＡの場合、上から３つ目左から３つ目の微小ブロック１２０の背景パラメータは２００であり、背景と同じ明るさである。このときは、背景確率を表す両者の差分は３０となる。一方、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像１１０が図示するフレームＢの場合、上から３つ目左から３つ目の微小ブロック１２０には背景よりも暗い動体が写っているため、背景パラメータは５０である。このときは、背景確率を示す両者の差分は１２０となる。つまり、この例では、背景確率を表す値が小さいほど背景である確率が高いということになる。

（ステップＳ２０４）背景確率算出部３１は、ステップＳ２０３の処理で微小ブロックごとに算出した背景確率を全微小ブロック分合算し、フレーム画像全体の総合背景確率を算出する。その後、ステップＳ２０５の処理に進む。総合背景確率は、フレーム画像全体の領域のうち、背景が写っている微小ブロックが存在する確率を示す。

（ステップＳ２０５）判定部３２は、ステップＳ２０４の処理で算出した総合背景確率に基づいて、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像は、背景が写っている可能性の高いフレーム画像であるか否かを判定する。すなわち、判定部３２は、ステップＳ２０４の処理で算出した総合背景確率に基づいて、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像のうち、背景が写っている可能性の高いフレーム画像を選択する。背景が写っている可能性の高いフレーム画像であると判定部３２が判定した場合にはステップＳ２０６の処理に進み、それ以外の場合にはステップＳ２０１の処理に戻る。

具体的には、判定部３２は、総合背景確率があらかじめ定めた閾値Ｔｈ１よりも高い（背景が写っている確率が高い）場合に、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像は背景が写っている可能性の高いフレーム画像であると判定してステップＳ２０６の処理に進み、それ以外の場合にはステップＳ２０１の処理に戻る。例えば、図１０に示した例では、背景確率を表す差分値が低いほど背景である確率が高いので、この場合は「Ｔｈ１よりも総合背景確率が低い場合に、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像は背景が写っている可能性の高いフレーム画像である」と判定することになる。なお、閾値Ｔｈ１は、ステップＳ２０１の処理でインタフェース部３３が読み出したフレーム画像に背景が写っている微小ブロックが存在する確率が高いことを判断することができる値であればどのような値でもよい。また、閾値Ｔｈ１は予め定められていてもよく、任意に設定できるようにしてもよい。

（ステップＳ２０６）インタフェース部３３は、判定部３２がステップＳ２０５の処理で背景が写っている可能性の高いフレーム画像であると判定したフレーム画像またはこのフレーム画像を後段の処理で特定することができる選択信号（例えば、フレーム画像が記憶されている記憶部５のメモリアドレス）を、記憶部５に記憶させる。その後、ステップＳ２０７の処理に進む。
（ステップＳ２０７）インタフェース部３３は、ステップＳ２０３の処理で背景確率算出部３１が微小ブロック毎に算出した背景確率を、記憶部５に記憶させる。その後、ステップＳ２０８の処理に進む。

（ステップＳ２０８）判定部３２は、微小ブロック毎に背景充足率を算出する。その後、ステップＳ２０９の処理に進む。背景充足率は、微小ブロック毎にどれだけ背景が写っている確率の高いフレーム画像であると判定したかを表す値であり、これまで判定したすべてのフレーム画像に対応する背景確率から算出する。この背景充足率は、判定したすべてのフレーム画像の同一位置ブロックの背景確率の平均、あるいは、同一位置ブロックにおける、ある一定以上高い背景確率のブロック数やその割合などである。

（ステップＳ２０９）判定部３２は、背景充足率の低い微小ブロックに背景が写っているフレーム画像をステップＳ２０５の処理で優先的に選択するために、背景充足率の低い微小ブロックの重みを大きくして加重加算するための重みを設定する。その後、ステップＳ２１０の処理に進む。なお、次にステップＳ２０１の処理を実行してフレーム画像を読み出した後のステップＳ２０４の処理にて、ステップＳ２０９の処理で設定した重みを使った総合背景確率を算出する。この重みは、例えば、各ブロックの背景充足率の逆数とする。

（ステップＳ２１０）判定部３２は、全ての微小ブロックの背景充足率が閾値Ｔｈ２以上か否かを判断する。全ての微小ブロックの背景充足率は閾値Ｔｈ２以上であると判定部３２が判定した場合には処理を終了し、それ以外の場合にはステップＳ２０１の処理に戻る。なお、閾値Ｔｈ２は、ステップＳ２０５の処理で「背景が写っている可能性の高いフレーム画像である」とこれまでに選択されたフレーム画像の各微小ブロックに背景が写っている可能性が高いことを判定することができる値であればどのような値でもよい。また、閾値Ｔｈ２は予め定められていてもよく、任意に設定できるようにしてもよい。例えば、「背景が写っている可能性の高いフレーム画像」の選択処理の終了条件となる閾値Ｔｈ２を１、すなわち同一位置の微小ブロックにおいては１つでも背景確率の高い微小ブロックを含んだフレーム画像を選択することができればよいとすると、フレーム画像内の全ての微小ブロックの背景充足率が１以上になるまでステップＳ２０１〜ステップＳ１０の処理を繰り返し実行する。

ここで、上述した図１０に示した背景確率（差分値）から、背景充足率および重みを算出する例を示す。背景充足率を背景確率が高い微小ブロック数とする。また、差分が３０以下の背景確率の微小ブロックを背景確率が高い微小ブロックとする。図１０に示した例では、上から３つ目左から３つ目の微小ブロックにおいては、背景確率が３０と１２０であるため、背景確率の高い微小ブロック数は１であり、背景充足率は１となる。次に、重みを背景充足率の逆数とすると１となる。この例では、重みのとりうる値は、１／０もしくは１以下の値であるが、１／０すなわち一定以上の背景確率のブロックが１つもない場合の重みは、たとえば１０などの十分大きな値に置き換えればよい。

上述した手順により、画像選択部３は、記憶部５が記憶しているフレーム画像のうち、背景が写っている確率の高いフレーム画像を選択することができる。また、一連の選択処理を自動で行うので、画像処理装置１００の使用者が、背景が写っている確率が高いフレーム画像を自ら選択する必要がなくなり、使用者の操作負荷を低減することが可能となる。

次に、画像処理装置１００が備える動体除去画像生成部４の動作手順について説明する。動体除去画像生成部４は、背景推定部２と画像選択部３とが動作を完了し、動体除去画像に用いる複数のフレーム画像を選択した後に動作する。

初めに、動体除去画像生成部４のインタフェース部４３は、記憶部５が記憶している、背景が写っている可能性の高い複数枚のフレーム画像を読み込む。なお、ステップＳ２０６の処理で、画像選択部３が選択したフレーム画像そのものを記憶部５に記憶させた場合には、インタフェース部４３は、このフレーム画像を記憶部５から読み出す。また、ステップＳ２０６の処理で、画像選択部３が選択したフレーム画像を特定することができる選択信号を記憶部５に記憶させた場合には、インタフェース部４３は、選択信号に基づいて記憶部５からフレーム画像を読み出す。

同時に、インタフェース部４３は、読み出したそれぞれのフレーム画像に対応した背景確率を記憶部５から読み込む。そして、動体除去処理部４１は、インタフェース部４３が読み出した複数枚のフレーム画像と、それぞれのフレーム画像に対応した背景確率とに基づいて動体除去処理を行う。動体除去処理の基本的な方式は従来知られている技術を用いてもよいが、本実施形態では、背景確率に応じて複数枚のフレーム画像の選択または重みづけを行うことが特徴となる。以下、２通りの動体除去処理の例について説明する。

（加算平均を用いた動体除去処理）
動体除去処理部４１は、インタフェース部４３が読み出した複数枚のフレーム画像を用いて以下のいずれかの処理を行い、動体を除去した動体除去画像を生成する。
・背景確率が上位ｎ位の微小ブロックのみ使用して加算平均する。（ｎは任意の値）
・背景確率が一定値以上の微小ブロックのみ使用して加算平均する。
・インタフェース部４３が読み出したすべての画像を使用するが、背景確率を重みとした加重平均とする。
上述した３つの処理のうち、図１０に示した具体例を用いて、背景確率が一定値以上のブロックのみ使用して加算平均し、動体を除去した動体除去画像を生成する例を説明する。図１０に示した例では、閾値Ｔｈ２を１としていたので、同一位置の複数ブロックにおいて、背景確率が１以上のブロックが少なくとも１つはあるはずである。従って、背景確率が１以上のブロックの加算平均をとれば、１フレーム内の全ての微小ブロックで動体を除去した動体除去画像を生成することができる。

（ヒストグラムを用いた動体除去処理）
動体除去処理部４１は、インタフェース部４３が読み出した複数枚のフレーム画像を用いて以下のいずれかの処理を行い、動体を除去した動体除去画像を生成する。
・背景確率が上位ｎ位までの微小ブロックのみ使用してヒストグラムを作る。
・背景確率が一定値以上の微小ブロックのみ使用してヒストグラムを作る。
・インタフェース部４３が読み出したすべての画像を使用するが、ヒストグラムの度数を枚数ではなく、背景確率で作る。

動体除去処理部４１が動体除去画像を生成した後、画像処理部４２は、動体除去画像に対して、例えばホワイトバランス補正や、色補正や、輪郭強調や、歪補正などの動体除去以外の画像処理や、ＪＰＥＧ圧縮などの変換処理を行う。続いて、インタフェース部４３は、画像処理部４２が画像処理や変換処理を行った動体除去画像を記憶部５に記憶させる。

上述したとおり、本実施形態によれば、背景推定部２の動作により、簡単な方法でかつ精度よく背景画像を推定することができる。また、画像選択部３の動作により、記憶部５が記憶しているフレーム画像のうち、背景が写っている確率の高いフレーム画像を選択（判定）することができる。また、動体除去画像生成部４の動作により、動体を除去した動体除去画像を生成することができる。その結果、動体除去に使用するフレーム画像の枚数を削減できるため、処理速度の向上や、消費電力の削減が可能となる。

なお、本実施形態では、背景推定部２と、画像選択部３と、動体除去画像生成部４とは連動して動作しているが、これに限らず、個別に動作しても構わない。例えば、背景推定部２を独立で動作させて、背景推定値のみを算出する装置としてもよい。そして、背景推定部２が算出した背景推定値を、例えば、動体除去とは逆の処理である動体をできるだけ残す処理などの別の画像処理に用いるようにしてもよい。

また、本実施形態では、画像処理装置１００は、撮像部１が予め撮像し、記憶部５が記憶しているフレーム画像を用いて動体除去画像を生成したが、これに限らない。例えば、画像処理装置１００は、他の装置が生成したフレーム画像を記憶部５に記憶し、記憶部５が記憶する他の装置が生成したフレーム画像を用いて動体除去画像を生成するようにしてもよい。

以上、この発明の一実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

なお、上述した画像処理装置１００が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１・・・撮像部、２・・・背景推定部、３・・・画像選択部、４・・・動体除去画像生成部、５・・・記憶部、６・・・データバス、２１，３０・・・背景パラメータ算出部、２２・・・背景推定値算出部、２３・・・ばらつき算出部、２４，３３，４３・・・インタフェース部、３１・・・背景確率算出部、３２・・・判定部、４１・・・動体除去処理部、４２・・・画像処理部、１００・・・画像処理装置

Claims (18)

1. 予め記憶されている複数枚のフレーム画像を用い、前記フレーム画像毎に、当該フレーム画像を複数のブロックに分割し、前記ブロックごとに当該ブロックに写っている被写体の特徴を示す背景パラメータを算出する背景パラメータ算出部と、
   前記背景パラメータ算出部が算出した前記背景パラメータに基づいて、前記ブロックに写っている被写体が背景である場合の前記背景パラメータと推定することができる背景推定値を前記ブロック毎に算出する背景推定値算出部と、
   前記フレーム画像と前記背景推定値とを用いて、当該フレーム画像に背景が写っている確率を示す背景確率を、前記ブロック毎に算出する背景確率算出部と、
   前記背景確率に基づいて、前記フレーム画像全体の領域のうち、背景が写っている前記ブロックが存在する確率を示す総合背景確率を算出し、前記総合背景確率が所定の値以上である前記フレーム画像を、当該フレーム画像に含まれる動体を除去した動体除去画像を生成する際に用いる画像であると判定する判定部と、
   を備えることを特徴とする画像処理装置。
2. 前記判定部は、前記背景確率算出部が算出した複数の前記フレーム画像の前記背景確率に基づいて、前記フレーム画像の前記ブロック毎に背景が写っている確率を示す背景充足率を算出し、当該背景充足率に基づいた前記ブロック毎の重みを用いて前記総合背景確率を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記背景確率と、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像とを用いて、前記動体除去画像を生成する動体除去画像生成部を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記背景パラメータは、前記ブロックに写っている被写体の輝度情報と、色情報と、形状情報と、距離情報とのうちいずれか一つまたは複数である
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記背景推定値は、複数フレーム間の前記背景パラメータの平均値あるいは前記背景パラメータのヒストグラムのピーク位置のパラメータ値である
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記背景パラメータのばらつき度合いを算出するばらつき算出部
   を備え、
   前記背景推定値算出部は、前記ばらつき算出部が算出した前記ばらつき度合いに基づいて、前記背景推定値を確定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記ばらつき算出部は、前記フレーム画像に含まれる動体の移動速度または前記フレーム画像の撮影フレームレートの少なくともいずれか一方に応じて、前記ばらつき度合いの算出に用いる前記フレーム画像の枚数を決定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記ばらつき算出部は、前記動体の移動速度が低いもしくは前記撮影フレームレートが高い場合には前記ばらつき度合いの算出に用いる前記フレーム画像の枚数を多くし、前記動体の移動速度が高いもしくは前記撮影フレームレートが低い場合には前記ばらつき度合いの算出に用いる前記フレーム画像の枚数を少なくする
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記ばらつき算出部は、異なる枚数の前記フレーム画像を用いて複数の前記ばらつき度合いを算出する
   ことを特徴とする請求項６に記載の画像処理装置。
10. 前記フレーム画像は連続撮影した静止画像
    であることを特徴する請求項１に記載の画像処理装置。
11. 前記フレーム画像は動画像から取得した静止画像
    であることを特徴とする請求項１に記載の画像処理装置。
12. 前記背景確率は、前記背景パラメータと前記背景推定値との差分、または、前記背景推定値を算出する際に用いた母集団データである前記背景パラメータ内での当該背景推定値の偏差値のうちいずれか一つまたは複数である
    ことを特徴とする請求項１に記載の画像処理装置。
13. 前記背景充足率は、前記フレーム画像の同一位置のブロックの背景確率の平均値、または、背景確率が高いブロック数あるいは割合のいずれか一つまたは複数である
    ことを特徴とする請求項２に記載の画像処理装置。
14. 前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像は連続撮影した静止画像である
    ことを特徴する請求項１に記載の画像処理装置。
15. 前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像は動画像から取得した静止画像である
    ことを特徴する請求項１に記載の画像処理装置。
16. 前記動体除去画像生成部は、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像の前記背景確率が上位ｎ位（ｎは整数）までの前記ブロックのみを用いて当該フレーム画像に含まれる動体を除去した前記動体除去画像を生成する
    ことを特徴とする請求項３に記載の画像処理装置。
17. 前記動体除去画像生成部は、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像の前記背景確率が一定値以上の前記ブロックのみを用いて当該フレーム画像に含まれる動体を除去した前記動体除去画像を生成する
    ことを特徴とする請求項３に記載の画像処理装置。
18. 前記動体除去画像生成部は、前記判定部が前記動体除去画像を生成する際に用いる画像であると判定した前記フレーム画像の重み付けした前記背景確率を用いて当該フレーム画像に含まれる動体を除去した前記動体除去画像を生成する
    ことを特徴とする請求項３に記載の画像処理装置。

Images