JP5864983B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来知られている動体除去技術として、撮影者がカメラのレリーズボタンを押し続けている期間中に、画像データの取り込みと、動体を除去するための加算平均処理とを繰り返し実行する技術が知られている（例えば、特許文献１参照）。この技術では、撮影者がカメラのレリーズボタンを長時間押し続けるほど、画面上から人や車などの移動する被写体が除去され、建物や道路など静止した被写体のみが残るというものである。

また、他の動体除去技術として、複数の撮影画像の同一位置の画素値について、ヒストグラムを作成し、出現回数（以下、度数と示す）が最も高い画素値を出力し、動体を除去する方法が知られている（例えば、特許文献２参照）。

特開平１１−２２４３２４号公報 特開平９−１４９３６４号公報

しかしながら、上述したいずれの動体除技術においても、動体を除去して背景画像を取得するためには大量の画像を撮影する必要がある。例えば、特許文献１に記載の技術は撮影を長時間行い、撮影した画像枚数が多ければ多いほど動体を除去しやすい技術である。また、特許文献２に記載の技術では、動体を除去するために用いる複数枚の画像において、背景が写っている画像の枚数が多数を占めなければならない。そのため、少ない枚数では背景がヒストグラム上で一番多い度数にならない可能性があるため、大量の画像を用いる必要がある。従って、上述した動体除去技術を用いて背景画像を取得するためには、大量の画像を撮像する必要があるという問題がある。

また、上述した技術では、大量の画像を用いて動体除去処理を行って背景画像を取得するため、処理時間の増加や、機器の消費電力の増加や、画像を保存するメモリの増大を招く恐れがある。また、特許文献１に記載の技術においては、撮影者は液晶モニターに映し出される画像を確認しながら動体が除去された背景画像を取得するまで撮影を続ける必要があるため、撮影者の撮影動作の負荷が増えるという問題もある。

本発明は、上記事情に鑑みてなされたものであり、より少ない枚数の画像を用いて背景を推定することができる画像処理装置を提供することを目的とする。

本発明は、複数枚のフレーム画像を用い、前記フレーム画像毎に、当該フレーム画像を複数のブロックに分割し、前記ブロックごとに当該ブロックに写っている被写体の特徴を示す背景パラメータを算出する背景パラメータ算出部と、前記背景パラメータ算出部が算出した前記背景パラメータに基づいて、前記ブロックに写っている被写体が背景である場合の前記背景パラメータと推定することができる背景推定値を前記ブロック毎に算出する背景推定値算出部と、前記背景推定値を記憶する背景推定値記憶部と、前記フレーム画像と前記背景推定値とを用いて、当該フレーム画像に背景が写っている確率を示す背景確率を、前記ブロック毎に算出する背景確率算出部と、前記背景確率に基づいて、前記フレーム画像全体の領域のうち、背景が写っている前記ブロックが存在する確率を示す総合背景確率を算出し、前記総合背景確率が所定の値以上である場合に静止画像を撮像するための制御信号を出力する制御部と、前記制御部が前記制御信号を出力した場合に前記静止画像を撮像する撮像部と、前記背景確率を記憶する背景確率記憶部と、前記撮像部が撮影した前記静止画像を記憶する静止画像記憶部と、を備えることを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記制御部は、前記背景確率算出部が算出した複数の前記フレーム画像の前記背景確率に基づいて、これまでに撮影した前記静止画像の前記ブロック毎に背景が写っている確率を示す背景充足率を算出し、当該背景充足率に基づいた前記ブロック毎の重みを用いて前記総合背景確率を算出することを特徴とする。

また、本発明は、前記背景確率記憶部が記憶している前記背景確率と、前記静止画像記憶部が記憶している前記静止画像とを用いて、当該静止画像に含まれる動体を除去した動体除去画像を生成する動体除去画像生成部を備えることを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記背景パラメータは、前記ブロックに写っている被写体の輝度情報と、色情報と、形状情報と、距離情報とのうちいずれか一つまたは複数であることを特徴とする。

また、本発明の画像処理装置において、前記背景推定値は、複数フレーム間の前記背景パラメータの平均値あるいは前記背景パラメータのヒストグラムのピーク位置のパラメータ値であることを特徴とする。

また、本発明は、前記背景パラメータのばらつき度合いを算出するばらつき算出部を備え、前記背景推定値算出部は、前記ばらつき算出部が算出した前記ばらつき度合いに基づいて、前記背景推定値を確定することを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記フレーム画像はライブビュー画像であることを特徴する。

また、本発明の画像処理装置において、前記背景確率は、前記背景パラメータと前記背景推定値との差分、または、前記背景推定値を算出する際に用いた母集団データである前記背景パラメータ内での当該背景推定値の偏差値のうちいずれか一つまたは複数であることを特徴とする。

また、本発明の画像処理装置において、前記総合背景確率は、前記撮像部が撮影した全ての前記フレーム画像の同一位置のブロックの背景確率の平均値、または、背景確率が高いブロック数あるいは割合のいずれか一つまたは複数であることを特徴とする。

また、本発明の画像処理装置において、前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像はライブビュー画像であることを特徴する。

また、本発明の画像処理装置において、前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像は前記静止画像であることを特徴する。

また、本発明の画像処理装置において、前記動体除去画像生成部は、前記背景確率が上位ｎ位（ｎは整数）までの前記ブロックのみを用いて前記静止画像に含まれる動体を除去した前記動体除去画像を生成することを特徴とする。

また、本発明の画像処理装置において、前記動体除去画像生成部は、前記背景確率が一定値以上の前記ブロックのみを用いて前記静止画像に含まれる動体を除去した前記動体除去画像を生成することを特徴とする。

また、本発明の画像処理装置において、前記動体除去画像生成部は、重み付けした前記背景確率を用いて前記静止画像に含まれる動体を除去した前記動体除去画像を生成することを特徴とする。

本発明によれば、背景パラメータ算出部は、複数枚のフレーム画像を用い、フレーム画像毎に、当該フレーム画像を複数のブロックに分割し、ブロックごとに当該ブロックに写っている被写体の特徴を示す背景パラメータを算出する。また、背景推定値算出部は、背景パラメータ算出部が算出した背景パラメータに基づいて、ブロックに写っている被写体が背景である場合の背景パラメータと推定することができる背景推定値をブロック毎に算出する。また、背景推定値記憶部は、背景推定値を記憶する。これにより、より少ない枚数のフレーム画像を用いて、ブロックに写っている被写体が背景である場合の背景パラメータと推定することができる背景推定値を算出することができる。

本発明の一実施形態における画像処理装置の構成を示したブロック図である。 本実施形態における背景推定部の動作手順を示したフローチャートである。 本実施形態において、背景パラメータ算出部がフレーム画像を微小ブロックに分割した例を示した概略図である。 本実施形態において、背景推定値算出部が背景推定値を算出する例を示した概略図である。 本実施形態におけるフレーム画像の撮影枚数と、背景パラメータのばらつき度合いとの関係の一例を示した図である。 本実施形態における撮影コントロール部の動作手順を示したフローチャートである。 本実施形態において、背景確率算出部が背景確率を算出する例を示した概略図である。

以下、本発明の一実施形態について図面を参照して説明する。図１は本実施形態における画像処理装置の構成を示したブロック図である。図示する例では、画像処理装置１００は、撮像部１と、背景推定部２と、撮影コントロール部３と、動体除去画像生成部４とを備える。画像処理装置１００は、静止画像を撮影した際に含まれる、通行人や車両等の撮影者の所望しない動体を除去し、背景に置きかえた動体除去画像を生成する。

撮像部１は、レンズと、ＣＭＯＳセンサなどの撮像素子と、ＡＤ変換回路などのアナログ回路等を備えており、静止画像やライブビュー画像などの画像を撮影する。また、撮像部１が連続して撮影した画像をフレーム画像と呼ぶ。背景推定部２は、背景パラメータ算出部２１と、背景推定値算出部２２と、背景推定値記憶部２３と、ばらつき算出部２４とを備えており、被写体の背景を簡易的に推定する。背景パラメータ算出部２１は、撮像部１が撮影したフレーム画像から背景パラメータを算出する。背景推定値算出部２２は、背景パラメータ算出部２１が算出した背景パラメータのうち背景と思われる値を推定し、背景推定値として取得する。背景推定値記憶部２３は、背景推定値算出部２２が取得した背景推定値を記憶する。ばらつき算出部２４は、背景パラメータ算出部２１が算出した背景パラメータの時間的ばらつきを算出する。

撮影コントロール部３は、背景確率算出部３１と、判断部３２と、背景確率記憶部３３とを備えており、静止画像の撮影タイミングを制御する。背景確率算出部３１は、背景推定部２であらかじめ算出した背景推定値に基づいて、撮像部１が撮影したフレーム画像の背景確率を算出する。判断部３２は、背景確率算出部３１が算出した背景確率に基づいて、フレーム画像全体の領域のうち、背景が写っている微小ブロックが存在する確率を示す総合背景確率を算出し、総合背景確率が所定の値以上となったタイミングで静止画像を撮影するための制御信号を出力する。微小ブロックについては後述する。背景確率記憶部３３は、背景確率算出部３１が算出した背景確率を記憶する。

動体除去画像生成部４は、静止画像記憶部４１と、動体除去処理部４２と、画像処理部４３と、処理画像記憶部４４とを備えており、撮像部１が撮影した静止画像をもとに動体除去画像を生成する。静止画像記憶部４１は、撮像部１が撮影した静止画像を複数枚記憶する。動体除去処理部４２は、静止画像記憶部４１が記憶する複数枚の静止画像と、各静止画像の背景確率とを用いて、静止画像に含まれる動体を除去した画像（動体除去画像）を生成する。画像処理部４３は、動体除去処理部４２が生成した動体除去画像に対して様々な画像処理や変換処理を行う。例えば、画像処理部４３は、ホワイトバランス補正や、色補正や、輪郭強調や、歪補正などの画像処理や、ＪＰＥＧ圧縮などの変換処理を行う。処理画像記憶部４４は、画像処理部４３が画像処理を行った動体除去画像を記憶する。

次に、画像処理装置１００が備える背景推定部２の動作手順について説明する。図２は、本実施形態における背景推定部２の動作手順を示したフローチャートである。
（ステップＳ１０１）撮像部１は１枚のフレーム画像を撮影する。その後、ステップＳ１０２の処理に進む。なお、撮像部１がステップＳ１０１の処理で撮影するフレーム画像は、一般的にビューファインダー表示などに用いられるライブビュー用の画像でもよく、静止画像として撮影する画像と同じサイズの画像（フルサイズの画像）でもよい。

（ステップＳ１０２）背景パラメータ算出部２１は、ステップＳ１０１の処理で撮像部１が撮像したフレーム画像を微小ブロックに分割し、微小ブロック毎に背景パラメータを算出する。その後、ステップＳ１０３の処理に進む。なお、背景パラメータ算出部２１がフレーム画像を微小ブロックに分割する際の分割数は予め決められていても良く、任意に設定できるようにしてもよい。図３は、本実施形態において、背景パラメータ算出部２１がフレーム画像を微小ブロックに分割した例を示した概略図である。図示する例では、背景パラメータ算出部２１は、フレーム画像１１０を縦に６分割、横に１１分割し、６６個の微小ブロックに分割している。

なお、ステップＳ１０２の処理で背景パラメータ算出部２１が算出する背景パラメータは、後に撮像部１が撮影する画像に対して、この画像に写っているものが背景か否かを微小ブロック単位で判定するために用いる情報であり、微小ブロックに写っている被写体の特徴を示す情報である。つまり、背景パラメータは、背景と、背景を遮る動体との区別をつけることができる情報であればよい。例えば、背景パラメータとして、微小ブロックごとの輝度平均値や、色差信号の平均値や、高周波成分の絶対値の総和や、位相差による被写体までの距離情報などを用いる。背景パラメータとして輝度情報や色情報を用いることで、背景と異なる明るさや色の動体の判別は可能であるし、同じ明るさや色であっても、高周波成分を検出することで、形状の違いや、背景と動体の距離の差によるボケ具合の違いが判別できるため、背景と動体の区別が可能となる。また、背景パラメータとして位相差を用いる場合、位相差オートフォーカスで得られた被写体との距離情報を背景パラメータとして用いても良い。また、背景パラメータとして用いる情報の種類は１つだけではなく、複数種類の情報を用いてもよい。

（ステップＳ１０３）背景推定値算出部２２は、ステップＳ１０２の処理で背景パラメータ算出部２１が算出した背景パラメータに基づいて、微小ブロック毎に背景推定値を算出する。その後、ステップＳ１０４の処理に進む。なお、背景推定値を算出する処理は、背景と思われる背景パラメータを特定する処理であり、上述した背景パラメータの複数フレーム分の平均値や、ヒストグラムのピークとなるパラメータ値などを用いて背景推定値を算出する。例えば、動体は移動するため、ライブビュー画像をある時間（たとえば数秒〜数十秒）の間に複数枚撮影した場合、各微小ブロック単位で見ると、大部分のライブビュー画像には背景が写ることが予想できる。従って、各微小ブロックにおいては、背景パラメータの平均値がほぼ背景を示す値となることが期待できる。また、ヒストグラムを求めれば、その度数が最大となる辺りの背景パラメータ値を背景とみなすことが可能である。なお、ヒストグラムは平均値に比べて動体の影響を排除できるため、より正確に背景と思われる背景パラメータを推定することができる。

ここで、図４を参照して、背景パラメータとして各微小ブロック内の輝度平均値を用い、複数枚のフレーム画像の平均値を用いて背景推定値を算出する例を説明する。図４は、本実施形態において、背景推定値算出部２２が背景推定値を算出する例を示した概略図である。図示する例では、フレーム１〜フレーム５の５枚のフレーム画像１１０を用いて、上から３つ目左から３つ目の微小ブロック１２０の背景推定値を算出している。フレーム１，２，４，５の上から３つ目左から３つ目の微小ブロック１２０には比較的明るい背景が写り、フレーム３の上から３つ目左から３つ目の微小ブロック１２０には背景より暗い動体が写っていると仮定する。明るさの範囲を０〜２５５の数値で表したとき、背景が写っている微小ブロック１２０は、ノイズの影響などがあって多少のばらつきはあるが、ほぼ２００という輝度平均値をもち、動体が写っている微小ブロック１２０は５０という輝度平均値をもつ。このときの上から３つ目左から３つ目の微小ブロック１２０の背景推定値は、５つの微小ブロック１２０の平均値であるから１７０となる。この値は背景が写っている際の輝度平均値２００に近いため、背景を推定する際に用いる背景推定値とみなすことができる。

（ステップＳ１０４）ばらつき算出部２４は、背景推定部２が背景推定フローを開始してからステップＳ１０１の処理で撮影したすべてのフレーム画像の背景パラメータの時間的なばらつき度合いを、微小ブロックごとに算出する。その後、ステップＳ１０５の処理に進む。ばらつき度合いは、例えば（１）式で求められる一般的な分散値等でよい。なお、（１）式におけるｓ^２は分散値であり、ｎは画像枚数であり、ｘは背景パラメータであり、ｘバーは背景パラメータの平均値である。

（ステップＳ１０５）背景推定値算出部２２は、ステップＳ１０４の処理で算出した微小ブロック毎のばらつき度合いに基づいて、ばらつき度合いが所定の値よりも小さい微小ブロックの背景推定値を、ステップＳ１０３で算出した背景推定値と確定する。その後、ステップＳ１０６の処理に進む。なお、所定の値は、背景が写っている期間と、動体が写っている期間を精度よく区別することができる値であればどのような値でもよい。また、所定の値は、予め定められていてもよく、任意に設定できるようにしてもよい。

なお、ばらつき度合いが所定の値よりも小さい微小ブロックの背景推定値を確定する原理は以下のとおりである。例えば、背景の前を動体が横切る場合を考える。この場合、フレーム画像中のある微小ブロックに着目すると、背景が撮影される期間がしばらく続き、その後、動体がしばらくの時間撮影され、また、その後に背景がしばらく撮影されるということが繰り返されるはずである。このときの背景パラメータのばらつき度合いは、背景が撮影されているときは同じ画像が撮影され続けるので低くなり、動体が撮影されている間は常に変化した画像が撮影されるので高くなる。従って、背景推定値算出部２２は、ばらつき算出部２４が算出したばらつき度合いの時間的変動をもとに、ばらつき度合いが小さい時の背景パラメータを用いて背景推定値を算出する。これにより、背景が写っている期間と、動体が写っている期間を精度よく区別することが可能となる。

図５はフレーム画像の撮影枚数と、背景パラメータのばらつき度合い（分散値）との関係の一例を示した図である。グラフの横軸はフレーム画像の枚数を示しており、縦軸は分散値を示しており、プロットはその時点までのすべての背景パラメータに対する分散値を示している。ひし形のプロットは、複数枚のフレーム画像全てが動体である場合を模したもので、実際にはランダム値を用いている。この場合の分散値は、データが安定した１０枚目以降は大きく変動しない。それに対して三角形のプロットは、背景と動体が交互に現れることを模したもので、実際には動体としてランダム値１０個と、背景として固定値１０個を交互に与えたものである。この場合は、動体が現れる期間（１〜１０枚目、２１〜３０枚目）の分散値は大きく、背景が現れる期間（１１〜２０枚目、３１〜４０枚目）は、分散値が明らかに低くなることが分かる。従って、このような分散値が低いときの背景パラメータを使用して背景推定値を算出すると、より精度よく背景推定を行うことができると言える。

なお、図５に示したグラフでも分かるように、フレーム画像を撮影し始めてしばらく（数フレームほど）は、分散を求めるためのデータ数が少ないので、分散値はフレームごとに大きく変動する。従って、安定した分散値を使用するためには、フレーム画像の撮影開始から数フレーム以降の値を用いるのが望ましい。

（ステップＳ１０６）背景推定値算出部２２は、全ての微小ブロックの背景推定値を確定したか否かを判定する。全ての微小ブロックの背景推定値を確定したと背景推定値算出部２２が判定した場合にはステップＳ１０７の処理に進み、それ以外の場合にはステップＳ１０１の処理に戻る。
（ステップＳ１０７）背景推定値記憶部２３は、背景推定値算出部２２が確定した全ての微小ブロックの背景推定値を記憶する。その後、背景推定処理を終了する。

上述したステップＳ１０１〜ステップＳ１０７処理により、簡単な方法でかつ精度よく背景画像を推定することができる。

次に、画像処理装置１００が備える撮影コントロール部３の動作手順について説明する。撮影コントロール部３は、動体除去画像を生成する際に使用する静止画像の撮影タイミングを決定するブロックであり、背景推定部２が背景推定処理を完了したのちに動作する。図６は、本実施形態における撮影コントロール部３の動作手順を示したフローチャートである。

（ステップＳ２０１）撮像部１は１枚のフレーム画像を撮影する。その後、ステップＳ２０２の処理に進む。なお、撮像部１がステップＳ２０１の処理で撮影するフレーム画像は、一般的にビューファインダー表示などに用いられるライブビュー用の画像でもよく、静止画像として撮影する画像と同じサイズの画像（フルサイズの画像）でもよい。
（ステップＳ２０２）背景パラメータ算出部２１は、ステップＳ２０１の処理で撮像部１が撮像したフレーム画像を微小ブロックに分割し、微小ブロック毎に背景パラメータを算出する。その後、ステップＳ２０３の処理に進む。

（ステップＳ２０３）背景確率算出部３１は、ステップＳ２０１の処理で撮像部１が撮像したフレーム画像に背景が写っている確率（背景確率）を微小ブロック毎に算出する。その後、ステップＳ２０４の処理に進む。具体的には、背景確率算出部３１は、微小ブロック毎に、ステップＳ１０８の処理で背景推定値記憶部２３が記憶した背景推定値と、ステップＳ２０２の処理で背景パラメータ算出部２１が算出した背景パラメータとを比較し、ステップＳ２０１の処理で撮像部１が撮像したフレーム画像に背景が写っている確率（背景確率）を算出する。例えば、背景推定値がヒストグラムピーク位置の背景パラメータ値の場合は、この値とステップＳ２０２の処理で算出した背景パラメータとの差分を背景確率とする。すなわち、差分が小さいほど背景である確率が高いという指標となる。また、例えば、背景推定値が背景パラメータの平均値の場合は、この値とステップＳ２０２の処理で算出した背景パラメータとの差分を背景確率とする。この場合も差分が小さいほど背景である確率が高いという指標となる。なお、背景推定値が背景パラメータの平均値の場合は、ステップＳ１０１〜ステップＳ１０７の処理で背景推定値を算出する際に用いた背景パラメータ（母集団）における、ステップＳ２０２の処理で算出した背景パラメータの偏差値を背景確率としてもよい。この場合は、偏差値が５０に近いほど背景である確率が高いという指標となる。

ここで、図７を用いて具体的な背景確率の算出例を説明する。図７は、本実施形態において、背景確率算出部３１が背景確率を算出する例を示した概略図である。図示する例では、上から３つ目左から３つ目の微小ブロック１２０の背景推定値は１７０である。また、ステップＳ２０１の処理で撮影したフレーム画像１１０が図示するフレームＡの場合、上から３つ目左から３つ目の微小ブロック１２０の背景パラメータは２００であり、背景と同じ明るさである。このときは、背景確率を表す両者の差分は３０となる。一方、ステップＳ２０１の処理で撮影したフレーム画像１１０が図示するフレームＢの場合、上から３つ目左から３つ目の微小ブロック１２０には背景よりも暗い動体が写っているため、背景パラメータは５０である。このときは、背景確率を示す両者の差分は１２０となる。つまり、この例では、背景確率を表す値が小さいほど背景である確率が高いということになる。

（ステップＳ２０４）背景確率算出部３１は、ステップＳ２０３の処理で微小ブロックごとに算出した背景確率を全微小ブロック分合算し、フレーム画像全体の総合背景確率を算出する。その後、ステップＳ２０５の処理に進む。総合背景確率は、フレーム画像全体の領域のうち、背景が写っている微小ブロックが存在する確率を示す。
（ステップＳ２０５）判断部３２は、ステップＳ２０４の処理で算出した総合背景確率に基づいて、静止画像を撮影して記憶するか否かを判断する。静止画像を撮影して記憶すると判断部３２が判断した場合にはステップＳ２０６の処理に進み、それ以外の場合にはステップＳ２０１の処理に戻る。具体的には、判断部３２は、総合背景確率があらかじめ定めた閾値Ｔｈ１よりも高い（背景が写っている確率が高い）場合に、静止画像を撮影して記憶すると判断してステップＳ２０６の処理に進み、それ以外の場合にはステップＳ２０１の処理に戻る。例えば、図７に示した例では、背景確率を表す差分値が低いほど背景である確率が高いので、この場合は「Ｔｈ１よりも総合背景確率が低い場合に画像を撮影して記憶する」と判断することになる。なお、閾値Ｔｈ１は、ステップＳ２０１で撮影したフレーム画像に背景が写っている微小ブロックが存在する確率が高いことを判断することができる値であればどのような値でもよい。また、閾値Ｔｈ１は予め定められていてもよく、任意に設定できるようにしてもよい。

（ステップＳ２０６）判断部３２は、撮像部１に対して静止画像を撮影させる静止画像撮影制御信号を送信する。撮像部１は、静止画像撮影制御信号を受信した場合、静止画像を撮影する。その後、ステップＳ２０７の処理に進む。
（ステップＳ２０７）静止画像記憶部４１は、ステップＳ２０６の処理で撮像部１が撮影した静止画像と、ステップＳ２０３の処理で背景確率算出部３１が微小ブロック毎に算出した背景確率とを記憶する。その後、ステップＳ２０８の処理に進む。

（ステップＳ２０８）判断部３２は、微小ブロック毎に背景充足率を算出する。その後、ステップＳ２０９の処理に進む。背景充足率は、微小ブロック毎にどれだけ背景を撮影できたかを表す値であり、これまで撮影したすべての静止画像に対応する背景確率から算出する。この背景充足率は、撮影したすべての画像の同一位置ブロックの背景確率の平均、あるいは、同一位置ブロックにおける、ある一定以上高い背景確率のブロック数やその割合などである。

（ステップＳ２０９）判断部３２は、背景充足率の低い微小ブロックに背景が写るタイミングで撮像部１に静止画像を撮影させるために、背景充足率の低い微小ブロックの重みを大きくして加重加算するための重みを設定する。その後、ステップＳ２１０の処理に進む。なお、次の静止画像撮影時のステップＳ２０４の処理にて、ステップＳ２０９の処理で設定した重みを使った総合背景確率を算出する。この重みは、例えば、各ブロックの背景充足率の逆数とする。

（ステップＳ２１０）判断部３２は、全ての微小ブロックの背景充足率が閾値Ｔｈ２以上か否かを判断する。全ての微小ブロックの背景充足率は閾値Ｔｈ２以上であると判断部３２が判断した場合には処理を終了し、それ以外の場合にはステップＳ２０１の処理に戻る。なお、閾値Ｔｈ２は、これまで撮影した静止画像の各微小ブロックに背景が写っている可能性が高いことを判断することができる値であればどのような値でもよい。また、閾値Ｔｈ２は予め定められていてもよく、任意に設定できるようにしてもよい。例えば、静止画像の撮影の終了条件となる閾値Ｔｈ２を１、すなわち同一位置の微小ブロックにおいては１つでも背景確率の高い微小ブロックを撮影することができればよいとすると、フレーム画像内の全ての微小ブロックの背景充足率が１以上になるまでステップＳ２０１〜ステップＳ１０の処理を繰り返し実行する。

ここで、上述した図７に示した背景確率（差分値）から、背景充足率および重みを算出する例を示す。背景充足率を背景確率が高い微小ブロック数とする。また、差分が３０以下の背景確率の微小ブロックを背景確率が高い微小ブロックとする。図７に示した例では、上から３つ目左から３つ目の微小ブロックにおいては、背景確率が３０と１２０であるため、背景確率の高い微小ブロック数は１であり、背景充足率は１となる。次に、重みを背景充足率の逆数とすると１となる。この例では、重みのとりうる値は、１／０もしくは１以下の値であるが、１／０すなわち一定以上の背景確率のブロックが１つもない場合の重みは、たとえば１０などの十分大きな値に置き換えればよい。

なお、上述した例では、背景充足率のみに基づいて静止画像の撮影タイミングを自動で決定しているがこれに限らない。例えば、静止画像の撮影間隔が無用に長くなることを避けるため、時間の経過とともに、閾値Ｔｈ１を、静止画像をできるだけ撮影する方向に変化させる（図７に示した例ではＴｈ１の値を大きくする）など、撮影間隔の上限を設けるようにしてもよい。また、上述した例では、ステップＳ２０１の処理ではフレーム画像としてライブビュー画像を撮影し、ライブビュー画像から背景確率や背景充足率を求める例を説明したが、これに限らず、記憶するための静止画像から背景確率や背景充足率を算出するようにしてもよい。この場合は、判断部３２の静止画像撮影制御信号によって、静止画像記憶部４１は、撮影した静止画像を記憶するか否かを決定すればよい。

上述した手順により、撮像部１は静止画像を撮影するため、背景が写っている確率の高い静止画像を取得することができる。また、その結果、撮影する静止画像の枚数を削減できるため、機器に搭載するメモリの削減や、消費電力の削減が可能となる。さらに、一連の撮影処理を自動で行うので、撮影者が自ら撮影画像を見て撮影を続けるかどうかを判断する必要がなくなり、撮影者の操作負荷を低減することが可能となる。

次に、画像処理装置１００が備える動体除去画像生成部４の動作手順について説明する。動体除去画像生成部４は、背景推定部２と撮影コントロール部３とが動作を完了し、静止画像記憶部４１が複数枚の静止画像を記憶した後に動作する。

初めに、動体除去処理部４２は、静止画像記憶部４１が記憶している複数枚の静止画像を読み込む。同時に、動体除去処理部４２は、それぞれの静止画像に対応した背景確率を背景確率記憶部３３から読み込む。そして、動体除去処理部４２は、複数枚の静止画像と、それぞれの静止画像に対応した背景確率とに基づいて動体除去処理を行う。動体除去処理の基本的な方式は従来知られている技術を用いてもよいが、本実施形態では、背景確率に応じて複数枚の静止画像の選択または重みづけを行うことが特徴となる。以下、２通りの動体除去処理の例について説明する。

（加算平均を用いた動体除去処理）
動体除去処理部４２は、静止画像号記憶部４１が記憶している複数枚の静止画像を用いて以下のいずれかの処理を行い、動体を除去した動体除去画像を生成する。
・背景確率が上位ｎ位の微小ブロックのみ使用して加算平均する。（ｎは任意の値）
・背景確率が一定値以上の微小ブロックのみ使用して加算平均する。
・撮影したすべての画像を使用するが、背景確率を重みとした加重平均とする。
上述した３つの処理のうち、図７に示した具体例を用いて、背景確率が一定値以上のブロックのみ使用して加算平均し、動体を除去した動体除去画像を生成する例を説明する。図７に示した例では、閾値Ｔｈ２を１としていたので、同一位置の複数ブロックにおいて、背景確率が１以上のブロックが少なくとも１つはあるはずである。従って、背景確率が１以上のブロックの加算平均をとれば、１フレーム内の全ての微小ブロックで動体を除去した動体除去画像を生成することができる。

（ヒストグラムを用いた動体除去処理）
動体除去処理部４２は、静止画像号記憶部４１が記憶している複数枚の静止画像を用いて以下のいずれかの処理を行い、動体を除去した動体除去画像を生成する。
・背景確率が上位ｎ位までの微小ブロックのみ使用してヒストグラムを作る。
・背景確率が一定値以上の微小ブロックのみ使用してヒストグラムを作る。
・撮影したすべての画像を使用するが、ヒストグラムの度数を枚数ではなく、背景確率で作る。

動体除去処理部４２が動体除去画像を生成した後、画像処理部４３は、動体除去画像に対して、例えばホワイトバランス補正や、色補正や、輪郭強調や、歪補正などの動体除去以外の画像処理や、ＪＰＥＧ圧縮などの変換処理を行う。続いて、処理画像記憶部４４は、画像処理部４３が画像処理や変換処理を行った動体除去画像を記憶する。

上述したとおり、本実施形態によれば、背景推定部２の動作により、簡単な方法でかつ精度よく背景画像を推定することができる。また、撮影コントロール部３の動作により、背景が写っている確率の高い静止画像を取得することができる。また、動体除去画像生成部４の動作により、動体を除去した動体除去画像を生成することができる。

なお、本実施形態では、背景推定部２と、撮影コントロール部３と、動体除去画像生成部４とは連動して動作しているが、これに限らず、個別に動作しても構わない。例えば、背景推定部２を独立で動作させて、背景推定値のみを算出する装置としてもよい。そして、背景推定部２が算出した背景推定値を、例えば、動体除去とは逆の処理である動体をできるだけ残す処理などの別の画像処理に用いるようにしてもよい。

以上、この発明の一実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

なお、上述した画像処理装置１００が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１・・・撮像部、２・・・背景推定部、３・・・撮影コントロール部、４・・・動体除去画像生成部、２１・・・背景パラメータ算出部、２２・・・背景推定値算出部、２３・・・背景推定値記憶部、２４・・・ばらつき算出部、３１・・・背景確率算出部、３２・・・判断部、３３・・・背景確率記憶部、４１・・・静止画像記憶部、４２・・・動体除去処理部、４３・・・画像処理部、４４・・・処理画像記憶部、１００・・・画像処理装置

Claims (14)

1. 複数枚のフレーム画像を用い、前記フレーム画像毎に、当該フレーム画像を複数のブロックに分割し、前記ブロックごとに当該ブロックに写っている被写体の特徴を示す背景パラメータを算出する背景パラメータ算出部と、
   前記背景パラメータ算出部が算出した前記背景パラメータに基づいて、前記ブロックに写っている被写体が背景である場合の前記背景パラメータと推定することができる背景推定値を前記ブロック毎に算出する背景推定値算出部と、
   前記背景推定値を記憶する背景推定値記憶部と、
   前記フレーム画像と前記背景推定値とを用いて、当該フレーム画像に背景が写っている確率を示す背景確率を、前記ブロック毎に算出する背景確率算出部と、
   前記背景確率に基づいて、前記フレーム画像全体の領域のうち、背景が写っている前記ブロックが存在する確率を示す総合背景確率を算出し、前記総合背景確率が所定の値以上である場合に静止画像を撮像するための制御信号を出力する制御部と、
   前記制御部が前記制御信号を出力した場合に前記静止画像を撮像する撮像部と、
   前記背景確率を記憶する背景確率記憶部と、
   前記撮像部が撮影した前記静止画像を記憶する静止画像記憶部と、
   を備えることを特徴とする画像処理装置。
2. 前記制御部は、前記背景確率算出部が算出した複数の前記フレーム画像の前記背景確率に基づいて、これまでに撮影した前記静止画像の前記ブロック毎に背景が写っている確率を示す背景充足率を算出し、当該背景充足率に基づいた前記ブロック毎の重みを用いて前記総合背景確率を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記背景確率記憶部が記憶している前記背景確率と、前記静止画像記憶部が記憶している前記静止画像とを用いて、当該静止画像に含まれる動体を除去した動体除去画像を生成する動体除去画像生成部
   を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記背景パラメータは、前記ブロックに写っている被写体の輝度情報と、色情報と、形状情報と、距離情報とのうちいずれか一つまたは複数である
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記背景推定値は、複数フレーム間の前記背景パラメータの平均値あるいは前記背景パラメータのヒストグラムのピーク位置のパラメータ値である
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記背景パラメータのばらつき度合いを算出するばらつき算出部
   を備え、
   前記背景推定値算出部は、前記ばらつき算出部が算出した前記ばらつき度合いに基づいて、前記背景推定値を確定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記フレーム画像はライブビュー画像
   であることを特徴する請求項１に記載の画像処理装置。
8. 前記背景確率は、前記背景パラメータと前記背景推定値との差分、または、前記背景推定値を算出する際に用いた母集団データである前記背景パラメータ内での当該背景推定値の偏差値のうちいずれか一つまたは複数である
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記総合背景確率は、前記撮像部が撮影した全ての前記フレーム画像の同一位置のブロックの背景確率の平均値、または、背景確率が高いブロック数あるいは割合のいずれか一つまたは複数である
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像はライブビュー画像である
    ことを特徴する請求項１に記載の画像処理装置。
11. 前記背景確率と前記総合背景確率との算出に用いる前記フレーム画像は前記静止画像である
    ことを特徴する請求項１に記載の画像処理装置。
12. 前記動体除去画像生成部は、前記背景確率が上位ｎ位（ｎは整数）までの前記ブロックのみを用いて前記静止画像に含まれる動体を除去した前記動体除去画像を生成する
    ことを特徴とする請求項３に記載の画像処理装置。
13. 前記動体除去画像生成部は、前記背景確率が一定値以上の前記ブロックのみを用いて前記静止画像に含まれる動体を除去した前記動体除去画像を生成する
    ことを特徴とする請求項３に記載の画像処理装置。
14. 前記動体除去画像生成部は、重み付けした前記背景確率を用いて前記静止画像に含まれる動体を除去した前記動体除去画像を生成する
    ことを特徴とする請求項３に記載の画像処理装置。

Images