JP5826309B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

撮影画像から移動物体を除去した画像を生成する画像処理装置及び画像処理装置の制御方法に関する。

近年のデジタルカメラの急速な普及によって、多くのユーザが風景写真の撮影にデジタルカメラを使用するようになっている。

ところで、風景や建物等の静止画像を撮影する際に、人や車両などの不要な移動物体が写りこんでしまう場合がある。特に、人や車両などの交通量が多い撮影環境下では、移動物体が写り込まないように静止画像を撮影することは非常に困難である。

例えば、人物等の移動物体を含まない静止画像を作成する技術として、特許文献１では次のような技術が開示されている。すなわち、同一アングルで連続撮影した複数の静止画像夫々を分割領域が同一になるように複数の分割画像に分割し、分割領域単位で各分割画像間の相関を判定する。そして、分割領域毎に相関度の高い分割画像を合成して一枚の静止画像を作成するものである。

特開２００２−２８８６７４号公報

しかしながら、上述の特許文献１に開示された従来技術では、相関度の高い分割画像を静止領域と判定するが、この静止領域の判定のためには少なくとも３枚以上の静止画像を保持する必要があるという課題があった。また、上述の特許文献１に開示された従来技術には、判定精度を向上させるためにはより多数の静止画像が必要となるという課題があった。

本発明は上記課題を解決するためになされたもので、より少ない枚数の撮影画像から移動物体を除去した背景画像を生成することができる撮像装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像から移動物体を除去した背景画像を生成する画像処理装置であって、画像が入力される入力部と、前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成手段と、前記生成手段による生成処理を繰り返し実行させ、且つ前記生成手段によって更新されなかった回数が所定の回数を超えた場合に前記生成処理を中止する制御手段とを有することを特徴とする。

上記目的を達成するために、本発明の画像処理装置は、画像から移動物体を除去した背景画像を生成する画像処理装置であって、画像が入力される入力部と、前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成手段と、前記生成手段による生成処理を繰り返し実行させ、且つ前記生成手段によって更新されなかった期間が所定の期間を超えた場合に前記生成処理を中止する制御手段とを有することを特徴とする。

以上説明したように、本発明によれば、より少ない枚数の撮影画像から移動物体を除去した背景画像を生成することができる。

本発明の実施形態における撮像装置１の概略構成を示すブロック図である。 本発明の実施形態における基準画像、参照画像、基準距離情報、参照距離情報を説明するための図である。 本発明の実施形態における背景画像生成処理の一部を示すフローチャートである。 本発明の実施形態における背景画像生成処理の一部を示すフローチャートである。 本発明の実施形態における背景画像生成処理の一部を示すフローチャートである。 本発明の実施形態における背景画像生成が終了したか否かを判定するための判定処理を示すフローチャートである。

以下、本実施例における、撮影画像から移動物体を除去した背景画像を生成することができる画像処理装置の一例としての撮像装置１について図１を用いて説明する。なお、図１は撮像装置１の概略構成を示すブロック図である。

まず、図１における撮像部２は、不図示のレンズ部や撮像素子等から構成されている。ここで、撮像部２を構成する撮像素子は、例えば、特開２００２−１３１６２３号公報に開示されているような、被写体を撮像して撮影画像データを出力可能であるのみならず、撮像素子自身による位相差検出方式の焦点検出が可能なものである。

そして、撮像部２は、基準画像メモリ３及び参照画像メモリ４の内、後述する制御部９から指示された方に撮影画像データを出力する。なお、このような撮影画像データの出力処理については、図３〜図６を参照して後述する。

また、撮像部２は、１画素毎に焦点検出領域が設定されており、これら焦点検出領域毎のデフォーカス量を検出し、検出したデフォーカス量を距離情報として制御部９に出力する。ここで、デフォーカス量とは、撮影レンズのピント位置に対する被写体位置のずれの大きさ、すなわちピント位置を基準とした被写体までの距離に関する量を表すものである。

続いて、基準画像メモリ３は、撮像部２から撮影画像データを入力され、入力された撮影画像データを基準画像データとして保持するフレームバッファである。また、参照画像メモリ４も同様に撮像部２から撮影画像データを入力され、入力された撮影画像データを参照画像データとして保持するフレームバッファである。なお、基準画像メモリ３は本実施例における基準画像保持部に相当し、参照画像メモリ４は本実施例における参照画像保持部に相当する。

続いて、表示制御部５は、制御部９の指示に応じて、基準画像メモリ３によって保持されている基準画像データを表示部６に出力する。表示部６は、表示制御部５から出力された画像データに基づいて画像を表示するディスプレイである。

続いて、圧縮部７は、制御部９の指示に応じて、基準画像メモリ３によって保持されている基準画像データに対して圧縮符号化処理を施して記録部８に出力する。記録部８は、メモリカード等の記録媒体であって、圧縮部７から入力された圧縮符号化済みの画像データを記録する。

続いて、撮像部２の各部を統括的に制御するための制御処理を実行する制御部９について説明する。まず、制御部９は、基準画像に対応する距離情報を撮像部２から取得し、取得した距離情報を基準距離情報として基準距離情報メモリ１０に保持させる。同様に、制御部９は、参照画像に対応する距離情報を撮像部２から取得し、取得した距離情報を参照距離情報として参照距離情報メモリ１１に保持させる。

そして、制御部９は、基準画像データと参照画像データと基準距離情報と参照距離情報とを用いることによって撮影画像から移動物体を除去した背景画像を生成可能な背景画像生成処理機能を有する。このような機能については、図３〜６を参照して後述する。

続いて、基準距離情報メモリ１０は、基準画像に対応する距離情報を制御部９から入力され、基準距離情報として保持する。また、参照距離情報メモリ１１は、参照画像に対応する距離情報を制御部９から入力され、参照距離情報として保持する。なお、基準距離情報メモリ１０は本実施例における基準距離情報保持部に相当し、参照距離情報メモリ１１は本実施例における参照距離情報保持部に相当する。

続いて、操作部１２は、シャッターボタン（不図示）、決定ボタン（不図示）、通常撮影モード及び背景画像生成モードの中から撮像装置１の動作モードを選択するための動作モード選択スイッチ（不図示）等を備える。ここで、背景画像生成モードとは、撮影画像から移動物体を除去した背景画像を生成するためのモードである。

続いて、本実施例における基準画像、参照画像、基準距離情報、参照距離情報について図２を参照して説明する。

まず、図２（ａ）の図は、本実施例における基準画像１００を示すものである。この基準画像１００は、壁１０１を撮影したものであるが、壁１０１の前に人物１０２が写り込んでしまっている。

続いて、図２（ｂ）の図は、本実施例における基準距離情報の一部を示すものであり、図２（ａ）における破線の矩形枠１０３で囲まれた領域に対応する基準距離情報を示すものである。なお、本実施例における基準距離情報メモリ１０は、距離情報を、図２（ｂ）に示すように、基準画像データに含まれる複数領域夫々に対応付けて保持するものである。

また、図２（ｂ）におけるセル夫々は１画素に対応しており、セル内の数値は当該セルに対応する被写体までの距離を示すパラメータである。なお、本実施例における距離情報は、被写体までの距離が近くなるに従って数値が小さくなり、被写体までの距離が遠くなるに従って数値が大きくなるものである。例えば、被写体までの距離が０の場合の値は「０」であり、被写体までの距離が無限遠の場合の値は「∞」となる。図２（ｂ）における「８０」のセルは壁１０１までの距離を示すものであり、「５０」のセルは本実施例における撮像装置１に対して壁１０１よりも近くに位置している人物１０２までの距離を示すものである。

続いて、図２（ｃ）の図は本実施例における参照画像２００を示すものであり、参照画像２００は基準画像１００と同一アングルで撮影されたものとする。この参照画像２００は、壁１０１を撮影したものであって壁１０１の前に人物１０２が写りこんでいるものである点で基準画像１００と同様だが、人物１０２の位置が異なっている。

続いて、図２（ｄ）は、本実施例における参照距離情報の一部を示すものであり、図２（ｃ）における破線の矩形枠１０３で囲まれた領域に対応する参照距離情報を示すものである。なお、本実施例における参照距離情報メモリ１１は、基準距離情報メモリ１０と同様、距離情報を、図２（ｄ）に示すように、参照画像データに含まれる複数領域夫々に対応付けて保持するものである。

そして、図２（ｂ）と同様に、図２（ｄ）におけるセル夫々は１画素に対応しており、セル内の数値は当該セルに対応する被写体までの距離を示すパラメータである。具体的には、図２（ｄ）における「８０」のセルは、壁１０１までの距離を示すものである。なお、基準画像１００と参照画像２００とでは人物１０２の位置が異なっており、図２（ｃ）における破線の矩形枠１０３で囲まれた領域には人物１０２が写り込んでいない。このため、図２（ｄ）には人物１０２までの距離を示す「５０」のセルが存在しない。

なお、図２（ｅ）及び図２（ｆ）については、引き続き説明する背景画像生成処理の中で詳述する。

続いて、距離情報を用いることにより、撮影画像から移動物体を除去した背景画像を生成するための背景画像生成処理について、図３〜図６を参照しながら説明する。なお、この背景画像生成処理は、制御部９によって実行されるものである。また、本実施例における撮像装置１は、三脚等で固定されており、被写体を同一アングルで連続して撮影できるように構成されているものである。

図３におけるステップＳ１０１では、制御部９は、撮像装置１の動作モードが背景画像生成モードであるか否かを判定する。撮像装置１の動作モードが背景画像生成モードであると制御部９が判定した場合はステップＳ１０２に進み、背景画像生成モードではないと制御部９が判定した場合はステップＳ１０７に進む。

ステップＳ１０２では、制御部９は、撮像装置１のシャッターボタン（不図示）が押下されたか否かを判定する。シャッターボタンが押下されたと制御部９が判定した場合はステップＳ１０３に進み、シャッターボタンが押下されていないと制御部９が判定した場合はステップＳ１０１に戻る。

ステップＳ１０３では、制御部９は撮像装置１の動作制限処理を行う。すなわち、ステップＳ１０２におけるシャッターボタンの押下をユーザからの指示として、ズームやフォーカスの変更等といった撮像部２の撮影画角が変化する操作や、シャッタースピードや絞り値の変更等といった撮像部２の露出が変化する操作を禁止する。

ステップＳ１０４では、制御部９は、撮影カウンターをリセットする。具体的には、制御部９は撮影回数をカウントするための撮影カウンターの値を０に設定する。なお、本実施例における撮影カウンターは、制御部９に内蔵されている。

ステップＳ１０５では、制御部９は、被写体を撮像して撮影画像データを出力させるように撮像部２を制御する。そして、制御部９は、撮像部２から出力された撮影画像データを基準画像データとして基準画像メモリ３に保持させる。なお、前述の図２（ａ）は、基準画像の例である。

ステップＳ１０６では、制御部９は、ステップＳ１０５で撮像された基準画像データに対応する距離情報を出力させるように撮像部２を制御する。そして、制御部９は、出力された距離情報を基準距離情報として基準距離情報メモリ１０に保持させる。そして、制御部９は、図４に示すステップＳ１０８に処理を進める。なお、前述の図２（ｂ）は基準距離情報の例である。

ステップＳ１０７では、制御部９は、通常の撮影処理を実行して処理を終了する。

図４におけるステップＳ１０８では、制御部９は、ステップＳ１０５で基準画像メモリ３に保持させた基準画像データを、表示部６に表示させるように表示制御部５を制御する。

ステップＳ１０９では、制御部９は、後述するステップＳ１１３で距離が遠くなった領域が連続して検出されなかった回数を示すための終了判定カウンターをリセットする。また、制御部９は、ステップＳ１１３で距離が遠くなった領域が最後に検出されてから経過した時間を計時するための終了判定タイマーもリセットする。具体的には、終了判定カウンターの値を０に設定し、終了判定タイマーの値も０に設定する。

なお、本実施例では、終了判定カウンター及び終了判定タイマーは、制御部９に内蔵されている。

ステップＳ１１０では、制御部９は、背景画像生成処理が終了したか否かを判定するための背景画像生成終了判定処理を実行する。この処理の内容は、図６に示すフローチャートを用いて後述する。

ステップＳ１１１では、制御部９は、ステップＳ１１０の背景画像生成終了判定処理の結果、背景画像生成処理が終了したと判定された場合は、図５に示すステップＳ１１７に処理を進める。一方、制御部９は、ステップＳ１１０の背景画像生成終了判定処理の結果、背景画像生成処理が終了していないと判定された場合は、ステップＳ１１２に処理を進める。

ステップＳ１１２では、制御部９は、新たに被写体を撮像して撮影画像データを出力させるように撮像部２を制御する。換言すると、制御部９は、被写体を基準画像データとは異なる時刻に撮像して撮影画像データを出力させるように撮像部２を制御する。そして、制御部９は、撮像部２から新たに出力された撮影画像データを参照画像データとして参照画像メモリ４に保持させる。なお、図２（ｃ）は、参照画像の例である。

ステップＳ１１３では、制御部９は、ステップＳ１１２で撮像された参照画像データに対応する距離情報を出力させるように撮像部２を制御する。そして、制御部９は、出力された距離情報を参照距離情報として参照距離情報メモリ１１に保持させる。なお、図２（ｄ）は、参照距離情報の例である。

ステップＳ１１４では、制御部９は、基準距離情報と参照距離情報とを比較し、基準画像データに含まれる領域の中から、参照画像データの方が距離が遠い領域を検出する。

具体的には、制御部９は、まず、基準画像データ及び参照画像データ夫々を複数の領域に分割する。そして、制御部９は、分割した領域のうち位置が同じ領域について、基準距離情報の数値と参照距離情報の数値とを比較し、参照距離情報の数値が基準距離情報の数値よりも大きい場合に、当該領域を参照画像データの方が距離が遠い領域として検出する。

この結果、距離が遠い領域を制御部９が検出した場合はステップＳ１１５に進み、距離が遠い領域が検出されなかったときはステップＳ１１６に進む。

なお、本発明の実施形態の撮像部２は、１画素毎に焦点検出領域が設定されているので、制御部９は、基準距離情報と参照距離情報とを比較し、参照画像データに含まれる画素の中から、基準画像データの方が距離が遠い画素を検出することになる。ここで、図２（ｅ）はステップＳ１１３での検出結果の例を示すものである。図２（ｅ）における灰色で示す領域が、基準画像データに含まれる画素の中から、参照画像データの方が距離が遠いとして検出された画素を示している。

ステップＳ１１５では、制御部９は、基準画像データのうち、ステップＳ１１４で検出された領域については、基準画像データを参照画像データで更新する。一方、制御部９は、ステップＳ１１４で検出された領域以外の領域については、画像の更新処理を実行しない。この結果、図２（ｆ）で示すような、移動物体である人物１０２が除去された背景画像３００が得られる。

また、ステップＳ１１５では、制御部９は距離情報更新処理を実行する。すなわち、制御部９は、ステップＳ１１４で検出された領域については、基準距離情報を参照距離情報で更新する。一方、制御部９は、ステップＳ１１４で検出された領域以外の領域については、距離情報の更新処理を実行しない。

例えば、図２（ａ）における破線の矩形枠１０３で囲まれた領域に対応する距離情報、つまり、図２（ｂ）で示される距離情報の場合について説明すると、当該距離情報における「５０」の値を示すセルが「８０」の値を示すように更新されることになる。

ステップＳ１１６では、制御部９は、終了判定カウンターの値に１を加えることにより、終了判定カウンターを更新する。

ステップＳ１１７では、制御部９は、基準画像メモリ３に保持されている基準画像データに圧縮符号化処理を施して出力させるように、圧縮部７を制御する。

ステップＳ１１８では、制御部９は、ステップＳ１１６で圧縮部７から出力された画像データを記録部８に記録させる。

ステップＳ１１９では、制御部９は、ステップＳ１０３で実行した、撮像装置１の動作制限を解除して処理を終了する。

続いて、背景画像生成が終了したか否かを判定するためのステップＳ１１０の背景画像生成終了判定処理について図４のフローチャートを用いて説明する。

まず、ステップＳ２０１では、制御部９は、撮影カウンターの値に１を加える。

ステップＳ２０２では、制御部９は、撮影カウンターの値が所定値に達したか否かを判定する。所定値に達したと制御部９が判定した場合はステップＳ２０７に進み、所定値に達していないと制御部９が判定した場合はステップＳ２０３に進む。

ステップＳ２０３では、制御部９は、セルフタイマーをリセットする。なお、本実施例におけるセルフタイマーは、時間を計時するための計時機能を有し、制御部９に内蔵される。

ステップＳ２０４では、制御部９は、終了判定タイマーが所定の時間を経過してタイムアウトしたか否かを判定する。そして、タイムアウトしたと制御部９が判定した場合はステップＳ２０７に進み、タイムアウトしていないと制御部９が判定した場合はステップＳ２０５に進む。

ステップＳ２０５では、制御部９は、終了判定カウンターが所定値に達したか否かを判定する。そして、所定値に達したと制御部９が判定した場合はステップＳ２０７に進み、所定値に達していないと制御部９が判定した場合はステップＳ２０６に進む。

ステップＳ２０６では、制御部９はユーザによって撮像装置１の決定ボタンが押下されたか否かを判定する。決定ボタンが押下されたと制御部９が判定した場合はステップＳ２０７に進み、決定ボタンが押下されていないと制御部９が判定した場合はステップＳ２０８に進む。

ステップＳ２０７では、制御部９は背景画像生成処理が終了したと判定して処理を終了する。

ステップＳ２０８では、制御部９はユーザによって撮像装置１のシャッターボタン（不図示）が押下されたか否かを判定する。シャッターボタンが押下されたと制御部９が判定した場合はステップＳ２１０に進み、シャッターボタンが押下されていないと制御部９が判定した場合はステップＳ２０９に進む。

ステップＳ２０９では、制御部９はステップＳ２０３でリセットされたセルフタイマーが所定の時間を経過してタイムアウトしたか否かを判定する。所定の時間を経過してタイムアウトしたと制御部９が判定した場合はステップＳ２１０に進み、所定の時間を経過してタイムアウトしていないと制御部９が判定した場合はステップＳ２０５に進む。

ステップＳ２１０では、制御部９は背景画像生成処理が終了していないと判定して処理を終了する。

このような本実施例における撮像装置１は、基準距離情報と参照距離情報とを比較し、基準画像に含まれる領域のうち、参照画像の方が距離が遠い領域を検出する。そして、検出された領域については、基準画像を参照画像で更新し、検出された領域以外の領域については、画像の更新処理を実行しない。これによれば、少なくとも２枚以上の撮影画像があれば、移動物体が除去された背景画像を生成することができる。

なお、本実施例における撮像部２は、１画素毎に焦点検出領域が設定されているものとしたが、これに限られるものではない。例えば、複数の画素をまとめて１つの焦点検出領域とし、このような焦点検出領域が撮像部２上に多数設定されていてもかまわない。

また、本実施例では、デフォーカス量を検出するために、自分自身で位相差検出方式の焦点検出可能な撮像素子を用いたが、これに限られるものではない。例えば、撮像素子とは別に設けた、焦点検出可能なＡＦセンサを用いてデフォーカス量を検出しても良い。

また、本実施例におけるステップＳ１１３にて基準画像データに含まれる領域の中から参照画像の方が距離が遠い領域を検出する際、所定の面積よりも小さい領域については検出対象としないように制御部９を構成しても良い。これによれば、微小領域を検出対象から除外することができ、判定誤差を小さくすることが可能である。

２ 撮像部
３ 基準画像メモリ
４ 参照画像メモリ
９ 制御部
１０ 基準距離情報メモリ
１１ 参照距離情報メモリ

Claims (7)

1. 画像から移動物体を除去した背景画像を生成する画像処理装置であって、
   画像が入力される入力部と、
   前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成手段と、
   前記生成手段による生成処理を繰り返し実行させ、且つ前記生成手段によって更新されなかった回数が所定の回数を超えた場合に前記生成処理を中止する制御手段とを有することを特徴とする画像処理装置。
2. 画像から移動物体を除去した背景画像を生成する画像処理装置であって、
   画像が入力される入力部と、
   前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成手段と、
   前記生成手段による生成処理を繰り返し実行させ、且つ前記生成手段によって更新されなかった期間が所定の期間を超えた場合に前記生成処理を中止する制御手段とを有することを特徴とする画像処理装置。
3. 前記生成手段は、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を移動物体を含む領域として、前記参照画像で更新することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記背景画像を表示する表示手段とをさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段により繰り返し実行される更新の終了を決定する決定手段をさらに有し、
   前記生成手段は、前記決定手段による終了の決定によって、前記更新処理を中止することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 画像が入力される入力部と、前記画像から移動物体を除去した背景画像を生成する画像処理装置の制御方法であって、
   前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成ステップと、
   前記生成ステップによる生成処理を繰り返し実行させ、且つ前記生成ステップによって更新されなかった回数が所定の回数を超えた場合に前記生成処理を中止する制御ステップとを有することを特徴とする画像処理装置の制御方法。
7. 画像が入力される入力部と、前記画像から移動物体を除去した背景画像を生成する画像処理装置の制御方法であって、
   前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成ステップと、
   前記生成ステップによる生成処理を繰り返し実行させ、且つ前記生成ステップによって更新されなかった期間が所定の期間を超えた場合に前記生成処理を中止する制御ステップとを有することを特徴とする画像処理装置の制御方法。

Images