JP7266490B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、複数の画像を合成する画像処理装置、その制御方法及びプログラムに関する。

近年、動画から取得された複数の画像や連写によって取得された複数の画像に基づいて被写体の動きを１枚の画像に合成する技術が知られている。例えば、背景が一様である撮像環境で動きのある被写体を連続撮影して複数の画像を得、その後、これらの画像を合成した場合、動きのある被写体のみが複数表示された合成画像が得られる。この合成画像では、１つの画像で被写体の動きを時系列的に確認できるため、静止画像でありながら被写体の動きを動画のように表現できる。通常、このような合成画像は、ＰＣ等において描画ツールを用いて作業者が手作業で作成するために非常に手間を要する。そこで、このような合成画像を自動で生成する技術が幾つか提案されている。

ところで、このような合成画像を得るために複数の画像を取得する際、背景が一様ではなく被写体とは別の動きのある物体が存在すると、合成画像に別の物体が重畳されてノイズのように表示される。例えば、図７に示すように、連続撮影によって得られた複数の画像群１０１の各画像に被写体である人物１０２とは別の物体である鳥１０３が含まれると、合成画像１０４において各画像の鳥１０３が移動しながら重畳されたノイズ１０５が表示される。

これに対して、ノイズの要因となる動きのある物体を削除する技術も提案されている。例えば、特許文献１の技術では、連続撮影によって得られた複数の画像において、少なくとも２つの画像の同じ位置に存在する物体以外の物体を削除することにより、動きのある物体を削除する。また、動画から動いている物体をすべて削除するアプリケーションも知られている（例えば、株式会社ViRD製、「VANISH360」、http://vird.co.jp/product/vanish360/ 参照）。

また、主被写体とは別の動きのある被写体（以下「動体」と称する。）を削除した合成画像を生成する構成として、例えば、図８に示す構成が知られている。

図８において、当該構成では、記録メディア２０１に静止画像データ又は動画データが記録され、ドライブユニット２０２は、記録メディア２０１から静止画像データ又は動画データを取得する。復号化ユニット２０３は取得されたデータを復号し、復号化された静止画像データ又は動画データをメモリ２０４へ出力する。合成画像を生成する際、ユーザーはシステムコントローラー２０５に対して合成される複数の画像を読み込むための指示を出す。該指示に応じてフレーム読み出し部２０６はメモリ２０４から静止画像データ又は動画データ内の指示に対応する複数のフレーム（時系列的に連続する複数の画像）を読み出す。その後、主被写体群検出部２０７は各フレームから主被写体を検出し、動体削除部２０８は主被写体外の動体を各フレームから削除する。その後、映像合成処理部２０９は動体が削除された各フレームを合成し、画像処理部２１０は合成された各フレームの画角調整や色変換を行って合成画像を生成し、表示装置２１１は合成画像を表示する。

特開２０００－１３６８１号公報

しかしながら、図８の構成では、動体が削除された各フレームを合成するため、各フレームが互いに差分の大きい領域を含んでいると、当該領域が重ね合わされる。その結果、合成画像の画質が劣化するという問題がある。また、例え、図８の構成において、動体を削除すること無く各フレームを合成する場合でもあっても、やはり、互いに差分の大きい領域は重ね合わされるため、同様の問題が生じる。

本発明の目的は、複数の画像を合成する際に合成画像の画質の劣化を抑制することができる画像処理装置、その制御方法及びプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、時系列的に連続する複数の画像を取得する画像取得手段と、前記取得された複数の画像の各々から被写体を分離して背景を取得し、前記複数の画像から取得された複数の前記被写体と複数の前記背景を保存する画像保存手段と、前記保存された複数の背景を互いに比較し、他の背景との差分が最も少ない一の背景を抽出する背景抽出手段と、前記抽出された一の背景に、前記複数の被写体を合成して合成画像を生成する合成画像生成手段と、を備えることを特徴とする。

本発明によれば、複数の画像を合成する際に合成画像の画質の劣化を抑制することができる。

第１の実施の形態に係る画像処理装置の構成を概略的に示すブロック図である。 第１の実施の形態における画像合成処理を示すフローチャートである。 第１の実施の形態における画像合成処理を説明するための工程図である。 主被写体と関連性が高い動体が合成画像に含まれなくなる場合を説明するための図である。 第２の実施の形態における画像合成処理を示すフローチャートである。 第２の実施の形態における画像合成処理を説明するための図である。 従来の画像合成処理においてノイズが生じる過程を説明するための図である。 従来の画像合成処理を実行する構成を概略的に示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載される構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載される構成によって限定されることはない。

まず、第１の実施の形態について説明する。図１は、本実施の形態に係る画像処理装置の構成を概略的に示すブロック図である。図１において、例えば、カメラ等の撮像装置である画像処理装置３００は、記録メディア３０１が接続又は装着されるドライブユニット３０２と、復号化ユニット３０３と、メモリ３０４と、システムコントローラー３０５とを備える。また、画像処理装置３００は、フレーム読み出し部３０６（画像取得手段，静止画像取得手段，フレーム取得手段）と、主被写体群検出部３０７（被写体検出手段，主被写体検出手段）と、背景分離部３０８（画像保存手段、被写体範囲特定手段）とを備える。さらに、画像処理装置３００は、分離背景保存部３０９（背景保存手段）と、分離被写体保存部３１０（被写体保存手段）と、背景比較抽出部３１１（背景抽出手段）と、分離背景読み出し部３１２とを備える。また、当該画像処理装置３００は、映像合成処理部３１３（合成画像生成手段）と、分離被写体読み出し部３１４と、画像処理部３１５と、表示装置３１６とを備える。

画像処理装置３００において、記録メディア３０１は静止画像データ又は動画データを記録し、ドライブユニット３０２は、記録メディア３０１から静止画像データ又は動画データを取得する。復号化ユニット３０３は取得されたデータを復号し、復号化された静止画像データ又は動画データをメモリ３０４へ出力する。システムコントローラー３０５は、画像処理装置３００の各構成要素の動作を制御する。フレーム読み出し部３０６はメモリ３０４から静止画像データ又は動画データ内の複数のフレーム（時系列的に連続する複数の画像）を読み出す。主被写体群検出部３０７は各フレームから主被写体を検出し、背景分離部３０８は各フレームから検出された主被写体を含む範囲の画像を主被写体画像として切り出し、各フレームから主被写体画像を分離して残りの画像を背景画像として切り出す。分離背景保存部３０９は各フレームから切り出された背景画像をメモリ３０４に保存し、分離被写体保存部３１０は各フレームから切り出された主被写体画像をメモリ３０４に保存する。

また、分離背景読み出し部３１２はメモリ３０４に保存された各背景画像をメモリ３０４から読み出す。背景比較抽出部３１１は、各背景画像から合成対象となる背景画像候補（一の背景）を抽出する。分離被写体読み出し部３１４はメモリ３０４から各主被写体画像を読み出し、映像合成処理部３１３は、背景比較抽出部３１１が抽出した背景画像候補と、読み出した各主被写体画像とを合成する。画像処理部３１５は合成された各主被写体画像と背景画像候補の画角調整や色変換を行って合成画像を生成し、表示装置３１６は合成画像を表示する。

次に、本実施の形態に係る画像処理装置の制御方法としての画像合成処理について説明する。図２は、本実施の形態における画像合成処理を示すフローチャートであり、図３は、本実施の形態における画像合成処理を説明するための工程図である。

まず、システムコントローラー３０５がユーザーによる主被写体と合成対象となる時系列的に連続する複数の画像との選択に関する指示を受け付ける（ステップＳ５０１）。なお、本実施の形態では、以下、合成対象となる画像を対象画像と称する。本実施の形態では、各対象画像として、自転車に乗った人物と、背景として映り込んだ家や林とを含む対象画像（フレーム）４０１～４０４が選択される。また、自転車に乗った人物４０５が主被写体として選択される。

次いで、フレーム読み出し部３０６がメモリ３０４から対象画像４０１～４０４を順に読み出す（ステップＳ５０２）。その後、主被写体群検出部３０７は読み出された各対象画像４０１～４０４から人物４０５を検出し、各対象画像４０１～４０４において人物４０５を含む矩形領域を主被写体画像として検出する。具体的には、各対象画像４０１～４０４において人物４０５を含む主被写体画像４０６～４０９を規定し、各主被写体画像４０６～４０９の領域情報をメモリ３０４に格納する（図３（Ａ））。例えば、対象画像４０１における主被写体画像４０６の領域情報（ｘ１、ｙ１、Ｌｘ１、Ｌｙ１）がメモリ３０４に格納される。ここで、（ｘ１、ｙ１）は主被写体画像４０６の図中左上の座標を示し、（Ｌｘ１）は主被写体画像４０６の図中の横長さを示し、（Ｌｙ１）は主被写体画像４０６の図中の縦長さを示す。次いで、背景分離部３０８は各対象画像４０１～４０４から主被写体画像４０６～４０９を切り出すとともに、各対象画像４０１～４０４から主被写体画像４０６～４０９を分離して残りの画像を背景画像として切り出す（ステップＳ５０３）。切り出された背景画像４１０～４１３は分離背景保存部３０９によってメモリ３０４に保存され、切り出された主被写体画像４０６～４０９は分離被写体保存部３１０によってメモリ３０４に保存される。このとき、各対象画像の各々は、当該対象画像から切り出された主被写体画像、該主被写体画像の領域情報及び当該対象画像から切り出された背景画像と関連づけられる。なお、本実施の形態では、対象画像４０１から主被写体画像４０６が切り出されて背景画像４１０が生成され、対象画像４０２から主被写体画像４０７が切り出されて背景画像４１１が生成される。また、対象画像４０３から主被写体画像４０８が切り出されて背景画像４１２が生成され、対象画像４０４から主被写体画像４０９が切り出されて背景画像４１３が生成される（図３（Ｂ））。

次いで、システムコントローラー３０５は全ての対象画像がメモリ３０４から読み出されたか否かを判定する（ステップＳ５０４）。ここで、全ての対象画像が読み出されていない場合にはステップＳ５０２に戻り、全ての対象画像が読み出されている場合にはステップＳ５０５に進む。

ステップＳ５０５では、分離背景読み出し部３１２がメモリ３０４に保存された各背景画像４１０～４１３を読み出し、背景比較抽出部３１１は各背景画像４１０～４１３から背景画像候補を抽出する。このとき、背景比較抽出部３１１は、各背景画像の一つと、当該一つの背景画像と時系列的に前後に位置する（時系列的に隣接する）各背景画像とを比較して一致度合いを示す比較結果値を算出する。さらに、背景比較抽出部３１１は、各背景画像の比較結果値を比較し、比較結果値が最も高い一の背景画像を背景画像候補として抽出する。

ステップＳ５０５における比較結果値の算出では、一般に利用される画像マッチング技術により、一致度合いが高い（差分が小さい）程、高い比較結果値が算出される。なお、ステップＳ５０５では、背景画像間の一致度合いを何らかの指標で取得できればよいので、一般に知られる他の技術を利用してもよい。ここで、一つの背景画像に時系列的に前後に位置する各背景画像（それぞれ「前背景画像」及び「後背景画像」と称する。）が存在する場合、一つの背景画像と前背景画像との比較結果値を得、さらに、一つの背景画像と後背景画像との比較結果値を得る。そして、２つの比較結果値の平均を評価値として一つの背景画像に関連づける。一つの背景画像に後背景画像のみが存在する場合、一つの背景画像と後背景画像との比較結果値を得、この比較結果値を評価値として一つの背景画像に関連づける。また、一つの背景画像に前背景画像のみが存在する場合、一つの背景画像と前背景画像との比較結果値を得、この比較結果値を評価値として一つの背景画像に関連づける。

例えば、本実施の形態では、図３（Ｃ）に示すように、背景画像４１０と背景画像４１１の一致度合いとして比較結果値Ｃ１が算出され、背景画像４１１と背景画像４１２の一致度合いとして比較結果値Ｃ２が算出される。また、背景画像４１２と背景画像４１３の一致度合いとして比較結果値Ｃ３が算出される。そして、背景画像４１１には、比較結果値Ｃ１と比較結果値Ｃ２の平均が評価値Ｔ２として関連づけられ、背景画像４１２には、比較結果値Ｃ２と比較結果値Ｃ３の平均が評価値Ｔ３として関連づけられる。また、背景画像４１０には比較結果値Ｃ１が評価値Ｔ１として関連づけられ、背景画像４１３には比較結果値Ｃ３が評価値Ｔ４として関連づけられる。ステップＳ５０５では、例えば、評価値Ｔ１が最も高い場合、背景比較抽出部３１１は、背景画像４１０を背景画像候補として抽出し、メモリ３０４に保存する。

次いで、分離被写体読み出し部３１４はメモリ３０４から主被写体画像４０６～４０９を読み出し、映像合成処理部３１３は、背景比較抽出部３１１が抽出した背景画像候補（背景画像４１０）と、主被写体画像４０６～４０９を合成する。背景画像４１０と主被写体画像４０６～４０９の合成は、各画像の平均値や重み付けに基づいて行わず、単純に背景画像４１０の上に主被写体画像４０６～４０９を上書きして行う。その後、画像処理部３１５は合成された主被写体画像４０６～４０９と背景画像４１０の画角調整や色変換を行って合成画像４１４（図３（Ｄ）参照）を生成し（ステップＳ５０６）、本処理を終了する。

ところで、本実施の形態では、図３（Ａ）に示すように、対象画像４０１～４０４に、人物４０５とは別の動体として鳥４１５が含まれる。ここで、従来の合成画像の生成処理のように、単純に対象画像４０１～４０４を合成すると、各対象画像４０１～４０４において移動する鳥４１５が重畳表示されて所定の範囲にまたがるノイズ（例えば、図７のノイズ１０５）のように表示されるおそれがある。これに対し、図２の処理によれば、対象画像４０１～４０４から背景画像４１０～４１３を生成し、そのうちの１つの背景画像４１０のみに主被写体画像４０６～４０９を上書きするので、鳥４１５が重畳表示されない。その結果、合成画像４１４では、１羽の静止状態の鳥４１５が含まれるのみとなり（図３（Ｄ）参照）、鳥４１５がノイズのように表示されることがない。また、対象画像４０１～４０４が互いに差分の大きい領域を含んでいたとしても、対象画像４０１～４０４は合成されないため、互いに差分の大きい領域が重ね合わされることがない。これにより、複数の対象画像４０１～４０４を合成する際に合成画像４１４の画質の劣化を抑制することができる。

なお、図２の処理のステップＳ５０６では、背景画像候補としての背景画像４１０の上に主被写体画像４０６～４０９を上書きした。しかしながら、まず、背景分離部３０８が背景画像４１０から主被写体画像４０６～４０９に対応する領域の画像の全てを特定した上で除去することによって背景画像候補４１６（図３（Ｄ）参照）（他の背景）を生成してもよい。この場合、背景画像候補４１６（他の背景）は分離背景保存部３０９によって一旦、メモリ３０４に保存され、その後、メモリ３０４から読み出された背景画像候補４１６に主被写体画像４０６～４０９が上書きされる。

次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。

第１の実施の形態では、各対象画像から主被写体を含む矩形領域を主被写体画像として切り出したが、この場合、主被写体と関連性が高い動体が合成画像に含まれなくなることがある。例えば、図４（Ａ）に示すように、各対象画像として、ボール６０１を投げる人物６０２を含む対象画像（フレーム）６０３～６０５が選択された場合であって、人物６０２が主被写体として選択される場合について説明する。

このとき、ボール６０１は人物６０２と関連性が高い動体に該当する。また、対象画像６０３～６０５から主被写体画像６０６～６０８が切り出されるが、対象画像６０５では人物６０２からボール６０１が離れているため、対象画像６０５から切り出される主被写体画像６０８にはボール６０１が含まれない。ここで、例えば、主被写体画像６０６が切り出された対象画像６０３が背景画像候補として抽出されると、対象画像６０３には人物６０２から離れたボール６０１は含まれない。一方、主被写体画像６０８にも人物６０２から離れたボール６０１が含まれないため、背景画像候補と主被写体画像６０６～６０８を合成して合成画像６０９を生成した場合、領域６１０に存在すべきボール６０１が合成画像６０９に含まれない。

第２の実施の形態では、これに対応して、画像処理装置３００が主被写体関連判定部３２０（関連被写体検出手段，動体検知手段，関連性判定手段）を備える。主被写体関連判定部３２０は、メモリ３０４から複数の対象画像を読み出し、各対象画像から動体を検出する。さらに、主被写体関連判定部３２０は、各対象画像において、検出された動体が主被写体画像に含まれず、且つ主被写体画像と検出された動体含む矩形領域（動体画像）との距離が所定の距離よりも短い場合、当該動体を主被写体に関連する被写体と判定する。本実施の形態では、以降、主被写体に関連する被写体と判定された動体を関連被写体と称する。また、主被写体群検出部３０７は、各対象画像から検出した主被写体と、各対象画像において関連被写体と判定された各動体とをまとめて主被写体群を生成する。その後、背景分離部３０８は各対象画像から検出された主被写体群に対応する画像を主被写体群画像として切り出し、各対象画像から主被写体群画像以外の画像を背景画像として切り出す。このとき、分離被写体保存部３１０は各対象画像から切り出された主被写体群画像をメモリ３０４に保存する。すなわち、第１の実施の形態では、各対象画像から主被写体のみが切り出されるが、第２の実施の形態では、各対象画像から主被写体だけでなく関連被写体も切り出される。

次に、本実施の形態に係る画像処理装置の制御方法としての画像合成処理について説明する。図５は、本実施の形態における画像合成処理を示すフローチャートであり、図６は、本実施の形態における画像合成処理を説明するため図である。

まず、システムコントローラー３０５がユーザーによる主被写体と各対象画像の選択に関する指示を受け付ける（ステップＳ７０１）。本実施の形態では、図４（Ａ）に示すような対象画像６０３～６０５が選択される。また、ボール６０１を投げる人物６０２が主被写体として選択される。

次いで、主被写体関連判定部３２０がメモリ３０４から対象画像６０３～６０５を読み出し、各対象画像６０３～６０５から動体を検出する（ステップＳ７０２）。動体の検出方法としては、一般に知られる動体検出技術（例えば、画像間における物体の動きベクトルによって動体を検出する方法）を用いる。その後、主被写体関連判定部３２０は、各対象画像６０３～６０５において、検出された動体が主被写体画像に含まれず、且つ主被写体画像と検出された動体を含む矩形領域（動体画像）との距離が所定の距離よりも短い場合、当該動体を関連被写体と判定する。例えば、図６に示すように、対象画像６０３では、ボール６０１を含む矩形領域が動体画像６１１として検出され、人物６０２を含む主被写体画像６１２と動体画像６１１の距離が所定の距離よりも短い場合、ボール６０１が関連被写体と判定される。対象画像６０４では、ボール６０１を含む矩形領域が動体画像６１３として検出され、人物６０２を含む主被写体画像６１４と動体画像６１３の距離が所定の距離よりも短い場合、ボール６０１が関連被写体と判定される。対象画像６０５では、ボール６０１を含む矩形領域が動体画像６１５として検出され、人物６０２を含む主被写体画像６１６と動体画像６１５の距離が所定の距離よりも短い場合、ボール６０１が関連被写体と判定される。

なお、ボール６０１が関連被写体か否かの判定は、対象画像６０３～６０５毎に独立して行われるが、一連の対象画像６０３～６０５における動体の合計数や動体の連続性に基づいて、ボール６０１が関連被写体か否かを判定してもよい。この場合、主被写体関連判定部３２０（動体数量判定手段，動体連続判定手段）は、各対象画像６０３～６０５に亘り、主被写体画像と動体画像の距離が所定の距離よりも短いと判定された動体（ボール６０１）の数が、所定の閾値以上であるか否かを判定する。また、主被写体関連判定部３２０は、各対象画像６０３～６０５に亘り、主被写体画像と動体画像の距離が所定の距離よりも短いと判定された各動体（ボール６０１）が互いに時系列的に連続するか否かを判定する。その後、主被写体関連判定部３２０は、これらの判定結果に基づいて、各対象画像６０３～６０５から検出された各ボール６０１が関連被写体か否かを判定する。

次いで、主被写体群検出部３０７は、各対象画像６０３～６０５から検出した主被写体と、各対象画像において関連被写体と判定された各動体とをまとめて主被写体群を生成する（ステップＳ７０３）。その後、フレーム読み出し部３０６がメモリ３０４から対象画像６０３～６０５を順に読み出す（ステップＳ７０４）。

次いで、ステップＳ７０５において、システムコントローラー３０５は、対象画像６０３～６０５の各々から検出された動体が関連被写体と判定されたか否かを判定する。動体が関連被写体と判定された場合（ステップＳ７０５でＹＥＳ）、背景分離部３０８は当該対象画像から主被写体画像と動体画像をまとめて主被写体群画像として切り出す（ステップＳ７０６）。また、背景分離部３０８は当該対象画像から主被写体画像と動体画像を分離して残りの画像を背景画像として切り出す。一方、動体が関連被写体と判定されなかった場合（ステップＳ７０５でＮＯ）、背景分離部３０８は当該対象画像から主被写体画像のみを切り出すとともに、当該対象画像から主被写体画像を分離して残りの画像を背景画像として切り出す（ステップＳ７０７）。切り出された背景画像は分離背景保存部３０９によってメモリ３０４に保存され、切り出された主被写体群画像や主被写体画像は分離被写体保存部３１０によってメモリ３０４に保存される。

このとき、各対象画像の各々は、当該対象画像から切り出された主被写体画像又は主被写体群画像、主被写体画像又は主被写体群画像の領域情報及び当該対象画像から切り出された背景画像と関連づけられる。なお、本実施の形態では、例えば、対象画像６０４から検出された動体が関連被写体と判定されると、対象画像６０４から主被写体画像６１４と動体画像６１３がまとめて主被写体群画像として切り出される。また、例えば、対象画像６０５から検出された動体が関連被写体と判定されないと、対象画像６０５から主被写体画像６１６のみが主被写体画像として切り出される。

次いで、システムコントローラー３０５は全ての対象画像６０３～６０５がメモリ３０４から読み出されたか否かを判定し（ステップＳ７０８）、全ての対象画像６０３～６０５が読み出されていない場合にはステップＳ７０４に戻る。また、全ての対象画像が読み出されている場合にはステップＳ７０９に進む。

ステップＳ７０９では、分離背景読み出し部３１２がメモリ３０４に保存された各背景画像を読み出し、背景比較抽出部３１１は各背景画像から図２の処理におけるステップＳ５０５と同様の方法によって背景画像候補を抽出する。その後、分離被写体読み出し部３１４はメモリ３０４から各主被写体群画像又は各主被写体画像を読み出し、映像合成処理部３１３は、背景比較抽出部３１１が抽出した背景画像候補と、各主被写体群画像又は各主被写体画像とを合成する。ここでも、背景画像と各主被写体群画像又は各主被写体画像との合成は、各画像の平均値や重み付けに基づいて行わず、単純に背景画像の上に各主被写体群画像又は各主被写体画像を上書きして行う。その後、画像処理部３１５は合成された各主被写体群画像又は各主被写体画像と背景画像の画角調整や色変換を行って合成画像６１７を生成し（ステップＳ７０６）、本処理を終了する。

図５の処理によれば、対象画像から動体が検出され、対象画像の主被写体画像と検出された動体を含む動体画像との距離が所定の距離よりも短い場合、対象画像から主被写体画像と動体画像がまとめて主被写体群画像として切り出される。さらに、切り出された主被写体群画像が背景画像候補と合成されて合成画像が生成される。これにより、主被写体画像との距離が所定の距離よりも短い動体画像であれば、当該動体画像は合成画像に含まれる。具体的には、図６の合成画像６１７において、人物６０２からやや離れた領域６１８にボール６０１が存在する。ここで、主被写体画像との距離が所定の距離よりも短い動体画像は主被写体と関連性が高い動体の画像と考えられる。すなわち、図５の処理により、主被写体と関連性が高い動体が合成画像に含まれなくなるのを防止することができる。

以上、本発明の好ましい各実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、上述した各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述した各実施の形態では、本発明をカメラ等の撮像装置に適用した場合について説明したが、本発明は、動きのある被写体を含む時系列的に連続する複数の画像を処理する機器であれば、適用することできる。例えば、本発明は、ＰＣ、モバイル機器（タブレットやスマートフォン等）にも適用することができる。

３００ 画像処理装置
３０４ メモリ
３０５ システムコントローラー
３０６ フレーム読み出し部
３０７ 主被写体群検出部
３０８ 背景分離部
３０９ 分離背景保存部
３１０ 分離被写体保存部
３１１ 背景比較抽出部
３１３ 映像合成処理部
３２０ 主被写体関連判定部

Claims (11)

1. 時系列的に連続する複数の画像を取得する画像取得手段と、
   前記取得された複数の画像の各々から被写体を分離して背景を取得し、前記複数の画像から取得された複数の前記被写体と複数の前記背景を保存する画像保存手段と、
   前記保存された複数の背景を互いに比較し、他の背景との差分が最も少ない一の背景を抽出する背景抽出手段と、
   前記抽出された一の背景に、前記複数の被写体を合成して合成画像を生成する合成画像生成手段と、を備えることを特徴とする画像処理装置。
2. 前記背景抽出手段は、時系列的に隣接する２つの前記背景を互いに比較することを特徴とする請求項１記載の画像処理装置。
3. 前記画像取得手段は、
   複数の静止画像から時系列的に連続する複数の静止画像を取得する静止画像取得手段と、
   動画から時系列的に連続する複数のフレームを取得するフレーム取得手段と、を有することを特徴とする請求項１記載の画像処理装置。
4. 前記画像保存手段は、
   前記取得された複数の画像の各々において前記被写体を検出する被写体検出手段と、
   各前記画像において前記検出された被写体を含む範囲を特定する被写体範囲特定手段と、
   各前記画像から前記特定された範囲を切り出し、前記被写体として保存する被写体保存手段と、
   各前記画像から前記特定された範囲とは別の領域を切り出し、前記背景として保存する背景保存手段と、を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記被写体検出手段は、
   前記取得された複数の画像の各々において主被写体を検出する主被写体検出手段と、
   前記取得された複数の画像の各々において前記主被写体と関連する関連被写体を検出する関連被写体検出手段と、を有し、
   同じ前記画像から検出された前記主被写体と前記関連被写体を被写体群として検出することを特徴とする請求項４記載の画像処理装置。
6. 前記関連被写体検出手段は、
   前記複数の画像において前記主被写体とは別の動きのある被写体である動体を検知する動体検知手段と、
   前記検出された動体と前記主被写体の距離が、所定の距離よりも短いか否かを判定する関連性判定手段と、を有し、
   前記関連被写体検出手段は、前記主被写体との距離が前記所定の距離よりも短いと判定された動体を前記関連被写体として検出することを特徴とする請求項５記載の画像処理装置。
7. 前記関連性判定手段は、
   前記主被写体との距離が前記所定の距離よりも短いと判定された動体の数が、所定の閾値以上であるか否かを判定する動体数量判定手段と、
   各前記主被写体との距離が前記所定の距離よりも短いと判定された動体が、互いに時系列的に連続するか否かを判定する動体連続判定手段と、を有し、
   前記関連被写体検出手段は、前記動体数量判定手段の判定結果及び前記動体連続判定手段の判定結果に基づいて、前記関連被写体を検出することを特徴とする請求項６記載の画像処理装置。
8. 前記被写体範囲特定手段は、各前記画像において前記検出された被写体を含む範囲の全てを特定することを特徴とする請求項４記載の画像処理装置。
9. 前記背景保存手段は、各前記保存された背景から前記特定された範囲の全てを除去し、前記特定された範囲の全てが除去された背景を他の背景として保存することを特徴とする請求項８記載の画像処理装置。
10. 時系列的に連続する複数の画像を取得する画像取得工程と、
    前記取得された複数の画像の各々から被写体を分離して背景を取得し、前記複数の画像から取得された複数の前記被写体と複数の前記背景を保存する画像保存工程と、
    前記保存された複数の背景を互いに比較し、他の背景との差分が最も少ない一の背景を抽出する背景抽出工程と、
    前記抽出された一の背景に、前記複数の被写体を合成して合成画像を生成する合成画像生成工程と、を有することを特徴とする画像処理装置の制御方法。
11. 画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
    前記制御方法は、
    時系列的に連続する複数の画像を取得する画像取得工程と、
    前記取得された複数の画像の各々から被写体を分離して背景を取得し、前記複数の画像から取得された複数の前記被写体と複数の前記背景を保存する画像保存工程と、
    前記保存された複数の背景を互いに比較し、他の背景との差分が最も少ない一の背景を抽出する背景抽出工程と、
    前記抽出された一の背景に、前記複数の被写体を合成して合成画像を生成する合成画像生成工程と、を有することを特徴とするプログラム。
    
    
    

Images