JP6320165B2 - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、主被写体画像及び背景画像を変形して仮想的な視点の画像又は仮想的な撮影条件の画像を生成する画像処理装置及びその制御方法、並びにプログラムに関する。

画像処理装置を備えるカメラを用いた撮影技法として、カメラを主被写体に近づけ又は遠ざけながら焦点距離を調節して撮影画像の遠近感を操作するドリーズームがある。ドリーズームは、撮影者がカメラを主被写体から遠ざけると共に当該カメラの焦点距離を長く調節する（望遠操作を行う）場合には主被写体の大きさを変えずに背景画像のみを拡大することができる。一方、ドリーズームは、撮影者がカメラを主被写体に近づけると共に当該カメラの焦点距離を短く調節する（広角操作を行う）場合には主被写体の大きさを変えずに背景画像のみを縮小することができる。

ところで、撮影者がドリーズームを行う際に、例えば、撮影者が物理的にカメラを遠ざけることができない場合や、撮影者がカメラに設けられたレンズの倍率以上の焦点距離を必要とする場合がある。このような場合には、撮影者はドリーズームを行うことができない。

ドリーズームを行うことができない場合には、複数枚の画像を合成してドリーズームで撮影した画像に相当する合成画像を生成する。例えば、特許文献１の技術では、広角画像及び望遠画像の２枚の画像を撮影し、広角画像の中央部に望遠画像を合成して、様々な撮影倍率の合成画像を生成する。

特許文献１の技術により、主被写体画像に対して背景画像を拡大させた合成画像を生成する。このとき、例えば、中央部に主被写体画像を有する画像において、望遠画像の中央部の主被写体画像の代わりに、望遠画像の主被写体画像の領域内に広角画像の主被写体画像を合成する。ここで、望遠画像や広角画像の背景画像において主被写体画像が重なる領域はオクルージョン領域と呼ばれ、オクルージョン領域は背景に相当する画素情報が存在しない。例えば、望遠画像の主被写体画像は上記広角画像の主被写体画像より大きい。これにより、望遠画像の主被写体画像の領域、つまり、上記望遠画像のオクルージョン領域に広角画像の主被写体画像を合成すると、望遠画像のオクルージョン領域のうち広角画像の主被写体画像の領域を除く領域は画素情報が存在しない。

画素情報が存在しない領域は、オクルージョン領域の周辺の背景画像の画素情報に基づいて生成された画像で補間される。例えば、特許文献２の技術では、他フレームの画素情報や自フレームの画素情報からオクルージョン領域の画像に対応する画素情報を推測し、推測された画素情報に基づいて生成された画像でオクルージョン領域が補間される。

特開２００３−３１９２３１号公報 特開２００５−２０４０６６号公報

しかしながら、画素情報が存在しない領域を補間することが困難な場合がある。例えば、当該領域に主被写体画像の輪郭が含まれた場合に、オクルージョン領域の周辺の背景画像の情報だけでは、画素情報が存在しない領域における主被写体画像の輪郭近傍を示す画像を推測することが困難となる。その結果、上記オクルージョン領域の補間において補間エラーが発生する可能性がある。

本発明の目的は、補間エラーの発生を抑制しながらオクルージョン領域の画像を補間することができる画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、主被写体画像及び前記主被写体画像と異なる第１の背景画像を含む画像を変形パラメータを用いて画像処理する画像処理装置であって、前記第１の背景画像から前記変形パラメータを用いて前記第１の背景画像を変形した第２の背景画像を生成する背景画像生成手段と、前記第１の背景画像又は前記主被写体画像、及び前記変形パラメータに基づいて第１の補間領域を検出する補間領域検出手段と、前記第２の背景画像のうち前記第１の補間領域から所定範囲内にある画像の画像情報に基づいて前記第２の背景画像の移動量を算出する移動量算出手段と、前記算出された移動量に基づいて前記第２の背景画像を移動させる画像移動手段と、前記移動された第２の背景画像及び前記主被写体画像から決まる第２の補間領域を補間する補間画像を生成する補間画像生成手段と、前記主被写体画像、前記移動された第２の背景画像、及び前記補間画像を合成して合成画像を生成する合成画像生成手段とを備えることを特徴とする。

本発明によれば、主被写体画像及び背景画像を変形して仮想的な視点の画像又は仮想的な撮影条件の画像を生成する画像処理方法において、補間エラーの発生を抑制しながらオクルージョン領域の画像を補間することができる。

本発明の実施の形態に係る画像処理装置の構成を概略的に示すブロック図である。 図１の画像処理装置で生成される画像を説明するために用いられる図である。 図１における画像情報入力部が取得する撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２を説明するために用いられる図である。 図１におけるパラメータ算出部で算出される変形パラメータを説明するために用いられる図である。 図１におけるパラメータ算出部で算出される変形パラメータの特性を説明するために用いられる図である。 図１における画像移動補間部の構成を概略的に示すブロック図である。 図１の画像処理装置によって実行される画像生成処理の手順を示すフローチャートである。 図７の画像生成処理における補間画像生成処理の手順を示すフローチャートである。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の実施の形態に係る画像処理装置１００の構成を概略的に示すブロック図である。

図１の画像処理装置１００は、画像入力部１０１、領域分割部１０２、画像変形部１０３、画像合成部１０４、画像情報入力部１０５、操作入力部１０６、パラメータ算出部１０７、画像出力部１０８、及び画像移動補間部１０９を備える。

画像処理装置１００は、例えば、外部ＰＣ等の情報処理装置やカメラ等の撮像装置に設けられる。画像処理装置１００は、カメラ等から出力された、撮影画像、撮影時のカメラの焦点距離を示す情報、及びカメラから被写体までの距離を示す情報等に基づいて画像処理を行う。

画像入力部１０１は、カメラ等から取得した図２（ａ）で示される撮影画像２０１を領域分割部１０２に出力する。撮影画像２０１では、人物の画像２０２が主被写体を示し、家等の画像２０３が背景を示し、画像２０２，２０３以外の領域は空等の被写体を示す。

領域分割部１０２は、画像入力部１０１から出力される撮影画像２０１及び画像情報入力部１０５から出力される後述する各被写体までの距離情報に基づいて主被写体を示す画像２０２及び背景を示す画像２０３を分離する。本実施の形態では、主被写体を示す画像２０２及び背景を示す画像２０３を分離する際に、各被写体までの距離情報の他に画像の色、輝度、エッジ等の特徴情報を用いてもよい。さらに、領域分割部１０２は、撮影画像２０１から画像２０３や画像２０２，２０３以外の領域の画像を除いた主被写体画像２０４（図２（ｂ）参照。）及び撮影画像２０１から画像２０２を除いた背景画像２０６（図２（ｃ）参照。）を夫々生成する。主被写体画像２０４は画像合成部１０４及び画像移動補間部１０９に夫々出力され、背景画像２０６は画像変形部１０３に出力される。

画像情報入力部１０５は、カメラ等から取得した、撮影時のカメラ位置の焦点距離ｆ_ｗ、撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２、及び撮影画像２０１に対応した後述する画像情報を夫々出力する。図３において、Ｓ_ｗ１がカメラ３０１から主被写体３０２までの距離を示し、Ｓ_ｗ２がカメラ３０１から背景３０３までの距離を示す。操作入力部１０６は、撮影者が設定した背景画像の倍率を示す信号をパラメータ算出部１０７に出力する。

パラメータ算出部１０７は、撮影時のカメラ位置の焦点距離ｆ_ｗ、撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２、及び背景画像の倍率を示す信号に基づいて背景画像の変形パラメータを算出する。算出された変形パラメータは画像変形部１０３に出力される。変形パラメータは、図４における、仮想カメラ位置の焦点距離（以下、「仮想焦点距離」という）ｆ_Ｔ及びカメラの移動量ｔ_３に相当するＳ_Ｔ１−Ｓ_Ｗ１からなる。変形パラメータの仮想焦点距離ｆ_Ｔ及びカメラの移動量Ｓ_Ｔ１−Ｓ_Ｗ１は、下記式（１）及び下記式（２）によって導き出される。下記式（１）及び下記式（２）では、撮影時のカメラ位置の焦点距離ｆ_ｗ、仮想カメラ位置から主被写体までの距離Ｓ_Ｔ１、撮影時のカメラ位置から主被写体までの距離Ｓ_Ｗ１が用いられる。さらに、下記式（１）及び下記式（２）において、撮影者が設定する背景画像の倍率Ｎはｙ_Ｔ２／ｙ_Ｗ２と定義され、被写体距離比ＤはＳ_Ｗ１／Ｓ_Ｗ２と定義される。

式（１）の仮想焦点距離ｆ_Ｔ及び式（２）のカメラの移動量Ｓ_Ｔ１−Ｓ_Ｗ１は撮影者によって設定された倍率Ｎに応じて図５で示されるような特性を有する。

式（１）は、三角形の相似関係及びレンズの公式により、図４におけるｙ_ｔ２，ｙ_Ｗ２，ｆ_Ｔ，ｆ_Ｗ，Ｓ_ｗ１，Ｓ_Ｗ２を用いて示される下記式（３）から導き出され、式（２）は、式（１）及び下記式（４）から導き出される。

図４において、ｙ_１は主被写体の大きさを示し、ｙ_２は背景の大きさを示し、ｙ_ｗ１，ｙ_ｗ２は撮影時の主被写体及び背景の像面上の大きさを示し、ｙ_Ｔ１，ｙ_Ｔ２は仮想カメラ位置における主被写体及び背景の像面上の大きさを示す。ここで、本実施の形態では、算出された変形パラメータに基づいて主被写体の大きさを変更せずに背景画像のみ変形を行うので、ｙ_ｗ１をｙ_Ｔ１と定義する。なお、主被写体の大きさを変更する場合であっても、主被写体の大きさの比に応じてｙ_ｗ１をｋ×ｙ_Ｔ１と定義すると、同様に式（１）及び式（２）を導出することができる。

画像変形部１０３は、変形パラメータに基づいて背景画像２０６を幾何的に変形して図２（ｄ）で示される拡大背景画像２０８を生成し、拡大背景画像２０８を画像移動補間部１０９に出力する。画像変形部１０３は、下記式（５）及び下記式（６）によって算出された値を用いて背景画像２０６を幾何的に変形する。式（５）及び式（６）において、（Ｘ、Ｙ、Ｚ）は３次元座標を示し、（ｘ、ｙ）は正規化座標面上に投影された点の座標を示し、（ｘ’、ｙ’）は撮像画面上に投影された点の座標を示す。ｗはＺ＋ｔ_３で示される。ｆ_ｘ，ｆ_yは撮影時の焦点距離をピクセル単位に変換した変数を示し、撮像素子を構成する各画素の画素間距離である撮像素子の画素ピッチから算出される。ｃ_ｘ，ｃ_ｙは光学中心を示し、ｒ_１１〜ｒ_３３は撮影時のカメラ位置に対する回転移動量成分を示し、ｔ_１〜ｔ_３は撮影時のカメラ位置に対する移動量成分を示す。

式（５）において、光学中心を示すｃ_ｘ，ｃ_ｙは所定の値であり、設定された背景画像の倍率に相当する背景画像を生成する際には、回転成分ｒ_１１，ｒ_２２，ｒ_３３は１、回転成分ｒ_１１，ｒ_２２，ｒ_３３以外の回転成分は０となる。さらに、水平移動量成分ｔ_１及び垂直移動量成分ｔ_２は０となる。つまり、画像変形部１０３は、式（５）において、式（１）で算出された仮想焦点距離ｆ_Ｔをｆ_ｘ，ｆ_ｙに用い、式（２）で算出されたＳ_Ｔ１−Ｓ_Ｗ１をｔ_３に用いて背景画像２０６を幾何的に変形するための値を算出する。

画像移動補間部１０９は、拡大背景画像２０８におけるオクルージョン領域２０９から主被写体画像２０４における主被写体領域２０５を除く画像補間領域を検出する。画像補間領域は、背景画像において画素情報が存在しない領域である。画像移動補間部１０９は、後述するように、検出された画像補間領域の周辺の背景画像の画像情報に基づいて拡大背景画像２０８の位置を変更する。さらに、画像移動補間部１０９は、位置が変更された拡大背景画像２０８及び主被写体画像２０４の差分に相当する画像補間領域の画素情報を補間して補間画像を生成する。

画像合成部１０４は、後述するように、主被写体画像２０４、位置が変更された拡大背景画像２０８、及び補間画像を合成して図２（ｇ）で示される合成画像２１８を生成する。

画像出力部１０８は画像合成部１０４で生成された合成画像２１８を出力する。出力された合成画像２１８は、例えば、図示しない記録媒体に記録され、又は、図示しないディスプレイの表示部に表示される。

図６は、図１における画像移動補間部１０９の構成を概略的に示すブロック図である。

画像移動補間部１０９は、２つの入力端を有する補間領域検出部６０１、２つの入力端を有する補間領域判別部６０２、移動ベクトル算出部６０３、２つの入力端を有する画像移動部６０４、及び画像補間部６０５で構成される。

補間領域検出部６０１の入力端には領域分割部１０２の出力端及び画像変形部１０３の出力端が夫々接続されている。補間領域判別部６０２の入力端には画像情報入力部１０５の出力端及び補間領域検出部６０１の出力端が夫々接続され、補間領域判別部６０２の出力端は移動ベクトル算出部６０３の入力端に接続される。画像移動部６０４の入力端には画像変形部１０３の出力端及び移動ベクトル算出部６０３の出力端が夫々接続されている。画像移動部６０４の出力端は画像補間部６０５の入力端に接続され、画像補間部６０５の出力端は画像合成部１０４の入力端に接続される。

補間領域検出部６０１は、撮影画像２０１及び変形パラメータに基づいて画像補間領域を検出する。具体的に、補間領域検出部６０１は、変形パラメータに基づいて拡大された拡大背景画像２０８におけるオクルージョン領域２０９から主被写体画像２０４における主被写体領域２０５を除いた領域を画像補間領域（図２（ｅ）で示される画像２１０の領域２１１〜領域２１４）として検出する。このとき、画像補間領域は、変形パラメータに基づいて拡大された拡大背景画像２０８の画素情報と主被写体画像２０４の画素情報との差や比によって検出される。また、補間領域検出部６０１は、変形パラメータに基づいて拡大された拡大主被写体領域（図示しない）から主被写体領域２０５を除いた領域を画像補間領域として検出してもよい。

補間領域判別部６０２は、補間領域検出部６０１によって検出された画像補間領域及び後述する画像情報に基づいて画像補間領域のうち、例えば、当該画像補間領域の補間において補間エラーが発生しやすい領域を判別する。

移動ベクトル算出部６０３は、補間領域判別部６０２によって判別された画像補間領域に基づいて拡大背景画像２０８の位置を移動させる方向及び拡大背景画像２０８の位置を移動させる移動量を表す移動ベクトルを算出する。画像移動部６０４は、算出された移動ベクトルに基づいて拡大背景画像２０８を幾何的に変形し、且つ拡大背景画像２０８の位置を移動する。また、画像補間部６０５は、位置が変更された拡大背景画像２０８及び主被写体画像２０４で決まる画像補間領域（図２（ｆ）で示される画像２１５の領域２１６，２１７）の画素情報を補間して当該画像補間領域の補間画像を生成する。

図７は、図１の画像処理装置１００によって実行される画像生成処理の手順を示すフローチャートである。

図７において、まず、画像情報入力部１０５が撮影時のカメラ位置の焦点距離ｆ_ｗ、撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２、及び後述する画像情報をカメラ３０１から夫々取得する。さらに、画像入力部１０１がカメラ３０１から撮影画像２０１を取得すると（ステップＳ１０１）、画像入力部１０１は領域分割部１０２に撮影画像２０１を出力する。一方、画像情報入力部１０５は、領域分割部１０２に撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２を出力し、画像移動補間部１０９に画像情報を出力する。さらに、画像情報入力部１０５は、パラメータ算出部１０７に撮影時のカメラ位置の焦点距離ｆ_ｗ及び撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２を夫々出力する（ステップＳ１０２）。

次いで、領域分割部１０２は、ステップＳ１０２で出力された撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２に基づいて撮影画像２０１における主被写体を示す画像２０２及び背景を示す画像２０３を分割する。さらに、領域分割部１０２は分割した画像に基づいて主被写体画像２０４（２０２）及び背景画像２０６（２０３）を夫々生成する（ステップＳ１０３）（背景画像生成手段）。

次いで、操作入力部１０６を用いて撮影者によって背景画像の倍率が設定されると（ステップＳ１０４）、パラメータ算出部１０７は、仮想焦点距離ｆ_Ｔ及びカメラの移動量ｔ_３を夫々算出する（ステップＳ１０５）。仮想焦点距離ｆ_Ｔ及びカメラの移動量ｔ_３は、背景画像の倍率を示す信号、撮影時のカメラ位置の焦点距離ｆ_ｗ、及び撮影時のカメラ位置から各被写体までの距離Ｓ_ｗ１，Ｓ_ｗ２に基づいて算出される。

次いで、画像変形部１０３は、仮想焦点距離ｆ_Ｔ及びカメラの移動量ｔ_３に基づいてステップＳ１０３で生成された背景画像２０６を幾何的に変形して拡大背景画像２０８（第２の背景画像）を生成する（ステップＳ１０６）（背景画像生成手段）。次いで、後述する図８の補間画像生成処理を実行して画像移動補間部１０９は、主被写体画像２０４及び拡大背景画像２０８に基づいて検出された画像補間領域の周辺の背景画像の画像情報に基づいて拡大背景画像２０８の位置を変更する。さらに、画像移動補間部１０９は、当該位置が変更された拡大背景画像２０８及び主被写体画像２０４で決まる画像補間領域の補間画像を生成する（ステップＳ１０７）。

次いで、画像合成部１０４は、主被写体画像２０４、位置が変更された拡大背景画像２０８、及び補間画像を合成して合成画像２１８を生成し（ステップＳ１０８）（合成画像生成手段）、本処理を終了する。

図８は、図７の画像生成処理における補間画像生成処理の手順を示すフローチャートである。

図２における拡大背景画像２０８のオクルージョン領域２０９は主被写体画像２０４の主被写体領域２０５より大きい。そのため、オクルージョン領域２０９に主被写体領域２０５の画像を合成すると、背景画像において、図２（ｅ）で示される画像２１０の領域２１１〜領域２１４のような画素情報が存在しない画像補間領域が発生する。これに対応して画像補間領域の補間画像を生成する際に、領域２１３，２１４に対応して背景画像２０６の家２０３の一部を含む主被写体領域２０５の輪郭近傍を示す補間画像が必要となる。しかし、画像補間領域の周辺の背景画像の画素情報だけでは情報量が不足し、主被写体領域２０５と家２０３との輪郭近傍を示す画素情報を推測することが困難な場合がある。その場合、領域２１３，２１４の画像の補間において補間エラーが発生する可能性がある。

これに対応して、図８の処理では、まず、主被写体画像２０４及び拡大背景画像２０８に基づいて検出された画像補間領域の周辺の背景画像の画像情報に基づいて拡大背景画像２０８の位置を変更する。その後、位置が変更された拡大背景画像２０８及び主被写体画像２０４で決まる画像補間領域の補間画像を生成する。

具体的には、まず、補間領域検出部６０１は、ステップＳ１０３で生成された主被写体画像２０４及びステップＳ１０６で生成された拡大背景画像２０８に基づいて画像補間領域（第１の補間領域）を検出する（ステップＳ２０１）（補間領域検出手段）。画像補間領域は、ステップＳ１０６で生成された拡大背景画像２０８のオクルージョン領域２０９からステップＳ１０３で生成された主被写体画像２０４の主被写体領域２０５を除いた領域（図２（ｅ）で示される画像２１０の領域２１１〜領域２１４）である。

次いで、補間領域判別部６０２は、主被写体画像２０４及び拡大背景画像２０８を複数の所定の大きさのブロックに分割する。さらに、補間領域判別部６０２は、分割された複数のブロックのうち画像補間領域に重なるブロックから所定範囲内にある拡大背景画像２０８のブロックの画像情報に基づいて画像補間領域の補間の容易さを判別する（ステップＳ２０２）（判別手段）。分割されたブロックのうち画像補間領域とは、例えば、分割されたブロックのうち領域２１１〜領域２１４に重なるブロックである。

ここで、画像情報は、例えば、画像の輪郭の鮮明さを示すエッジ強度を積分して算出される平坦度、エッジ強度の他に画像のエッジ方向のランダム度を示すテクスチャ度、顔検出情報、及び人体検出情報である。画像情報は、各画素に対応する情報又は画像における所定の各領域に対応する情報である。

ステップＳ２０２において、例えば、図２（ｅ）における領域２１３，２１４は、鮮明な主被写体領域２０５の輪郭近傍を示す画像、つまり、家２０３の一部を示す画像を含む領域であり、高い再現度の画像で補間する必要がある領域である。したがって、領域２１３，２１４の周辺の背景画像の画素情報だけでは、情報量が不足して領域２１３，２１４における主被写体領域２０５の輪郭近傍を示す画素情報を推測することが困難である。すなわち、画像補間領域２１３，２１４は補間エラーが発生しやすい領域であり、補間が容易でない領域に判別される。

次いで、移動ベクトル算出部６０３は、ステップＳ２０２の判別結果に基づいてステップＳ２０２で補間が容易でないと判別された領域が最小となるように拡大背景画像２０８の移動ベクトルを算出する（ステップＳ２０３）（移動量算出手段）。具体的には、主被写体領域２０５に対して拡大背景画像２０８を移動させたときにオクルージョン領域２０９から主被写体領域２０５を除いた領域に含まれる鮮明な主被写体領域２０５の輪郭近傍を示す画像が最小となる上記移動ベクトルを算出する。主被写体領域２０５の輪郭近傍を示す画像は家２０３の一部を示す画像である。

次いで、画像移動部６０４は、ステップＳ２０３で算出された移動ベクトルに基づいて拡大背景画像２０８を幾何的に変形して拡大背景画像２０８の位置を移動する（画像移動手段）。さらに、画像移動部６０４は、画像補間領域を画像２１０の領域２１１〜領域２１４（第１の補間領域）から画像２１５の領域２１６，２１７（第２の補間領域）に変更する（ステップＳ２０４）。領域２１６，２１７は、移動ベクトルに基づいて移動された拡大背景画像２０８のオクルージョン領域２０９から主被写体領域２０５を除いた領域であり、含まれる鮮明な主被写体領域２０５の輪郭近傍を示す画像（家２０３の一部）が最小となる領域である。

次いで、画像補間部６０５は、変更された画像補間領域２１６，２１７の周辺の背景画像の画素情報に基づいて画像補間領域２１６，２１７の画素情報を補間する。画像補間部６０５は、当該画像補間領域２１６，２１７の補間画像を生成し（ステップＳ２０５）（補間画像生成手段）、本処理を終了する。

図７及び図８の処理によれば、ステップＳ１０３で生成された主被写体画像２０４及びステップＳ１０６で生成された拡大背景画像２０８に基づいて画像補間領域が検出される。次いで、ステップＳ２０１で検出された画像補間領域から所定範囲内にある拡大背景画像２０８の画像情報に基づいて拡大背景画像２０８の移動ベクトルが算出される。次いで、算出された移動ベクトルに基づいて拡大背景画像２０８の位置が移動されて画像補間領域が図２（ｅ）で示される領域２１１〜領域２１４から図２（ｆ）で示される領域２１６，２１７に変更される。次いで、画像補間領域２１６，２１７の画素情報が補間されて補間画像が生成される。次いで、ステップＳ１０３で生成された主被写体画像２０４、ステップＳ１０７で位置が変更された拡大背景画像２０８、及びステップＳ１０７で生成された補間画像を合成して合成画像２１８が生成される（ステップＳ１０８）。これにより、拡大背景画像２０８のうち画像補間領域に隣接する画像の画像情報から領域２１１〜領域２１４を補間するための補間画像を生成することが困難であっても、領域２１１〜領域２１４を補間する必要がなくなる。すなわち、補間エラーの発生を抑制しながらオクルージョン領域２０９の画像を補間することができる。

また、図７及び図８の処理によれば、ステップＳ２０１で検出された画像補間領域に隣接する背景画像の画像情報に基づいて画像補間領域の補間の容易さを判別する。これにより、例えば、画像補間領域としての領域２１１〜領域２１４の補間が容易でないと判定された場合に、画像補間領域を領域２１１〜領域２１４から領域２１６，２１７に変更することにより、補間エラーの発生を確実に抑制することができる。

さらに、図７及び図８の処理によれば、ステップＳ２０２の判別結果に基づいてステップＳ２０２で補間が容易でないと判別された領域が最小となるように拡大背景画像２０８の移動ベクトルを算出する。これにより、補間エラーを完全に無くすことができない場合であっても、少なくとも補間エラーの程度を低減させることができる。

図７及び図８の処理によれば、画像補間領域の補間の容易さを判別するために用いられる画像情報がエッジ強度を積分した値である。これにより、例えば、画像補間領域に補間が容易でない鮮明な主被写体領域２０５の輪郭近傍を示す画像が含まれるか否かを判別することができ、もって、画像補間領域の補間の容易さの判別を確実に行うことができる。

また、図７及び図８の処理によれば、主被写体画像２０４及び拡大背景画像２０８は複数のブロックに分割される。さらに、分割された複数のブロックのうち画像補間領域に重なるブロックに隣接する拡大背景画像２０８のブロックの画像情報に基づいて画像補間領域の補間の容易さが判別される。ここで、拡大背景画像２０８が複数のブロックに分割されていないと画像補間領域に隣接する領域を特定するのが困難であり、その結果、画像補間領域の補間の容易さの判別の効率が悪くなる。これに対して、拡大背景画像２０８が複数のブロックに分割されていれば、ブロック単位で画像補間領域に隣接する領域を特定することができる。これにより、効率的に画像補間領域の補間の容易さを判別することができる。

本実施の形態では、例えば、拡大背景画像２０８の位置を変更すると共に主被写体画像２０４を拡大して画像補間領域を変更してもよい。さらに、主被写体画像２０４の拡大率に上限を設定して主被写体画像２０４の大きさの変更に制限を設けてもよい。

本実施の形態では、合成画像２１８に対応させてステップＳ２０３で算出された移動ベクトルの情報を出力しても良い。これにより、例えば、カメラ３０１で上述した処理を行って生成した合成画像２１８において、外部ＰＣでより高精度な補間処理をさらに行う際に、カメラ３０１において算出された移動ベクトルに基づいて外部ＰＣによって補間処理を行うことができる。その結果、例えば、カメラ３０１の合成に用いられた拡大背景画像２０８の位置及び外部ＰＣの合成に用いられた拡大背景画像２０８の位置との違いを低減することができる。さらに、ステップＳ２０３で算出された移動ベクトルの情報を用いて拡大背景画像２０８の位置を変更する前の位置に戻すことができる。

また、本実施の形態において、画像合成部１０４は、合成画像２１８を生成する際に、例えば、拡大背景画像２０８の輪郭近傍において、主被写体画像２０４の画素情報及び位置が変更された拡大背景画像２０８の画素情報を加重加算してもよい。これにより、例えば、主被写体画像２０４及び位置が変更された拡大背景画像２０８の輪郭の不自然さを目立ちにくくすることができる。

さらに、本実施の形態では、ローパスフィルタを用いて拡大背景画像２０８にぼかし処理を施してもよい。

また、本実施の形態では、画像補間領域の補間の容易さを判別するために用いられる画像情報がエッジ方向のランダム度を示す情報であってもよい。画像のエッジ方向のランダム度が高いと、テクスチャ度が高く、補間の不自然さが目立ちにくいので、ランダム度を用いることにより、画像補間領域の補間の不自然さを判別することができる。その結果、補間エラーを完全に無くすことができない場合であっても、補間の不自然さが目立つ画像補間領域を補間の対象から外すことによって視覚的に補間エラーの程度を低減させることができる。

さらに、本実施の形態では、画像補間領域の補間の容易さを判別するために用いられる画像情報が顔検出情報及び人体検出情報のうち少なくとも一方の情報であってもよい。これにより、画像補間領域に補間が容易でない顔又は人体を示す画像が含まれるか否かを判別することができ、もって、画像補間領域の補間の容易さの判別を確実に行うことができる。

なお、本発明は、上記実施の形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給してもよい。本発明は、当該システム或いは装置のコンピュータ（又はＣＰＵ，ＭＰＵ等）がプログラムを読み出して実行する処理を実行することによって実現してもよい。さらに、本発明は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することによって実現してもよい。

１０１ 画像入力部
１０２ 領域分割部
１０３ 画像変形部
１０４ 画像合成部
１０５ 画像情報入力部
１０６ 操作入力部
１０７ パラメータ算出部
１０８ 画像出力部
１０９ 画像移動補間部
６０１ 補間領域検出部
６０２ 補間領域判別部
６０３ 移動ベクトル算出部
６０４ 画像移動部
６０５ 画像補間部

Claims (13)

1. 主被写体画像及び前記主被写体画像と異なる第１の背景画像を含む画像を変形パラメータを用いて画像処理する画像処理装置であって、
   前記第１の背景画像から前記変形パラメータを用いて前記第１の背景画像を変形した第２の背景画像を生成する背景画像生成手段と、
   前記第１の背景画像又は前記主被写体画像、及び前記変形パラメータに基づいて第１の補間領域を検出する補間領域検出手段と、
   前記第２の背景画像のうち前記第１の補間領域から所定範囲内にある画像の画像情報に基づいて前記第２の背景画像の移動量を算出する移動量算出手段と、
   前記算出された移動量に基づいて前記第２の背景画像を移動させる画像移動手段と、
   前記移動された第２の背景画像及び前記主被写体画像から決まる第２の補間領域を補間する補間画像を生成する補間画像生成手段と、
   前記主被写体画像、前記移動された第２の背景画像、及び前記補間画像を合成して合成画像を生成する合成画像生成手段とを備えることを特徴とする画像処理装置。
2. 前記補間領域検出手段は、前記第２の背景画像と前記主被写体画像との差分、又は前記主被写体画像及び前記変形パラメータを用いて変形された前記主被写体画像の差分に基づいて前記第１の補間領域を決定することを特徴とする請求項１記載の画像処理装置。
3. 前記第２の背景画像のうち前記第１の補間領域に隣接する画像の画像情報に基づいて前記第１の補間領域の補間の容易さを判別する判別手段を備えることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記移動量算出手段は、前記判別手段によって補間が容易でないと判別された前記第１の補間領域が最小となるように前記第２の背景画像の移動量を算出することを特徴とする請求項３記載の画像処理装置。
5. 前記判別手段が前記第１の補間領域の補間の容易さの判別に用いる画像情報は、画像のエッジ強度を積分した値であることを特徴とする請求項３又は４記載の画像処理装置。
6. 前記判別手段が前記第１の補間領域の補間の容易さの判別に用いる画像情報は、画像のエッジ方向のランダム度を示す情報をさらに有することを特徴とする請求項５記載の画像処理装置。
7. 前記判別手段が前記第１の補間領域の補間の容易さの判別に用いる画像情報は、顔検出情報及び人体検出情報のうち少なくとも一方であることを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
8. 前記判別手段は、前記第２の背景画像を所定の大きさのブロックに分割し、前記第２の背景画像のうち前記第１の補間領域に隣接するブロックの画像情報に基づいて前記第１の補間領域の補間の容易さを判別することを特徴とする請求項３乃至７のいずれか１項に記載の画像処理装置。
9. 前記算出された第２の背景画像の移動量を前記合成画像に出力することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記背景画像の倍率を変更する際に、前記主被写体画像の倍率を変更しないことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記第２の補間領域は、前記移動された第２の背景画像と前記主被写体画像との差分に基づいて決定されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 主被写体画像及び前記主被写体画像と異なる第１の背景画像を含む画像を変形パラメータを用いて画像処理する画像処理装置の制御方法であって、
    前記第１の背景画像から前記変形パラメータを用いて前記第１の背景画像を変形した第２の背景画像を生成する背景画像生成ステップと、
    前記第１の背景画像又は前記主被写体画像、及び前記変形パラメータに基づいて第１の補間領域を検出する補間領域検出ステップと、
    前記第２の背景画像のうち前記第１の補間領域から所定範囲内にある画像の画像情報に基づいて前記第２の背景画像の移動量を算出する移動量算出ステップと、
    前記算出された移動量に基づいて前記第２の背景画像を移動させる画像移動ステップと、
    前記移動された第２の背景画像及び前記主被写体画像から決まる第２の補間領域を補間する補間画像を生成する補間画像生成ステップと、
    前記主被写体画像、前記移動された第２の背景画像、及び前記補間画像を合成して合成画像を生成する合成画像生成ステップとを備えることを特徴とする画像処理装置の制御方法。
13. 主被写体画像及び前記主被写体画像と異なる第１の背景画像を含む画像を変形パラメータを用いて画像処理する画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
    前記画像処理装置の制御方法は、
    前記第１の背景画像から前記変形パラメータを用いて前記第１の背景画像を変形した第２の背景画像を生成する背景画像生成ステップと、
    前記第１の背景画像又は前記主被写体画像、及び前記変形パラメータに基づいて第１の補間領域を検出する補間領域検出ステップと、
    前記第２の背景画像のうち前記第１の補間領域から所定範囲内にある画像の画像情報に基づいて前記第２の背景画像の移動量を算出する移動量算出ステップと、
    前記算出された移動量に基づいて前記第２の背景画像を移動させる画像移動ステップと、
    前記移動された第２の背景画像及び前記主被写体画像から決まる第２の補間領域を補間する補間画像を生成する補間画像生成ステップと、
    前記主被写体画像、前記移動された第２の背景画像、及び前記補間画像を合成して合成画像を生成する合成画像生成ステップとを備えることを特徴とするプログラム。