JP4702534B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法及び画像処理プログラムに係り、特に人物を記録した画像の顔部分を抽出してテンプレートの所定位置に合成する装置、方法及びプログラムに関する。

従来、人物画像の顔部分の画像である顔画像と背景画像や服装画像を容易に合成するための技術が様々開発されている。例えば特許文献１によると、背景画像や服装画像などに合成の基準となる２点を指定する一方、顔画像の頭髪領域と顔輪郭の内部を合成に用いる領域とし、顔画像の合成の基準となる２点を指定する。顔画像の合成の基準となる２点は、あごの先端を通る水平線上で、その２点を結ぶ線分の中点があごの先端に、長さが顔の横幅になるように指定する。そして、顔画像に指定された２点と背景画像などに指定された２点が重なるように、顔画像の合成に用いる領域をマッピングして肖像画像を生成する。
特開平１０−２２２６４９号公報

ところで、上述の特許文献１において、人物キャラクタの顔部分がくり抜かれたように空白にしておき、その空白部分に別途撮影した人物の顔画像をはめ込んで合成するいわゆる「かきわり」状のテンプレート画像を背景画像や服装画像として用いる場合、上述のようなあごの先端に従って定めた２点を合成基準とするマッピングでは、顔画像の目や口などが空白部分の外にはみ出す可能性が高い。本発明はこのような問題点に鑑みてなされたもので、「かきわり」状のテンプレート画像の空白部分に顔画像を適切に合成できる画像処理装置、方法及びプログラムを提供することを目的とする。

上述の課題を解決するため、本願発明に係る画像処理装置は、人物を記録した撮影画像を入力する撮影画像入力部と、撮影画像の顔部分の画像である顔画像を抽出する抽出部と、顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力部と、合成領域内において顔画像の所定の構成部分を配置する位置を規定するテンプレート情報を入力するテンプレート情報入力部と、抽出した顔画像の包含する領域から顔画像の所定の構成部分に関連する情報である顔構成情報を決定する決定部と、顔構成情報及びテンプレート情報に従って顔画像を合成領域に配置して顔画像とテンプレート画像とを合成する合成部と、を備える。

この画像処理装置によると、テンプレート情報は、テンプレート画像の空白部分である合成領域内において顔画像の所定の構成部分を配置する位置を規定しており、顔画像は顔構成情報及びテンプレート情報に従って合成位置に配置されてテンプレート画像と合成される。このため、「かきわり」状のテンプレート画像の空白部分である合成領域に顔画像を合成した際に顔画像が合成領域からはみ出てしまうといった問題を防ぐことができる。

決定部は、撮影画像の顔部分を検出し、検出の結果に基づいて顔部分の概略中心位置（例えば顔画像の重心）を決定し、概略中心位置に対する顔画像の所定の構成部分の相対的位置情報を推定し、推定された顔画像の所定の構成部分の相対的位置情報を顔構成情報に決定してもよい。

目が合成位置からはみ出さないようにするため、顔画像の所定の構成部分は少なくとも右目及び左目を含むことが好ましい。

顔画像の所定の構成部分は鼻又は口をさらに含むことが好ましい。

こうすることで、合成領域への顔画像の配置をさらに精度よく行うことができる。

決定部は、顔画像から少なくとも右目及び左目の位置情報を検出し、検出された右目及び左目の位置情報を顔構成情報に決定し、テンプレート情報は少なくとも右目及び左目を配置する位置を規定する情報を含んでいてもよい。

テンプレート情報入力部の入力するテンプレート情報は合成領域における顔画像のアスペクト比を規定するアスペクト比変更情報を含んでいてもよく、この画像処理装置は、アスペクト比変更情報に従って抽出された顔画像のアスペクト比を変更するアスペクト比変更部をさらに備えていてもよい。

こうすれば、合成領域の各種形状（丸顔形状など）に合致するように顔画像のアスペクト比を変更できる。

テンプレート情報入力部の入力するテンプレート情報は抽出された顔画像を補正する基準となる補正基準情報を含んでいてもよく、この画像処理装置は補正基準情報に従って抽出された顔画像を補正する補正部をさらに備えていてもよい。

補正基準情報は合成領域の周辺に配置されるテンプレート画像の特徴量を含むことが好ましい。

こうすれば、周辺の画像の特徴量に応じた明るさや色などの各種補正を顔画像に行うことができ、合成された顔画像とテンプレート画像の外観上の相違から生じる違和感を少なくすることができる。

この画像処理装置において、抽出部が抽出する顔画像は、正面を向いた顔部分の画像である正面向顔画像又は横を向いた顔部分の画像である横向顔画像を含み、テンプレート画像入力部の入力するテンプレート画像は、正面向顔画像を配置する合成領域である正面向用合成領域又は横向顔画像を配置する合成領域である横向用合成領域を有し、テンプレート情報入力部の入力するテンプレート情報は、正面向用合成領域内において正面向顔画像の所定の構成部分を配置する位置又は横向用合成領域内において横向顔画像の所定の構成部分を配置する位置を規定し、抽出部の抽出した顔画像が正面向顔画像であるか又は横向顔画像であるかを判断する顔向き判断部をさらに備え、合成部は、顔向き判断部による判断及びテンプレート情報に従い、正面向顔画像を正面向用合成領域に配置するか又は横向顔画像を横向用合成領域に配置して顔画像とテンプレート画像とを合成する。

こうすると、顔の向きに応じた適切な合成位置に顔画像を合成することができ、顔の向きとテンプレート画像とが合わずに違和感が生じるのを防げる。

顔向き判断部は、横向顔画像が右を向いた顔部分の画像である右向顔画像であるか又は左を向いた顔部分の画像である左向顔画像であるかを判断し、テンプレート画像入力部の入力するテンプレート画像は、右向顔画像を配置する合成領域である右向用合成領域又は左向顔画像を配置する合成領域である左向用合成領域を有し、テンプレート情報入力部の入力するテンプレート情報は、右向用合成領域内において右向顔画像の所定の構成部分を配置する位置又は左向用合成領域内において左向顔画像の所定の構成部分を配置する位置を規定し、合成部は、顔向き判断部による判断及びテンプレート情報に従い、右向顔画像を右向用合成領域に配置するか又は左向顔画像を左向用合成領域に配置して顔画像とテンプレート画像とを合成する。

こうすると、顔が右向きか左向きかに応じて適切な合成位置に横向画像を配置できる。

また、決定部は、横向顔画像から少なくとも右目又は左目のいずれか一方及び顎の先端の位置情報を検出し、検出された右目又は左目のいずれか一方の位置情報及び検出された顎の位置情報を顔構成情報に決定し、テンプレート情報入力部の入力するテンプレート情報は、横向顔画像の右目又は左目のいずれか一方及び顎の先端を横向用合成領域に配置する位置を規定する。

まず、横向顔画像の右目又は左目のいずれか一方及び顎の先端を横向用合成領域に配置する位置をテンプレート情報に規定しておく。右目又は左目のいずれか一方の位置、および顎の先端の位置情報を検出できれば、右目又は左目と顎の先端を、テンプレート情報で規定された位置に配置する。こうすれば、右目又は左目と顎の先端の位置を基準にして、横向顔画像を横向用合成領域に適切に配置できる。

この画像処理装置は、合成部による顔画像とテンプレート画像との合成後、合成領域の空白の領域の周縁部にぼかし処理を施すぼかし処理部をさらに備える。

テンプレート画像の空白の周縁にぼかし処理部を施すことで、顔画像とテンプレート画像との間に存在する不自然な境界の違和感が軽減される。

また、上述の課題を解決するため、本願発明に係る画像処理方法は、人物を記録した撮影画像を入力する撮影画像入力ステップと、撮影画像の顔部分の画像である顔画像を抽出する抽出ステップと、顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、合成領域内において顔画像の所定の構成部分を配置する位置を規定するテンプレート情報を入力するテンプレート情報入力ステップと、抽出した顔画像の包含する領域から顔画像の所定の構成部分に関連する情報である顔構成情報を決定する決定ステップと、顔構成情報及びテンプレート情報に従って顔画像を合成領域に配置して顔画像とテンプレート画像とを合成する合成ステップと、を含む。

また、上述の課題を解決するため、本願発明に係る画像処理プログラムは、人物を記録した撮影画像を入力する撮影画像入力ステップと、撮影画像の顔部分の画像である顔画像を抽出する抽出ステップと、顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、合成領域内において顔画像の所定の構成部分を配置する位置を規定するテンプレート情報を入力するテンプレート情報入力ステップと、抽出した顔画像の包含する領域から顔画像の所定の構成部分に関連する情報である顔構成情報を決定する決定ステップと、顔構成情報及びテンプレート情報に従って顔画像を合成領域に配置して顔画像とテンプレート画像とを合成する合成ステップと、をコンピュータに実行させる。

この画像処理プログラムは、上述の画像処理装置と同様の作用効果を奏する。この画像処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯその他のコンピュータ読み取り可能な記録媒体に記録して提供してもよい。

この発明によると、テンプレート情報は、テンプレート画像の空白部分である合成領域内において顔画像の所定の構成部分を配置する位置を規定しており、顔画像は顔構成情報及びテンプレート情報に従って合成位置に配置されてテンプレート画像と合成される。このため、「かきわり」状のテンプレート画像の空白部分である合成領域に顔画像を合成した際に顔画像が合成領域からはみ出てしまうといった問題を防ぐことができる。

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。

＜第１実施形態＞
［概略構成］
図１は、本発明の好ましい第１の実施形態に係る画像処理装置１００の概略機能構成図である。処理装置１００は、テンプレート情報入力部１、撮影画像入力部２、顔検出部３、トリミング部４、合成部７、及びテンプレート入力部８を有している。撮影画像入力部２は、デジタルスチルカメラ、フィルムスキャナ、メディアドライバおよび各種無線・有線通信装置などによって取得した撮影画像を入力する。顔検出部３、トリミング部４、合成部７は、ＡＳＩＣ（Application Specific Integrated Circuit）、ワンチップマイコン、パソコンなどの各種演算手段によって構成される処理部９に含まれる。

顔検出部３は、撮影画像から人物の顔部分である顔画像を検出する。撮影画像に複数の人物が記録されている場合は、複数の顔画像を個別に検出する。トリミング部４は、検出された個々の顔画像を撮影画像から独立の画像として抽出する。合成部７は、顔画像とテンプレート画像を合成した合成画像を作成するが、詳細は後述する。処理装置１００は、合成画像を印刷するプリンタ２００と接続されていてもよい。また、図示しないが、処理装置１００は、ユーザの操作入力を受け付けるキーボードやタッチパネルなどで構成された操作部、合成画像を記憶部３０その他の各種記憶媒体に記憶するメディアライタなどを有していてもよい。

［処理の流れ］
次に、図２のフローチャートに基づき、画像処理装置１００の実行する合成処理の流れを説明する。

Ｓ１では、撮影画像入力部２は撮影画像を入力する。図３は撮影画像入力部２に入力される撮影画像の一例である。撮影画像には、１又は複数の人物が記録されている。

Ｓ２では、顔検出部３は撮影画像から顔を検出することで撮影画像に記録されている人物の数Ｎを決定する。人物の数Ｎの決定は、公知の顔認識技術で認識できる顔の数により行うことができる。図３の撮影画像ではＮ＝３である。次に、後述のステップＳ１２を繰り返した回数をカウントする数値ｎをｎ＝０に設定する。

Ｓ３では、テンプレート入力部８はテンプレート画像を入力する。図４はテンプレート画像の一例である。この図に示すように、テンプレート画像は、撮影画像の人物Ｆｎ（ｎ＝１、２・・）から抽出される顔部分の画像ｆｎ（以下顔画像という）を合成する空白の領域である合成領域Ｐｎを有している。後述するが、各合成領域Ｐｎに合成する顔画像ｆｎは撮影画像から抽出される。一方、テンプレート情報入力部１は、テンプレート画像上の人物キャラクタの顔部分をくり抜いたような空白の合成領域Ｐｎにおいて顔画像ｆｎの右目を配置する位置を規定する情報である右目位置ＥＲｎ及び左目を配置する位置を規定する情報である左目位置ＥＬｎを含むテンプレート情報Ｔｎを入力する。なお、撮影画像
のどの人物Ｆｎから顔画像ｆｎを抽出するかはユーザ操作で任意に決めることができるようにしてもよい。

図４は、合成領域Ｐｎに対応するテンプレート情報Ｔｎに含まれる右目位置ＥＲｎ及び左目位置ＥＬｎも概念的に示しているが、テンプレート情報Ｔｎ、右目位置ＥＲｎ及び左目位置ＥＬｎはテンプレート画像上では実際には不可視な情報である。

図５はテンプレート情報Ｔｎの詳細を可視化して示している。テンプレート情報Ｔｎは、合成領域Ｐｎ内における右目位置ＥＲｎ、左目位置ＥＬｎ、合成領域Ｐｎを囲む外周Ｒｎを含んでいる。口の位置Ｍｎや、鼻の位置などの各種の顔の構成部分の位置をさらに含んでいてもよい。合成領域Ｐｎ内における右目位置ＥＲｎから左目位置ＥＬｎまでの距離をｄｎで表す。

Ｓ４では、顔検出部３は撮影画像から人物Ｆｎの右目及び左目の位置を検出する。顔検出部３は撮影画像から人物Ｆｎの口の位置を検出してもよい。検出した人物Ｆｎの右目の位置から左目の位置までの距離をｄｎ’で表す。

図６に示すように、トリミング部４は、人物Ｆｎの画像の縦横長さをいずれも縮小率ｄｎ／ｄｎ’で拡縮した上、人物Ｆｎの右目の位置にテンプレート情報Ｔｎの右目位置ＥＲｎを配置し、かつ人物Ｆｎの左目の位置にテンプレート情報Ｔｎの左目位置ＥＬｎを配置したときに合成領域Ｐｎの外周Ｒｎで囲まれる人物Ｆｎの画像を顔画像ｆｎとして抽出する。

こうすれば、人物Ｆｎの両目が合成領域Ｐｎからはみ出ないように顔画像ｆｎを抽出することができる。人物Ｆｎの口の位置が検出されており、かつテンプレート情報Ｔｎが口の位置Ｍｎを含んでいる場合は、検出した口の位置にテンプレート情報Ｔｎの口の位置Ｍｎをさらに配置した上で顔画像ｆｎを抽出してもよい。

Ｓ１０では、合成部７はテンプレート情報Ｔｎに従い、顔画像ｆｎの右目を右目位置ＥＲｎに配置し、かつ顔画像ｆｎの左目を左目位置ＥＬｎに配置して顔画像ｆｎとテンプレート画像とを合成する。テンプレート情報Ｔｎが口の位置Ｍｎを含んでいる場合は、顔画像ｆｎの口をテンプレート情報Ｔｎの口の位置Ｍｎに配置して顔画像ｆｎとテンプレート画像とを合成する。

図７は顔画像ｆ１が合成領域Ｐ１に合成された状態を例示している。このように、人物Ｆｎの右目、左目、口の３点を基準に合成領域Ｐｎに顔画像ｆｎを配置するので、右目ＥＲｎ及び左目ＥＬｎの２点を基準に顔画像ｆｎを配置する場合より配置の正確さが増す。

Ｓ１１では、ｎをインクリメントし、Ｓ１２では、ｎ＝Ｎとなったか否かを判断する。ｎ＝Ｎでない場合はＳ４に戻り、ｎ＝Ｎとなった場合は処理を終了する。

なお、ステップＳ１〜１２を処理部９に実行させる画像処理プログラムは、半導体メモリその他の記憶媒体で構成された記憶部３０に記憶されている。画像処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯその他のコンピュータ読み取り可能な記録媒体に記録して処理部９にロードしてもよいし、インターネットなどのネットワークを介して処理部９に配信してもよい。

以上説明した通り、人物Ｆｎの右目及び左目の２点、あるいはそれに口を加えた３点を、合成領域Ｐｎのテンプレート情報Ｔｎが規定する右目ＥＲｎ、左目ＥＬｎ、口Ｍｎの位置に配置した上で顔画像ｆｎを抽出し、抽出した顔画像ｆｎの右目及び左目あるいは口をテンプレート情報Ｔｎが規定する右目位置ＥＲｎ、左目位置ＥＬｎあるいは口の位置Ｍｎに配置して顔画像ｆｎとテンプレート画像を合成するため、顔画像ｆｎの両目や口が合成領域Ｐｎからはみ出た状態で合成されるのを防ぐことができる。

＜第２実施形態＞
図８は、本発明の第２の実施形態に係る画像処理装置のブロック構成図である。この画像処理装置の処理部９は、アスペクト比変更部５をさらに有している。アスペクト比変更部５は、顔画像ｆｎのアスペクト比（顔画像ｆｎの縦横長さの比であるＨｎ：Ｗｎ、図６参照）を変更する処理を行う手段である。また、テンプレート情報入力部１は、テンプレート情報Ｔｎの一部として、合成領域Ｐｎに合成すべき顔画像ｆｎのアスペクト比Ａｎ（例えば１：１．１）を入力する。その他の各部の機能は第１実施形態と同様であるので説明を省略する。

図９は第２実施形態に係る画像処理装置が実行する合成処理の流れを示すフローチャートである。この合成処理のＳ３では、テンプレート情報入力部１は、テンプレート情報の一部として、合成領域Ｐｎに合成すべき顔画像ｆｎのアスペクト比Ａｎを入力する。また、Ｓ５では、アスペクト比変更部５は、アスペクト比Ａｎに従って顔画像ｆｎのアスペ
クト比を変更する。Ｓ１０では、合成部７はアスペクト比の変更された顔画像ｆｎをテンプレート画像に合成する。その他の処理ステップは第１実施形態と同様であるので説明を省略する。この画像処理装置によると、適宜Ａｎを設定しておくことで、合成領域Ｐｎの各種形状（丸顔形状など）に合致するように顔画像ｆｎのアスペクト比を変更できる。

＜第３実施形態＞
図１０は、本発明の第３の実施形態に係る画像処理装置のブロック構成図である。この画像処理装置の処理部９は、第２実施形態と異なり、補正処理部６をさらに有する。また、テンプレート情報入力部１は、テンプレート情報Ｔｎの一部として、顔画像ｆｎの濃度、明るさ、色、コントラスト、シャープネス、彩度等の顔画像の特徴量を補正する基準となる補正基準情報を入力する。一例として、補正基準情報は、顔画像ｆｎの合成される合成領域Ｐｎの周辺に配置される画像、例えば「かきわり」キャラクタの耳部分Ｘ（図４参照）の、濃度、明るさ、色、コントラスト、シャープネス、彩度等の特徴量を示す情報が挙げられる。

図１１は第３実施形態に係る画像処理装置が実行する合成処理の流れを示すフローチャートである。この合成処理のＳ６では、補正処理部６は、濃度、明るさ、色、コントラスト、シャープネス、彩度等の特徴量を示す顔画像特徴情報を顔画像ｆｎから取得する。合わせて、補正処理部６は、テンプレート情報に含まれる濃度（明るさ）、色、コントラスト、シャープネス、彩度等の補正基準情報を、テンプレート情報入力部１から取得する。そして、補正処理部６は、顔画像特徴情報と補正基準情報とを比較することで濃度、明るさ、色、コントラスト、シャープネス、彩度等の顔画像の特徴量の補正量を決定し、この補正量に基づいて色変換、濃度変換、階調補正等の所定の画像補正処理を顔画像ｆｎに施す。

こうすれば、周辺の画像の特徴量に応じた明るさや色などの各種補正を顔画像ｆｎに行うことができ、合成された顔画像ｆｎとテンプレート画像の外観上の相違から生じる違和感を少なくすることができる。

なお、補正処理部６は、ユーザ操作により設定された補正量によって顔画像ｆｎに所定の画像処理を施してもよい。また、画像処理装置はＳ５を実行しなくてもよいし、アスペクト比変更部５を有していなくてもよい。

さらに、補正処理部６は、顔画像とテンプレート画像の合成後、合成領域Ｐｎの空白の周縁画素のぼかし処理（スムージング処理）を行う（Ｓ１３）。こうすると、実際の被写体の顔画像とＣＧ画像であるテンプレート画像とが滑らかに合成され違和感が少ない。

＜第４実施形態＞
上記第１〜３実施形態では、顔画像は正面向きで撮影された顔画像（これを正面顔画像と呼ぶ）を想定している。しかし、横向きで撮影された顔画像（これを横顔画像と呼ぶ）をテンプレート画像と合成することもできる。

図１２は第４実施形態に係る画像処理装置のブロック構成図である。この画像処理装置の処理部９は、第１〜３実施形態と異なり、顔向き判定部１０をさらに有する。

顔検出部３は、正面向きの顔の輪郭、左右の目、鼻の穴などの正面顔画像に固有の特徴点の位置を抽出することで正面画像を検出する。かつ、顔検出部３は、横顔の輪郭、左右の目のいずれか一方、顎の先端、鼻の先端など、横顔画像に固有の特徴点の位置を抽出することで横顔画像を検出する。左右の眉のいずれか一方、頭頂などをあわせて検出してもよい。

なお、本実施形態において、顔検出部３を、正面の顔画像を検出する正面顔用検出器と、右向きの横顔画像を検出する右向き顔用検出器と、左向きの横顔画像を検出する左向き顔用検出器と、によって構成してもよい。この場合、顔向き判定部１０は、正面顔用検出器で検出された場合には正面の顔画像として判定し、右向き顔用検出器で検出された場合には右向きの横顔画像として判定し、左向き用検出器で検出された場合には左向きの横顔画像として判定する。各検出器による検出が重複した場合には、顔向き判定部１０は、例えば各検出器による顔検出の信頼度に基づいて判定すればよい。

図１３は横顔画像に固有の特徴点を例示した図である。このうち、図１３（ａ）は、左側面が正面に向いた横顔画像、図１３（ｂ）は右側面が正面に向いた横顔画像の特徴点を例示する。

図１３（ａ）に示すように、顔検出部３は、撮影画像入力部２から入力された撮影画像から、左目Ｘ１、鼻の頂点Ｘ２、顎の先端Ｘ３の位置と、顔の輪郭Ｃｌを検出する。

また、図１３（ｂ）に示すように、顔検出部３は、撮影画像入力部２から入力された撮影画像から、右目Ｙ１、鼻の頂点Ｙ２、顎の先端Ｙ３の位置と、顔の輪郭Ｃｒを検出する。

トリミング部４は、顔の輪郭Ｃｌ、Ｃｒに囲まれた画像部分を切り出す。この画像をそれぞれ左横顔画像Ｉｌ、右横顔画像Ｉｒと呼ぶ。

顔向き判定部１０は、顔検出部３の抽出した横顔画像に固有の特徴点の位置に基づいて顔の向きが正面から見て右向きかあるいは左向きかを判断する。具体的には、顔向き判定部１０は、図１３（ａ）のように鼻の頂点Ｘ２の位置が顎の先端Ｘ３の位置よりも左側であれば左向き、図１３（ｂ）のように鼻の頂点Ｙ２の位置が顎の先端Ｙ３の位置よりも右側であれば右向きと判断する。

図１４に示すように、テンプレート入力部８の入力するテンプレート画像には、左側を向いた横顔画像専用の合成領域Ｑｌ、右側を向いた横顔画像専用の合成領域Ｑｒが設けられている。なお、この図では、横顔画像専用の合成領域は２つしか示していないが、必要に応じて増減してもよい。

テンプレート情報入力部１の入力するテンプレート情報Ｔｎは、左側を向いた横顔画像専用の合成領域Ｑｌにおける、左目を配置する位置を規定する情報である左目位置ＳＥＬ、顎の先端を配置する位置を規定する情報である顎先端位置ＳＣＬを含む。図１４は合成領域Ｑｌにおける左目位置ＳＥＬ、顎先端位置ＳＣＬの位置を具体的に例示している。

また、テンプレート情報入力部１の入力するテンプレート情報は、右側を向いた横顔画像専用の合成領域Ｑｒにおける、右目を配置する位置を規定する情報である右目位置ＳＥＲ、顎の先端を配置する位置を規定する情報である顎先端位置ＳＣＲを含む。図１４は合成領域Ｑｒにおける右目位置ＳＥＲ、顎先端位置ＳＣＲの位置を具体的に例示している。

図１５は本実施形態に係る画像処理装置が実行する合成処理の流れを示すフローチャートである。この処理では、左側を向いた横顔画像専用の合成領域Ｑｌには左側を向いた横顔画像、右側を向いた横顔画像専用の合成領域Ｑｒには右側を向いた横顔画像が合成される。なお、Ｓ１〜Ｓ６は上記第１〜３実施形態と同様であるため説明は省略し、Ｓ２１以降を説明する。

Ｓ２１では、顔向き判定部１０は、顔検出部３の抽出した顔画像ｆｎが正面顔画像か、あるいは横顔画像のいずれであるかを判断する。顔画像ｆｎが正面顔画像と判断すればＳ２２に移行し、顔画像ｆｎが横顔画像と判断すればＳ２３に移行する。

Ｓ２２では、上記第１〜３実施形態のＳ１０と同様、顔画像ｆｎを合成領域Ｐｎに合成する。

Ｓ２３では、顔向き判定部１０は、顔検出部３の抽出した横顔画像に固有の特徴点の位置に基づいて顔の向きが正面から見て左向きかあるいは右向きかを判断する。顔の向きが左向きと判断した場合はＳ２４へ移行し、顔の向きが右向きと判断した場合はＳ２５へ移行する。

Ｓ２４では、合成部７は、顔画像ｆｎを合成領域Ｑｌに合成する。具体的には、合成部７はテンプレート情報Ｔｎに従い、顔画像ｆｎの左目Ｘ１を左目位置ＳＥＬに配置し、かつ顔画像ｆｎの顎の先端Ｘ３を顎先端位置ＳＣＬに配置して顔画像ｆｎとテンプレート画像とを合成する。

Ｓ２５では、顔画像ｆｎを合成領域Ｑｒに合成する。具体的には、合成部７はテンプレート情報Ｔｎに従い、顔画像ｆｎの右目Ｙ１を右目位置ＳＥＲに配置し、かつ顔画像ｆｎの顎の先端Ｙ３を顎先端位置ＳＣＲに配置して顔画像ｆｎとテンプレート画像とを合成する。

なお、Ｓ２６〜Ｓ２８は上述のＳ１１〜Ｓ１３と同様であるので説明は省略する。

図１６は以上の処理により合成された正面顔画像および横顔画像を例示する。この図に示すように、正面を向いた顔画像はＰｎに、左を向いた顔画像はＱｌに、右を向いた画像はＱｒに合成される。このように、顔の向きに合ったかきわりに顔画像を合成することができるため、見栄えがよく違和感が少ない。

第１実施形態に係る画像処理装置の概略機能構成図 第１実施形態に係る合成処理の流れを示すフローチャート 撮影画像の外観を示す図 テンプレート画像の外観を示す図 テンプレート情報の概念説明図 顔画像の外観を示す図 テンプレート画像に顔画像が合成された状態を示す図 第２実施形態に係る画像処理装置の概略機能構成図 第２実施形態に係る合成処理の流れを示すフローチャート 第３実施形態に係る画像処理装置の概略機能構成図 第３実施形態に係る合成処理の流れを示すフローチャート 第４実施形態に係る画像処理装置の概略機能構成図 左横顔画像および右横顔画像の一例を示す図 第４実施形態に係るテンプレート画像の外観を示す図 第４実施形態に係る合成処理の流れを示すフローチャート 第４実施形態に係るテンプレート画像に顔画像が合成された状態を示す図

符号の説明

１：テンプレート情報入力部、２：撮影画像入力部、３：顔検出部、４：トリミング部、５：アスペクト比変更部、６：補正処理部、７：合成部、８：テンプレート入力部、９：処理部、１０：顔向き判定部

Claims (10)

1. 人物を記録した撮影画像を入力する撮影画像入力部と、
   前記撮影画像の顔部分の画像である顔画像を抽出する抽出部と、
   前記顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力部と、
   前記合成領域内において前記顔画像の所定の構成部分を配置する位置を規定するテンプレート情報を入力するテンプレート情報入力部と、
   前記抽出した顔画像の包含する領域から前記顔画像の所定の構成部分に関連する情報である顔構成情報を決定する決定部と、
   前記顔構成情報及び前記テンプレート情報に従って前記顔画像を前記合成領域に配置して前記顔画像と前記テンプレート画像とを合成する合成部と、
   を備え、
   前記抽出部が抽出する顔画像は、正面を向いた顔部分の画像である正面向顔画像又は横を向いた顔部分の画像である横向顔画像を含み、
   前記テンプレート画像入力部の入力するテンプレート画像は、前記正面向顔画像を配置する合成領域である正面向用合成領域又は前記横向顔画像を配置する合成領域である横向用合成領域を有し、
   前記テンプレート情報入力部の入力するテンプレート情報は、前記正面向用合成領域内において前記正面向顔画像の所定の構成部分を配置する位置又は前記横向用合成領域内において前記横向顔画像の所定の構成部分を配置する位置を規定し、
   前記抽出部の抽出した顔画像が前記正面向顔画像であるか又は前記横向顔画像であるかを判断する顔向き判断部をさらに備え、
   前記合成部は、前記顔向き判断部による判断及び前記テンプレート情報に従い、前記正面向顔画像を前記正面向用合成領域に配置するか又は前記横向顔画像を前記横向用合成領域に配置して前記顔画像と前記テンプレート画像とを合成し、
   前記顔向き判断部は、前記横向顔画像が右を向いた顔部分の画像である右向顔画像であるか又は左を向いた顔部分の画像である左向顔画像であるかを判断し、
   前記テンプレート画像入力部の入力するテンプレート画像は、前記右向顔画像を配置する合成領域である右向用合成領域又は前記左向顔画像を配置する合成領域である左向用合成領域を有し、
   前記テンプレート情報入力部の入力するテンプレート情報は、前記右向用合成領域内において前記右向顔画像の所定の構成部分を配置する位置又は前記左向用合成領域内において前記左向顔画像の所定の構成部分を配置する位置を規定し、
   前記合成部は、前記顔向き判断部による判断及び前記テンプレート情報に従い、前記右向顔画像を前記右向用合成領域に配置するか又は前記左向顔画像を前記左向用合成領域に配置して前記顔画像と前記テンプレート画像とを合成し、
   前記決定部は、前記横向顔画像から右目又は左目のいずれか一方及び顎の先端の位置情報を検出し、前記検出された右目又は左目のいずれか一方の位置情報及び前記検出された顎の位置情報を顔構成情報に決定し、
   前記テンプレート情報入力部の入力するテンプレート情報は、前記横向顔画像の右目又は左目のいずれか一方及び顎の先端を前記横向用合成領域に配置する位置を規定する画像処理装置。
2. 前記正面向顔画像の所定の構成部分は少なくとも右目及び左目を含む請求項１に記載の画像処理装置。
3. 前記正面向顔画像の所定の構成部分は鼻又は口をさらに含む請求項２に記載の画像処理装置。
4. 前記決定部は、前記正面向顔画像から少なくとも右目及び左目の位置情報を検出し、前記検出された右目及び左目の位置情報を顔構成情報に決定し、
   前記テンプレート情報は少なくとも右目及び左目を配置する位置を規定する情報を含む請求項２または３に記載の画像処理装置。
5. 前記テンプレート情報入力部の入力するテンプレート情報は前記合成領域における顔画像のアスペクト比を規定するアスペクト比変更情報を含み、
   前記アスペクト比変更情報に従って前記抽出された顔画像のアスペクト比を変更するアスペクト比変更部をさらに備える請求項１〜４のいずれかに記載の画像処理装置。
6. 前記テンプレート情報入力部の入力するテンプレート情報は前記抽出された顔画像を補正する基準となる補正基準情報を含み、
   前記補正基準情報に従って前記抽出された顔画像を補正する補正部をさらに備える請求項１〜５のいずれかに記載の画像処理装置。
7. 前記補正基準情報は前記合成領域の周辺に配置されるテンプレート画像の特徴量を含む請求項６に記載の画像処理装置。
8. 前記合成部による前記顔画像と前記テンプレート画像との合成後、前記合成領域の空白の領域の周縁部にぼかし処理を施すぼかし処理部をさらに備える請求項１〜７のいずれかに記載の画像処理装置。
9. 人物を記録した撮影画像を入力する撮影画像入力ステップと、
   前記撮影画像の顔部分の画像である顔画像を抽出する抽出ステップと、
   前記顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、
   前記合成領域内において前記顔画像の所定の構成部分を配置する位置を規定するテンプレート情報を入力するテンプレート情報入力ステップと、
   前記抽出した顔画像の包含する領域から前記顔画像の所定の構成部分に関連する情報である顔構成情報を決定する決定ステップと、
   前記顔構成情報及び前記テンプレート情報に従って前記顔画像を前記合成領域に配置して前記顔画像と前記テンプレート画像とを合成する合成ステップと、
   を含み、
   前記抽出する顔画像は、正面を向いた顔部分の画像である正面向顔画像又は横を向いた顔部分の画像である横向顔画像を含み、
   前記入力するテンプレート画像は、前記正面向顔画像を配置する合成領域である正面向用合成領域又は前記横向顔画像を配置する合成領域である横向用合成領域を有し、
   前記入力するテンプレート情報は、前記正面向用合成領域内において前記正面向顔画像の所定の構成部分を配置する位置又は前記横向用合成領域内において前記横向顔画像の所定の構成部分を配置する位置を規定し、
   前記抽出した顔画像が前記正面向顔画像であるか又は前記横向顔画像であるかを判断する顔向き判断ステップをさらに含み、
   前記合成ステップは、前記顔向き判断ステップによる判断及び前記テンプレート情報に従い、前記正面向顔画像を前記正面向用合成領域に配置するか又は前記横向顔画像を前記横向用合成領域に配置して前記顔画像と前記テンプレート画像とを合成し、
   前記顔向き判断ステップは、前記横向顔画像が右を向いた顔部分の画像である右向顔画像であるか又は左を向いた顔部分の画像である左向顔画像であるかを判断し、
   前記入力するテンプレート画像は、前記右向顔画像を配置する合成領域である右向用合成領域又は前記左向顔画像を配置する合成領域である左向用合成領域を有し、
   前記入力するテンプレート情報は、前記右向用合成領域内において前記右向顔画像の所定の構成部分を配置する位置又は前記左向用合成領域内において前記左向顔画像の所定の構成部分を配置する位置を規定し、
   前記合成ステップは、前記顔向き判断ステップによる判断及び前記テンプレート情報に従い、前記右向顔画像を前記右向用合成領域に配置するか又は前記左向顔画像を前記左向用合成領域に配置して前記顔画像と前記テンプレート画像とを合成し、
   前記決定ステップは、前記横向顔画像から右目又は左目のいずれか一方及び顎の先端の位置情報を検出し、前記検出された右目又は左目のいずれか一方の位置情報及び前記検出された顎の位置情報を顔構成情報に決定し、
   前記入力するテンプレート情報は、前記横向顔画像の右目又は左目のいずれか一方及び顎の先端を前記横向用合成領域に配置する位置を規定する画像処理方法。
10. 人物を記録した撮影画像を入力する撮影画像入力ステップと、
    前記撮影画像の顔部分の画像である顔画像を抽出する抽出ステップと、
    前記顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、
    前記合成領域内において前記顔画像の所定の構成部分を配置する位置を規定するテンプレート情報を入力するテンプレート情報入力ステップと、
    前記抽出した顔画像の包含する領域から前記顔画像の所定の構成部分に関連する情報である顔構成情報を決定する決定ステップと、
    前記顔構成情報及び前記テンプレート情報に従って前記顔画像を前記合成領域に配置して前記顔画像と前記テンプレート画像とを合成する合成ステップと、
    をコンピュータに実行させ、
    前記抽出する顔画像は、正面を向いた顔部分の画像である正面向顔画像又は横を向いた顔部分の画像である横向顔画像を含み、
    前記入力するテンプレート画像は、前記正面向顔画像を配置する合成領域である正面向用合成領域又は前記横向顔画像を配置する合成領域である横向用合成領域を有し、
    前記入力するテンプレート情報は、前記正面向用合成領域内において前記正面向顔画像の所定の構成部分を配置する位置又は前記横向用合成領域内において前記横向顔画像の所定の構成部分を配置する位置を規定し、
    前記抽出した顔画像が前記正面向顔画像であるか又は前記横向顔画像であるかを判断する顔向き判断ステップをさらに含み、
    前記合成ステップは、前記顔向き判断ステップによる判断及び前記テンプレート情報に従い、前記正面向顔画像を前記正面向用合成領域に配置するか又は前記横向顔画像を前記横向用合成領域に配置して前記顔画像と前記テンプレート画像とを合成し、
    前記顔向き判断ステップは、前記横向顔画像が右を向いた顔部分の画像である右向顔画像であるか又は左を向いた顔部分の画像である左向顔画像であるかを判断し、
    前記入力するテンプレート画像は、前記右向顔画像を配置する合成領域である右向用合成領域又は前記左向顔画像を配置する合成領域である左向用合成領域を有し、
    前記入力するテンプレート情報は、前記右向用合成領域内において前記右向顔画像の所定の構成部分を配置する位置又は前記左向用合成領域内において前記左向顔画像の所定の構成部分を配置する位置を規定し、
    前記合成ステップは、前記顔向き判断ステップによる判断及び前記テンプレート情報に従い、前記右向顔画像を前記右向用合成領域に配置するか又は前記左向顔画像を前記左向用合成領域に配置して前記顔画像と前記テンプレート画像とを合成し、
    前記決定ステップは、前記横向顔画像から右目又は左目のいずれか一方及び顎の先端の位置情報を検出し、前記検出された右目又は左目のいずれか一方の位置情報及び前記検出された顎の位置情報を顔構成情報に決定し、
    前記入力するテンプレート情報は、前記横向顔画像の右目又は左目のいずれか一方及び顎の先端を前記横向用合成領域に配置する位置を規定する画像処理プログラム。

Images