JP4164809B2 - 画像合成処理方法及び装置並びにプログラム - Google Patents

Description

本発明は画像合成処理方法及び装置並びにプログラムに係り、特に顔画像を含む原画像から顔画像を切り出し、該顔画像を顔領域だけ画像の無い背景画像に合成する技術に関する。

一般に、人間の顔を別の背景画像に合成する場合、顔の輪郭を抽出する処理が必要である。この輪郭抽出は、原画像の画質、背景色、背景の複雑さに大きく依存し、あらゆる画像に対応する処理は非常に難しい。

そこで、従来から青色の単一色の背景（ブルーバック）とともに人物の顔を撮影し、色の違いを利用して顔の輪郭を抽出しやすいようにした技術が知られている（特許文献１）。
特開平９−１９０５２２号公報

しかしながら、ブルーバックのような単純な背景で撮影された原画像の場合には、顔画像を抽出しやすいが、背景が制限されるという問題がある。

これに対し、顔の輪郭を抽出することはせずに、観光地や遊園地などに設置されている顔ハメ記念撮影パネルのような、顔領域だけ画像の無い背景画像に顔画像を裏側から貼り付けて顔画像が合成された合成画像を作成する方法があるが、この方法の場合、顔画像と背景画像との境界部分が不自然になりやすいという問題がある。

本発明はこのような事情に鑑みてなされたもので、原画像から切り出した顔画像を顔領域だけ画像の無い背景画像に合成する際に、顔画像と背景画像との境界部分をより自然に見せることができる画像合成処理方法及び装置並びにプログラムを提供することを目的とする。

前記目的を達成するために請求項１に係る発明は、顔画像を含む原画像から顔画像を切り出し、該顔画像を顔領域だけ画像の無い背景画像に合成する画像合成処理方法において、予め顔の向き及び顔の大きさに対応する複数の背景画像を準備するステップと、前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出するステップと、前記算出した顔画像の顔の向き及び顔の大きさに基づいて前記顔画像の合成に最もマッチングする背景画像を前記複数の背景画像から選択するステップと、前記選択した背景画像に前記原画像の顔画像を合成するステップであって、前記選択した背景画像の顔領域に前記原画像の顔画像を裏側から貼り付けて合成するステップと、を含むことを特徴としている。

予め顔領域だけ画像の無い複数の背景画像を準備しておく。これらの複数の背景画像は、顔の向き及び顔の大きさに対応してそれぞれ異なっている。その一方、原画像に含まれる顔画像の顔の向き及び顔の大きさを算出する。顔画像の顔の向き及び顔の大きさは、顔画像から顔の目、口等の顔パーツを抽出し、これらの顔パーツの位置情報から算出することができる。

そして、上記算出した顔画像の顔の向き及び顔の大きさに基づいて顔画像の合成に最もマッチングする背景画像を複数の背景画像の中から選択する。即ち、顔画像の顔の向きと同じ方向を向いている背景画像で、かつ顔画像の顔の大きさに対応した顔領域を有する背景画像を選択する。この選択した背景画像の顔領域に原画像の顔画像を合成する。これにより、顔画像と背景画像との境界部分がより自然に見えるように合成することができる。

請求項２に係る発明は、顔画像を含む原画像から顔画像を切り出し、該顔画像を顔領域だけ画像の無い背景画像に合成する画像合成処理装置において、顔の向き及び顔の大きさに対応する複数の背景画像を記憶する記憶手段と、前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出する算出手段と、前記算出した顔画像の顔の向き及び顔の大きさに基づいて前記顔画像の合成に最もマッチングする背景画像を前記記憶手段に記憶されている複数の背景画像から選択する選択手段と、前記選択した背景画像に前記原画像の顔画像を合成する画像合成手段であって、前記選択した背景画像の顔領域に前記原画像の顔画像を裏側から貼り付けて合成する画像合成手段と、を備えたことを特徴としている。

請求項３に示すように請求項２に記載の画像合成処理装置において、前記算出手段は、前記原画像に含まれる顔画像から目、口を抽出する抽出手段を有し、この抽出した目、口の位置情報に基づいて前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出することを特徴としている。

請求項４に係る発明は、顔画像を含む原画像から顔画像を切り出し、該顔画像を顔領域だけ画像の無い背景画像に合成する画像合成処理プログラムにおいて、前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出する機能と、顔の向き及び顔の大きさに対応する複数の背景画像が記憶されている記憶手段から１つの背景画像を選択する機能であって、前記算出した顔画像の顔の向き及び顔の大きさに基づいて前記顔画像の合成に最もマッチングする背景画像を前記記憶手段に記憶されている複数の背景画像から選択する機能と、前記選択した背景画像に前記原画像の顔画像を合成する機能であって、前記選択した背景画像の顔領域に前記原画像の顔画像を裏側から貼り付けて合成する機能と、をコンピュータに実現させることを特徴としている。

上記構成の本発明によれば、合成しようとする原画像の顔画像の顔の向き及び顔の大きさに応じた最適な背景画像を選択し、その選択した背景画像に顔画像を合成するようにしたため、顔画像と背景画像との境界部分をより自然に見せることができる。

以下添付図面に従って本発明に係る画像合成処理方法及び装置並びにプログラムの好ましい実施の形態について詳説する。

図１は本発明に係る画像合成処理装置の要部を示す機能ブロック図である。

同図に示すように、この画像合成処理装置１０は、例えば、パーソナルコンピュータ等によって構成することができ、画像データ入力部１１と、顔パーツ抽出部１２と、顔画像抽出部１３と、顔の向き算出部１４と、顔の大きさ算出部１５と、背景画像選択部１６と、背景画像記憶部１７と、合成処理部１８と、画像データ出力部１９とから構成されている。

デジタルスチルカメラ（以下ＤＳＣと記載）やカメラ付き携帯電話等により撮影された原画像データは、画像データ入力部１１を介して画像合成処理装置１０に入力される。原画像データは、人物を任意の背景のもとで撮影して得られた人物画像データである。

画像データ入力部１１には、ＤＳＣメディアのメディアインターフェイスの他にＵＳＢインターフェイス、赤外線通信（ＩｒＤＡ）インターフェイス、イーサネットインターフェイスおよび無線通信インターフェイスを用いてもよく、何れのインターフェイスを適用するかは、原画像データが記録されている媒体や原画像データの記録形式により、ユーザによって適宜選択される。

画像合成処理装置１０に入力された原画像データは、顔パーツ抽出部１２及び顔画像抽出部１３に送られ、ここで顔パーツの抽出と顔画像の抽出が行われる。顔パーツ抽出部１２は、入力された画像データを解析して、目、口、顎などの顔パーツを抽出する。抽出結果は、各顔パーツの位置情報として顔の向き算出部１４及び顔の大きさ算出部１５に出力される。

顔画像抽出部１３は入力された原画像から顔画像を切り出す処理を行うもので、例えば、原画像内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状（丸や楕円に近い形状）か否かによって顔領域を抽出し、この顔領域の画像又は顔領域よりも一回り大きめの領域を顔画像として原画像から切り出す。

顔の向き算出部１４及び顔の大きさ算出部１５は、それぞれ顔パーツ抽出部１２で抽出された顔パーツの位置情報に基づいて顔の向き及び顔の大きさを算出する。例えば、図２に示すように、左目の瞳位置と口の左端の位置との水平距離ｄ１と、右目の瞳位置と口の右端の位置との水平距離ｄ２との比率によって顔の向き（左右方向の角度）を算出することができる。また、目と口、又は目と顎との垂直方向の距離から顔の大きさを算出することができる。尚、顔の大きさは、例えば、原画像の画像サイズを固定値としたとき、前記距離間の画素数が顔の大きさに対応する。

顔の向き算出部１４及び顔の大きさ算出部１５によってそれぞれ算出された顔の向き及び顔の大きさの算出結果は、背景画像選択部１６に送られる。

背景画像記憶部１７には、複数種類の背景画像が記憶されるとともに、同種の背景画像であっても顔の向き及び顔の大きさに応じた複数の背景画像が記憶されている。尚、利用者は所定のユーザインターフェイスを介して所望の種類の背景画像を選択することができるようになっている。

前記背景画像は、顔領域だけ画像の無い（顔領域だけ画像が抜かれた）画像であり、また、図３及び図４に示すように同種の背景画像に対して顔の向きや顔の大きさに応じた複数の背景画像が準備されている。

図３（Ａ）乃至（Ｃ）はそれぞれ顔の大きさが同じで、顔の向きが異なる同種の背景画像を示しており、図４（Ａ）及び（Ｂ）はそれぞれ顔の向きが同じ（正面）で、顔の大きさが異なる同種の背景画像を示している。尚、図３及び図４に示した背景画像は一例であり、背景画像記憶部１７には、顔の向きと顔の大きさとの組み合わせの数だけ背景画像が記憶されている。

背景画像選択部１６は、顔の向き算出部１４及び顔の大きさ算出部１５から入力する顔の向き及び顔の大きさの算出結果に基づいて背景画像記憶部１７から合成する顔画像の顔の向き及び顔の大きさに最適な背景画像を読み出し、その背景画像を合成処理部１８に出力する。

合成処理部１８は、顔画像抽出部１３から入力した顔画像と背景画像選択部１６から入力した背景画像とを合成する。即ち、合成処理部１８は、背景画像の顔領域（顔部分が抜かれた領域）に、顔画像抽出部１３から入力した顔画像を位置決めし、背景画像の裏側から貼り付ける合成処理を行う。

合成処理部１８で合成された合成画像は、画像データ出力部１９から出力される。出力形態には、表示装置やプリンタに画像を出力する形態、メモリカードやＣＤ−Ｒ等の記録メディアや内蔵ハードディスクなどの記憶装置にファイル形式で記録する形態、通信手段（有線、無線を問わない）を介して他の装置に転送する形態などがある。

この画像合成処理装置１０は、上述の処理を行う画像合成処理プログラムがインストールされたパーソナルコンピュータで実現できるが、これに限らず、ネットワーク上の画像加工用のサービスサーバ等によって実現してもよい。

図５は本発明に係る画像合成処理方法が適用されたネットワークシステムの構成図である。

図５において、符号１３０はインターネット等のネットワーク１４０に接続可能なカメラ付き携帯電話であり、１５０はネットワーク１４０に接続可能な利用者のコンピュータ（ＰＣ）である。尚、このＰＣ１５０は、ＵＳＢ等のインターフェイスを介してＤＳＣ１５２が接続され、ＤＳＣ１５２から画像を取り込むことができるようになっている。

また、ネットワーク１４０には、前述した画像合成処理装置１０での画像加工と同様な画像処理を行うサービスサーバ１６０や、サービスサーバ１６０で処理された合成画像をプリント出力するプリントサーバ１７０等が接続されている。

サービスサーバ１６０が提供する背景画像の合成処理サービスを利用する場合には、カメラ付き携帯電話１３０やＰＣ１５０を用いてサービスサーバ１６０のホームページにアクセスし、背景画像の合成処理を依頼する肖像画像をサービスサーバ１６０にアップロードする。また、サービスサーバ１６０は、背景画像の一覧等を利用者に提示し、利用者に背景画像を選択させることができる。

サービスサーバ１６０は、図１に示した画像合成処理装置１０と同様な機能と、通信機能を有するサーバコンピュータ１６２と、利用者からアップロードされた画像を保管したり、ユーザＩＤ、メールアドレス等のユーザ情報を管理したりする大容量記録装置（ストレージ）１６４とから構成されている。このサービスサーバ１６０は、利用者からアップロードされた原画像に対する背景画像の合成処理の依頼を受け付けると、原画像から顔画像を抽出し、上述のように顔の向きや大きさに最もマッチングした背景画像を選択し、この選択した背景画像と顔画像とを合成する。このようにして作成した合成画像はネットワーク１４０経由で利用者のカメラ付き携帯電話１３０やＰＣ１５０に提供される。

画像の提供方法としては、依頼元のユーザ端末（この場合、カメラ付き携帯電話１３０やＰＣ１５０）に画像データを送り返す態様、或いは、電子メールに添付して配信する態様がある。また、合成画像を所定の格納場所（例えば、ユーザ別に設定した専用の閲覧サイト）に格納し、そのアドレス情報（例えば、URL ）を電子メール等により通知する態様もある。この場合、ユーザは指定されたサイトにアクセスして、そこから顔表情変化画像を閲覧又はダウンロードすることができる。

こうして、利用者はサービスサーバ１６０で生成された合成画像をカメラ付き携帯電話１３０のディスプレイ１３１やＰＣ１５０のディスプレイ１５１によって閲覧することができる。

また、サービスサーバ１６０は、利用者から合成画像のプリント注文を受け付けた場合には、上記合成画像をプリントサーバ１７０に転送する。プリントサーバ１７０は、サーバコンピュータ１７２と、プリント装置１７４とを備えており、サービスサーバ１６０から受信した合成画像に基づいてプリント装置１７４により背景が合成された合成画像をプリント出力する。尚、プリント出力された写真プリントは、利用者が指定したコンビニエンス・ストアや写真店などの受取先に配送されたり、直接利用者の自宅に配送されたりする。

次に、カメラ付き携帯電話によって肖像画像を撮影してから背景画像を入手するまでの処理の流れについて説明する。

図６に示すようにカメラ付き携帯電話１３０によって肖像画像を撮影し、その肖像画像をサービスサーバ１６０にアップロードする（ステップＳ１０）。サービスサーバ１６０は、アップロードされた肖像画像を取得し、この肖像画像に合成する背景画像の一覧等を利用者に提示する（ステップＳ１２）。

カメラ付き携帯電話１３０から背景画像の選択や合成の指示を受入すると（ステップＳ１４）、サービスサーバ１６０は、前記取り込んだ肖像画像から目、口等の顔パーツの位置を検出し（ステップＳ１６）、各顔パーツの位置情報に基づいて肖像画像の顔の向き及び顔の大きさを算出する（ステップＳ１８、Ｓ２０）。

続いて、算出した肖像画像の顔の向き及び顔の大きさに基づいて顔の向き及び顔の大きさに最もマッチングした背景画像を背景画像記憶部に記憶されている複数の背景画像の中から選択する（ステップＳ２２）。そして、選択した背景画像と肖像画像の顔画像とを合成し（ステップＳ２４）、この合成画像を電子メールに添付してカメラ付き携帯電話１３０に送信する。

利用者は、サービスサーバ１６０から送信された電子メールの添付ファイル（画像ファイル）を開くことにより、合成画像をカメラ付き携帯電話１３０のディスプレイ１３１に表示させることができる（ステップＳ２６）。

図１は本発明に係る画像合成処理装置の実施の形態を示す機能ブロック図である。 図２は顔の向きや顔の大きさを計測する方法を説明するために用いた図である。 図３（Ａ）乃至（Ｃ）はそれぞれ顔の大きさが同じで、顔の向きが異なる背景画像の一例を示す図である。 図４（Ａ）及び（Ｂ）はそれぞれ顔の向きが同じ（正面）で、顔の大きさが異なる背景画像の一例を示す図である。 図５は本発明に係る画像合成処理方法が適用されたネットワークシステムの構成図である。 図６はカメラ付き携帯電話によって肖像画像を撮影してから背景画像を入手するまでの処理の流れを示すフローチャートである。

符号の説明

１０…画像合成処理装置、１２…顔パーツ抽出部、１３…顔画像抽出部、１４…顔の向き算出部、１５…顔の大きさ算出部、１６…背景画像選択部、１７…背景画像記憶部、１８…合成処理部、１３０…カメラ付き携帯電話、１４０…ネットワーク、１５０…ＰＣ、１６０…サービスサーバ

Claims (4)

1. 顔画像を含む原画像から顔画像を切り出し、該顔画像を顔領域だけ画像の無い背景画像に合成する画像合成処理方法において、
   予め顔の向き及び顔の大きさに対応する複数の背景画像を準備するステップと、
   前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出するステップと、
   前記算出した顔画像の顔の向き及び顔の大きさに基づいて前記顔画像の合成に最もマッチングする背景画像を前記複数の背景画像から選択するステップと、
   前記選択した背景画像に前記原画像の顔画像を合成するステップであって、前記選択した背景画像の顔領域に前記原画像の顔画像を裏側から貼り付けて合成するステップと、
   を含むことを特徴とする画像合成処理方法。
2. 顔画像を含む原画像から顔画像を切り出し、該顔画像を顔領域だけ画像の無い背景画像に合成する画像合成処理装置において、
   顔の向き及び顔の大きさに対応する複数の背景画像を記憶する記憶手段と、
   前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出する算出手段と、
   前記算出した顔画像の顔の向き及び顔の大きさに基づいて前記顔画像の合成に最もマッチングする背景画像を前記記憶手段に記憶されている複数の背景画像から選択する選択手段と、
   前記選択した背景画像に前記原画像の顔画像を合成する画像合成手段であって、前記選択した背景画像の顔領域に前記原画像の顔画像を裏側から貼り付けて合成する画像合成手段と、
   を備えたことを特徴とする画像合成処理装置。
3. 前記算出手段は、前記原画像に含まれる顔画像から目、口を抽出する抽出手段を有し、この抽出した目、口の位置情報に基づいて前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出することを特徴とする請求項２に記載の画像合成処理装置。
4. 顔画像を含む原画像から顔画像を切り出し、該顔画像を顔領域だけ画像の無い背景画像に合成する画像合成処理プログラムにおいて、
   前記原画像に含まれる顔画像の顔の向き及び顔の大きさを算出する機能と、
   顔の向き及び顔の大きさに対応する複数の背景画像が記憶されている記憶手段から１つの背景画像を選択する機能であって、前記算出した顔画像の顔の向き及び顔の大きさに基づいて前記顔画像の合成に最もマッチングする背景画像を前記記憶手段に記憶されている複数の背景画像から選択する機能と、
   前記選択した背景画像に前記原画像の顔画像を合成する機能であって、前記選択した背景画像の顔領域に前記原画像の顔画像を裏側から貼り付けて合成する機能と、
   をコンピュータに実現させることを特徴とする画像合成処理プログラム。

Images