JP5880182B2 - 画像生成装置、画像生成方法及びプログラム - Google Patents

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

従来、プライバシー保護の観点から、撮像された画像に含まれる特定の人物以外の顔に対してモザイク処理やぼかし処理を施す技術が知られている（例えば、特許文献１参照）。

特開２０１０−２１９２１号公報

しかしながら、上記特許文献１等のように、モザイク処理やぼかし処理を施すと画像が全体として不自然なものとなってしまう。また、顔領域を他の画像に差し替えることも考えられるが、単純に顔領域を他の画像に差し替えると、差し替え前後の顔の整合性がとれなくなる虞もある。

そこで、本発明の課題は、プライバシーの保護を図りつつも自然な差替画像を生成することができる画像生成装置、画像生成方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像生成装置の一様態は、少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段と、画像を取得する取得手段と、前記取得手段により取得された画像内の顔画像から特徴情報を抽出する抽出手段と、前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、前記取得手段により取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする変形手段と、前記取得手段により取得された顔画像を、前記変形手段により変形された前記差替用顔画像で差し替えた差替画像を生成する生成手段と、を備える、ことを特徴とする。

また、上記課題を解決するため、本発明に係る画像生成方法の一様態は、少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段を備える画像生成装置を用いた画像生成方法であって、画像を取得する処理と、取得された画像内の顔画像から特徴情報を抽出する処理と、抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする処理と、取得された顔画像を、前記差替用顔画像で差し替えた差替画像を生成する処理と、を含む、ことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムの一様態は、少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段を備える画像生成装置のコンピュータを、画像を取得する取得手段、前記取得手段により取得された画像内の顔画像から特徴情報を抽出する抽出手段、前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、前記取得手段により取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする変形手段、前記取得手段により取得された顔画像を、前記変形手段により変形された前記差替用顔画像で差し替えた差替画像を生成する生成手段、として機能させる、ことを特徴とする。

本発明によれば、プライバシーの保護を図りつつも自然な差替画像を生成することができる。

本発明を適用した一実施形態の撮像システムの概略構成を示す図である。 図１の撮像システムを構成する撮像装置の概略構成を示すブロック図である。 図２の撮像装置に記録されている差替用顔画像の一例を模式的に示す図である。 図２の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図４の画像生成処理に係る元画像の一例を模式的に示す図である。 図４の画像生成処理に係る画像の一例を模式的に示す図である。 図４の画像生成処理に係る差替画像の一例を模式的に示す図である。 変形例１の撮像装置の概略構成を示すブロック図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像システム１００の概略構成を示す図である。
図１に示すように、本実施形態の撮像システム１００は、撮像装置１（図２参照）と、サーバ２とを備え、撮像装置１とサーバ２とは、アクセスポイントＡＰ及び通信ネットワークＮを介して相互に情報通信可能に接続されている。

先ず、サーバ２について説明する。
サーバ２は、例えば、予めユーザによって登録された外部記録装置を構成する。即ち、サーバ２は、例えば、通信ネットワークＮを介してアップロードされた画像データをインターネット上に公開することが可能なコンテンツサーバ等から構成され、当該サーバ２にアップロードされた画像データを記録する。
具体的には、サーバ２は、例えば、図示は省略するが、当該サーバ２本体の各部を制御する中央制御部と、外部機器（例えば、撮像装置１等）と情報通信するための通信処理部と、外部機器から送信された画像データを記録する画像記録部とを具備している。

次に、撮像装置１について、図２を参照して説明する。
図２は、撮像システム１００を構成する撮像装置１の概略構成を示すブロック図である。
図２に示すように、撮像装置１は、具体的には、撮像部１０１と、撮像制御部１０２と、画像データ生成部１０３と、メモリ１０４と、画像記録部１０５と、画像処理部１０６と、表示制御部１０７と、表示部１０８と、無線処理部１０９と、操作入力部１１０と、中央制御部１１１とを備えている。
また、撮像部１０１、撮像制御部１０２、画像データ生成部１０３、メモリ１０４、画像記録部１０５、画像処理部１０６、表示制御部１０７、無線処理部１０９及び中央制御部１１１は、バスライン１１２を介して接続されている。

撮像部１０１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１０１は、レンズ部１０１ａと、電子撮像部１０１ｂと、レンズ駆動部１０１ｃとを備えている。

レンズ部１０１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１０１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１０１ｂは、レンズ部１０１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１０１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１０１は、レンズ部１０１ａ、電子撮像部１０１ｂ及びレンズ駆動部１０１ｃに加えて、レンズ部１０１ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部１０２は、撮像部１０１による被写体の撮像を制御する。即ち、撮像制御部１０２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部１０２は、タイミング発生器、ドライバにより電子撮像部１０１ｂを走査駆動して、レンズ部１０１ａを通過した光学像を電子撮像部１０１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１０１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部１０３に出力させる。

なお、撮像制御部１０２は、レンズ部１０１ａのフォーカスレンズに代えて、電子撮像部１０１ｂを光軸方向に移動させてレンズ部１０１ａの合焦位置を調整するようにしても良い。
また、撮像制御部１０２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部１０３は、電子撮像部１０１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ１０４にＤＭＡ転送される。

メモリ１０４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１１１の他、当該撮像装置１の各部によって処理されるデータ等を一時的に格納する。

画像記録部１０５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部１０６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。

また、画像記録部（記録手段）１０５は、所定数の差替用顔画像Ｆの画像データと顔の特徴情報とを対応付けて差替用顔画像テーブルＴ１に記録している。
差替用顔画像Ｆ１〜Ｆｎの画像データの各々は、例えば、図３（ａ）〜（ｃ）等に示すように、画像から抽出された顔が含まれる顔領域に対応する画像である。
顔の特徴情報は、差替用顔画像Ｆの各々から抽出された顔の主要な顔構成部（例えば、目、鼻、口、眉、顔輪郭等）に係る情報であり、例えば、各顔構成部を構成する画素のＸＹ平面空間での座標位置（x, y）に係る位置情報が挙げられる。なお、顔の主要な顔構成部は、例えば、差替用顔画像Ｆの各々から抽出された顔領域に対してＡＡＭ（Active Appearance Model）を用いた処理（詳細後述）を行うことにより、顔輪郭並びに当該顔輪郭よりも内側に存する目、鼻、口、眉等が顔構成部として検出されている。

なお、画像記録部１０５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
また、図３（ａ）〜（ｃ）に示す差替用顔画像Ｆ１〜Ｆｎは、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

画像処理部１０６は、画像取得部１０６ａと、顔検出部１０６ｂと、構成部検出部１０６ｃと、特徴情報抽出部１０６ｄと、差替用顔画像特定部１０６ｅと、差替用顔画像変形部１０６ｆと、差替画像生成部１０６ｇとを具備している。
なお、画像処理部１０６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部１０６ａは、画像生成処理（詳細後述）の処理対象となる画像を取得する。
即ち、画像取得部１０６ａは、取得手段として、元画像（例えば、写真画像等）Ｐ１の画像データを取得する。具体的には、画像取得部１０６ａは、撮像部１０１及び撮像制御部１０２による被写体の撮像によって画像データ生成部１０３により生成された元画像Ｐ１の画像データ（ＹＵＶデータ）の複製をメモリ１０４から取得したり、画像記録部１０５に記録されている元画像Ｐ１の画像データ（ＹＵＶデータ）の複製を取得する（図５参照）。
なお、画像取得部１０６ａは、画像記録部１０５に記録されている所定数の画像データの中で、例えば、デフォルトとして予め定められている一の画像の画像データを、画像生成処理の処理対象の画像データとして自動的に取得する構成としても良い。

顔検出部１０６ｂは、処理対象となる元画像Ｐ１から顔領域Ａ（図６（ａ）参照）を検出する。
即ち、顔検出部１０６ｂは、顔検出手段として、画像取得部１０６ａにより取得された元画像Ｐ１から顔が含まれる顔領域Ａを検出する。具体的には、顔検出部１０６ｂは、画像取得部１０６ａにより画像生成処理の処理対象の画像として取得された元画像Ｐ１の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域Ａを検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、図６（ａ）及び後述する図６（ｂ）には、元画像Ｐ１から検出された顔領域Ａが含まれる部分のみを模式的に拡大して表している。

構成部検出部１０６ｃは、元画像Ｐ１内から主要な顔構成部を検出する。
即ち、構成部検出部１０６ｃは、構成部検出手段として、画像取得部１０６ａにより取得された元画像Ｐ１内の顔から主要な顔構成部を検出する。具体的には、構成部検出部１０６ｃは、例えば、顔検出部１０６ｂにより元画像Ｐ１の画像データから検出された顔領域Ａに対してＡＡＭを用いた処理を行うことにより、顔輪郭並びに当該顔輪郭よりも内側に存する目、鼻、口、眉等の顔構成部を検出する（図６（ｂ）参照）。
なお、図６（ｂ）には、元画像Ｐ１内の顔から検出された主要な顔構成部を破線により模式的に表している。

ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、構成部検出部１０６ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域Ａの画像をモデル化する。これにより、構成部検出部１０６ｃは、元画像Ｐ１内の主要な顔構成部を抽出する。

なお、顔構成部の検出に、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、例えば、ＡＳＭ（Active Shape Model）を用いても良い。ＡＳＭは、公知の技術であるので、ここでは詳細な説明を省略する。

特徴情報抽出部１０６ｄは、元画像Ｐ１内の顔から特徴情報を抽出する。
即ち、特徴情報抽出部１０６ｄは、抽出手段として、画像取得部１０６ａにより取得された元画像Ｐ１内の顔から特徴情報を抽出する。具体的には、特徴情報抽出部１０６ｄは、例えば、構成部検出部１０６ｃにより元画像Ｐ１から検出された、例えば、顔輪郭、目、鼻、口、眉等の顔構成部の特徴情報を抽出する。より具体的には、特徴情報抽出部１０６ｄは、例えば、顔検出部１０６ｂにより検出された顔領域Ａから構成部検出部１０６ｃにより検出された各顔構成部の特徴情報を抽出する。
ここで、特徴情報は、元画像Ｐ１から抽出された顔の主要な顔構成部に係る情報であり、例えば、各顔構成部を構成する画素のＸＹ平面空間での座標位置（x, y）に係る位置情報や、各顔構成部を構成する画素のＸＹ平面空間での相対的な位置関係に係る位置情報等が挙げられる。
なお、特徴情報として例示したものは一例であってこれらに限られるものではなく、適宜任意に変更可能である。例えば、肌や髪の毛や目の色等を特徴情報としても良い。

差替用顔画像特定部１０６ｅは、特徴情報抽出部１０６ｄにより抽出された特徴情報に対応する差替用顔画像Ｆを特定する。
即ち、差替用顔画像特定部１０６ｅは、特定手段として、画像記録部１０５に記録されている顔の特徴情報に基づいて、特徴情報抽出部１０６ｄにより抽出された特徴情報に対応する差替用顔画像Ｆを特定する。具体的には、差替用顔画像特定部１０６ｅは、画像記録部１０５の差替用顔画像テーブルＴ１に記録されている所定数の差替用顔画像Ｆの各々の特徴情報と、特徴情報抽出部１０６ｄにより元画像Ｐ１の顔領域Ａから抽出された特徴情報とを比較して、差替用顔画像Ｆの各々について顔構成部どうしの一致度（例えば、対応する顔構成部を構成する画素の座標位置どうしの最短距離のＬ２ノルム等）を算出する。そして、差替用顔画像特定部１０６ｅは、算出された一致度が最も高くなった特徴情報と対応付けられている差替用顔画像Ｆ（例えば、差替用顔画像Ｆ２等）の画像データを特定する。
このとき、差替用顔画像特定部１０６ｅは、一致度が所定値よりも高い特徴情報と対応付けられている差替用顔画像Ｆを複数特定し、当該複数の差替用顔画像Ｆ、…の中で、ユーザによる操作入力部１１０の所定操作に基づいて選択されたユーザ所望の差替用顔画像Ｆを特定しても良い。
なお、差替用顔画像テーブルＴ１に記録されている差替用顔画像Ｆと元画像Ｐ１の顔領域Ａとは、元画像Ｐ１内の顔の特徴情報に対応する差替用顔画像Ｆの特定前に、予め水平・垂直方向の大きさ（画素数）を揃えておくのが好ましい。

差替用顔画像変形部１０６ｆは、差替用顔画像Ｆを変形する処理を行う。
即ち、差替用顔画像変形部１０６ｆは、変形手段として、特徴情報抽出部１０６ｄにより抽出された顔構成部の特徴情報に基づいて、画像記録部１０５に記録されている顔画像を変形させる。具体的には、差替用顔画像変形部１０６ｆは、元画像Ｐ１内の顔領域Ａと差し替えられる差替用顔画像Ｆ、即ち、差替用顔画像特定部１０６ｅにより特定された差替用顔画像Ｆを、特徴情報抽出部１０６ｄにより元画像Ｐ１から抽出された顔構成部の特徴情報に基づいて変形させて、変形後の差替用顔画像Ｆの画像データを生成する。
例えば、差替用顔画像変形部１０６ｆは、元画像Ｐ１の各顔構成部を構成する画素の座標位置を変形後の目標座標位置とし、差替用顔画像Ｆの対応する各顔構成部を構成する画素の座標位置を移動させるように、当該差替用顔画像Ｆの変形、回転、拡大・縮小、傾斜、歪曲等を行う。
なお、差替用顔画像Ｆを変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。

差替画像生成部１０６ｇは、元画像Ｐ１内の顔領域Ａを差替用顔画像Ｆで差し替えた差替画像Ｐ２（図７参照）を生成する。
即ち、差替画像生成部１０６ｇは、生成手段として、特徴情報抽出部１０６ｄにより抽出された特徴情報及び画像記録部１０５に記録されている顔の特徴情報に基づいて、画像取得部１０６ａにより取得された元画像Ｐ１内の顔領域Ａの画像を、画像記録部１０５に記録されている何れか一の差替用顔画像Ｆで差し替えた差替画像Ｐ２を生成する。具体的には、差替画像生成部１０６ｇは、元画像Ｐ１内の顔領域Ａの画像を差替用顔画像変形部１０６ｆにより変形された変形後の差替用顔画像Ｆで差し替えて差替画像Ｐ２の画像データを生成する。
例えば、差替画像生成部１０６ｇは、元画像Ｐ１内の顔領域Ａの画像の所定位置（例えば、四隅等）に、変形後の差替用顔画像Ｆの所定位置に対応する位置を一致させるようにして差し替えを行う。このとき、差替画像生成部１０６ｇは、例えば、元画像Ｐ１内の顔領域Ａの顔の首から上の部分を変形後の差替用顔画像Ｆの首から上の部分で差し替えるようにしても良いし、また、元画像Ｐ１内の顔領域Ａの顔輪郭の内側部分を変形後の差替用顔画像Ｆの顔輪郭の内側部分で差し替えるようにしても良い。さらに、差替画像生成部１０６ｇは、元画像Ｐ１内の顔領域Ａの一部の顔構成部についてのみ変形後の差替用顔画像Ｆの対応する顔構成部で差し替えるようにしても良い。
また、差替画像生成部１０６ｇは、例えば、差替用顔画像Ｆの色を差替画像Ｐ２における差替用顔画像Ｆ以外の領域の色に合わせるように、即ち、差し替えられた領域と他の領域とで色の違いにより違和感を生じさせないように色調を整えても良い。

なお、差替用顔画像変形部１０６ｆにより差替用顔画像Ｆの変形が行われない場合には、差替画像生成部１０６ｇは、元画像Ｐ１内の顔領域Ａの画像を差替用顔画像特定部１０６ｅにより特定された差替用顔画像Ｆで差し替えて差替画像Ｐ２を生成しても良い。ここで、差替用顔画像Ｆで差し替える具体的な処理内容は、上記した変形後の差替用顔画像Ｆで差し替える処理と略同様であり、その説明は省略する。
つまり、撮像装置１は、必ずしも差替用顔画像変形部１０６ｆにより変形後の差替用顔画像Ｆを生成する必要はなく、当該差替用顔画像変形部１０６ｆを具備するか否かは適宜任意に変更可能である。

表示制御部１０７は、メモリ１０４に一時的に格納されている表示用の画像データを読み出して表示部１０８に表示させる制御を行う。
具体的には、表示制御部１０７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１１の制御下にてメモリ１０４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１０８に出力する。

表示部１０８は、例えば、液晶表示パネルであり、表示制御部１０７からのビデオ信号に基づいて撮像部１０１により撮像された画像などを表示画面に表示する。具体的には、表示部１０８は、静止画撮像モードや動画撮像モードにて、撮像部１０１及び撮像制御部１０２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部１０８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

無線処理部１０９は、アクセスポイントＡＰとの間で所定の無線通信を行って、通信ネットワークＮを介して接続されたサーバ２等の外部機器との情報の通信制御を行う。
即ち、無線処理部１０９は、所定の無線通信回線を介して通信する無線通信手段を構成し、例えば、通信アンテナ１０９ａを具備する無線ＬＡＮモジュール等を備えている。具体的には、無線処理部１０９は、通信アンテナ１０９ａから差替画像Ｐ２の画像データを、アクセスポイントＡＰ並びに通信ネットワークＮを介してサーバ２に送信する。

なお、無線処理部１０９は、例えば、図示しない記録媒体に内蔵された構成であっても良いし、当該装置本体に所定のインタフェース（例えば、ＵＳＢ（Universal Serial Bus）等）を介して接続された構成であっても良い。

また、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。

操作入力部１１０は、当該撮像装置１の所定操作を行うためのものである。具体的には、操作入力部１１０は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１１１に出力する。

中央制御部１１１は、撮像装置１の各部を制御するものである。具体的には、中央制御部１１１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１による画像生成処理について、図４〜図７を参照して説明する。
図４は、画像生成処理に係る動作の一例を示すフローチャートである。

画像生成処理は、ユーザによる操作入力部１１０の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から差替画像生成モードが選択指示された場合に、中央制御部１１１の制御下にて当該撮像装置１の各部、特に画像処理部１０６により実行される処理である。
また、画像生成処理の処理対象となる元画像Ｐ１の画像データが画像記録部１０５に記録されているものとする。さらに、所定数の差替用顔画像Ｆの画像データが顔の特徴情報と対応付けられて画像記録部１０５に記録されているものとする。

図４に示すように、先ず、画像記録部１０５は、画像記録部１０５に記録されている画像データの中で、ユーザによる操作入力部１１０の所定操作に基づいて指定された元画像Ｐ１（図５参照）の画像データを読み出し、画像処理部１０６の画像取得部１０６ａは、読み出された画像データを当該画像生成処理の処理対象として取得する（ステップＳ１）。

次に、顔検出部１０６ｂは、処理対象として画像取得部１０６ａにより取得された元画像Ｐ１の画像データに対して所定の顔検出処理を行って顔領域Ａを検出する（ステップＳ２）。例えば、図５に示すような元画像Ｐ１を用いる場合、４人のヒトと赤ん坊の顔領域Ａがそれぞれ検出された状態となる。
そして、画像処理部１０６は、検出された顔領域Ａの中で、ユーザによる操作入力部１１０の所定操作に基づいて選択された顔領域Ａを処理対象領域として指定する（ステップＳ３）。例えば、本実施形態では、一番奥側にいる白衣の男性の顔領域Ａ（図６（ａ）参照）を処理対象領域として指定して、以下の各処理を行うものとする。

続けて、構成部検出部１０６ｃは、元画像Ｐ１の画像データから検出された顔領域Ａに対してＡＡＭを用いた処理を行うことにより、顔輪郭並びに当該顔輪郭よりも内側に存する目、鼻、口、眉等の顔構成部（図６（ｂ）参照）を検出する（ステップＳ４）。
次に、特徴情報抽出部１０６ｄは、構成部検出部１０６ｃにより元画像Ｐ１の顔領域Ａから検出された、顔輪郭、目、鼻、口、眉等の各顔構成部の特徴情報を抽出する（ステップＳ５）。具体的には、特徴情報抽出部１０６ｄは、例えば、顔輪郭、目、鼻、口、眉等を構成する画素のＸＹ平面空間での座標位置（x, y）に係る位置情報を特徴情報として抽出する。

そして、差替用顔画像特定部１０６ｅは、画像記録部１０５の差替用顔画像テーブルＴ１に記録されている所定数の差替用顔画像Ｆの中で、特徴情報抽出部１０６ｄにより元画像Ｐ１の顔領域Ａから抽出された特徴情報に対応する差替用顔画像Ｆを特定する（ステップＳ６）。
具体的には、差替用顔画像特定部１０６ｅは、所定数の差替用顔画像Ｆの各々の特徴情報と、元画像Ｐ１の顔領域Ａから抽出された特徴情報とを比較して、差替用顔画像Ｆの各々について顔構成部どうしの一致度を算出する。そして、差替用顔画像特定部１０６ｅは、一致度が最も高くなった特徴情報と対応付けられている差替用顔画像Ｆ（例えば、差替用顔画像Ｆ２等）の画像データを特定して、画像記録部１０５から読み出して取得する。

次に、差替用顔画像変形部１０６ｆは、元画像Ｐ１の各顔構成部の特徴情報に基づいて、当該顔構成部を構成する画素の座標位置を変形後の目標座標位置とし、差替用顔画像特定部１０６ｅにより特定された差替用顔画像Ｆの対応する各顔構成部を構成する画素の座標位置を移動させるようにして差替用顔画像Ｆを変形させる（ステップＳ７）。
続けて、差替画像生成部１０６ｇは、元画像Ｐ１内の顔領域Ａの画像を差替用顔画像変形部１０６ｆにより変形された差替用顔画像Ｆで差し替えて、具体的には、元画像Ｐ１内の顔領域Ａの顔輪郭の内側部分を差替用顔画像Ｆの顔輪郭の内側部分で差し替えて、差替画像Ｐ２の画像データを生成する（ステップＳ８）。そして、画像記録部１０５は、差替画像生成部１０６ｇにより生成された差替画像Ｐ２の画像データ（ＹＵＶデータ）を取得して、記録する。

その後、無線処理部１０９は、差替画像生成部１０６ｇにより生成された差替画像Ｐ２の画像データを取得し、アクセスポイントＡＰ並びに通信ネットワークＮを介してサーバ２に送信する（ステップＳ９）。
サーバ２にあっては、送信された差替画像Ｐ２の画像データが通信処理部により受信されると、中央制御部の制御下にて、画像記録部は、当該画像データを所定の記録領域に記録する。そして、サーバ２は、インターネット上に開設されたＷｅｂページに差替画像Ｐ２をアップロードすることで、当該差替画像Ｐ２がインターネット上に公開された状態となる。
これにより、画像生成処理を終了する。

以上のように、本実施形態の撮像システム１００によれば、元画像Ｐ１内の顔から抽出された特徴情報及び画像記録部１０５に記録されている顔の特徴情報に基づいて、元画像Ｐ１内の顔領域Ａの画像を、画像記録部１０５に記録されている何れか一の差替用顔画像Ｆで差し替えた差替画像Ｐ２を生成することができる。具体的には、画像記録部１０５に記録されている顔の特徴情報に基づいて、元画像Ｐ１から抽出された特徴情報に対応する差替用顔画像Ｆを特定し、特定された顔画像で元画像Ｐ１内の顔領域Ａの画像を差し替えた差替画像Ｐ２を生成することができる。
即ち、元画像Ｐ１内の顔から抽出された特徴情報を基準として、画像記録部１０５から顔領域Ａと差し替えられる差替用顔画像Ｆを取得することができ、元画像Ｐ１内の顔領域Ａの顔が差し替え前後でかけ離れてしまうことを防止することができる。つまり、プライバシーの保護の観点から、元画像Ｐ１内の顔領域Ａ（例えば、白衣の男性の顔領域Ａ；図６（ａ）参照）の差し替えを行っても、元画像Ｐ１と差替画像Ｐ２とで差し替え前後の顔の整合性を確保することができる。
従って、元画像Ｐ１内の顔に対して、例えば、モザイク処理やぼかし処理等の各種の画像処理を直接的に施す場合に比べて、プライバシーの保護を図りつつも自然な差替画像Ｐ２を生成することができる。

また、元画像Ｐ１内の顔から主要な顔構成部を検出し、検出された顔構成部の特徴情報を抽出するので、例えば、目、鼻、口、眉、顔輪郭等の顔構成部の特徴情報を基準として、顔領域Ａと差し替えられる差替用顔画像Ｆを特定して取得することができる。特に、目、鼻、口、眉といった顔パーツは、顔の印象（例えば、喜怒哀楽の表情の表現等）に大きく影響を与えることから、差替用顔画像Ｆの特定を顔パーツを基準として行うことで、元画像Ｐ１内の顔の印象が差し替え前後で大きくかけ離れてしまうことを防止することができる。
さらに、顔構成部の特徴情報に基づいて差替用顔画像Ｆを変形させ、変形後の差替用顔画像Ｆで元画像Ｐ１の顔領域Ａの画像を差し替えるので、例えば、画像記録部１０５に元画像Ｐ１内の顔領域Ａとの類似度合いが相対的に低い差替用顔画像Ｆしか記録されていない状態であっても、元画像Ｐ１の顔領域Ａに対する類似度合いを向上させた差替用顔画像Ｆを生成することができる。これにより、差し替え前後の顔の整合性を確保することができ、より自然な差替画像Ｐ２を生成することができる。

また、元画像Ｐ１から検出された顔が含まれる顔領域Ａから特徴情報を抽出するので、特徴情報の抽出を検出された顔領域Ａから適正に、且つ、簡便に行うことができ、これにより、抽出された特徴情報を用いて、顔領域Ａと差し替えられる差替用顔画像Ｆの特定を適正に、且つ、簡便に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置１の変形例について説明する。

＜変形例１＞
変形例１の撮像装置３０１は、所定の登録手段（例えば、画像記録部１０５等）に顔を登録しておき、所定の登録手段に登録されていない顔を含む顔領域Ａが検出された場合に、当該顔領域Ａの画像を差替用顔画像Ｆで差し替えて差替画像Ｐ２を生成する。
なお、変形例１の撮像装置３０１は、以下に詳細に説明する以外の点で上記実施形態の撮像装置１と略同様の構成をなし、詳細な説明は省略する。

図８は、変形例１の撮像装置３０１の概略構成を示すブロック図である。
図８に示すように、変形例１の撮像装置３０１の画像処理部１０６は、画像取得部１０６ａ、顔検出部１０６ｂ、構成部検出部１０６ｃ、特徴情報抽出部１０６ｄ、差替用顔画像特定部１０６ｅ、差替用顔画像変形部１０６ｆ、差替画像生成部１０６ｇに加えて、判定部１０６ｈを具備している。

判定部１０６ｈは、判定手段として、顔検出部１０６ｂにより検出された顔領域Ａの顔が予め画像記録部（登録手段）１０５に登録されている顔であるか否かを判定する。
即ち、画像記録部１０５は、差替用顔画像Ｆによる差し替え対象から除外される顔領域Ａを予め登録する顔登録テーブルＴ２を記録している。この顔登録テーブルＴ２は、例えば、顔領域Ａと人物名とを対応付けて記録する構成であっても良いし、顔領域Ａのみを記録する構成であっても良い。例えば、図５に示す元画像Ｐ１の場合、顔登録テーブルＴ２に、白衣の男性の顔領域Ａ以外の３人のヒトと赤ん坊の顔領域Ａをそれぞれ登録するものとする。
そして、顔検出部１０６ｂにより元画像Ｐ１から顔領域Ａが検出されると（ステップＳ２参照）、判定部１０６ｈは、各顔領域Ａの顔が顔登録テーブルＴ２に登録されている顔であるか否かを判定する。具体的には、判定部１０６ｈは、例えば、それぞれの顔領域Ａから特徴情報を抽出して、それらの一致度を基準として、検出された各顔領域Ａの顔が登録されている顔であるか否かを判定する。

差替画像生成部１０６ｇは、顔検出部１０６ｂにより元画像Ｐ１から検出された何れかの顔領域Ａの顔が登録されている顔でないと判定部１０６ｈにより判定されると、元画像Ｐ１における当該登録されていない顔領域Ａの画像を差替用顔画像Ｆで差し替えて差替画像Ｐ２を生成する。
即ち、差替画像生成部１０６ｇは、元画像Ｐ１内における当該登録されていない顔領域Ａの画像を差替用顔画像特定部１０６ｅにより特定された差替用顔画像Ｆ（或いは、差替用顔画像変形部１０６ｆにより変形された差替用顔画像Ｆ）で差し替えて差替画像Ｐ２を生成する。

従って、変形例１の撮像装置３０１によれば、顔領域Ａの顔が予め登録されている顔でないと判定された場合に、当該顔領域Ａの画像を差替用顔画像Ｆで差し替えて差替画像Ｐ２を生成するので、差替用顔画像Ｆによる差し替え対象とならない顔領域Ａの顔、即ち、プライバシーを保護する必要性の低い顔を登録しておくことで、元画像Ｐ１から検出される顔領域Ａの中で、差替用顔画像Ｆによる差し替え対象となる顔領域Ａの特定を自動的に行うことができる。

また、上記実施形態及び変形例１にあっては、画像記録部１０５の差替用顔画像テーブルＴ１に、例えば、性別や年代や人種等を基準とする各グループを代表する代表差替用顔画像（図示略）を用意しておき、当該代表差替用顔画像を用いて元画像Ｐ１の顔領域Ａの差し替えを行うようにしても良い。同様に、画像記録部１０５の差替用顔画像テーブルＴ１に記録されている複数の差替用顔画像Ｆ、…を、例えば、性別や年代や人種等を基準としてグループ分けし、各グループを代表する平均的な代表差替用顔画像を生成し、当該代表差替用顔画像を用いて元画像Ｐ１の顔領域Ａの差し替えを行っても良い。
即ち、元画像Ｐ１から検出された顔領域Ａの顔の性別や年代や人種等を特定する処理を行って、特定された性別や年代や人種に対応する代表差替用顔画像で当該元画像Ｐ１の顔領域Ａを差し替えて差替画像Ｐ２を生成することができる。
なお、元画像Ｐ１の顔領域Ａの性別や年代や人種については、例えば、ＡＡＭの処理に用いられる基準モデルを性別や年代や人種毎に用意しておき、元画像Ｐ１の顔領域Ａと最も一致度が高くなった基準モデルを利用して、性別や年代や人種を特定するようにしても良い。

さらに、上記実施形態及び変形例１では、構成部検出部１０６ｃにより元画像Ｐ１内の顔から検出された主要な顔構成部の特徴情報を抽出するようにしたが、構成部検出部１０６ｃを具備するか否かは適宜任意に変更可能であり、元画像Ｐ１内の顔から特徴情報を直接抽出する構成であっても良い。

また、上記実施形態及び変形例１では、差替用顔画像Ｆで差し替えられる顔領域Ａを顔検出部１０６ｂにより検出するようにしたが、顔検出処理を施す顔検出部１０６ｂを具備するか否かは適宜任意に変更可能である。
さらに、差替用顔画像Ｆの生成元となる画像や元画像Ｐ１の顔領域Ａの画像は、必ずしも正面顔を表した画像である必要はなく、例えば、斜めを向くように顔が傾いた画像の場合には、当該顔が正面を向くように変形させた画像を生成して、画像生成処理に用いても良い。

さらに、撮像装置１（３０１）の構成は、上記実施形態及び変形例１に例示したものは一例であり、これに限られるものではない。また、画像生成装置として、撮像装置１を例示したが、これに限られるものではなく、本発明に係る画像生成処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態及び変形例１にあっては、取得手段、抽出手段、生成手段としての機能を、中央制御部１１１の制御下にて、画像取得部１０６ａ、特徴情報抽出部１０６ｄ、差替画像生成部１０６ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１１によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、抽出処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１１１のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部１１１のＣＰＵを、取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部１１１のＣＰＵを、抽出手段により抽出された特徴情報及び記録手段に記録されている顔の特徴情報に基づいて、取得手段により取得された画像内の顔領域Ａの画像を、記録手段に記録されている何れか一の顔画像で差し替えた差替画像Ｐ２を生成する生成手段として機能させるようにしても良い。

同様に、構成部検出手段、変形手段、特定手段、顔検出手段、判定手段についても、中央制御部１１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
少なくとも一の顔画像と各顔の特徴情報とを対応付けて記録する記録手段と、
画像を取得する取得手段と、
前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている顔の特徴情報に基づいて、前記取得手段により取得された画像内の顔領域の画像を、前記記録手段に記録されている何れか一の顔画像で差し替えた差替画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。
＜請求項２＞
前記取得手段により取得された画像内の顔から主要な顔構成部を検出する構成部検出手段を更に備え、
前記抽出手段は、前記構成部検出手段により検出された顔構成部の特徴情報を抽出することを特徴とする請求項１に記載の画像生成装置。
＜請求項３＞
前記抽出手段により抽出された顔構成部の特徴情報に基づいて、前記記録手段に記録されている顔画像を変形させる変形手段を更に備え、
前記生成手段は、前記顔領域の画像を前記変形手段により変形された顔画像で差し替えて前記差替画像を生成することを特徴とする請求項２に記載の画像生成装置。
＜請求項４＞
前記記録手段に記録されている顔の特徴情報に基づいて、前記抽出手段により抽出された特徴情報に対応する顔画像を特定する特定手段を更に備え、
前記生成手段は、前記顔領域の画像を前記特定手段により特定された顔画像で差し替えて前記差替画像を生成することを特徴とする請求項１〜３の何れか一項に記載の画像生成装置。
＜請求項５＞
前記取得手段により取得された画像から顔が含まれる顔領域を検出する顔検出手段を更に備え、
前記抽出手段は、前記顔検出手段により検出された顔領域から特徴情報を抽出することを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
＜請求項６＞
前記顔検出手段により検出された顔領域の顔が予め登録手段に登録されている顔であるか否かを判定する判定手段を更に備え、
前記生成手段は、前記判定手段により顔領域の顔が予め登録されている顔でないと判定された場合に、当該顔領域の画像を前記何れか一の顔画像で差し替えて前記差替画像を生成することを特徴とする請求項５に記載の画像生成装置。
＜請求項７＞
少なくとも一の顔画像と各顔の特徴情報とを対応付けて記録する記録手段を備える画像生成装置を用いた画像生成方法であって、
画像を取得する処理と、
取得された画像内の顔から特徴情報を抽出する処理と、
抽出された特徴情報及び前記記録手段に記録されている顔の特徴情報に基づいて、取得された画像内の顔領域の画像を、前記記録手段に記録されている何れか一の顔画像で差し替えた差替画像を生成する処理と、
を含むことを特徴とする画像生成方法。
＜請求項８＞
少なくとも一の顔画像と各顔の特徴情報とを対応付けて記録する記録手段を備える画像生成装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段、
前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている顔の特徴情報に基づいて、前記取得手段により取得された画像内の顔領域の画像を、前記記録手段に記録されている何れか一の顔画像で差し替えた差替画像を生成する生成手段、
として機能させることを特徴とするプログラム。

１、３０１ 撮像装置
１０５ 画像記録部
１０６ 画像処理部
１０６ａ 画像取得部
１０６ｂ 顔検出部
１０６ｃ 構成部検出部
１０６ｄ 特徴情報抽出部
１０６ｅ 差替用顔画像特定部
１０６ｆ 差替用顔画像変形部
１０６ｇ 差替画像生成部
１０６ｈ 判定部
１１１ 中央制御部
Ｔ１ 差替用顔画像テーブル
Ｔ２ 顔登録テーブル

Claims (8)

1. 少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段と、
   画像を取得する取得手段と、
   前記取得手段により取得された画像内の顔画像から特徴情報を抽出する抽出手段と、
   前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、前記取得手段により取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする変形手段と、
   前記取得手段により取得された顔画像を、前記変形手段により変形された前記差替用顔画像で差し替えた差替画像を生成する生成手段と、
   を備える、
   ことを特徴とする画像生成装置。
2. 前記取得手段により取得された画像内の顔画像から前記主要な顔構成部を検出する構成部検出手段を更に備え、
   前記抽出手段は、前記構成部検出手段により検出された前記主要な顔構成部の特徴情報を抽出することを特徴とする請求項１に記載の画像生成装置。
3. 前記変形手段は、前記構成部検出手段により検出された前記主要な顔構成部を構成する画素の座標位置を変形後の目標座標位置として、前記記録手段に記録されている前記何れか一の顔画像の対応する各顔構成部を構成する画素の座標位置を移動させるように、前記何れか一の顔画像を変形させて前記差替用顔画像とすることを特徴とする請求項２に記載の画像生成装置。
4. 前記記録手段に記録されている特徴情報に基づいて、前記抽出手段により抽出された特徴情報に対応する、前記記録手段に記録されている顔画像を特定する特定手段を更に備え、
   前記変形手段は、前記特定手段により特定された顔画像を変形させて前記差替用顔画像とする、
   ことを特徴とする請求項１〜３の何れか一項に記載の画像生成装置。
5. 前記取得手段により取得された画像から顔画像を検出する顔検出手段を更に備え、
   前記抽出手段は、前記顔検出手段により検出された顔画像から特徴情報を抽出する、
   ことを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
6. 前記顔検出手段により検出された顔画像が予め登録手段に登録されている顔画像であるか否かを判定する判定手段を更に備え、
   前記生成手段は、前記判定手段により、前記顔検出手段により検出された顔画像が予め前記登録手段に登録されている顔画像でないと判定された場合に、前記顔検出手段により検出された顔画像を前記差替用顔画像で差し替えて前記差替画像を生成する、
   ことを特徴とする請求項５に記載の画像生成装置。
7. 少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段を備える画像生成装置を用いた画像生成方法であって、
   画像を取得する処理と、
   取得された画像内の顔画像から特徴情報を抽出する処理と、
   抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする処理と、
   取得された顔画像を、前記差替用顔画像で差し替えた差替画像を生成する処理と、
   を含む、
   ことを特徴とする画像生成方法。
8. 少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段を備える画像生成装置のコンピュータを、
   画像を取得する取得手段、
   前記取得手段により取得された画像内の顔画像から特徴情報を抽出する抽出手段、
   前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、前記取得手段により取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする変形手段、
   前記取得手段により取得された顔画像を、前記変形手段により変形された前記差替用顔画像で差し替えた差替画像を生成する生成手段、
   として機能させる、
   ことを特徴とするプログラム。

Images