JP7110657B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラ等で撮影され、記録された画像について、その画像に含まれる人物の顔に、ほくろ等の除去、美白処理など顔に対する補正処理を施すことが普及している（例えば、特許文献１）。

特開平１１－７３４９８号公報

しかしながら、上記の顔に対する補正処理を、複数撮像された画像に対して画像毎に処理を施すには、処理負荷が大きい問題があった。

本発明は、複数撮像された画像への顔に対する補正処理の負荷を軽減する画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

本発明の目的を達成するため、本発明に係る画像処理装置は、
顔画像を逐次取得する画像取得手段と、
前記画像取得手段によって取得された第１の画像と前記第１の画像の取得後に取得された第２の画像とについて、前記顔画像の顔領域内の特徴点を検出し、該特徴点の位置を検出する特徴点位置検出手段と、
前記画像取得手段によって取得された前記第１の画像について、前記顔画像の顔領域内のオブジェクトを検出し、該オブジェクトの位置を特定するオブジェクト位置特定手段と、
前記特徴点位置検出手段により検出された前記第１の画像の前記特徴点の位置と前記第２の画像の前記特徴点の位置とを比較する比較手段と、
前記比較手段による比較結果と前記オブジェクト位置特定手段によって特定された前記第１の画像の前記オブジェクトの位置とに基づいて前記第２の画像の前記オブジェクトの位置を特定するための情報を生成する情報生成手段と、
前記情報生成手段によって生成された前記第２の画像の前記オブジェクトの位置を特定するための情報に基づいて特定された、前記第２の画像の前記オブジェクトの位置の画素値を書き換える書換手段と、
を備えることを特徴とする。

本発明によれば、複数撮像された画像への顔に対する補正処理の負荷を軽減する画像処理装置、画像処理方法およびプログラムを提供することができる。

本発明の実施の形態１に係るデジタルカメラの外観背面図である。 デジタルカメラの構成を示すブロック図である。 画像処理部の構成を示すブロック図である。 デジタルカメラで撮影された人の顔のオブジェクトを示す図である。 デジタルカメラで撮影された人の顔のオブジェクトの画素値を示す図であり、（ａ）は領域Ａの画素値、（ｂ）は領域Ｂの画素値、（ｃ）は領域Ｃの画素値を示す。 デジタルカメラで撮影された画像のオブジェクトと特徴点の位置を示す図である。 各オブジェクトの第１の画像での位置を示すテーブルを示す図である。 第１の画像から第ｎの画像までの、特徴点とオブジェクトの位置の変化を示す図であり、（ａ）は第１の画像、（ｂ）は第２の画像、（ｃ）は第３の画像、（ｄ）は第ｎの画像のそれぞれの変化を示す。 各特徴点の第１の画像から第ｎの画像までの位置の変化を示すテーブルを示す図である。 撮影処理のフローチャートを示す図である。 撮影処理のフローチャートを示す図である。 本発明の実施の形態２に係るデジタルカメラの撮影処理のフローチャートを示す図である。 デジタルカメラの撮影画像を示す図である。 複数のユーザの個人データを示すテーブルを示す図である。

以下、本発明について図面を参照して具体的な実施の態様を説明する。本発明である画像処理装置は、撮像された顔画像に、人物等の顔を補正する補正処理を施す機能を備える撮像装置に用いられる。撮像装置は、美肌モードと化粧モードの２つのモードを備える。美肌モードは、ほくろ、しみ、しわ、肌荒れ等を除去するモードであり、化粧モードは、瞳にキャッチライトを付加する、または唇の明るさや色を調整するいわゆるグロスを唇に付与するモードである。以下の実施の形態では、美肌モードと化粧モードの双方のモードを備える撮像装置について説明する。

（実施の形態１）
図１は、本発明の一実施の形態の撮像装置の一例であるデジタルカメラ１の背面図である。デジタルカメラ１は、カメラ本体２と、カメラ本体２の上部に配設された電源スイッチ３と、カメラ本体２の上部の電源スイッチ３に隣接して配設されたレリーズスイッチ４と、カメラ本体２の背面に配設されたモード設定キー５と、撮影モードと再生モードを切り替える再生キー６と、画像を表示する液晶画面７とを備える。レリーズスイッチ４は、例えば、二段階式の押下ボタンであり、半押しされると露出と焦点を固定し、全押しされると画像をキャプチャーするスイッチである。図示はしないが、カメラ本体２の前面には、フラッシュや撮影レンズが配設されている。

デジタルカメラ１において、電源スイッチ３を押して電源を投入すると、デジタルカメラ１は、撮影可能な状態（撮影モード）となる。撮影モードでは、撮影レンズを通して入射する被写体像が１フレーム（例えば１／３０秒）毎に出力され、被写体像が、スルー画像として連続して液晶画面７に表示される。ユーザは、スルー画像を見ながら、レリーズスイッチ４を押して、画像をキャプチャー画像として固定して撮影する。

図２は、デジタルカメラ１の概略構成示す図である。図２に示すように、デジタルカメラ１は、撮影レンズ１０、撮像素子２０、撮像処理部３０、画像処理部４０、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０、フラッシュメモリ６０、画像表示部７０、操作入力部８０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０を備える。

撮影レンズ１０は、図示しない複数のレンズから構成され、ズームレンズやフォーカスレンズを備える。撮影レンズ１０には、図示しないレンズ駆動回路が接続され、撮影レンズ１０を光軸方向に沿って駆動させる。

撮像素子２０は、具体的には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）から構成され、撮影レンズ１０の各レンズを通過した被写体像を二次元の画像信号に変換する。

撮像処理部３０は、図示しないタイミング発生器、垂直ドライバ、水平ドライバを備え、タイミング発生器、垂直ドライバ、水平ドライバにより撮像素子２０を駆動させ、所定の周期毎に被写体像を撮像素子２０により二次元の画像信号に変換させ、撮像素子２０の撮像領域から１画面分ずつ画像フレームを読み出して画像処理部４０に出力する。

画像処理部４０は、撮像素子２０から転送されたフレーム画像のアナログデータをデジタルデータに変換する処理、ホワイトバランスを調整する処理、カラープロセス処理等をおこなって、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成する。

ＤＲＡＭ５０は、撮像処理部３０から出力される画像データや画像処理部４０による画像処理中のデータを一時的に記録する。

フラッシュメモリ６０は、例えば、電気的に書き換えが可能な不揮発性メモリであり、デジタルカメラ１を動作させ、デジタルカメラ１の機能を実現するためのプログラム、カメラプログラムが実行中に使用されるデータ等が予め記録されている。

画像表示部７０は、表示処理部７０ａと、表示部７０ｂとを備える。表示処理部７０ａは、ＤＲＡＭ５０に一時的に記録されている表示用データを読み出し、表示部７０ｂに表示する制御を行う。具体的は、表示処理部７０ａは、ＣＰＵ９０の制御のもと、ＤＲＡＭ５０から輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを読み出し、図示しないＶＲＡＭに記憶し、ＶＲＡＭから定期的に読み出して、ビデオ信号を表示部７０ｂに出力する。

表示部７０ｂは、表示処理部７０ａからのビデオ信号に基づいて、撮像素子２０により撮像された画像を表示画面である液晶画面７に表示する。撮影モードにあるときは、画像処理部４０によって周期的に作成されるスルー画像を表示し、記録画像の再生時には、フラッシュメモリから読み出され、伸長されたキャプチャー画像を表示する。

操作入力部８０は、撮影指示、再生指示、電源投入指示、電源遮断指示というデジタルカメラの動作指示、撮影モードや再生モードというデジタルカメラの動作モードに関する設定操作、撮影条件の設定操作など、ユーザによる各種操作を入力するためのものであり、操作入力に応じた操作信号をＣＰＵ９０に出力する。操作入力部８０には、各種機能が割り当てられ、図１の電源スイッチ３、レリーズスイッチ４、モード設定キー５、再生キー６等で実現される。

ＣＰＵ９０は、操作入力部８０からの入力を受け付け、フラッシュメモリ６０に記憶されたプログラムに従ってデジタルカメラ１の全体の処理を制御する。

画像処理部４０の機能ブロック図を、図３に示す。画像処理部４０は、画像受信部４０１、顔検出部４０２、特徴点検出部４０３、代表画素値決定部４０４、第１のオブジェクト位置特定部４０５、移動量算出部４０６、第２のオブジェクト位置特定部４０７、領域調整部４０８、画素値書換部４０９、スルー画像作成部４１０、第１のキャプチャー画像作成部４１１、第２のキャプチャー画像作成部４１２、及び切換部４１３を備える。

画像受信部４０１は、撮像処理部３０から、第１の画像から第ｎの画像（ｎは正の整数）までの画像を受信する。本実施の形態において、第１の画像とは、第２の画像から第ｎの画像におけるオブジェクトの位置を特定するための基準となる画像をいう。第１の画像は、第２の画像から第ｎの画像までのオブジェクトの位置を特定するための、後述する代表画素値の決定、代表画素値に基づいてオブジェクトの位置を特定する処理が行われる画像である。第２の画像から第ｎの画像に対しては、代表画素値の決定、オブジェクトの位置を特定する処理をしない。また、画像受信部４０１と撮像処理部３０で画像取得手段を形成する。

顔検出部４０２は、画像受信部４０１により受信された第１の画像から第ｎの画像に、顔領域があるか否かを検出する。具体的には、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳、顔の輪郭等の特徴データ）と受信された画像データを比較照合することにより、所定値以上の顔の特徴データと一致する領域を顔領域であると検出する。また、各画像から特徴点を抽出し、特徴点に基づいて顔領域を検出してもよい。特徴点の検出は、例えば、Ｈａｒｒｉｓのコーナー検出アルゴリズムを用いたり、ＡＡＡ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｃｅ Ｍｏｄｅｌ）を用いたりする処理により、実現される。顔検出部４０２により顔検出手段を形成する。

特徴点検出部４０３は、顔領域内の特徴点を検出する。特徴点は、人の固有の構成要素である目、鼻、口、顔の輪郭、若しくはその他の顔領域内において特徴点を検出可能な構成要素である。顔検出部４０２により顔領域を検出したときに特徴点を用いた場合には、この時に利用した特徴点を用いて、顔領域内の特徴点としてもよい。

検出された特徴点は、図６に示すように、ＸＹ座標において位置を特定される。具体的には、左目の中心点を第１の特徴点の位置とし（Ｘ_１、Ｙ_１）として、右目の中心点を第２の特徴点の位置とし（Ｘ_２、Ｙ_２）として、鼻の頭を第３の特徴点の位置とし（Ｘ_３、Ｙ_３）として、口の中心点を第４の特徴点の位置とし（Ｘ_４、Ｙ_４）として特定される。この特徴点の位置の値は、図９に示すテーブルに保存される。

代表画素値決定部４０４は、ユーザにより美肌モードが選択された場合には、顔領域の画素値を測定して、代表画素値を決定する。本実施の形態では、具体的には、第１の画像の顔領域の中にサンプリング領域を設定し、サンプリング領域内の画素値をサンプリングする。サンプリング領域として、鼻筋や頬の部分など、影が生じにくく、目や鼻孔など肌色以外の部分が含まれない領域を指定する。そして、検出した顔の肌色を示す画素の代表画素値を決定する。サンプリング領域の形状は、矩形、円形、又は多角形などサンプリングする顔の位置に応じて決定する。本実施の形態では、顔の鼻筋にサンプリング領域を指定する。サンプリング領域は１６×１６ピクセルの領域に、２５６個のサンプリング点を、画素と重なるように配置する。

そして、サンプリング点が配置された画素のそれぞれについて、Ｙ成分、Ｃｂ成分、Ｃｒ成分を取得し、それぞれの値のヒストグラムを生成する。生成された３つのヒストグラムについて、平均値μを算出し、３つの値が平均値μを中心とする所定の範囲に属する画素のみを抽出し、サンプリング画素とする。例えば、２σ法を用いて、（σは標準偏差）、±２σの範囲に存在する画素をサンプリング画素とする。さらに、サンプリング画素のＹ成分（輝度成分）、Ｃｂ成分（色差成分）、Ｃｒ成分（色差成分）の各平均値を用いて代表画素値を決定する。

化粧モードが選択された場合には、あらかじめフラッシュメモリ６０に記憶された化粧の程度に応じて代表画素値が決定される。化粧モードは、化粧をする顔の部位をユーザに選択させることで実行される。例えば、化粧をする部位として唇が選択された場合には、リップグロス処理が施される。そして、リップグロス処理として、輝度の相違する化粧の程度が選択できるようになっており、ユーザが選択した化粧の程度に応じて代表画素値が決定される。

第１のオブジェクト位置特定部４０５は、決定された代表画素値に基づいて、第１の画像の顔領域内の画素の画素値と代表画素値とを比較して、代表画素値との差が所定値以上である画素値を有する画素から構成されるオブジェクトを検出する。ここで、オブジェクトとは、ほくろ、しみ、皺、肌荒れなど美肌モードの処理対象となるもの、又は唇、目など化粧モードの対象となるものである。

具体的には、顔領域内を所定の格子状の複数の分割領域に分割し、分割領域毎に画素の代表値を決定する。１つの分割領域は、ｉ×ｊ個の画素で定められ（ｉ＝ｊ）、例えば６×６の画素で定められる領域を分割領域とする。各々の分割領域毎に画素値の平均値、最頻値、又は重心値を求め、その値を分割領域の画素の代表値（以下、「領域画素値」という。）とする。そして、顔領域の代表画素値と、各分割領域の領域画素値とを比較して、画素値の差異が所定の閾値以上であるかを判断する。

美肌モードが選択された場合には、肌の領域の領域画素値と代表画素値とを比較し、化粧モードが選択された場合には、化粧を施す領域、例えば目や唇を含む領域の領域画素値と代表画素値とを比較する。

顔領域の代表画素値と、領域画素値と、所定の閾値の関係は以下の式１により示される。
｜Ｌｉ－Ｌｒ｜≧Ｌｔｈ（式１）
ここで、Ｌｒは顔領域の代表画素値、Ｌｉは領域画素値、Ｌｔｈは所定の閾値である。この式を満たす領域画素値を有する画素から構成される領域を、オブジェクトの領域と特定する。

オブジェクトの位置を特定する方法を、美肌モードを例に具体的に説明する。代表画素値の値が２００、閾値が７０であった場合、閾値７０以上の画素値である画素が配置された領域をオブジェクトの領域と特定する。式１から｜Ｌｉ－２００｜≧７０となり、この式を満足するＬｉの値の画素値を示す画素を特定する。

図４に、撮影された顔に第１のオブジェクト４１、第２のオブジェクト４２、第３のオブジェクト４３がある画像の例を示す。第１のオブジェクト４１は顔領域の領域Ａにあり、第２のオブジェクト４２は顔領域の領域Ｂにあり、第３のオブジェクト４３は顔領域の領域Ｃにある。それぞれの領域の拡大図も合わせて示す。

領域Ａ、領域Ｂ、領域Ｃを構成する画素の画素値を、図５（ａ）～（ｃ）に示す。ここで示す画素値は、輝度Ｙである。画素値として、他の色要素の値を併用してもよい。式１を満たす領域を、図５（ａ）～（ｃ）の太線で囲われた領域として示す。図５（ａ）の太線で囲われた領域が第１のオブジェクト４１、図５（ｂ）の太線で囲われた領域が第２のオブジェクト４２、図５（ｃ）の太線で囲われた領域が第３のオブジェクト４３である。

第１のオブジェクト位置特定部４０５は、第１のオブジェクト４１、第２のオブジェクト４２、第３のオブジェクト４３の各々の中心の画素の位置を、オブジェクトの位置と定める。図６に示すように、ＸＹ座標系で、第１のオブジェクト４１の位置を（Ｘｂ１、Ｙｂ１）、第２のオブジェクト４２の位置を（Ｘｂ２、Ｙｂ２）、第３のオブジェクト４３の位置を（Ｘｂ３、Ｙｂ３）、と定め、図７に示すテーブルに保存される。

化粧モードが選択された場合には、唇等のオブジェクトの位置は、顔検出部４０２により顔領域を検出したときのデータを使用して決定してもよい。

移動量算出部４０６は、第１の画像の特徴点の位置と、第２の画像から第ｎの画像までの特徴点の位置に基づき、第１の画像と、第２の画像から第ｎの画像の各々の画像までの移動量を算出する。移動量算出部４０６は、特徴点検出部４０３により検出された複数の特徴点の各々について、第１の画像の特徴点の位置から第ｎの画像までの特徴点の位置を検出する。

移動量の算出方法について、任意の特徴点の移動を例に、図８を参照して説明する。図中、黒丸は特徴点を示し、複数の画素で示した領域はオブジェクトの領域である。特徴点は、ＸＹ座標において、第１の画像８０１では、図８（ａ）に示すように、第１の位置（Ｘｒ－１、Ｙｒ－１）にある。移動量算出部４０６は、特徴点が、第２の画像８０２では、図８（ｂ）に示すように第２の位置（Ｘｒ－２、Ｙｒ－２）に、第３の画像８０３では、図８（ｃ）に示すように第３の位置（Ｘｒ－３、Ｙｒ－３）に、第ｎの画像８０４では、図８（ｄ）に示すように第ｎの位置（Ｘｒ－ｎ、Ｙｒ－ｎ）にあることを検出する。これらの座標位置に基づいて、第１の画像と、第２の画像から第ｎの画像の各々の画像の第１の特徴点の移動量を算出する。すなわち、特徴点の第１の画像から第２の画像への移動量は、（（Ｘｒ－１）－（Ｘｒ－２），（Ｙｒ－１）－（Ｙｒ－２））であり、（Δｘ１，Δｙ１）として求められる。同様にして、第１の画像と第３の画像との間の特徴点の移動量を、（Δｘ２，Δｙ２）と求める。移動量の算出は、第１の画像の特徴点の位置と、各画像の特徴点の位置とに基づいて算出してもよいし、各画像間における移動量を積算して、第１の画像の特徴点から各画像への移動量を算出してもよい。

上述した移動量の求め方を、移動量算出部４０６は、第１の特徴点から第４の特徴点のそれぞれの特徴点について実行し、特徴点毎の第１の画像から第ｎの画像までの位置を求めて、図９に示すテーブルに保存する。そして、図９に示すテーブルの位置データを用いて、第１の特徴点から第４の特徴点の移動量を算出する。

移動量は、複数の特徴点を検出して各特徴点の移動を追跡して求めてもよいし、１つの特徴点を検出して移動を追跡して求めてもよい。１つの特徴点の移動を追跡する場合には、２以上の特徴点を追跡するより処理は軽い。一方、２つ以上の特徴点を追跡する場合には、顔の向きや傾きを考慮して、オブジェクトを特定することができる。また、移動量を算出するときに、基準となるフレームを定め、基準となるフレームから次のフレームまでの動きをベクトルとして表現する動きベクトルの情報を求めて利用してもよい。

第２のオブジェクト位置特定部４０７は、第１の画像のオブジェクトの位置と、第１の画像と前記第２の画像から第ｎの画像の各々の画像との間の特徴点の移動量と、に基づき、第２の画像から第ｎ画像の各々の画像におけるオブジェクトの位置を特定する。

具体的には、第１のオブジェクト４１、第２のオブジェクト４２、及び第３のオブジェクト４３の、第２の画像から第ｎの画像の位置を、特徴点の移動量に基づいて特定する。例えば、第１のオブジェクト４１の第２の画像における位置を、第１の特徴点の移動量（Δｘ１，Δｙ１）に基づいて特定する。

また、第１の画像において、特徴点とオブジェクトの位置関係を紐づけることにより、移動後のオブジェクトの位置を正確に特定することができる。図８（ａ）に示すように、特徴点とオブジェクトの間の距離のｄを算出して、オブジェクトと特徴点の位置を紐付けることができる。例えば、顔の輪郭の一つの特徴点の位置と、オブジェクトであるほくろの位置との間の距離を算出し、この距離を考慮して、第２の画像以降の画像におけるオブジェクトの位置を特定することができる。

画素値書換部４０９は、第１の画像から第ｎの画像までのオブジェクトの画素の画素値を、代表画素値で書き換える。例えば、第１の画像から第ｎの画像までの第１のオブジェクト４１の画素値を代表画素値である２００で書き換える。画素値の書き換えは、第１のオブジェクト４１を構成する各画素の画素値を個別に書き換えてもよいし、第１のオブジェクト４１を構成するオブジェクトの領域を代表画素値とした部分画像を作成し、この部分画像を元の画像に合成してもよい。

画素値書換部４０９は、移動量算出部４０６により算出された移動量が第１の所定の移動量以下の場合には、オブジェクトを構成する画素の画素値の書き換え処理を行わない。例えば、第１の画像から第２の画像におけるオブジェクトの移動量がゼロ、また表示画像内で移動が認識されない程度の移動量の場合には、移動先のオブジェクトの画素の画素値の書き換えは行わない。したがって、第１の画像のオブジェクトを構成する画素を代表画素値で書き換えた場合において、第１の画像から第２の画像におけるオブジェクトの移動がない場合には、第２の画像のオブジェクトは、第１の画像で既に代表画素値に書き換えた画像を利用することができる。したがって、処理の負担を軽減することができる。また、移動量算出部４０６により算出された移動量が第２の所定の移動量以上の場合には、画像受信部４０１により第１の画像が受信される。例えば、移動量が大きすぎる場合には、オブジェクトの追跡が困難であるため、第１の画像を受信する処理に戻る。

領域調整部４０８は、画素値書換部４０９により書き換えられるオブジェクトの領域を調整する。オブジェクト領域と同一領域に配置された画素のみを書き換えると、スルー画像またはキャップチャー画像において、書き換えた画素と隣接する画素との間に画素値の差がある場合には、不自然な見え方となる場合がある。

書き換えた画素と隣接する画素との間の画素値の差により不自然な見え方を解消するために、例えば、第１のオブジェクト位置特定部４０５によりオブジェクトの位置を特定するときに検索したデータに基づき、特定したオブジェクトの周囲の画素の画素値を記憶して、周囲の画素値と代表画素値とが所定以上の差異があるときには、画素値を書き換える領域をオブジェクトの領域より広く設定する。

例えば、ほくろのオブジェクトの画素値を代表画素値に書き換える場合において、ほくろの周囲の画素値と代表画素値との間の画素値に所定の差異がある場合には、書き換えた部分が浮き立って表示されることになる。したがって、ほくろの周囲の画素値と代表画素値との画素値の差が徐々に変化するように、書き換える画素値の領域を、オブジェクトの領域より広げるように調整して、代表画素値オブジェクトの領域より外側に向かって徐々に変化してほくろの周囲の画素値となるようにする。

また、領域調整部４０８は、ユーザの意図を反映して書き換える画素の範囲をオブジェクトの領域より大きく又は小さくすることもできる。書換える画素の範囲を定めるには、書換える領域を選択する、図示しない選択部を設けて、ユーザに画素を書換える領域範囲を決定させる。領域調整部４０８は、選択部から受信したユーザの選択信号に応じて、書き換える画素の範囲を決定する。例えば、グロス処理を施す場合、グロス処理を施す唇の範囲をユーザにより選択させ、画素値書換部４０９により、選択された唇の範囲の画素値を代表画素値に書き換える。

スルー画像作成部４１０は、第１の画像から第ｎの画像までのオブジェクトの画素値を代表画素値で書き換えたスルー画像を作成する。作成されたスルー画像は、ＤＲＡＭ５０に一時的に記録されるとともに、表示部７０ｂにより液晶画面７に連続的に表示される。スルー画像は、撮像素子２０に結像されている被写体像の画像データを、間引きして読み出されて作成される。スルー画像は、所定のフレームレート（ここでは３０ｆｐｓ）で更新され、連続して表示される動画として表示される。

なお、特徴点検出部４０３、代表画素値決定部４０４、第１のオブジェクト位置特定部４０５、第２のオブジェクト位置特定部４０７により補正情報生成手段を形成する。また、第１のオブジェクト位置特定部４０５、第２のオブジェクト位置特定部４０７によりオブジェクト検出手段を形成する。特徴点検出部４０３は特徴点検出手段に対応し、代表画素値決定部４０４が代表画素値決定手段に対応する。

領域調整部４０８、画素値書換部４０９、移動量算出部４０６により加工手段を形成する。また、移動量算出部４０６は移動量算出手段に対応し、比較手段を含む。画素値書換部４０９、スルー画像作成部４１０、領域調整部４０８が、オブジェクト加工手段を形成する。画素値書換部４０９が、画素値書換手段に対応する。

第１のキャプチャー画像作成部４１１は、ユーザがレリーズスイッチ４を押したことにより撮影画像を取得し、第１のキャプチャー画像を作成する。具体的には、画像受信部４０１により、撮影画像を受信し、顔検出部４０２により撮影画像の顔領域を検出し、特徴点検出部４０３により顔領域の特徴点を検出し、代表画素値決定部４０４により顔領域の代表画素値を決定し、第１のオブジェクト位置特定部４０５により撮影画像のオブジェクトの位置を特定する。そして第１のキャプチャー画像作成部４１１は、第２画像以降の画像のオブジェクト領域の画素値を代表画素値で書き換えられたキャプチャー画像を作成する。第１のキャプチャー画像作成部４１１が第１のキャプチャー画像作成手段に対応する。

第２のキャプチャー画像作成部４１２は、ユーザがレリーズスイッチ４を押したことにより撮影画像を取得し、第２のキャプチャー画像を作成する。具体的には、画像受信部４０１により撮影画像を受信し、受信した撮影画像に、レリーズスイッチ４を押したときに受信した画像から作成されたスルー画像に用いられた代表画素値、オブジェクトの位置に基づいて、オブジェクトの領域の画素の画素値を代表画素値で書き換える。第２のキャプチャー画像作成部４１１が第２のキャプチャー画像作成手段４１２に対応する。

切換部４１３は、画像受信部４０１、顔検出部４０２、特徴点検出部４０３、代表画素値決定部４０４、第１のオブジェクト位置特定部４０５、及び第２のオブジェクト位置特定部４０７によりスルー画像を作成するときの処理負荷に応じて、第１のキャプチャー画像作成部４１１と、第２のキャプチャー画像作成部４１２の実行処理を切り換える。具体的には、スルー画像を作成するときの処理負荷が重い場合には、第２のキャプチャー画像作成部４１２を実行されるように切換え、スルー画像を作成するときの処理が軽い場合には、第１のキャプチャー画像作成部４１１が実行されるように切り換える。切換部４１３が、切換手段に対応する。

次に、デジタルカメラ１において、美肌モードが選択された場合の動作を、図１０のフローチャートに従って説明する。

デジタルカメラ１の電源スイッチ３が押されると撮影モードとなり、撮像素子２０及び撮像処理部３０を介してフレーム画像が連続して取得される。ユーザによりモード設定キー５が操作され、美肌モードが選択される。連続して取得されたフレーム画像の信号は、画像処理部４０の画像受信部４０１により受信される。（ステップＳ１０１）。第１の画像の信号が受信されると、顔検出部４０２は、第１の画像中の顔領域を検出する（ステップＳ１０２）。特徴点検出部４０３が検出された顔領域から口、鼻、目などの特徴点を抽出する（ステップＳ１０３）。

次に、代表画素値決定部４０４は、第１の画像の顔領域の画素の代表画素値をサンプリング画素から求める（ステップＳ１０４）。そして、第１のオブジェクト位置特定部４０５は、第１の画像のオブジェクトの領域を特定し、オブジェクトの位置を特定する（ステップＳ１０５）。画素値書換部４０９は、オブジェクトの領域の画素の画素値を代表画素値で書き換え、（ステップＳ１０６）、スルー画像作成部４１０は、第１の画像のスルー画像を作成する（ステップＳ１０７）。

次に、画像受信部４０１は、第２の画像を受信し（ステップＳ１０９）、顔検出部４０２が第２の画像の顔領域を検出する（ステップＳ１１０）。特徴点検出部４０３は、第２の画像の特徴点を検出し（ステップＳ１１１）、移動量算出部４０６が第１の画像から第２の画像での特徴点の移動量を算出する（ステップＳ１１２）。移動量が大きすぎるか否かを移動量が第２の所定値以上であるか否かで判断し（ステップＳ１１３）、第２の所定値以上でなければ（ステップＳ１１３：ＮＯ）、第２のオブジェクト位置特定部４０７が第１の画像から第２の画像までの移動量に基づいて、第２の画像におけるオブジェクトの位置を特定する（ステップＳ１１４）。移動量が第２の所定値以上であれば（ステップＳ１１３：ＹＥＳ）、第１画像を受信するステップＳ１０１に戻る。

次に、画素値書換部４０９は、第２の画像におけるオブジェクトの領域の画素の画素値を代表画素値で書き換え（ステップＳ１１５）、スルー画像作成部４１０が画素を書き換え第２の画像のスルー画像を作成する（ステップＳ１１６）。なお、移動量が第１の所定値以下であれば画素の書き換えはしない。

ステップＳ１０９からステップＳ１１６までの処理を、第２の画像から第ｎの画像まで繰り返す。

次に、レリーズスイッチ４がＯＮとなっているか否かを判断する（ステップＳ１１７）。レリーズスイッチ４がＯＮとなっていれば（ステップＳ１１７；ＹＥＳ）、Ａの処理へ進み、レリーズスイッチ４がＯＮとなっていなければ（ステップＳ１１７；ＮＯ）、処理を終了する。

レリーズスイッチ４がＯＮとなった場合には、Ａの処理に進み、図１１に示すように、撮影画像が受信される（ステップＳ１１８）。ＣＰＵ９０は、レリーズスイッチ４が半押しの状態であれば、ピント合わせが固定された焦点調節状態とする。そして、レリーズスイッチ４が全押しの状態になると、露出が制御され画像データの画素の読み出し処理が行なわれる。

そして、レリーズスイッチ４が全押しされたタイミングの撮影画像の画像データが、画像受信部４０１により受信される（ステップＳ１１８）。次に、顔検出部４０２が撮影画像の顔領域を検出し（ステップＳ１１９）、特徴点検出部４０３が顔領域内の特徴点を検出する（ステップＳ１２０）。

次に、代表画素値決定部４０４が、顔領域内の画素の代表画素値を決定し（ステップＳ１２１）、第１のオブジェクト位置特定部４０５が撮影画像内のオブジェクトの位置を特定する（ステップＳ１２２）。そして、画素値書換部４０９が、撮影画像内のオブジェクトの領域の画素の画素値を、代表画素値で書き換え（ステップＳ１２３）、第１のキャプチャー画像作成部４１１又は第２のキャプチャー画像作成部４１２が、キャプチャー画像を作成する（ステップＳ１２４）。作成されたキャプチャー画像は、表示部７０ｂにより液晶画面７に表示される。作成されたキャプチャー画像は、記憶媒体に記録され、処理が終了する。

本実施の形態によれば、第１の画像で検出された特徴点の、第１の画像から第２画像以降の各画像への移動量と、第１の画像で特定されたオブジェクトの位置とから、第２画像以降の各画像におけるオブジェクトの位置を特定することができる。したがって、第２画像以降の各画像におけるオブジェクトの位置を個別に検出する必要がないので、画像処理の負荷を軽減することができる。

本実施の形態によれば、第１の画像から第ｎの画像までのオブジェクトの位置を特定してスルー画像と、キャプチャー画像を作成したので、スルー画像とキャプチャー画像とで、修正後のオブジェクトの見え方に大きな差異が生ずることがない。したがって、ユーザにスルー画像とキャプチャー画像とで違和感を与えることがない。

本実施の形態によれば、第１の画像における複数のオブジェクトを特定して、オブジェクトの移動後の位置を特定することができるので、各人に固有なオブジェクトである、ほくろ、シミ、皺などをまとめて処理することができる。

本実施の形態によれば、デジタルカメラ１が、第１のキャプチャー画像作成部４１１と、第２のキャプチャー画像作成部４１２と、これらの作成部を切り替える切換部４１３と、を備えるので、全体の処理負荷との関係で処理を切り換えることができ、処理の効率化を実現できる。

本実施の形態によれば、領域調整部４０８を設けたので、オブジェクトの修正後の画像を自然な見え方あるいはユーザが希望する見え方に調整することができる。

（実施の形態２）
実施の形態１においては、第１画像を取得して、特徴点とオブジェクトの位置を検索していたが、予めユーザの顔領域のデータを記録媒体に保存しておき、顔検出部４０２により検出された顔が保存された顔領域のデータと一致することで、ユーザを特定してもよい。そして、当該ユーザの特徴点とオブジェクトの位置を個人登録データとして登録し、個人登録データを利用してスルー画像を作成してもよい。

ＤＲＡＭ５０又は図示しない着脱自在な記録媒体に、事前に撮影したユーザの顔領域を特定するための画像データ及び、図１４に示すテーブルに、ユーザの特徴点の位置、オブジェクトの位置、代表画素値の値を、個人登録データとしてユーザに紐付けて記憶する。

個人登録データを用いた場合の画像処理のフローチャートを図１２に示す。

ユーザが電源スイッチ３をＯＮにすることで、画像処理がスタートする。第１の画像が撮像素子２０により取得され、画像受信部４０１が第１の画像の画像信号を受信する（ステップＳ２０１）。そして、顔検出部４０２により第１の画像中の顔領域が検出され（ステップＳ２０２）、検出された顔領域に基づき、図示しない検索部により記録媒体等に記憶された個人登録データを検索して（ステップＳ２０３）、検出された顔領域と保存された顔領域が一致するかを判断する（ステップＳ２０４）。一致する顔領域のデータがある場合（ステップＳ２０４；ＹＥＳ）には、個人を特定し、特定されたユーザの特徴点の位置、オブジェクトの位置、代表画素値に基づき、オブジェクトの画素の画素値を代表画素値に書き換え、第１のスルー画像を作成する（ステップＳ２０５）。一致する顔領域のデータがない場合には（ステップＳ２０４；ＮＯ）、第１の画像を新たに受信する。

次に、第２の画像から第ｎの画像までのオブジェクトの位置を、実施の形態１と同様に特定し、オブジェクトの領域を代表画素値で書き換える。具体的には、画像受信部４０１により、第２画像の画像を受信し（ステップＳ２０６）、顔検出部４０２が第２の画像の顔領域を検出し（ステップＳ２０７）、特徴点検出部４０３が画像から特徴点を検出する（ステップＳ２０８）。移動量算出部４０６が特徴点の移動量を算出する（ステップＳ２０９）。移動量が大きすぎるか否かを、移動量が第２の所定値以上であるか否かで判断し（ステップＳ２１０）、第２の所定値以下であれば（ステップＳ２１０：ＮＯ）、第２のオブジェクト位置特定部４０７が第２画像におけるオブジェクトの位置を特定する（ステップＳ２１１）。移動量が第２の所定値以上であれば（ステップＳ２１０：ＹＥＳ）、第１画像を受信する処理に戻る。画素書換部４０９が特定されたオブジェクトの領域を代表画素値で書き換え（ステップＳ２１２）、スルー画像作成部４１０がスルー画像を作成する（ステップＳ２１３）。この処理を、第２の画像から第ｎの画像まで繰り返す。ユーザによりレリーズスイッチ４が押されたとき（ステップＳ２１４；ＹＥＳ）、図１１に示すキャプチャー画像作成する処理に移行する。ユーザによりレリーズスイッチ４が押されてないときは（ステップＳ２１４；ＮＯ）、処理を終了する。

記憶されるユーザの個人登録データは、一人のユーザに限定されずに、複数のユーザのデータを記憶することもできる。図１３に示すように、ひとつの画面に３人の人物が表示されている場合にも、一人のユーザの個人データが登録されている場合と、同様な処理をすることができる。例えば、図１４のテーブルに示すようにユーザＸ、ユーザＹ、ユーザＺについて、それぞれのユーザの個人登録データを記憶することで、３人の人物それぞれについて、第２の画像から第ｎの画像までのオブジェクトの位置を特定することができる。

図１３（ａ）は第１の画像１３１の表示画面を示し、図１３（ｂ）は第２の画像１３２の表示画面を示す。第１の画像１３１の３人の人物Ｘ、Ｙ、Ｚが、第２の画像１３２内で移動しても、それぞれの個人登録データに基づいて、各人を特定することができる。したがって、人物の位置が入れ替わっても、各人の位置を特定でき、各人の移動に応じたオブジェクトの位置を容易に特定することができる。

本実施の形態によれば、予め、顔領域、オブジェクトの位置、特徴点の位置を記憶しておくことで、第１の画像における顔領域、オブジェクトの位置、特徴点の位置を容易に特定することができ、処理の負担が軽減される。

実施の形態１、２において、ＸＹ座標における特徴点の座標位置に基づいて移動量を算出していた。本発明は、このような移動量の算出方法に更に追加の情報を加味することもできる。

具体的には、顔の特徴点の間の距離、顔の向き、顔の傾きなど情報を考慮してもよい。例えば、特徴点である両目の位置情報から、両目の間の距離を算出し、距離の大小に応じて、画像の拡大又は縮小率を求め、拡大又は縮小率を移動量に反映させてもよい。また、両目の中心点を結んだ線と水平線とのなす角度から顔の傾きを求め、移動量に反映させてもよい。さらに、片目のみ検出されたときには、顔が横を向いていると判断し、移動量は算出しないこともできる。

このように追加の情報を用いることで、オブジェクトの位置を正確に特定できるとともに、処理の負担を軽減することができる。

実施の形態１、２において、第１の画像は、第２の画像以降の画像におけるオブジェクトの位置を特定する基準となる画像であると説明した。どの画像を第１の画像とすべきかは、顔領域の検出、特徴点の検出が容易である画像であることを基準として定められる。例えば、第１の画像として、被写体の人物が正面を向いたタイミングで撮影された画像、所定の期間毎に撮影された画像等を使用することができる。

実施の形態１、２において、切換部４１３により、第１のキャプチャー画像作成部４１１と第２のキャプチャー画像作成部４１２を、負荷に応じて切り換えると説明したが、第１のキャプチャー画像作成部４１１と、第２のキャプチャー画像作成部４１２のどちらか一つを備える構成としてもよい。第１のキャプチャー画像作成部４１１のみを適用すれば、キャプチャー画像に表示される画像の解像度をよくすることができる。第２のキャプチャー画像作成部４１１のみを適用すれば、処理負荷を軽減することができる。また、いずれのキャプチャー画像作成部を適用しても、スルー画像との見え方の差異を軽減することができる。

実施の形態１、２は、美肌モードと化粧モードの双方のモードがある撮像装置について説明したが、どちらか一方のモードを備える撮像装置であってもよい。

実施の形態１、２において、美肌モードと化粧モードを説明したが、モードは他のモードを備えてもよい。例えば、エフェクトモードを備える。エフェクトモードは星マーク、ハートマークなどを付与する、または色や大きさなどが時間とともに変化する星マーク、ハートマークなどを付与するモードである。

本実施の形態では、デジタルカメラを例に説明したが、本発明の画像処理装置は、デジタルカメラに限定されない。携帯電話、情報端末、スマートフォーンなどの画像処理装置にも適用することができる。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する

（付記）
（付記１）
画像を逐次取得する画像取得手段と、
前記画像取得手段により取得された画像中の顔領域を検出する顔検出手段と、
前記画像取得手段により取得された第１の画像を補正する補正情報を生成する補正情報生成手段と、
前記画像取得手段により取得された第１の画像とは異なる第２の画像に基づいて前記補正情報を加工する加工手段と、
を備える画像処理装置。

（付記２）
前記補正情報生成手段は、
前記顔領域内の特徴点を検出する特徴点検出手段と、
前記顔領域内のオブジェクトを検出するオブジェクト検出手段と、を備える、
付記１に記載の画像処理装置。

（付記３）
前記加工手段は、
前記特徴点検出手段により検出された第１の画像の特徴点と前記第２の画像の特徴点とを比較する比較手段と、
前記比較結果に応じて前記オブジェクト検出手段により検出されたオブジェクトを加工するオブジェクト加工手段と、を備える、
付記２に記載の画像処理装置。

（付記４）
前記比較手段は、
前記顔検出手段により検出された前記第１の画像の特徴点の位置と、第２の画像から第ｎの画像の各々の画像における前記特徴点の位置と、に基づき、前記第１の画像と、前記第２の画像から第ｎの画像の各々の画像と、の間の前記特徴点の移動量を算出する移動量算出手段を含む、
付記３に記載の画像処置装置。

（付記５）
前記補正情報生成手段は、
前記画像取得手段により取得された第１の画像の顔領域内の画素の画素値を代表する代表画素値を決定する代表画素値決定手段を備える、
付記４に記載の画像処理装置。

（付記６）
前記オブジェクト検出手段は、
前記第１の画像の顔領域内の各画素の画素値と前記代表画素値とを比較し、前記代表画素値との差異が所定値以上である画素値を有する画素から構成されるオブジェクトを検出する、
付記５に記載の画像処置装置。

（付記７）
前記オブジェクト検出手段は、
前記第１の画像の前記オブジェクトの位置を特定する第１のオブジェクト位置特定手段を備える、
付記５又は６に記載の画像処置装置。

（付記８）
前記オブジェクト検出手段は、
前記第１の画像のオブジェクトの位置と、前記第１の画像と前記第２の画像から第ｎの画像の各々の画像との間の前記特徴点の移動量と、に基づき、前記第２の画像から第ｎ画像の各々の画像における前記オブジェクトの位置を特定する第２のオブジェクト位置特定手段を備える、
付記７に記載の画像処理装置。

（付記９）
前記加工手段は、
前記第１の画像から前記第ｎの画像までの各々の画像の中の前記オブジェクトの画素の画素値を、前記代表画素値に書き換える画素値書換手段を備える、
付記８に記載の画像処置装置。

（付記１０）
前記加工手段は、
前記画像取得手段により逐次取得される画像から、前記加工手段により加工されたオブジェクトを含むスルー画像を生成するスルー画像作成手段を備える、
付記３に記載の画像処置装置。

（付記１１）
撮影指示が入力されたときに、第１のキャプチャー画像を作成する第１のキャプチャー画像作成手段、を更に備え、
前記画像取得手段は、前記撮影指示に応じて取得された撮影画像を取得し、
前記顔検出手段は、前記撮影画像中の顔領域を検出し、
前記補正情報生成手段は、前記画像取得手段により取得された撮影画像を補正する補正情報を生成し、
前記加工手段は、前記画像取得手段により取得された撮影画像とは異なる画像に基づいて前記補正情報を加工し、
前記第１のキャプチャー画像作成手段は、前記加工手段により加工された前記撮影画像の前記第１のキャプチャー画像を作成する、
付記１０に記載の画像処理装置。

（付記１２）
撮影指示が入力されたときに、第２のキャプチャー画像を作成する第２のキャプチャー画像作成手段、を更に備え、
前記第２のキャプチャー画像作成手段は、
前記撮影指示が入力されたときのスルー画像を作成するときに用いられた補正情報に基づいて、前記第２のキャプチャー画像を作成する、
付記１０に記載の画像処置装置。

（付記１３）
撮影指示が入力されたときに、第１のキャプチャー画像を作成する第１のキャプチャー画像作成手段と、
撮影指示が入力されたときに、第２のキャプチャー画像を作成する第２のキャプチャー画像作成手段と、
前記第１のキャプチャー画像作成手段と前記第２のキャプチャー画像作成手段とで実行される処理を切り換える切換手段と、を更に備え、
前記切換手段は、前記画像取得手段、前記顔検出手段、前記補正情報生成手段、前記加工手段が、スルー画像を作成するときの処理負荷に応じて、前記第１のキャプチャー画像作成手段と、前記第２のキャプチャー画像作成手段の実行処理を切り換え、
前記第１のキャプチャー画像作成手段に切り換えられたときには、
前記画像取得手段は、前記撮影指示に応じて取得された撮影画像を受信し、
前記顔検出手段は、前記撮影画像中の顔領域を検出し、
前記補正情報生成手段は、前記画像取得手段により取得された撮影画像を補正する補正情報を生成し、
前記加工手段は、前記画像取得手段により取得された撮影画像とは異なる画像に基づいて前記補正情報を加工し、
前記第２のキャプチャー画像作成手段に切り換えられたときには、
前記第２のキャプチャー画像作成手段は、
前記撮影指示が入力されたときのスルー画像を作成するときに用いられた補正情報に基づいて、前記第２のキャプチャー画像を作成する、
付記１０に記載の画像処理装置。

（付記１４）
前記画素値書換手段は、前記移動量算出手段により算出された前記特徴点の移動量が、第１の所定量以下であるときは、移動先の画像の中の前記オブジェクトの画素の画素値を、書き換える処理を実行しない、
付記９に記載の画像処置装置。

（付記１５）
前記オブジェクト加工手段は、前記オブジェクトに対応する部分画像を作成し、当該部分画像を前記オブジェクトの位置に配置して加工する、
付記３に記載の画像処理装置。

（付記１６）
前記第１のオブジェクト位置特定手段は、複数のオブジェクトを検出し、当該複数のオブジェクトのそれぞれの位置を特定し、
前記第２のオブジェクト位置特定手段は、前記第１の画像の前記複数のオブジェクトのそれぞれの位置と、前記第１の画像と前記第２の画像から第ｎの画像の各々の画像との間の前記特徴点の移動量と、に基づき、前記第２の画像から第ｎ画像の各々の画像における前記複数のオブジェクトのそれぞれの位置を特定する、
付記８又は９に記載の画像処理装置。

（付記１７）
前記加工手段は、
前記画素値書換手段により画素値を書き換える画素の範囲を、前記オブジェクトを構成する画素の領域よりも大きく又は小さく調整する領域調整手段を更に備える、
付記９に記載の画像処理装置。

（付記１８）
前記画像取得手段は、前記移動量算出手段により算出された前記特徴点の移動量が、第２の所定量以上であるときは、前記第１の画像を取得する、
付記４に記載の画像処理装置。

（付記１９）
第１の画像を取得するステップと、
前記第１の画像の中の顔領域を検出するステップと、
前記第１の画像を補正する補正情報を生成するステップと、
前記第１の画像とは相違する第２の画像に基づいて前記補正情報を加工するステップと、を備える、
画像処理方法。

（付記２０）
コンピュータに、
第１の画像を取得し、
前記第１の画像の中の顔領域を検出し、
前記第１の画像を補正する補正情報を生成し、
前記第１の画像とは相違する第２の画像に基づいて前記補正情報を加工する、
処理を実行させるためのプログラム。

１…デジタルカメラ、２…カメラ本体、３…電源スイッチ、４…レリーズスイッチ、５…モード選択キー、６…再生ボタン、７…液晶画面、１０…レンズ、２０…撮像素子、３０…撮像処理部、４０…画像処理部、４１…第１のオブジェクト、４２…第２のオブジェクト、４３…第３のオブジェクト、５０…ＤＲＡＭ、６０…フラッシュメモリ、７０…画像表示部、７０ａ…表示処理部、７０ｂ…表示部、８０…操作入力部、９０…ＣＰＵ、４０１…画像受信部、４０２…顔検出部、４０３…特徴点検出部、４０４…代表画素値決定部、４０５…第１のオブジェクト位置特定部、４０６…移動量算出部、４０７…第２のオブジェクト位置特定部、４０８…領域調整部、４０９…画素値書換部、４１０…スルー画像作成部、４１１…第１のキャプチャー画像作成部、４１２…第２のキャプチャー画像作成部、４１３…切換部、１３１，８０１…第１の画像、１３２，８０２…第２の画像、８０３…第３の画像 、８０４…第ｎの画像

Claims (6)

1. 顔画像を逐次取得する画像取得手段と、
   前記画像取得手段によって取得された第１の画像と前記第１の画像の取得後に取得された第２の画像とについて、前記顔画像の顔領域内の特徴点を検出し、該特徴点の位置を検出する特徴点位置検出手段と、
   前記画像取得手段によって取得された前記第１の画像について、前記顔画像の顔領域内のオブジェクトを検出し、該オブジェクトの位置を特定するオブジェクト位置特定手段と、
   前記特徴点位置検出手段により検出された前記第１の画像の前記特徴点の位置と前記第２の画像の前記特徴点の位置とを比較する比較手段と、
   前記比較手段による比較結果と前記オブジェクト位置特定手段によって特定された前記第１の画像の前記オブジェクトの位置とに基づいて前記第２の画像の前記オブジェクトの位置を特定するための情報を生成する情報生成手段と、
   前記情報生成手段によって生成された前記第２の画像の前記オブジェクトの位置を特定するための情報に基づいて特定された、前記第２の画像の前記オブジェクトの位置の画素値を書き換える書換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記比較手段は、前記第１の画像の前記特徴点の位置と前記第２の画像の前記特徴点の位置との間の当該特徴点の移動量に基づき、前記第１の画像の前記特徴点と前記第２の画像の前記特徴点とを比較することを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクト位置特定手段は、前記第１の画像の顔領域内の画素の画素値を代表する代表画素値に基づいて、前記顔画像に含まれる前記オブジェクトの位置を特定するための情報を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記書換手段により画素値が書き換えられた前記オブジェクトを含む顔画像のスルー画像を生成するスルー画像作成手段を更に備えることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 画像処理装置が実行する画像処理方法であって、
   顔画像を逐次取得する画像取得ステップと、
   前記画像取得ステップにて取得された第１の画像と前記第１の画像の取得後に取得された第２の画像とについて、前記顔画像の顔領域内の特徴点を検出し、該特徴点の位置を検出する特徴点位置検出ステップと、
   前記画像取得ステップにて取得された前記第１の画像について、前記顔画像の顔領域内のオブジェクトを検出し、該オブジェクトの位置を特定するオブジェクト位置特定ステップと、
   前記特徴点位置検出ステップにて検出された前記第１の画像の前記特徴点の位置と前記第２の画像の前記特徴点の位置とを比較する比較ステップと、
   前記比較ステップによる比較結果と前記オブジェクト位置特定ステップにて特定された前記第１の画像の前記オブジェクトの位置とに基づいて前記第２の画像の前記オブジェクトの位置を特定するための情報を生成する情報生成ステップと、
   前記情報生成ステップにて生成された前記第２の画像の前記オブジェクトの位置を特定するための情報に基づいて特定された、前記第２の画像の前記オブジェクトの位置の画素値を書き換える書換ステップと、
   を有することを特徴とする画像処理方法。
6. 画像処理装置のコンピュータを、
   顔画像を逐次取得する画像取得手段、
   前記画像取得手段によって取得された第１の画像と前記第１の画像の取得後に取得された第２の画像とについて、前記顔画像の顔領域内の特徴点を検出し、該特徴点の位置を検出する特徴点位置検出手段、
   前記画像取得手段によって取得された前記第１の画像について、前記顔画像の顔領域内のオブジェクトを検出し、該オブジェクトの位置を特定するオブジェクト位置特定手段、
   前記特徴点位置検出手段により検出された前記第１の画像の前記特徴点の位置と前記第２の画像の前記特徴点の位置とを比較する比較手段、
   前記比較手段による比較結果と前記オブジェクト位置特定手段によって特定された前記第１の画像の前記オブジェクトの位置とに基づいて前記第２の画像の前記オブジェクトの位置を特定するための情報を生成する情報生成手段、
   前記情報生成手段によって生成された前記第２の画像の前記オブジェクトの位置を特定するための情報に基づいて特定された、前記第２の画像の前記オブジェクトの位置の画素値を書き換える書換手段、
   として機能させることを特徴とするプログラム。

Images