JP3842073B2 - 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 - Google Patents
画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3842073B2 JP3842073B2 JP2001157776A JP2001157776A JP3842073B2 JP 3842073 B2 JP3842073 B2 JP 3842073B2 JP 2001157776 A JP2001157776 A JP 2001157776A JP 2001157776 A JP2001157776 A JP 2001157776A JP 3842073 B2 JP3842073 B2 JP 3842073B2
- Authority
- JP
- Japan
- Prior art keywords
- deformation
- color
- area
- face image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力した画像を利用して静止画像または動画像を生成する画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体に関し、例えばパソコン、ディジタルカメラ、ＣＡＤ、携帯電話機、携帯情報端末、テレビゲーム等の画像処理機能を有する電子機器全般に利用される。
【０００２】
【従来の技術】
従来の表情合成技術では、表情合成を行う場合、顔画像のテクスチャを変形する際に多くの点の対応付けで行っていた。
【０００３】
しかしこの方法では、閉じている口を開けたり、開いている口を閉じたりすることは難しかった。そこで、本発明者らは、予め用意した唇画像を貼りこむことで、閉じている口を開けたり、開いている口を閉じたりすることを実現した画像処理装置を提案している（特願平２０００−３５４４７２号参照）。
【０００４】
また、表情合成の際、顔画像に眼鏡が含まれる場合には、眼鏡も同じように変形されることになる。そのため、特開平６−１３９３１８号公報に記載のものでは、表情を変化させるとき、予め眼鏡をかけていない顔画像を使用し、表情を変化させた後に眼鏡の合成を行っていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来の表情合成技術では、以下に示す種々の問題があった。すなわち、唇などの部位の画像を貼りこむ場合、貼りこむ前に顔画像の口などの部位領域を塗りつぶす必要があるが、部位領域を塗りつぶす際に塗りつぶす色が比較的悪い場合には、顔画像が不自然なものとなる。部位の画像を貼りこむ前に、用意した部位の画像を補正する際、顔画像に含まれる部位の色の抽出精度が悪い場合には、合成する部位の画像が不自然なものとなる。顔のテクスチャ画像に含まれる目や頬などを変形する際に、その変形部分に眼鏡が含まれた場合には、眼鏡が共に変形されて不自然なものとなる。また、眼鏡を予め用意しておく方法では、比較的リアルな合成を実現することができない。また、目や眉を変形する際に前髪が含まれた場合には、前髪が共に変形されて不自然な動きとなる。また、部位の画像を合成する際、表情によって部位の形は大きく変わるため、画像の変形のみでは不自然な部位の形となる場合がある。
【０００６】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、目や口などの部位の画像を貼りこむ前に、顔画像に含まれる部位の領域の塗りつぶしや部位の画像の補正を効率よく行うとともに、表情合成の際に眼鏡や前髪を認識し、合成する部位の画像を選択することで、リアルな合成を可能とした画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、顔画像を入力する顔画像入力手段と、顔画像に含まれる部位の領域を検出する部位領域検出手段と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手段を備えたことを特徴とする。また、本発明の画像処理方法は、顔画像を入力する顔画像入力手順と、入力された顔画像に含まれる部位の領域を検出する部位領域検出手順と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手順とを含むことを特徴とする。また、本発明の画像処理プログラムは、コンピュータ読み取り可能な画像処理プログラムであって、顔画像を入力する顔画像入力ステップと、入力された顔画像に含まれる部位の領域を検出する部位領域検出ステップと、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶしステップとを含むことを特徴とする。
【０００８】
このような特徴を有する本発明によれば、顔画像における任意の部位を塗りつぶすことで顔画像から消去することができるため、その後に予め用意した部位の画像を合成しても違和感のない合成画像を作成することができる。
【００１１】
また、本発明の画像処理装置によれば、前記部位領域検出手段で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力手段によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段を備えたことを特徴とする。また、本発明の画像処理方法によれば、前記部位領域検出手順で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力手順によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手順を含むことを特徴とする。また、本発明の画像処理プログラムによれば、前記部位領域検出ステップで検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力ステップによって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定ステップを含むことを特徴とする。
【００１２】
このような特徴を有する本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。
【００１３】
また、本発明の画像処理装置によれば、前記部位領域検出手段で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段と、前記距離計算手段で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段と、前記距離計算手段で求めた少なくとも二つの距離と前記色抽出手段で抽出した少なくとも二つの色とから求めた色情報を前記色決定手段で求める色情報とする領域周囲色決定手段とをさらに備えたことを特徴とする。また、本発明の画像処理方法によれば、前記部位領域検出手順で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手順と、前記距離計算手順で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手順と、前記距離計算手順で求めた少なくとも二つの距離と前記色抽出手順で抽出した少なくとも二つの色とから求めた色情報を前記色決定手順で求める色情報とする領域周囲色決定手順とをさらに含むことを特徴とする。また、本発明の画像処理プログラムによれば、前記部位領域検出ステップで検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算ステップと、前記距離計算ステップで距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出ステップと、前記距離計算手順で求めた少なくとも二つの距離と前記色抽出ステップで抽出した少なくとも二つの色とから求めた色情報を前記色決定ステップで求める色情報とする領域周囲色決定ステップとをさらに含むことを特徴とする。
【００１４】
このような特徴を有する本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。つまり、部位を塗りつぶす色を領域の外側から内側へ徐々に変更していくことで、塗りつぶしても比較的違和感なく、顔画像の部位を消去することができる。
【００２３】
また、本発明の画像処理装置によれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段と、前記変形候補領域抽出手段で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段と、前記変形領域決定手段によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段とをさらに備えたことを特徴とする。また、本発明の画像処理方法によれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手順と、前記変形候補領域抽出手順で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手順と、前記変形領域決定手順によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手順とをさらに含むことを特徴とする。また、本発明の画像処理プログラムによれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出ステップと、前記変形候補領域抽出ステップで抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定ステップと、前記変形領域決定ステップによって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形ステップとをさらに含むことを特徴とする。
【００２４】
このような特徴を有する本発明によれば、顔画像における眉、目、口、頬などの変形候補領域のうち、表情情報から変形領域および変形パラメータを決定することで、変形領域を様々な形状に変形することができるため、目的とする表情合成を実現することができる。
【００３１】
また、本発明の画像処理装置によれば、前記変形領域決定手段で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段をさらに備え、前記装飾物検出手段によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。また、本発明の画像処理方法によれば、前記変形領域決定手順で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手順をさらに含み、前記装飾物検出手順によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。また、本発明の画像処理プログラムによれば、前記変形領域決定ステップで決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出ステップをさらに含み、前記装飾物検出ステップによって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。
【００３２】
このような特徴を有する本発明によば、顔画像に含まれる装飾物を認識することで、例えば眼鏡をかけている場合でも、必要な部位のみ変形することができるので、精度の良い表情合成を行うことができる。すなわち、入力された顔画像に装飾物が含まれている場合でも、目的としている部位を判断することができるため、装飾物が部位の動きとともに変形しない表情合成を実現することができる。
【００３３】
また、本発明の画像処理装置によれば、前記変形領域決定手段で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手段をさらに備え、前記部位判断手段によって変形する部位であると判断された画素のみ変形することを特徴とする。また、本発明の画像処理方法によれば、前記変形領域決定手順で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手順をさらに含み、前記部位判断手順によって変形する部位であると判断された画素のみ変形することを特徴とする。また、本発明の画像処理プログラムによれば、前記変形領域決定ステップで決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断ステップをさらに含み、前記部位判断ステップによって変形する部位であると判断された画素のみ変形することを特徴とする。
【００３４】
このような特徴を有する本発明によれば、入力された顔画像の変形領域に、変形を行わない部位が含まれている場合でも、目的としている部位を判断することができるため、目的の部位の変形と共に他の部位が変形しない表情合成を実現することができる。すなわち、ある部位領域で変形を行う部位と行わない部位とを認識することで、例えば前髪が眉毛にかかっている場合でも、眉毛のみを変形させ前髪は変形させないといった表情合成が可能となり、精度の良い表情合成を行うことができる。
【００３５】
なお、本発明の画像処理プログラムは、これを記録した記録媒体としても実現することができる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３７】
［第１の実施形態］
まず、本発明に係る第１の実施形態について説明する。
【００３８】
図１は、第１の実施形態に係る画像処理装置のブロック図、図２は、第１の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図９、図１０は第１の実施形態に係る説明図である。
【００３９】
本実施形態の画像処理装置は、図１に示すように、顔画像を入力する顔画像入力手段１０１と、顔画像に含まれる部位の領域を検出する部位領域検出手段１０２と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手段１０３と、目や口など少なくとも一つの部位の画像を記憶する部位記憶手段１０４と、部位領域塗りつぶし手段１０３で塗りつぶした顔画像に部位記憶手段１０４で記憶された部位画像を合成する合成手段１０５とを備えた構成となっている。
【００４０】
次に、上記構成の画像処理装置における画像処理について、図２に示す画像処理フローチャートを参照して詳細に説明する。
【００４１】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ２０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００４２】
次に、部位領域検出手段１０２により、顔画像に含まれる、目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ２０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００４３】
次に、部位領域塗りつぶし手段１０３によって、検出した部位領域の内部を塗りつぶす（ステップＳ２０３）。塗りつぶしを行う色に関しては、予め定めた色を使用しても良いし、顔画像の一部から抽出した色を使用しても良い。図９は、実際に口の領域を塗りつぶした画像の一例を示している。
【００４４】
次に、合成手段１０５によって、部位領域を塗りつぶした顔画像に、部位記憶手段１０４に記憶されている部位の画像を合成する（ステップＳ２０４）。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標とを合わせるようにして合成するなどがあげられる。図１０は、実際に口の画像を合成した画像の一例である。ここでは、符号１１１〜１１３で示す３種類の画像を示している。
【００４５】
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
【００４６】
図３は、第２の実施形態に係る画像処理装置のブロック図、図４は、第２の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図１１は、第２の実施形態に係る説明図である。
【００４７】
本実施形態の画像処理装置は、図１に示す構成に加えて、部位領域検出手段１０２で検出された領域に含まれる任意の座標を塗りつぶす色情報を画像入力手段１０１によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段３０１と、部位領域検出手段１０２で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段３０２と、距離計算手段３０２で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段３０３と、距離計算手段３０２で求めた少なくとも二つの距離と色抽出手段３０３で抽出した少なくとも二つの色から求めた色情報を色決定手段３０１で求める色情報とする領域周囲色決定手段３０４と、部位領域検出手段１０２で検出された領域に含まれる少なくとも二つの画素から色情報を抽出する領域内色抽出手段３０５と、領域内色抽出手段３０５によって抽出された色情報の平均を求める平均計算手段３０６と、平均計算手段３０６によって求めた色情報を色決定手段３０１で求める色情報とする領域平均色決定手段３０７と、色決定手段３０１によって決定された色を、部位領域検出手段１０２によって検出された領域の中心座標との距離によって色相、彩度、明度の少なくとも一つを変更する色補正手段３０８とを追加した構成となっている。なお、図３では、図１に示す機能ブロックと同じブロックに同符号を付している。
【００４８】
次に、上記構成の画像処理装置における画像処理について、図４に示す画像処理フローチャートを参照して詳細に説明する。
【００４９】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ４０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００５０】
次に、部位領域検出手段１０２により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ４０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００５１】
次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の決定を行う（ステップＳ４０３）。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段３０１によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に２種類の方法を示す。
【００５２】
第１の方法は、距離計算手段３０２によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し（ステップＳ４０４）、色抽出手段３０３によって、距離を計算した領域周囲の座標から色情報（例えば、ＲＧＢ情報）を抽出する（ステップＳ４０５）。そして、領域周囲色決定手段３０４によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める（ステップＳ４０６，Ｓ４１０）。
【００５３】
例えば、図１１に示すように、部位領域を楕円状でとり、領域内に含まれる画素Ａと領域の周囲に含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、Ｌ３、Ｌ４を計算する。計算式は下式で表される。
【００５４】
【数１】
ここで、Ｃ１、Ｃ２、Ｃ３、Ｃ４に関する色情報をそれぞれ、Ｃ１（Ｒ１、Ｇ１、Ｂ１）、Ｃ２（Ｒ２、Ｇ２、Ｂ２）、Ｃ３（Ｒ３、Ｇ３、Ｂ３）、Ｃ４（Ｒ４、Ｇ４、Ｂ４）とおくと、領域内に含まれる画素Ａを塗りつぶす色（Ｒ、Ｇ、Ｂ）は下式で表される。
【００５５】
【数２】
第２の方法は、領域内色抽出手段３０５によって、塗りつぶす領域から少なくとも二つ以上の画素の色情報を抽出し（ステップＳ４０７）、平均計算手段３０６によって、領域内色抽出手段３０５により抽出した色情報の平均を求め（ステップＳ４０８）、この求めた平均の色情報から、塗りつぶす色情報を求める（ステップＳ４０９，Ｓ４１０）。ここで、領域内色抽出手段３０５で抽出した色情報をＲｉ、Ｇｉ、Ｂｉ（ｉ＝２，３，・・・ｎ）とするとき、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）は、下式で表される。
【００５６】
【数３】
次に、色補正手段３０８により、求めた色情報（Ｒ、Ｇ、Ｂ）の補正を行う（ステップＳ４１１）。例えば、楕円の中心点からの距離によって、元の顔画像の色情報と先ほど求めた画素Ａを塗りつぶす色情報（Ｒ、Ｇ、Ｂ）とをαブレンドすることで、顔の形状に近い丸みを帯びた塗りつぶしが実現できる。ここで、楕円状の領域は下式で表されるとする。
【００５７】
ｘ2 ／ａ2 ＋ｙ2 ／ｂ2 ＝１
次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とするとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）は下式で表すことができる。
【００５８】
【数４】
次に、部位領域塗りつぶし手段１０３によって、検出した部位領域の内部を塗りつぶす（ステップＳ４１２）。すなわち、先ほど色決定手段３０１および色補正手段３０８によって求めた色情報（Ｒｒ、Ｇｒ、Ｂｒ）を用いて、部位領域塗りつぶし手段１０３で検出した部位領域の内部を塗りつぶす。図９は実際に口領域を塗りつぶした画像の一例を示している。
【００５９】
なお、本実施形態では、ＲＧＢ情報からの変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、ＲＧＢ情報からＨＳＶ情報に変換する式の一例（株式会社オーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）を下記に示す。
【００６０】
【数５】
このようにして求めたＨＳＶ情報を用いて、先ほどのＲＧＢ情報での変換方法と同様に行うことで、色の補正を行うことができる。また、ＨＳＶ情報からＲＧＢ情報に変換する式の一例についても下記に示す。
【００６１】
【数６】
次に、合成手段１０５によって、部位記憶手段１０４に記憶されている部位の画像を、部位領域を塗りつぶした顔画像に合成する（ステップＳ４１３）。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標を合わせるように合成するなどがあげられる。図１０は、実際に口の画像を合成した画像の一例である。
【００６２】
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
【００６３】
図５は、第３の実施形態に係る画像処理装置のブロック図、図６は、第３の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図１２および図１３は、第３の実施形態に係る説明図である。
【００６４】
本実施形態の画像処理装置は、図３に示す構成に加えて、部位領域を塗りつぶした顔画像と塗りつぶす前の顔画像の対応する座標の画素同士の色相、彩度、明度のうち少なくとも一つを比較することで、閾値以上の値の差をもつ少なくとも一つの画素を抽出する画素抽出手段５０１と、画素抽出手段５０１によって抽出した画素の色相、彩度、明度のうち少なくとも一つの平均と、目や口などの部位の画像の色相、彩度、明度のうち少なくとも一つの平均との比率を求める比率計算手段５０２と、比率計算手段５０２で求められた比率によって部位の画像を補正する画像補正手段５０３と、顔画像の部位の大きさを認識する画像認識手段５０４と、画像認識手段５０４によって認識した部位の大きさに合わせて合成する部位の画像の大きさを変更する画像サイズ変更手段５０５とを追加した構成となっている。なお、図５では、図３に示す機能ブロックと同じブロックに同符号を付している。
【００６５】
次に、上記構成の画像処理装置における画像処理について、図６に示す画像処理フローチャートを参照して詳細に説明する。
【００６６】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ６０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００６７】
次に、部位領域検出手段１０２により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ６０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００６８】
次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の決定を行う（ステップＳ６０３）。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段３０１によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に２種類の方法を示す。
【００６９】
第１の方法は、距離計算手段３０２によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し（ステップＳ６０４）、色抽出手段３０３によって、距離を計算した領域周囲の座標から色情報（例えば、ＲＧＢ情報）を抽出する（ステップＳ６０５）。そして、領域周囲色決定手段３０４によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める（ステップＳ６０６，Ｓ６１０）。
【００７０】
例えば、図１１に示すように、部位領域を楕円状でとり、領域内に含まれる画素Ａと領域の周囲に含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、Ｌ３、Ｌ４を計算する。計算式は下式で表される。
【００７１】
【数７】
ここで、Ｃ１、Ｃ２、Ｃ３、Ｃ４に関する色情報をそれぞれ、Ｃ１（Ｒ１、Ｇ１、Ｂ１）、Ｃ２（Ｒ２、Ｇ２、Ｂ２）、Ｃ３（Ｒ３、Ｇ３、Ｂ３）、Ｃ４（Ｒ４、Ｇ４、Ｂ４）とおくと、領域内に含まれる画素Ａを塗りつぶす色（Ｒ、Ｇ、Ｂ）は下式で表される。
【００７２】
【数８】
第２の方法は、領域内色抽出手段３０５によって、塗りつぶす領域から少なくとも二つ以上の画素の色情報を抽出し（ステップＳ６０７）、平均計算手段３０６によって、領域内色抽出手段３０５により抽出した色情報の平均を求め（ステップＳ６０８）、この求めた平均の色情報から、塗りつぶす色情報を求める（ステップＳ６０９，Ｓ６１０）。ここで、領域内色抽出手段３０５で抽出した色情報をＲｉ、Ｇｉ、Ｂｉ（ｉ＝２，３，・・・ｎ）とするとき、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）は、下式で表される。
【００７３】
【数９】
次に、色補正手段３０８により、求めた色情報（Ｒ、Ｇ、Ｂ）の補正を行う（ステップＳ６１１）。例えば、楕円の中心点からの距離によって、元の顔画像の色情報と先ほど求めた画素Ａを塗りつぶす色情報（Ｒ、Ｇ、Ｂ）とをαブレンドすることで、顔の形状に近い丸みを帯びた塗りつぶしが実現できる。ここで、楕円状の領域は下式で表されるとする。
【００７４】
ｘ2 ／ａ2 ＋ｙ2 ／ｂ2 ＝１
次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とするとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）は下式で表すことができる。
【００７５】
【数１０】
次に、部位領域塗りつぶし手段１０３によって、検出した部位領域の内部を塗りつぶす（ステップＳ６１２）。すなわち、先ほど色決定手段３０１および色補正手段３０８によって求めた色情報（Ｒｒ、Ｇｒ、Ｂｒ）を用いて、部位領域塗りつぶし手段１０３で検出した部位領域の内部を塗りつぶす。図９は実際に口領域を塗りつぶした画像の一例を示している。
【００７６】
なお、本実施形態では、ＲＧＢ情報からの変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、ＲＧＢ情報からＨＳＶ情報に変換する式の一例（株式会社オーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）を下記に示す。
【００７７】
【数１１】
このようにして求めたＨＳＶ情報を用いて、先ほどのＲＧＢ情報での変換方法と同様に行うことで、色の補正を行うことができる。また、ＨＳＶ情報からＲＧＢ情報に変換する式の一例についても下記に示す。
【００７８】
【数１２】
次に、画素抽出手段５０１によって、部位領域塗りつぶし手段１０３によって部位領域を塗りつぶした顔画像と、顔画像入力手段１０１によって取得した塗りつぶす前の顔画像とを比較し、対応する座標の画素同士の色相、彩度、明度のうち少なくとも一つを比較することで、閥値以上の値の差を持つ画素の抽出を行う（ステップＳ６１３）。図１２は、元の顔画像５１１と口領域を塗りつぶした顔画像５１０の一例である。これら２つの画像を比較することで、元の顔画像から口の部位のみの色情報を抽出できることがわかる。
【００７９】
ここで、抽出方法についてもう少し詳しく説明する。元の顔画像におけるある画素の色情報（Ｒｏ、Ｇｏ、Ｂｏ）と、元の顔画像の画素に対応する塗りつぶした顔画像の画素の色情報（Ｒｒ、Ｇｒ、Ｂｒ）との距離Lengthを以下のように表す。
【００８０】
【数１３】
この距離がある閾値以上の場合は塗りつぶした領域に含まれる部位の色情報と判断し、抽出する。例えば、この方法を口の領域で実行すると、口周りの色は塗りつぶした色と比較的色情報が近いため抽出されず、唇の色や歯の色は塗りつぶした色と比較的色情報が遠いため抽出される。従って、元の顔画像における部位の色情報のみ抽出することができる。ここで、歯の色である白っぽい色と影の色である黒っぽい色でフィルタをかけると、唇の色のみ抽出することができる。
【００８１】
次に、比率計算手段５０２によって、元の顔画像から抽出した部位の色情報の平均と、部位記憶手段１０４に記憶されている部位の画像の色情報の平均とを計算し（ステップＳ６１４）、それぞれの平均値から比率を求める（ステップＳ６１５）。
【００８２】
ここで、比率の計算方法について説明する。まず、元の顔画像からｎ個抽出した部位の色情報（Roi 、Goi 、Boi ）（i=1 〜n ）の平均/Ｏｒ、/Ｏｇ、/Ｏｂは下記の式で計算できる。
【００８３】
【数１４】
次に、合成する部位の画像の色情報の平均を/Ｒｒ、/Ｒｇ、/Ｒｂと表したとき、それぞれの色情報の比率Ratio ＿r 、Ratio ＿g 、Ratio ＿b は下記の式で計算できる。
【００８４】
【数１５】
次に、画像補正手段５０３によって、部位の画像を元の顔画像に含まれる部位の色に近づけるように補正する（ステップＳ６１６）。
【００８５】
ここで、この補正の方法について説明する。予め用意した部位の画像の色情報（Ｒ、Ｇ、Ｂ）と、ステップＳ６１５で計算した比率（Ratio ＿r 、Ratio ＿g 、Ratio ＿b ）を用いて計算する。補正した部位の画像の色情報（Ｒ＿p 、Ｇ＿p 、Ｂ＿p ）は下記の式で計算できる。
【００８６】
Ｒ＿p ＝Ratio ＿r ×Ｒ
Ｇ＿p ＝Ratio ＿g ×Ｇ
Ｂ＿p ＝Ratio ＿b ×Ｂ
以上のような補正を行うことで、元の顔画像の各部位の色情報に近い部位の画像に補正することができる。
【００８７】
次に、画像認識手段５０４によって、元の顔画像に含まれる部位の大きさを求める（ステップＳ６１７）。ここで述べる大きさとは、部位の縦の長さ（height）と横の長さ（width ）である。
【００８８】
ここで、部位の大きさを求める方法について説明する。先ほどのステップＳ６１３と同様に、ある闘値以上の距離となる画素をすべて抽出する。そして、図１３に示すように、抽出したすべての画素からＸ座標、Ｙ座標それぞれの最大座標と最小座標（Xmax、Xmin、Ymax、Ymin）を求める。このとき、下記の式で部位の大きさを計算することができる。
【００８９】
width ＝Xmax−Xmin＋１
height＝Ymax−Ymin＋１
次に、画像サイズ変更手段５０５によって、元の顔画像に含まれる部位の大きさとなるように、予め用意した部位の画像の大きさを変更する（ステップＳ６１８）。例えば、先ほど求めた元の顔画像の部位の大きさと、予め用意した部位の画像の大きさとの比率を計算し、その比率に従って部位の画像を拡大、縮小することで実現できる。
【００９０】
次に、合成手段１０５によって、これまで修正してきた部位の画像を、部位領域を塗りつぶした顔画像に合成する（ステップＳ６１９）。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標とを合わせるように合成するなどがあげられる。図１０は、実際に口の画像を合成した画像の一例である。
【００９１】
［第４の実施形態］
次に、本発明に係る第４の実施形態について説明する。
【００９２】
図７は、第４の実施形態に係る画像処理装置のブロック図、図８は、第４の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図１４〜図１８は、第４の実施形態に係る説明図である。
【００９３】
本実施形態の画像処理装置は、図５に示す構成に加えて、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段７０１と、変形候補領域抽出手段７０１で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段７０２と、変形領域決定手段７０２によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段７０３と、表情合成を行う表情によって合成する部位の画像の種類を変更する画像選択手段７０４と、表情合成を行う表情によって合成する部位の画像の大きさを変更する画像変更手段７０５と、顔画像に含まれる眉、目、鼻、口、頬など顔の部位のうち少なくとも一つの部位における大きさ、座標、相対位置の少なくとも一つから変形領域の変形パラメータを決定する変形パラメータ決定手段７０６と、変形領域決定手段７０２で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段７０７と、変形領域決定手段７０２で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手７０８とを追加した構成となっている。なお、図７では、図５に示す機能ブロックと同じブロックに同符号を付している。
【００９４】
次に、上記構成の画像処理装置における画像処理について、図８に示す画像処理フローチャートを参照して詳細に説明する。
【００９５】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ８０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００９６】
次に、部位領域検出手段１０２により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ８０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００９７】
次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の決定を行う（ステップＳ８０３）。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段３０１によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に２種類の方法を示す。
【００９８】
第１の方法は、距離計算手段３０２によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し（ステップＳ８０４）、色抽出手段３０３によって、距離を計算した領域周囲の座標から色情報（例えば、ＲＧＢ情報）を抽出する（ステップＳ８０５）。そして、領域周囲色決定手段３０４によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める（ステップＳ８０６，Ｓ８１０）。
【００９９】
例えば、図１１に示すように、部位領域を楕円状でとり、領域内に含まれる画素Ａと領域の周囲に含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、Ｌ３、Ｌ４を計算する。計算式は下式で表される。
【０１００】
【数１６】
ここで、Ｃ１、Ｃ２、Ｃ３、Ｃ４に関する色情報をそれぞれ、Ｃ１（Ｒ１、Ｇ１、Ｂ１）、Ｃ２（Ｒ２、Ｇ２、Ｂ２）、Ｃ３（Ｒ３、Ｇ３、Ｂ３）、Ｃ４（Ｒ４、Ｇ４、Ｂ４）とおくと、領域内に含まれる画素Ａを塗りつぶす色（Ｒ、Ｇ、Ｂ）は下式で表される。
【０１０１】
【数１７】
第２の方法は、領域内色抽出手段３０５によって、塗りつぶす領域から少なくとも二つ以上の画素の色情報を抽出し（ステップＳ８０７）、平均計算手段３０６によって、領域内色抽出手段により抽出した色情報の平均を求め（ステップＳ８０８）、この求めた平均の色情報から、塗りつぶす色情報を求める（ステップＳ８０９，Ｓ８１０）。ここで、領域内色抽出手段３０５で抽出した色情報をＲｉ、Ｇｉ、Ｂｉ（ｉ＝２，３，・・・ｎ）とするとき、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）は、下式で表される。
【０１０２】
【数１８】
次に、色補正手段３０８により、求めた色情報（Ｒ、Ｇ、Ｂ）の補正を行う（ステップＳ８１１）。例えば、楕円の中心点からの距離によって、元の顔画像の色情報と先ほど求めた画素Ａを塗りつぶす色情報（Ｒ、Ｇ、Ｂ）とをαブレンドすることで、顔の形状に近い丸みを帯びた塗りつぶしが実現できる。ここで、楕円状の領域は下式で表されるとする。
【０１０３】
ｘ2 ／ａ2 ＋ｙ2 ／ｂ2 ＝１
次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とするとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）は下式で表すことができる。
【０１０４】
【数１９】
次に、部位領域塗りつぶし手段１０３によって、検出した部位領域の内部を塗りつぶす（ステップＳ８１２）。すなわち、先ほど色決定手段３０１および色補正手段３０８によって求めた色情報（Ｒｒ、Ｇｒ、Ｂｒ）を用いて、部位領域塗りつぶし手段１０３で検出した部位領域の内部を塗りつぶす。図９は実際に口領域を塗りつぶした画像の一例を示している。
【０１０５】
なお、本実施形態では、ＲＧＢ情報からの変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、ＲＧＢ情報からＨＳＶ情報に変換する式の一例（株式会社オーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）を下記に示す。
【０１０６】
【数２０】
このようにして求めたＨＳＶ情報を用いて、先ほどのＲＧＢ情報での変換方法と同様に行うことで、色の補正を行うことができる。また、ＨＳＶ情報からＲＧＢ情報に変換する式の一例についても下記に示す。
【０１０７】
【数２１】
次に、画素抽出手段５０１によって、部位領域塗りつぶし手段１０３によって部位領域を塗りつぶした顔画像と、顔画像入力手段１０１によって取得した塗りつぶす前の顔画像とを比較し、対応する座標の画素同士の色相、彩度、明度のうち少なくとも一つを比較することで、閥値以上の値の差を持つ画素の抽出を行う（ステップＳ８１３）。図１２は、元の顔画像５１１と口領域を塗りつぶした顔画像５１０の一例である。これら２つの画像を比較することで、元の顔画像から口の部位のみの色情報を抽出できることがわかる。
【０１０８】
ここで、抽出方法についてもう少し詳しく説明する。元の顔画像におけるある画素の色情報（Ｒｏ、Ｇｏ、Ｂｏ）と、元の顔画像の画素に対応する塗りつぶした顔画像の画素の色情報（Ｒｒ、Ｇｒ、Ｂｒ）との距離Lengthを以下のように表す。
【０１０９】
【数２２】
この距離がある閾値以上の場合は塗りつぶした領域に含まれる部位の色情報と判断し、抽出する。例えば、この方法を口の領域で実行すると、口周りの色は塗りつぶした色と比較的色情報が近いため抽出されず、唇の色や歯の色は塗りつぶした色と比較的色情報が遠いため抽出される。従って、元の顔画像における部位の色情報のみ抽出することができる。ここで、歯の色である白っぽい色と影の色である黒っぽい色でフィルタをかけると、唇の色のみ抽出することができる。
【０１１０】
次に、画像選択手段７０４によって、表情情報から合成する部位の画像を決定する（ステップＳ８１４）。例えば、唇の画像に関しては、図１４に示すようにいくつか用意されている。これらの画像７１０〜７１２は、表情情報と対応付けされており、例えば「あかんべ」の表情を行うときは、図１４の画像７１０を選択し、驚きの表情を行うときは画像７１１を選択する。
【０１１１】
次に、比率計算手段５０２によって、元の顔画像から抽出した部位の色情報の平均と、部位記憶手段１０４に記憶されている部位の画像の色情報の平均とを計算し（ステップＳ８１５）、それぞれの平均値から比率を求める（ステップＳ８１６）。
【０１１２】
ここで、比率の計算方法について説明する。まず、元の顔画像からｎ個抽出した部位の色情報（Roi 、Goi 、Boi ）（i=1 〜n ）の平均/Ｏｒ、/Ｏｇ、/Ｏｂは下記の式で計算できる。
【０１１３】
【数２３】
次に、合成する部位の画像の色情報の平均を/Ｒｒ、/Ｒｇ、/Ｒｂと表したとき、それぞれの色情報の比率Ratio ＿r 、Ratio ＿g 、Ratio ＿b は下記の式で計算できる。
【０１１４】
【数２４】
次に、画像補正手段５０３によって、部位の画像を元の顔画像に含まれる部位の色に近づけるように補正する（ステップＳ８１７）。
【０１１５】
ここで、この補正の方法について説明する。予め用意した部位の画像の色情報（Ｒ、Ｇ、Ｂ）と、ステップＳ８１６で計算した比率（Ratio ＿r 、Ratio ＿g 、Ratio ＿b ）を用いて計算する。補正した部位の画像の色情報（Ｒ＿p 、Ｇ＿p 、Ｂ＿p ）は下記の式で計算できる。
【０１１６】
Ｒ＿p ＝Ratio ＿r ×Ｒ
Ｇ＿p ＝Ratio ＿g ×Ｇ
Ｂ＿p ＝Ratio ＿b ×Ｂ
以上のような補正を行うことで、元の顔画像の各部位の色情報に近い部位の画像に補正することができる。
【０１１７】
次に、画像変更手段７０５によって、表情情報によって合成する部位の画像の大きさを変更する（ステップＳ８１８）。例えば、驚きの表情が選択された場合は合成する唇画像をＹ軸方向に大きくすることや、怒りの表情が選択された場合は合成する唇画像をＸ軸方向に大きくすることで、比較的表情を強く表現することができる。
【０１１８】
次に、画像認識手段５０４によって、元の顔画像に含まれる部位の大きさを求める（ステップＳ８１９）。ここで述べる大きさとは部位の縦の長さ（height）と横の長さ（width ）である。
【０１１９】
ここで、部位の大きさを求める方法について説明する。先ほどのステップＳ８１３と同様に、ある闘値以上の距離となる画素をすべて抽出する。そして、図１３に示すように、抽出したすべての画素からＸ座標、Ｙ座標それぞれの最大座標と最小座標（Xmax、Xmin、Ymax、Ymin）を求める。このとき、下記の式で部位の大きさを計算することができる。
【０１２０】
width ＝Xmax−Xmin＋１
height＝Ymax−Ymin＋１
次に、画像サイズ変更手段５０５によって、元の顔画像に含まれる部位の大きさとなるように、予め用意した部位の画像の大きさを変更する（ステップＳ８２０）。例えば、先ほど求めた元の顔画像の部位の大きさと、予め用意した部位の画像の大きさとの比率を計算し、その比率に従って部位の画像を拡大、縮小することで実現できる。
【０１２１】
次に、合成手段１０５によって、これまで修正してきた部位の画像を、部位領域を塗りつぶした顔画像に合成する（ステップＳ８２１）。合成方法としては、部位の画像の中点座標と塗りつぶした領域の中点座標とを合わせるように合成するなどがあげられる。図１０は、口の画像を合成した画像の一例である。
【０１２２】
次に、変形候補領域抽出手段７０１によって、顔画像から眉、目、口、頬などの変形を行う領域を抽出する（ステップＳ８２２）。領域の抽出方法としては、顔画像の色情報から各部位を認識することで領域を指定する、各部位の座標情報から相対的に領域を指定するなどがあげられる。
【０１２３】
図１５は、顔画像における変形領域を示した一例であり、各変形領域を黒い枠で囲んで示している。
【０１２４】
次に、変形領域決定手段７０２によって、表情情報から、変形候補領域抽出手段７０１によって抽出した領域のうちどの領域の変形を行うかを決定する（ステップＳ８２３）。例えば、笑いの表情を合成する場合は、図１６に示すように、眉を下げる、目を細める、口元を上げるという処理を行うため、変形領域としては両眉、両目、口を選択する。また、ウインクの表情を合成する場合は、片目を閉じる、片眉を下げる、頬を上げるという処理を行うため、変形領域としては片眉、片目、片頬を選択する。
【０１２５】
次に、変形パラメータ決定手段７０６によって、顔画像の各部位の大きさを認識することで各部位の変形を行うパラメータ量を決定する（ステップＳ８２４）。例えば、目のサイズに関係なく変形パラメータを一定にすると、目を閉じるような表情合成を行ったとき、目が完全に閉じきらない場合がある。そのため、目を閉じるパラメータを、目の大きさに従って動的に変更することで、大きな目の画像や小さな目の画像の場合でも、目を閉じる表情合成が実現できる。
【０１２６】
次に、装飾物検出手段７０７によって、顔画像に含まれる眼鏡のような装飾物を検出する（ステップＳ８２５）。例えば、頬領域の変形を行う際に眼鏡が含まれている場合、部位と同様に眼鏡が変形され不自然なものとなる。そのため、変形を行う際に、頬に関する画素であるか、眼鏡に関する画素であるかを判断する必要がある。そして、頬に関する画素である場合は変形を行い、眼鏡に関する画素である場合は変形を行わないことで、自然な表情合成を実現することができる。
【０１２７】
ここで、眼鏡を判別する方法の一例をあげる。まず、元の顔画像のエッジ画像を作成する。眼鏡をかけている顔画像の場合、頬の領域に細長いエッジが表れる。この頬領域において、図１７に示すようにＸ軸方向にエッジのカウントを行い、ある閾値以上を示した場合、カウントを行ったＹ座標は眼鏡が含まれると判断する。このようなエッジのカウントを、頬領域すべてのＹ座標に関して行って、最大および最小のＹ座標を求める。この求めた範囲が眼鏡を含む領域となる。
【０１２８】
次に、部位判断手段７０８によって、顔画像から抽出したそれぞれの部位の領域において、変形を行う部位であるかを判断する（ステップＳ８２６）。例えば、眉の領域の変形を行う場合、領域内に前髪が含まれるときがある。このような状態で眉毛を変形すると、同時に前髪も変形してしまうため前髪が切れる場合がある。領域内の部位を区別する方法としては、エッジ画像を使用する、色情報から閾値によって区別する、眉毛の形状認識を行うなどがあげられる。
【０１２９】
次に、顔画像変形手段７０３によって、顔画像から抽出した領域の変形を行う（ステップＳ８２７）。変形方法としては、ｓｉｎ関数や一次関数などを使って逆変換による写像を用いて表情合成を行うなどの方法があげられる。図１８は、逆変換によって合成した一例である。笑いの表情は、符号７１７で示すように、両目の領域をｓｉｎ関数で若干細くし、口の領域をｓｉｎ関数で口元を上げることで実現できる。また、驚きの表情は、符号７１８で示すように、両眉毛の領域を上げ、両目の領域をｓｉｎ関数によって大きく見開き、口の領域は予め用意した縦に大きく開いた驚きの表情用の唇画像をステップＳ８１４で選択し、選択された唇画像をステップＳ８１８で縦に若干大きく拡大し、補正を行った唇画像を合成することで実現できる。因みに、符号７１６は普通の表情を表している。
【０１３０】
以上説明した画像処理装置は、入力画像を利用して静止画像または動画像を生成する画像処理を機能させるためのプログラムで実現されている。
【０１３１】
発明の対象とするのは、このプログラムそのものであってもよいし、このプログラムをコンピュータで読み取り可能な記録媒体に格納されているものであってもよい。
【０１３２】
本発明では、この記録媒体として、図示は省略しているが、画像処理が行なわれるために必要なメモリ、例えばＲＯＭのようなものそのものがプログラムメディアであってもよいし、また、図示していない外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロコンピュータがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示しないプログラム記憶エリアにロードされて、そのプログラムが実行される方式であってもよい。このロード用のプログラムは予め本体装置に格納されているものとする。
【０１３３】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、ＦＤ（フレキシブルディスク）やＨＤ（ハードディスク）等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１３４】
また、本発明においては、インターネットを含む通信ネットワークと接続可能なシステム構成とした場合には、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１３５】
さらに、本発明では、プログラム自体として、図１、図３、図５、図７に示されている各機能ブロックで実行される処理そのものであってもよいし、あるいはインターネットを含む通信ネットワークとアクセスすることで取り込める、あるいは取り込めたものであってもよいし、こちらから送り出すものであってもよい。さらには、この取り込んだプログラムに基づいて、上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。あるいは、こちらから送り出す際に上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。なお、これらのものはプログラムに限定されず、データであってもよい。
【０１３６】
【発明の効果】
本発明によれば、顔画像における任意の部位を塗りつぶすことで顔画像から消去することができるため、後に予め用意した部位の画像を合成しても違和感のない合成画像を作成することができる。
【０１３８】
また、本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。
【０１３９】
また、本発明によれば、部位を塗りつぶす色を領域の外側から内側へ徐々に変更していくため、塗りつぶしても比較的違和感なく、顔画像の部位を消去することができる。
【０１４４】
また、本発明によれば、顔画像における眉、目、口、頬などの変形候補領域のうち、表情情報から変形領域および変形パラメータを決定することで、変形領域を様々な形状に変形することができるため、目的とする表情合成を実現することができる。
【０１４８】
また、本発明によれば、入力された顔画像に装飾物が含まれている場合でも、目的としている部位を判断することができるため、装飾物が部位の動きと共に変形しない表情合成を実現することができる。
【０１４９】
また、本発明によれば、入力された顔画像の変形領域に変形を行わない部位が含まれている場合でも、目的としている部位を判断することができるため、目的の部位の変形と共に他の部位が変形しない表情合成を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置のブロック図である。
【図２】第１の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図３】本発明の第２の実施形態に係る画像処理装置のブロック図である。
【図４】第２の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図５】本発明の第３の実施形態に係る画像処理装置のブロック図である。
【図６】第３の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図７】本発明の第４の実施形態に係る画像処理装置のブロック図である。
【図８】第４の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図９】第１の実施形態に係る説明図である。
【図１０】第１の実施形態に係る発明図である。
【図１１】第２の実施形態に係る説明図である。
【図１２】第３の実施形態に係る発明図である。
【図１３】第３の実施形態に係る説明図である。
【図１４】第４の実施形態に係る説明図である。
【図１５】第４の実施形態に係る説明図である。
【図１６】第４の実施形態に係る説明図である。
【図１７】第４の実施形態に係る説明図である。
【図１８】第４の実施形態に係る説明図である。
【符号の説明】
１０１ 顔画像入力手段
１０２ 部位領域検出手段
１０３ 部位領域塗りつぶし手段
１０４ 部位記憶手段
１０５ 合成手段
３０１ 距離計算手段
３０２ 色抽出手段
３０３ 色決定手段
３０４ 色補正手段
５０１ 画素抽出手段
５０２ 比率計算手段
５０３ 画像補正手段
５０４ 画像認識手段
５０５ 画像サイズ変更手段
７０１ 変形候補領域抽出手段
７０２ 変形領域決定手段
７０３ 顔画像変形手段
７０４ 画像選択手段
７０５ 画像変更手段
７０６ 変形パラメータ決定手段
７０７ 装飾物検出手段
７０８ 部位判断手段
【発明の属する技術分野】
本発明は、入力した画像を利用して静止画像または動画像を生成する画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体に関し、例えばパソコン、ディジタルカメラ、ＣＡＤ、携帯電話機、携帯情報端末、テレビゲーム等の画像処理機能を有する電子機器全般に利用される。
【０００２】
【従来の技術】
従来の表情合成技術では、表情合成を行う場合、顔画像のテクスチャを変形する際に多くの点の対応付けで行っていた。
【０００３】
しかしこの方法では、閉じている口を開けたり、開いている口を閉じたりすることは難しかった。そこで、本発明者らは、予め用意した唇画像を貼りこむことで、閉じている口を開けたり、開いている口を閉じたりすることを実現した画像処理装置を提案している（特願平２０００−３５４４７２号参照）。
【０００４】
また、表情合成の際、顔画像に眼鏡が含まれる場合には、眼鏡も同じように変形されることになる。そのため、特開平６−１３９３１８号公報に記載のものでは、表情を変化させるとき、予め眼鏡をかけていない顔画像を使用し、表情を変化させた後に眼鏡の合成を行っていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来の表情合成技術では、以下に示す種々の問題があった。すなわち、唇などの部位の画像を貼りこむ場合、貼りこむ前に顔画像の口などの部位領域を塗りつぶす必要があるが、部位領域を塗りつぶす際に塗りつぶす色が比較的悪い場合には、顔画像が不自然なものとなる。部位の画像を貼りこむ前に、用意した部位の画像を補正する際、顔画像に含まれる部位の色の抽出精度が悪い場合には、合成する部位の画像が不自然なものとなる。顔のテクスチャ画像に含まれる目や頬などを変形する際に、その変形部分に眼鏡が含まれた場合には、眼鏡が共に変形されて不自然なものとなる。また、眼鏡を予め用意しておく方法では、比較的リアルな合成を実現することができない。また、目や眉を変形する際に前髪が含まれた場合には、前髪が共に変形されて不自然な動きとなる。また、部位の画像を合成する際、表情によって部位の形は大きく変わるため、画像の変形のみでは不自然な部位の形となる場合がある。
【０００６】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、目や口などの部位の画像を貼りこむ前に、顔画像に含まれる部位の領域の塗りつぶしや部位の画像の補正を効率よく行うとともに、表情合成の際に眼鏡や前髪を認識し、合成する部位の画像を選択することで、リアルな合成を可能とした画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、顔画像を入力する顔画像入力手段と、顔画像に含まれる部位の領域を検出する部位領域検出手段と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手段を備えたことを特徴とする。また、本発明の画像処理方法は、顔画像を入力する顔画像入力手順と、入力された顔画像に含まれる部位の領域を検出する部位領域検出手順と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手順とを含むことを特徴とする。また、本発明の画像処理プログラムは、コンピュータ読み取り可能な画像処理プログラムであって、顔画像を入力する顔画像入力ステップと、入力された顔画像に含まれる部位の領域を検出する部位領域検出ステップと、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶしステップとを含むことを特徴とする。
【０００８】
このような特徴を有する本発明によれば、顔画像における任意の部位を塗りつぶすことで顔画像から消去することができるため、その後に予め用意した部位の画像を合成しても違和感のない合成画像を作成することができる。
【００１１】
また、本発明の画像処理装置によれば、前記部位領域検出手段で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力手段によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段を備えたことを特徴とする。また、本発明の画像処理方法によれば、前記部位領域検出手順で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力手順によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手順を含むことを特徴とする。また、本発明の画像処理プログラムによれば、前記部位領域検出ステップで検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力ステップによって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定ステップを含むことを特徴とする。
【００１２】
このような特徴を有する本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。
【００１３】
また、本発明の画像処理装置によれば、前記部位領域検出手段で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段と、前記距離計算手段で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段と、前記距離計算手段で求めた少なくとも二つの距離と前記色抽出手段で抽出した少なくとも二つの色とから求めた色情報を前記色決定手段で求める色情報とする領域周囲色決定手段とをさらに備えたことを特徴とする。また、本発明の画像処理方法によれば、前記部位領域検出手順で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手順と、前記距離計算手順で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手順と、前記距離計算手順で求めた少なくとも二つの距離と前記色抽出手順で抽出した少なくとも二つの色とから求めた色情報を前記色決定手順で求める色情報とする領域周囲色決定手順とをさらに含むことを特徴とする。また、本発明の画像処理プログラムによれば、前記部位領域検出ステップで検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算ステップと、前記距離計算ステップで距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出ステップと、前記距離計算手順で求めた少なくとも二つの距離と前記色抽出ステップで抽出した少なくとも二つの色とから求めた色情報を前記色決定ステップで求める色情報とする領域周囲色決定ステップとをさらに含むことを特徴とする。
【００１４】
このような特徴を有する本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。つまり、部位を塗りつぶす色を領域の外側から内側へ徐々に変更していくことで、塗りつぶしても比較的違和感なく、顔画像の部位を消去することができる。
【００２３】
また、本発明の画像処理装置によれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段と、前記変形候補領域抽出手段で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段と、前記変形領域決定手段によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段とをさらに備えたことを特徴とする。また、本発明の画像処理方法によれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手順と、前記変形候補領域抽出手順で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手順と、前記変形領域決定手順によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手順とをさらに含むことを特徴とする。また、本発明の画像処理プログラムによれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出ステップと、前記変形候補領域抽出ステップで抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定ステップと、前記変形領域決定ステップによって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形ステップとをさらに含むことを特徴とする。
【００２４】
このような特徴を有する本発明によれば、顔画像における眉、目、口、頬などの変形候補領域のうち、表情情報から変形領域および変形パラメータを決定することで、変形領域を様々な形状に変形することができるため、目的とする表情合成を実現することができる。
【００３１】
また、本発明の画像処理装置によれば、前記変形領域決定手段で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段をさらに備え、前記装飾物検出手段によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。また、本発明の画像処理方法によれば、前記変形領域決定手順で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手順をさらに含み、前記装飾物検出手順によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。また、本発明の画像処理プログラムによれば、前記変形領域決定ステップで決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出ステップをさらに含み、前記装飾物検出ステップによって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。
【００３２】
このような特徴を有する本発明によば、顔画像に含まれる装飾物を認識することで、例えば眼鏡をかけている場合でも、必要な部位のみ変形することができるので、精度の良い表情合成を行うことができる。すなわち、入力された顔画像に装飾物が含まれている場合でも、目的としている部位を判断することができるため、装飾物が部位の動きとともに変形しない表情合成を実現することができる。
【００３３】
また、本発明の画像処理装置によれば、前記変形領域決定手段で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手段をさらに備え、前記部位判断手段によって変形する部位であると判断された画素のみ変形することを特徴とする。また、本発明の画像処理方法によれば、前記変形領域決定手順で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手順をさらに含み、前記部位判断手順によって変形する部位であると判断された画素のみ変形することを特徴とする。また、本発明の画像処理プログラムによれば、前記変形領域決定ステップで決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断ステップをさらに含み、前記部位判断ステップによって変形する部位であると判断された画素のみ変形することを特徴とする。
【００３４】
このような特徴を有する本発明によれば、入力された顔画像の変形領域に、変形を行わない部位が含まれている場合でも、目的としている部位を判断することができるため、目的の部位の変形と共に他の部位が変形しない表情合成を実現することができる。すなわち、ある部位領域で変形を行う部位と行わない部位とを認識することで、例えば前髪が眉毛にかかっている場合でも、眉毛のみを変形させ前髪は変形させないといった表情合成が可能となり、精度の良い表情合成を行うことができる。
【００３５】
なお、本発明の画像処理プログラムは、これを記録した記録媒体としても実現することができる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３７】
［第１の実施形態］
まず、本発明に係る第１の実施形態について説明する。
【００３８】
図１は、第１の実施形態に係る画像処理装置のブロック図、図２は、第１の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図９、図１０は第１の実施形態に係る説明図である。
【００３９】
本実施形態の画像処理装置は、図１に示すように、顔画像を入力する顔画像入力手段１０１と、顔画像に含まれる部位の領域を検出する部位領域検出手段１０２と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手段１０３と、目や口など少なくとも一つの部位の画像を記憶する部位記憶手段１０４と、部位領域塗りつぶし手段１０３で塗りつぶした顔画像に部位記憶手段１０４で記憶された部位画像を合成する合成手段１０５とを備えた構成となっている。
【００４０】
次に、上記構成の画像処理装置における画像処理について、図２に示す画像処理フローチャートを参照して詳細に説明する。
【００４１】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ２０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００４２】
次に、部位領域検出手段１０２により、顔画像に含まれる、目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ２０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００４３】
次に、部位領域塗りつぶし手段１０３によって、検出した部位領域の内部を塗りつぶす（ステップＳ２０３）。塗りつぶしを行う色に関しては、予め定めた色を使用しても良いし、顔画像の一部から抽出した色を使用しても良い。図９は、実際に口の領域を塗りつぶした画像の一例を示している。
【００４４】
次に、合成手段１０５によって、部位領域を塗りつぶした顔画像に、部位記憶手段１０４に記憶されている部位の画像を合成する（ステップＳ２０４）。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標とを合わせるようにして合成するなどがあげられる。図１０は、実際に口の画像を合成した画像の一例である。ここでは、符号１１１〜１１３で示す３種類の画像を示している。
【００４５】
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
【００４６】
図３は、第２の実施形態に係る画像処理装置のブロック図、図４は、第２の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図１１は、第２の実施形態に係る説明図である。
【００４７】
本実施形態の画像処理装置は、図１に示す構成に加えて、部位領域検出手段１０２で検出された領域に含まれる任意の座標を塗りつぶす色情報を画像入力手段１０１によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段３０１と、部位領域検出手段１０２で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段３０２と、距離計算手段３０２で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段３０３と、距離計算手段３０２で求めた少なくとも二つの距離と色抽出手段３０３で抽出した少なくとも二つの色から求めた色情報を色決定手段３０１で求める色情報とする領域周囲色決定手段３０４と、部位領域検出手段１０２で検出された領域に含まれる少なくとも二つの画素から色情報を抽出する領域内色抽出手段３０５と、領域内色抽出手段３０５によって抽出された色情報の平均を求める平均計算手段３０６と、平均計算手段３０６によって求めた色情報を色決定手段３０１で求める色情報とする領域平均色決定手段３０７と、色決定手段３０１によって決定された色を、部位領域検出手段１０２によって検出された領域の中心座標との距離によって色相、彩度、明度の少なくとも一つを変更する色補正手段３０８とを追加した構成となっている。なお、図３では、図１に示す機能ブロックと同じブロックに同符号を付している。
【００４８】
次に、上記構成の画像処理装置における画像処理について、図４に示す画像処理フローチャートを参照して詳細に説明する。
【００４９】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ４０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００５０】
次に、部位領域検出手段１０２により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ４０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００５１】
次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の決定を行う（ステップＳ４０３）。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段３０１によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に２種類の方法を示す。
【００５２】
第１の方法は、距離計算手段３０２によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し（ステップＳ４０４）、色抽出手段３０３によって、距離を計算した領域周囲の座標から色情報（例えば、ＲＧＢ情報）を抽出する（ステップＳ４０５）。そして、領域周囲色決定手段３０４によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める（ステップＳ４０６，Ｓ４１０）。
【００５３】
例えば、図１１に示すように、部位領域を楕円状でとり、領域内に含まれる画素Ａと領域の周囲に含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、Ｌ３、Ｌ４を計算する。計算式は下式で表される。
【００５４】
【数１】
【００５５】
【数２】
【００５６】
【数３】
【００５７】
ｘ2 ／ａ2 ＋ｙ2 ／ｂ2 ＝１
次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とするとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）は下式で表すことができる。
【００５８】
【数４】
【００５９】
なお、本実施形態では、ＲＧＢ情報からの変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、ＲＧＢ情報からＨＳＶ情報に変換する式の一例（株式会社オーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）を下記に示す。
【００６０】
【数５】
【００６１】
【数６】
【００６２】
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
【００６３】
図５は、第３の実施形態に係る画像処理装置のブロック図、図６は、第３の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図１２および図１３は、第３の実施形態に係る説明図である。
【００６４】
本実施形態の画像処理装置は、図３に示す構成に加えて、部位領域を塗りつぶした顔画像と塗りつぶす前の顔画像の対応する座標の画素同士の色相、彩度、明度のうち少なくとも一つを比較することで、閾値以上の値の差をもつ少なくとも一つの画素を抽出する画素抽出手段５０１と、画素抽出手段５０１によって抽出した画素の色相、彩度、明度のうち少なくとも一つの平均と、目や口などの部位の画像の色相、彩度、明度のうち少なくとも一つの平均との比率を求める比率計算手段５０２と、比率計算手段５０２で求められた比率によって部位の画像を補正する画像補正手段５０３と、顔画像の部位の大きさを認識する画像認識手段５０４と、画像認識手段５０４によって認識した部位の大きさに合わせて合成する部位の画像の大きさを変更する画像サイズ変更手段５０５とを追加した構成となっている。なお、図５では、図３に示す機能ブロックと同じブロックに同符号を付している。
【００６５】
次に、上記構成の画像処理装置における画像処理について、図６に示す画像処理フローチャートを参照して詳細に説明する。
【００６６】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ６０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００６７】
次に、部位領域検出手段１０２により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ６０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００６８】
次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の決定を行う（ステップＳ６０３）。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段３０１によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に２種類の方法を示す。
【００６９】
第１の方法は、距離計算手段３０２によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し（ステップＳ６０４）、色抽出手段３０３によって、距離を計算した領域周囲の座標から色情報（例えば、ＲＧＢ情報）を抽出する（ステップＳ６０５）。そして、領域周囲色決定手段３０４によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める（ステップＳ６０６，Ｓ６１０）。
【００７０】
例えば、図１１に示すように、部位領域を楕円状でとり、領域内に含まれる画素Ａと領域の周囲に含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、Ｌ３、Ｌ４を計算する。計算式は下式で表される。
【００７１】
【数７】
【００７２】
【数８】
【００７３】
【数９】
【００７４】
ｘ2 ／ａ2 ＋ｙ2 ／ｂ2 ＝１
次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とするとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）は下式で表すことができる。
【００７５】
【数１０】
【００７６】
なお、本実施形態では、ＲＧＢ情報からの変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、ＲＧＢ情報からＨＳＶ情報に変換する式の一例（株式会社オーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）を下記に示す。
【００７７】
【数１１】
【００７８】
【数１２】
【００７９】
ここで、抽出方法についてもう少し詳しく説明する。元の顔画像におけるある画素の色情報（Ｒｏ、Ｇｏ、Ｂｏ）と、元の顔画像の画素に対応する塗りつぶした顔画像の画素の色情報（Ｒｒ、Ｇｒ、Ｂｒ）との距離Lengthを以下のように表す。
【００８０】
【数１３】
【００８１】
次に、比率計算手段５０２によって、元の顔画像から抽出した部位の色情報の平均と、部位記憶手段１０４に記憶されている部位の画像の色情報の平均とを計算し（ステップＳ６１４）、それぞれの平均値から比率を求める（ステップＳ６１５）。
【００８２】
ここで、比率の計算方法について説明する。まず、元の顔画像からｎ個抽出した部位の色情報（Roi 、Goi 、Boi ）（i=1 〜n ）の平均/Ｏｒ、/Ｏｇ、/Ｏｂは下記の式で計算できる。
【００８３】
【数１４】
【００８４】
【数１５】
【００８５】
ここで、この補正の方法について説明する。予め用意した部位の画像の色情報（Ｒ、Ｇ、Ｂ）と、ステップＳ６１５で計算した比率（Ratio ＿r 、Ratio ＿g 、Ratio ＿b ）を用いて計算する。補正した部位の画像の色情報（Ｒ＿p 、Ｇ＿p 、Ｂ＿p ）は下記の式で計算できる。
【００８６】
Ｒ＿p ＝Ratio ＿r ×Ｒ
Ｇ＿p ＝Ratio ＿g ×Ｇ
Ｂ＿p ＝Ratio ＿b ×Ｂ
以上のような補正を行うことで、元の顔画像の各部位の色情報に近い部位の画像に補正することができる。
【００８７】
次に、画像認識手段５０４によって、元の顔画像に含まれる部位の大きさを求める（ステップＳ６１７）。ここで述べる大きさとは、部位の縦の長さ（height）と横の長さ（width ）である。
【００８８】
ここで、部位の大きさを求める方法について説明する。先ほどのステップＳ６１３と同様に、ある闘値以上の距離となる画素をすべて抽出する。そして、図１３に示すように、抽出したすべての画素からＸ座標、Ｙ座標それぞれの最大座標と最小座標（Xmax、Xmin、Ymax、Ymin）を求める。このとき、下記の式で部位の大きさを計算することができる。
【００８９】
width ＝Xmax−Xmin＋１
height＝Ymax−Ymin＋１
次に、画像サイズ変更手段５０５によって、元の顔画像に含まれる部位の大きさとなるように、予め用意した部位の画像の大きさを変更する（ステップＳ６１８）。例えば、先ほど求めた元の顔画像の部位の大きさと、予め用意した部位の画像の大きさとの比率を計算し、その比率に従って部位の画像を拡大、縮小することで実現できる。
【００９０】
次に、合成手段１０５によって、これまで修正してきた部位の画像を、部位領域を塗りつぶした顔画像に合成する（ステップＳ６１９）。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標とを合わせるように合成するなどがあげられる。図１０は、実際に口の画像を合成した画像の一例である。
【００９１】
［第４の実施形態］
次に、本発明に係る第４の実施形態について説明する。
【００９２】
図７は、第４の実施形態に係る画像処理装置のブロック図、図８は、第４の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図１４〜図１８は、第４の実施形態に係る説明図である。
【００９３】
本実施形態の画像処理装置は、図５に示す構成に加えて、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段７０１と、変形候補領域抽出手段７０１で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段７０２と、変形領域決定手段７０２によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段７０３と、表情合成を行う表情によって合成する部位の画像の種類を変更する画像選択手段７０４と、表情合成を行う表情によって合成する部位の画像の大きさを変更する画像変更手段７０５と、顔画像に含まれる眉、目、鼻、口、頬など顔の部位のうち少なくとも一つの部位における大きさ、座標、相対位置の少なくとも一つから変形領域の変形パラメータを決定する変形パラメータ決定手段７０６と、変形領域決定手段７０２で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段７０７と、変形領域決定手段７０２で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手７０８とを追加した構成となっている。なお、図７では、図５に示す機能ブロックと同じブロックに同符号を付している。
【００９４】
次に、上記構成の画像処理装置における画像処理について、図８に示す画像処理フローチャートを参照して詳細に説明する。
【００９５】
まず、顔画像入力手段１０１により、顔画像を入力する（ステップＳ８０１）。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【００９６】
次に、部位領域検出手段１０２により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する（ステップＳ８０２）。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【００９７】
次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の決定を行う（ステップＳ８０３）。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段３０１によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に２種類の方法を示す。
【００９８】
第１の方法は、距離計算手段３０２によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し（ステップＳ８０４）、色抽出手段３０３によって、距離を計算した領域周囲の座標から色情報（例えば、ＲＧＢ情報）を抽出する（ステップＳ８０５）。そして、領域周囲色決定手段３０４によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める（ステップＳ８０６，Ｓ８１０）。
【００９９】
例えば、図１１に示すように、部位領域を楕円状でとり、領域内に含まれる画素Ａと領域の周囲に含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、Ｌ３、Ｌ４を計算する。計算式は下式で表される。
【０１００】
【数１６】
【０１０１】
【数１７】
【０１０２】
【数１８】
【０１０３】
ｘ2 ／ａ2 ＋ｙ2 ／ｂ2 ＝１
次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とするとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）は下式で表すことができる。
【０１０４】
【数１９】
【０１０５】
なお、本実施形態では、ＲＧＢ情報からの変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、ＲＧＢ情報からＨＳＶ情報に変換する式の一例（株式会社オーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）を下記に示す。
【０１０６】
【数２０】
【０１０７】
【数２１】
【０１０８】
ここで、抽出方法についてもう少し詳しく説明する。元の顔画像におけるある画素の色情報（Ｒｏ、Ｇｏ、Ｂｏ）と、元の顔画像の画素に対応する塗りつぶした顔画像の画素の色情報（Ｒｒ、Ｇｒ、Ｂｒ）との距離Lengthを以下のように表す。
【０１０９】
【数２２】
【０１１０】
次に、画像選択手段７０４によって、表情情報から合成する部位の画像を決定する（ステップＳ８１４）。例えば、唇の画像に関しては、図１４に示すようにいくつか用意されている。これらの画像７１０〜７１２は、表情情報と対応付けされており、例えば「あかんべ」の表情を行うときは、図１４の画像７１０を選択し、驚きの表情を行うときは画像７１１を選択する。
【０１１１】
次に、比率計算手段５０２によって、元の顔画像から抽出した部位の色情報の平均と、部位記憶手段１０４に記憶されている部位の画像の色情報の平均とを計算し（ステップＳ８１５）、それぞれの平均値から比率を求める（ステップＳ８１６）。
【０１１２】
ここで、比率の計算方法について説明する。まず、元の顔画像からｎ個抽出した部位の色情報（Roi 、Goi 、Boi ）（i=1 〜n ）の平均/Ｏｒ、/Ｏｇ、/Ｏｂは下記の式で計算できる。
【０１１３】
【数２３】
【０１１４】
【数２４】
【０１１５】
ここで、この補正の方法について説明する。予め用意した部位の画像の色情報（Ｒ、Ｇ、Ｂ）と、ステップＳ８１６で計算した比率（Ratio ＿r 、Ratio ＿g 、Ratio ＿b ）を用いて計算する。補正した部位の画像の色情報（Ｒ＿p 、Ｇ＿p 、Ｂ＿p ）は下記の式で計算できる。
【０１１６】
Ｒ＿p ＝Ratio ＿r ×Ｒ
Ｇ＿p ＝Ratio ＿g ×Ｇ
Ｂ＿p ＝Ratio ＿b ×Ｂ
以上のような補正を行うことで、元の顔画像の各部位の色情報に近い部位の画像に補正することができる。
【０１１７】
次に、画像変更手段７０５によって、表情情報によって合成する部位の画像の大きさを変更する（ステップＳ８１８）。例えば、驚きの表情が選択された場合は合成する唇画像をＹ軸方向に大きくすることや、怒りの表情が選択された場合は合成する唇画像をＸ軸方向に大きくすることで、比較的表情を強く表現することができる。
【０１１８】
次に、画像認識手段５０４によって、元の顔画像に含まれる部位の大きさを求める（ステップＳ８１９）。ここで述べる大きさとは部位の縦の長さ（height）と横の長さ（width ）である。
【０１１９】
ここで、部位の大きさを求める方法について説明する。先ほどのステップＳ８１３と同様に、ある闘値以上の距離となる画素をすべて抽出する。そして、図１３に示すように、抽出したすべての画素からＸ座標、Ｙ座標それぞれの最大座標と最小座標（Xmax、Xmin、Ymax、Ymin）を求める。このとき、下記の式で部位の大きさを計算することができる。
【０１２０】
width ＝Xmax−Xmin＋１
height＝Ymax−Ymin＋１
次に、画像サイズ変更手段５０５によって、元の顔画像に含まれる部位の大きさとなるように、予め用意した部位の画像の大きさを変更する（ステップＳ８２０）。例えば、先ほど求めた元の顔画像の部位の大きさと、予め用意した部位の画像の大きさとの比率を計算し、その比率に従って部位の画像を拡大、縮小することで実現できる。
【０１２１】
次に、合成手段１０５によって、これまで修正してきた部位の画像を、部位領域を塗りつぶした顔画像に合成する（ステップＳ８２１）。合成方法としては、部位の画像の中点座標と塗りつぶした領域の中点座標とを合わせるように合成するなどがあげられる。図１０は、口の画像を合成した画像の一例である。
【０１２２】
次に、変形候補領域抽出手段７０１によって、顔画像から眉、目、口、頬などの変形を行う領域を抽出する（ステップＳ８２２）。領域の抽出方法としては、顔画像の色情報から各部位を認識することで領域を指定する、各部位の座標情報から相対的に領域を指定するなどがあげられる。
【０１２３】
図１５は、顔画像における変形領域を示した一例であり、各変形領域を黒い枠で囲んで示している。
【０１２４】
次に、変形領域決定手段７０２によって、表情情報から、変形候補領域抽出手段７０１によって抽出した領域のうちどの領域の変形を行うかを決定する（ステップＳ８２３）。例えば、笑いの表情を合成する場合は、図１６に示すように、眉を下げる、目を細める、口元を上げるという処理を行うため、変形領域としては両眉、両目、口を選択する。また、ウインクの表情を合成する場合は、片目を閉じる、片眉を下げる、頬を上げるという処理を行うため、変形領域としては片眉、片目、片頬を選択する。
【０１２５】
次に、変形パラメータ決定手段７０６によって、顔画像の各部位の大きさを認識することで各部位の変形を行うパラメータ量を決定する（ステップＳ８２４）。例えば、目のサイズに関係なく変形パラメータを一定にすると、目を閉じるような表情合成を行ったとき、目が完全に閉じきらない場合がある。そのため、目を閉じるパラメータを、目の大きさに従って動的に変更することで、大きな目の画像や小さな目の画像の場合でも、目を閉じる表情合成が実現できる。
【０１２６】
次に、装飾物検出手段７０７によって、顔画像に含まれる眼鏡のような装飾物を検出する（ステップＳ８２５）。例えば、頬領域の変形を行う際に眼鏡が含まれている場合、部位と同様に眼鏡が変形され不自然なものとなる。そのため、変形を行う際に、頬に関する画素であるか、眼鏡に関する画素であるかを判断する必要がある。そして、頬に関する画素である場合は変形を行い、眼鏡に関する画素である場合は変形を行わないことで、自然な表情合成を実現することができる。
【０１２７】
ここで、眼鏡を判別する方法の一例をあげる。まず、元の顔画像のエッジ画像を作成する。眼鏡をかけている顔画像の場合、頬の領域に細長いエッジが表れる。この頬領域において、図１７に示すようにＸ軸方向にエッジのカウントを行い、ある閾値以上を示した場合、カウントを行ったＹ座標は眼鏡が含まれると判断する。このようなエッジのカウントを、頬領域すべてのＹ座標に関して行って、最大および最小のＹ座標を求める。この求めた範囲が眼鏡を含む領域となる。
【０１２８】
次に、部位判断手段７０８によって、顔画像から抽出したそれぞれの部位の領域において、変形を行う部位であるかを判断する（ステップＳ８２６）。例えば、眉の領域の変形を行う場合、領域内に前髪が含まれるときがある。このような状態で眉毛を変形すると、同時に前髪も変形してしまうため前髪が切れる場合がある。領域内の部位を区別する方法としては、エッジ画像を使用する、色情報から閾値によって区別する、眉毛の形状認識を行うなどがあげられる。
【０１２９】
次に、顔画像変形手段７０３によって、顔画像から抽出した領域の変形を行う（ステップＳ８２７）。変形方法としては、ｓｉｎ関数や一次関数などを使って逆変換による写像を用いて表情合成を行うなどの方法があげられる。図１８は、逆変換によって合成した一例である。笑いの表情は、符号７１７で示すように、両目の領域をｓｉｎ関数で若干細くし、口の領域をｓｉｎ関数で口元を上げることで実現できる。また、驚きの表情は、符号７１８で示すように、両眉毛の領域を上げ、両目の領域をｓｉｎ関数によって大きく見開き、口の領域は予め用意した縦に大きく開いた驚きの表情用の唇画像をステップＳ８１４で選択し、選択された唇画像をステップＳ８１８で縦に若干大きく拡大し、補正を行った唇画像を合成することで実現できる。因みに、符号７１６は普通の表情を表している。
【０１３０】
以上説明した画像処理装置は、入力画像を利用して静止画像または動画像を生成する画像処理を機能させるためのプログラムで実現されている。
【０１３１】
発明の対象とするのは、このプログラムそのものであってもよいし、このプログラムをコンピュータで読み取り可能な記録媒体に格納されているものであってもよい。
【０１３２】
本発明では、この記録媒体として、図示は省略しているが、画像処理が行なわれるために必要なメモリ、例えばＲＯＭのようなものそのものがプログラムメディアであってもよいし、また、図示していない外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロコンピュータがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示しないプログラム記憶エリアにロードされて、そのプログラムが実行される方式であってもよい。このロード用のプログラムは予め本体装置に格納されているものとする。
【０１３３】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、ＦＤ（フレキシブルディスク）やＨＤ（ハードディスク）等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１３４】
また、本発明においては、インターネットを含む通信ネットワークと接続可能なシステム構成とした場合には、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１３５】
さらに、本発明では、プログラム自体として、図１、図３、図５、図７に示されている各機能ブロックで実行される処理そのものであってもよいし、あるいはインターネットを含む通信ネットワークとアクセスすることで取り込める、あるいは取り込めたものであってもよいし、こちらから送り出すものであってもよい。さらには、この取り込んだプログラムに基づいて、上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。あるいは、こちらから送り出す際に上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。なお、これらのものはプログラムに限定されず、データであってもよい。
【０１３６】
【発明の効果】
本発明によれば、顔画像における任意の部位を塗りつぶすことで顔画像から消去することができるため、後に予め用意した部位の画像を合成しても違和感のない合成画像を作成することができる。
【０１３８】
また、本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。
【０１３９】
また、本発明によれば、部位を塗りつぶす色を領域の外側から内側へ徐々に変更していくため、塗りつぶしても比較的違和感なく、顔画像の部位を消去することができる。
【０１４４】
また、本発明によれば、顔画像における眉、目、口、頬などの変形候補領域のうち、表情情報から変形領域および変形パラメータを決定することで、変形領域を様々な形状に変形することができるため、目的とする表情合成を実現することができる。
【０１４８】
また、本発明によれば、入力された顔画像に装飾物が含まれている場合でも、目的としている部位を判断することができるため、装飾物が部位の動きと共に変形しない表情合成を実現することができる。
【０１４９】
また、本発明によれば、入力された顔画像の変形領域に変形を行わない部位が含まれている場合でも、目的としている部位を判断することができるため、目的の部位の変形と共に他の部位が変形しない表情合成を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置のブロック図である。
【図２】第１の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図３】本発明の第２の実施形態に係る画像処理装置のブロック図である。
【図４】第２の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図５】本発明の第３の実施形態に係る画像処理装置のブロック図である。
【図６】第３の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図７】本発明の第４の実施形態に係る画像処理装置のブロック図である。
【図８】第４の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図９】第１の実施形態に係る説明図である。
【図１０】第１の実施形態に係る発明図である。
【図１１】第２の実施形態に係る説明図である。
【図１２】第３の実施形態に係る発明図である。
【図１３】第３の実施形態に係る説明図である。
【図１４】第４の実施形態に係る説明図である。
【図１５】第４の実施形態に係る説明図である。
【図１６】第４の実施形態に係る説明図である。
【図１７】第４の実施形態に係る説明図である。
【図１８】第４の実施形態に係る説明図である。
【符号の説明】
１０１ 顔画像入力手段
１０２ 部位領域検出手段
１０３ 部位領域塗りつぶし手段
１０４ 部位記憶手段
１０５ 合成手段
３０１ 距離計算手段
３０２ 色抽出手段
３０３ 色決定手段
３０４ 色補正手段
５０１ 画素抽出手段
５０２ 比率計算手段
５０３ 画像補正手段
５０４ 画像認識手段
５０５ 画像サイズ変更手段
７０１ 変形候補領域抽出手段
７０２ 変形領域決定手段
７０３ 顔画像変形手段
７０４ 画像選択手段
７０５ 画像変更手段
７０６ 変形パラメータ決定手段
７０７ 装飾物検出手段
７０８ 部位判断手段
Claims (5)
- 顔画像を入力する顔画像入力手段と、
顔画像に含まれる部位の領域を検出する部位領域検出手段と、
前記部位領域検出手段で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記顔画像入力手段によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段とを備え、
前記部位領域検出手段で検出された部位領域内を少なくとも一つの色で塗りつぶす画像処理装置において、
前記部位領域検出手段で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段と、
前記距離計算手段で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段と、
顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段と、
前記変形候補領域抽出手段で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段と、
前記変形領域決定手段によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段と、
前記変形領域決定手段で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段とをさらに備え、
前記色決定手段で求める色情報の決定は、前記距離計算手段で求めた少なくとも二つの距離と前記色抽出手段で抽出した少なくとも二つの色とから求め、
前記装飾物検出手段によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする画像処理装置。 - 前記変形領域決定手段で決定された変形領域から変形を行う変形部位と変形を行わない非変形部位を判断する部位判断手段をさらに備え、
前記部位判断手段によって変形する変形部位であると判断された画素のみ変形することを特徴とする請求項１に記載の画像処理装置。 - 顔画像を画像入力手段から入力する顔画像入力ステップと、
前記顔画像入力ステップで入力された顔画像に含まれる部位の領域を、部位領域検出手段にて検出する部位領域検出ステップと、
前記部位領域検出ステップで検出された部位領域内を、部位領域塗りつぶし手段にて少なくとも一つの色で塗りつぶす部位領域塗りつぶしステップと、
前記部位領域検出ステップで検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を距離計算手段にて計算する距離計算ステップと、
前記距離計算ステップで計算された距離の領域の周囲に含まれる少なくとも二つの座標における色を、色抽出手段にて抽出する色抽出ステップと、
前記部位領域塗りつぶしステップで塗りつぶす色情報を、前記距離計算ステップで求めた少なくとも二つの距離と前記色抽出ステップで抽出した少なくとも二つの色とから求める 色決定ステップと、
顔画像における眉、目、口、頬などの変形を行う領域を変形候補領域抽出手段にて抽出する変形候補領域抽出ステップと、
前記変形候補領域抽出ステップで抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを変形領域決定手段にて決定する変形領域決定ステップと、
前記変形領域決定ステップによって決定された変形領域を変形の程度を決める変形パラ メータに従って顔画像変形手段にて変形する顔画像変形ステップと、
前記変形領域決定ステップで決定された変形領域から眼鏡など顔に付随する装飾物を装飾物検出手段にて検出する装飾物検出ステップと、
前記装飾物検出ステップによって装飾物であることが検出された画素の顔画像の処理を切替手段にて切り替える切替ステップとを、コンピュータの前記各手段に実行させることを特徴とする画像処理プログラム。 - 前記変形領域決定ステップで決定された変形領域から変形を行う部位と変形を行わない部位を部位判断手段にて判断する部位判断ステップと、
前記部位判断ステップによって変形する部位であると判断された画素のみ前記顔画像変形手段にて変形するステップとを、コンピュータの前記各手段にさらに実行させることを特徴とする請求項３に記載の画像処理プログラム。 - 請求項３または請求項４に記載の画像処理プログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001157776A JP3842073B2 (ja) | 2001-05-25 | 2001-05-25 | 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001157776A JP3842073B2 (ja) | 2001-05-25 | 2001-05-25 | 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002352258A JP2002352258A (ja) | 2002-12-06 |
| JP3842073B2 true JP3842073B2 (ja) | 2006-11-08 |
Family
ID=19001589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001157776A Expired - Fee Related JP3842073B2 (ja) | 2001-05-25 | 2001-05-25 | 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3842073B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009284126A (ja) * | 2008-05-21 | 2009-12-03 | Seiko Epson Corp | 画像出力装置、画像出力方法、およびプログラム |
| JP5256974B2 (ja) * | 2008-10-01 | 2013-08-07 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6330312B2 (ja) * | 2013-12-18 | 2018-05-30 | カシオ計算機株式会社 | 顔画像処理装置、投影システム、画像処理方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS636675A (ja) * | 1986-06-27 | 1988-01-12 | Canon Inc | 画像処理装置 |
| JP2685458B2 (ja) * | 1987-10-23 | 1997-12-03 | キヤノン株式会社 | 画像処理方法 |
| JP3139617B2 (ja) * | 1996-03-25 | 2001-03-05 | オムロン株式会社 | 似顔絵作成方法及び装置 |
| JP3444148B2 (ja) * | 1997-07-07 | 2003-09-08 | 株式会社ナビタイムジャパン | 眉描画方法 |
| JP3810943B2 (ja) * | 1999-05-06 | 2006-08-16 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
-
2001
- 2001-05-25 JP JP2001157776A patent/JP3842073B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002352258A (ja) | 2002-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8150205B2 (en) | Image processing apparatus, image processing method, program, and data configuration | |
| KR101455950B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기록 매체 | |
| CN108229278B (zh) | 人脸图像处理方法、装置和电子设备 | |
| CN109325988B (zh) | 一种面部表情合成方法、装置及电子设备 | |
| JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| EP2720190B1 (en) | Image processing device, image processing method, and control program | |
| KR101614193B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기록 매체 | |
| CN108537749B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| KR101554403B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체 | |
| US7653220B2 (en) | Face image creation device and method | |
| US20060188144A1 (en) | Method, apparatus, and computer program for processing image | |
| JP5359856B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| US20070273686A1 (en) | Image processing device, image processing method, program, storage medium and integrated circuit | |
| CN103493473A (zh) | 图像处理装置、图像处理方法、图像处理程序和记录介质 | |
| CN109474780A (zh) | 一种用于图像处理的方法和装置 | |
| JP3723349B2 (ja) | 口紅色変換システム | |
| CN113723385A (zh) | 视频处理方法及装置、神经网络的训练方法及装置 | |
| KR20160110038A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| KR100411760B1 (ko) | 애니메이션 영상 합성 장치 및 방법 | |
| CN108537162A (zh) | 人体姿态的确定方法和装置 | |
| JP3842073B2 (ja) | 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 | |
| CN115937919A (zh) | 一种妆容颜色识别方法、装置、设备及存储介质 | |
| US20240013358A1 (en) | Method and device for processing portrait image, electronic equipment, and storage medium | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| CN113781330B (zh) | 图像处理方法、装置及电子系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060331 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060425 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060615 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060809 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |