JP3842073B2 - 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 - Google Patents

画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3842073B2
JP3842073B2 JP2001157776A JP2001157776A JP3842073B2 JP 3842073 B2 JP3842073 B2 JP 3842073B2 JP 2001157776 A JP2001157776 A JP 2001157776A JP 2001157776 A JP2001157776 A JP 2001157776A JP 3842073 B2 JP3842073 B2 JP 3842073B2
Authority
JP
Japan
Prior art keywords
deformation
color
area
face image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001157776A
Other languages
English (en)
Other versions
JP2002352258A (ja
Inventor
恒介 松原
峰弘 紺矢
義典 長井
理 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001157776A priority Critical patent/JP3842073B2/ja
Publication of JP2002352258A publication Critical patent/JP2002352258A/ja
Application granted granted Critical
Publication of JP3842073B2 publication Critical patent/JP3842073B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、入力した画像を利用して静止画像または動画像を生成する画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体に関し、例えばパソコン、ディジタルカメラ、CAD、携帯電話機、携帯情報端末、テレビゲーム等の画像処理機能を有する電子機器全般に利用される。
【0002】
【従来の技術】
従来の表情合成技術では、表情合成を行う場合、顔画像のテクスチャを変形する際に多くの点の対応付けで行っていた。
【0003】
しかしこの方法では、閉じている口を開けたり、開いている口を閉じたりすることは難しかった。そこで、本発明者らは、予め用意した唇画像を貼りこむことで、閉じている口を開けたり、開いている口を閉じたりすることを実現した画像処理装置を提案している(特願平2000−354472号参照)。
【0004】
また、表情合成の際、顔画像に眼鏡が含まれる場合には、眼鏡も同じように変形されることになる。そのため、特開平6−139318号公報に記載のものでは、表情を変化させるとき、予め眼鏡をかけていない顔画像を使用し、表情を変化させた後に眼鏡の合成を行っていた。
【0005】
【発明が解決しようとする課題】
しかしながら、上記した従来の表情合成技術では、以下に示す種々の問題があった。すなわち、唇などの部位の画像を貼りこむ場合、貼りこむ前に顔画像の口などの部位領域を塗りつぶす必要があるが、部位領域を塗りつぶす際に塗りつぶす色が比較的悪い場合には、顔画像が不自然なものとなる。部位の画像を貼りこむ前に、用意した部位の画像を補正する際、顔画像に含まれる部位の色の抽出精度が悪い場合には、合成する部位の画像が不自然なものとなる。顔のテクスチャ画像に含まれる目や頬などを変形する際に、その変形部分に眼鏡が含まれた場合には、眼鏡が共に変形されて不自然なものとなる。また、眼鏡を予め用意しておく方法では、比較的リアルな合成を実現することができない。また、目や眉を変形する際に前髪が含まれた場合には、前髪が共に変形されて不自然な動きとなる。また、部位の画像を合成する際、表情によって部位の形は大きく変わるため、画像の変形のみでは不自然な部位の形となる場合がある。
【0006】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、目や口などの部位の画像を貼りこむ前に、顔画像に含まれる部位の領域の塗りつぶしや部位の画像の補正を効率よく行うとともに、表情合成の際に眼鏡や前髪を認識し、合成する部位の画像を選択することで、リアルな合成を可能とした画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体を提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、顔画像を入力する顔画像入力手段と、顔画像に含まれる部位の領域を検出する部位領域検出手段と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手段を備えたことを特徴とする。また、本発明の画像処理方法は、顔画像を入力する顔画像入力手順と、入力された顔画像に含まれる部位の領域を検出する部位領域検出手順と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手順とを含むことを特徴とする。また、本発明の画像処理プログラムは、コンピュータ読み取り可能な画像処理プログラムであって、顔画像を入力する顔画像入力ステップと、入力された顔画像に含まれる部位の領域を検出する部位領域検出ステップと、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶしステップとを含むことを特徴とする。
【0008】
このような特徴を有する本発明によれば、顔画像における任意の部位を塗りつぶすことで顔画像から消去することができるため、その後に予め用意した部位の画像を合成しても違和感のない合成画像を作成することができる。
【0011】
また、本発明の画像処理装置によれば、前記部位領域検出手段で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力手段によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段を備えたことを特徴とする。また、本発明の画像処理方法によれば、前記部位領域検出手順で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力手順によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手順を含むことを特徴とする。また、本発明の画像処理プログラムによれば、前記部位領域検出ステップで検出された領域に含まれる任意の座標を塗りつぶす色情報を前記画像入力ステップによって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定ステップを含むことを特徴とする。
【0012】
このような特徴を有する本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。
【0013】
また、本発明の画像処理装置によれば、前記部位領域検出手段で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段と、前記距離計算手段で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段と、前記距離計算手段で求めた少なくとも二つの距離と前記色抽出手段で抽出した少なくとも二つの色とから求めた色情報を前記色決定手段で求める色情報とする領域周囲色決定手段とをさらに備えたことを特徴とする。また、本発明の画像処理方法によれば、前記部位領域検出手順で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手順と、前記距離計算手順で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手順と、前記距離計算手順で求めた少なくとも二つの距離と前記色抽出手順で抽出した少なくとも二つの色とから求めた色情報を前記色決定手順で求める色情報とする領域周囲色決定手順とをさらに含むことを特徴とする。また、本発明の画像処理プログラムによれば、前記部位領域検出ステップで検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算ステップと、前記距離計算ステップで距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出ステップと、前記距離計算手順で求めた少なくとも二つの距離と前記色抽出ステップで抽出した少なくとも二つの色とから求めた色情報を前記色決定ステップで求める色情報とする領域周囲色決定ステップとをさらに含むことを特徴とする。
【0014】
このような特徴を有する本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。つまり、部位を塗りつぶす色を領域の外側から内側へ徐々に変更していくことで、塗りつぶしても比較的違和感なく、顔画像の部位を消去することができる。
【0023】
また、本発明の画像処理装置によれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段と、前記変形候補領域抽出手段で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段と、前記変形領域決定手段によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段とをさらに備えたことを特徴とする。また、本発明の画像処理方法によれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手順と、前記変形候補領域抽出手順で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手順と、前記変形領域決定手順によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手順とをさらに含むことを特徴とする。また、本発明の画像処理プログラムによれば、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出ステップと、前記変形候補領域抽出ステップで抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定ステップと、前記変形領域決定ステップによって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形ステップとをさらに含むことを特徴とする。
【0024】
このような特徴を有する本発明によれば、顔画像における眉、目、口、頬などの変形候補領域のうち、表情情報から変形領域および変形パラメータを決定することで、変形領域を様々な形状に変形することができるため、目的とする表情合成を実現することができる。
【0031】
また、本発明の画像処理装置によれば、前記変形領域決定手段で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段をさらに備え、前記装飾物検出手段によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。また、本発明の画像処理方法によれば、前記変形領域決定手順で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手順をさらに含み、前記装飾物検出手順によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。また、本発明の画像処理プログラムによれば、前記変形領域決定ステップで決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出ステップをさらに含み、前記装飾物検出ステップによって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする。
【0032】
このような特徴を有する本発明によば、顔画像に含まれる装飾物を認識することで、例えば眼鏡をかけている場合でも、必要な部位のみ変形することができるので、精度の良い表情合成を行うことができる。すなわち、入力された顔画像に装飾物が含まれている場合でも、目的としている部位を判断することができるため、装飾物が部位の動きとともに変形しない表情合成を実現することができる。
【0033】
また、本発明の画像処理装置によれば、前記変形領域決定手段で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手段をさらに備え、前記部位判断手段によって変形する部位であると判断された画素のみ変形することを特徴とする。また、本発明の画像処理方法によれば、前記変形領域決定手順で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手順をさらに含み、前記部位判断手順によって変形する部位であると判断された画素のみ変形することを特徴とする。また、本発明の画像処理プログラムによれば、前記変形領域決定ステップで決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断ステップをさらに含み、前記部位判断ステップによって変形する部位であると判断された画素のみ変形することを特徴とする。
【0034】
このような特徴を有する本発明によれば、入力された顔画像の変形領域に、変形を行わない部位が含まれている場合でも、目的としている部位を判断することができるため、目的の部位の変形と共に他の部位が変形しない表情合成を実現することができる。すなわち、ある部位領域で変形を行う部位と行わない部位とを認識することで、例えば前髪が眉毛にかかっている場合でも、眉毛のみを変形させ前髪は変形させないといった表情合成が可能となり、精度の良い表情合成を行うことができる。
【0035】
なお、本発明の画像処理プログラムは、これを記録した記録媒体としても実現することができる。
【0036】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【0037】
[第1の実施形態]
まず、発明に係る第1の実施形態について説明する。
【0038】
図1は、第1の実施形態に係る画像処理装置のブロック図、図2は、第1の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図9、図10は第1の実施形態に係る説明図である。
【0039】
本実施形態の画像処理装置は、図1に示すように、顔画像を入力する顔画像入力手段101と、顔画像に含まれる部位の領域を検出する部位領域検出手段102と、検出された部位領域内を少なくとも一つの色で塗りつぶす部位領域塗りつぶし手段103と、目や口など少なくとも一つの部位の画像を記憶する部位記憶手段104と、部位領域塗りつぶし手段103で塗りつぶした顔画像に部位記憶手段104で記憶された部位画像を合成する合成手段105とを備えた構成となっている。
【0040】
次に、上記構成の画像処理装置における画像処理について、図2に示す画像処理フローチャートを参照して詳細に説明する。
【0041】
まず、顔画像入力手段101により、顔画像を入力する(ステップS201)。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【0042】
次に、部位領域検出手段102により、顔画像に含まれる、目、鼻、口、頬などの部位を含む領域を検出する(ステップS202)。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【0043】
次に、部位領域塗りつぶし手段103によって、検出した部位領域の内部を塗りつぶす(ステップS203)。塗りつぶしを行う色に関しては、予め定めた色を使用しても良いし、顔画像の一部から抽出した色を使用しても良い。図9は、実際に口の領域を塗りつぶした画像の一例を示している。
【0044】
次に、合成手段105によって、部位領域を塗りつぶした顔画像に、部位記憶手段104に記憶されている部位の画像を合成する(ステップS204)。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標とを合わせるようにして合成するなどがあげられる。図10は、実際に口の画像を合成した画像の一例である。ここでは、符号111〜113で示す3種類の画像を示している。
【0045】
[第2の実施形態]
次に、発明に係る第2の実施形態について説明する。
【0046】
図3は、第2の実施形態に係る画像処理装置のブロック図、図4は、第2の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図11は、第2の実施形態に係る説明図である。
【0047】
本実施形態の画像処理装置は、図1に示す構成に加えて、部位領域検出手段102で検出された領域に含まれる任意の座標を塗りつぶす色情報を画像入力手段101によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段301と、部位領域検出手段102で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段302と、距離計算手段302で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段303と、距離計算手段302で求めた少なくとも二つの距離と色抽出手段303で抽出した少なくとも二つの色から求めた色情報を色決定手段301で求める色情報とする領域周囲色決定手段304と、部位領域検出手段102で検出された領域に含まれる少なくとも二つの画素から色情報を抽出する領域内色抽出手段305と、領域内色抽出手段305によって抽出された色情報の平均を求める平均計算手段306と、平均計算手段306によって求めた色情報を色決定手段301で求める色情報とする領域平均色決定手段307と、色決定手段301によって決定された色を、部位領域検出手段102によって検出された領域の中心座標との距離によって色相、彩度、明度の少なくとも一つを変更する色補正手段308とを追加した構成となっている。なお、図3では、図1に示す機能ブロックと同じブロックに同符号を付している。
【0048】
次に、上記構成の画像処理装置における画像処理について、図4に示す画像処理フローチャートを参照して詳細に説明する。
【0049】
まず、顔画像入力手段101により、顔画像を入力する(ステップS401)。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【0050】
次に、部位領域検出手段102により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する(ステップS402)。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【0051】
次に、塗りつぶす色情報(R、G、B)の決定を行う(ステップS403)。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段301によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に2種類の方法を示す。
【0052】
第1の方法は、距離計算手段302によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し(ステップS404)、色抽出手段303によって、距離を計算した領域周囲の座標から色情報(例えば、RGB情報)を抽出する(ステップS405)。そして、領域周囲色決定手段304によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める(ステップS406,S410)。
【0053】
例えば、図11に示すように、部位領域を楕円状でとり、領域内に含まれる画素Aと領域の周囲に含まれるC1、C2、C3、C4との距離L1、L2、L3、L4を計算する。計算式は下式で表される。
【0054】
【数1】
Figure 0003842073
ここで、C1、C2、C3、C4に関する色情報をそれぞれ、C1(R1、G1、B1)、C2(R2、G2、B2)、C3(R3、G3、B3)、C4(R4、G4、B4)とおくと、領域内に含まれる画素Aを塗りつぶす色(R、G、B)は下式で表される。
【0055】
【数2】
Figure 0003842073
第2の方法は、領域内色抽出手段305によって、塗りつぶす領域から少なくとも二つ以上の画素の色情報を抽出し(ステップS407)、平均計算手段306によって、領域内色抽出手段305により抽出した色情報の平均を求め(ステップS408)、この求めた平均の色情報から、塗りつぶす色情報を求める(ステップS409,S410)。ここで、領域内色抽出手段305で抽出した色情報をRi、Gi、Bi(i=2,3,・・・n)とするとき、塗りつぶす色情報(R、G、B)は、下式で表される。
【0056】
【数3】
Figure 0003842073
次に、色補正手段308により、求めた色情報(R、G、B)の補正を行う(ステップS411)。例えば、楕円の中心点からの距離によって、元の顔画像の色情報と先ほど求めた画素Aを塗りつぶす色情報(R、G、B)とをαブレンドすることで、顔の形状に近い丸みを帯びた塗りつぶしが実現できる。ここで、楕円状の領域は下式で表されるとする。
【0057】
2 /a2 +y2 /b2 =1
次に、元の顔画像の色情報を(Ro、Go、Bo)とするとき、補正を行った後の色情報(Rr、Gr、Br)は下式で表すことができる。
【0058】
【数4】
Figure 0003842073
次に、部位領域塗りつぶし手段103によって、検出した部位領域の内部を塗りつぶす(ステップS412)。すなわち、先ほど色決定手段301および色補正手段308によって求めた色情報(Rr、Gr、Br)を用いて、部位領域塗りつぶし手段103で検出した部位領域の内部を塗りつぶす。図9は実際に口領域を塗りつぶした画像の一例を示している。
【0059】
なお、本実施形態では、RGB情報からの変換例を示したが、RGB情報を色相(H)、彩度(S)、明度(V)のHSV情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、RGB情報からHSV情報に変換する式の一例(株式会社オーム社発行の「C言語で学ぶ実践画像処理」より引用)を下記に示す。
【0060】
【数5】
Figure 0003842073
このようにして求めたHSV情報を用いて、先ほどのRGB情報での変換方法と同様に行うことで、色の補正を行うことができる。また、HSV情報からRGB情報に変換する式の一例についても下記に示す。
【0061】
【数6】
Figure 0003842073
次に、合成手段105によって、部位記憶手段104に記憶されている部位の画像を、部位領域を塗りつぶした顔画像に合成する(ステップS413)。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標を合わせるように合成するなどがあげられる。図10は、実際に口の画像を合成した画像の一例である。
【0062】
[第3の実施形態]
次に、発明に係る第3の実施形態について説明する。
【0063】
図5は、第3の実施形態に係る画像処理装置のブロック図、図6は、第3の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図12および図13は、第3の実施形態に係る説明図である。
【0064】
本実施形態の画像処理装置は、図3に示す構成に加えて、部位領域を塗りつぶした顔画像と塗りつぶす前の顔画像の対応する座標の画素同士の色相、彩度、明度のうち少なくとも一つを比較することで、閾値以上の値の差をもつ少なくとも一つの画素を抽出する画素抽出手段501と、画素抽出手段501によって抽出した画素の色相、彩度、明度のうち少なくとも一つの平均と、目や口などの部位の画像の色相、彩度、明度のうち少なくとも一つの平均との比率を求める比率計算手段502と、比率計算手段502で求められた比率によって部位の画像を補正する画像補正手段503と、顔画像の部位の大きさを認識する画像認識手段504と、画像認識手段504によって認識した部位の大きさに合わせて合成する部位の画像の大きさを変更する画像サイズ変更手段505とを追加した構成となっている。なお、図5では、図3に示す機能ブロックと同じブロックに同符号を付している。
【0065】
次に、上記構成の画像処理装置における画像処理について、図6に示す画像処理フローチャートを参照して詳細に説明する。
【0066】
まず、顔画像入力手段101により、顔画像を入力する(ステップS601)。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【0067】
次に、部位領域検出手段102により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する(ステップS602)。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【0068】
次に、塗りつぶす色情報(R、G、B)の決定を行う(ステップS603)。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段301によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に2種類の方法を示す。
【0069】
第1の方法は、距離計算手段302によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し(ステップS604)、色抽出手段303によって、距離を計算した領域周囲の座標から色情報(例えば、RGB情報)を抽出する(ステップS605)。そして、領域周囲色決定手段304によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める(ステップS606,S610)。
【0070】
例えば、図11に示すように、部位領域を楕円状でとり、領域内に含まれる画素Aと領域の周囲に含まれるC1、C2、C3、C4との距離L1、L2、L3、L4を計算する。計算式は下式で表される。
【0071】
【数7】
Figure 0003842073
ここで、C1、C2、C3、C4に関する色情報をそれぞれ、C1(R1、G1、B1)、C2(R2、G2、B2)、C3(R3、G3、B3)、C4(R4、G4、B4)とおくと、領域内に含まれる画素Aを塗りつぶす色(R、G、B)は下式で表される。
【0072】
【数8】
Figure 0003842073
第2の方法は、領域内色抽出手段305によって、塗りつぶす領域から少なくとも二つ以上の画素の色情報を抽出し(ステップS607)、平均計算手段306によって、領域内色抽出手段305により抽出した色情報の平均を求め(ステップS608)、この求めた平均の色情報から、塗りつぶす色情報を求める(ステップS609,S610)。ここで、領域内色抽出手段305で抽出した色情報をRi、Gi、Bi(i=2,3,・・・n)とするとき、塗りつぶす色情報(R、G、B)は、下式で表される。
【0073】
【数9】
Figure 0003842073
次に、色補正手段308により、求めた色情報(R、G、B)の補正を行う(ステップS611)。例えば、楕円の中心点からの距離によって、元の顔画像の色情報と先ほど求めた画素Aを塗りつぶす色情報(R、G、B)とをαブレンドすることで、顔の形状に近い丸みを帯びた塗りつぶしが実現できる。ここで、楕円状の領域は下式で表されるとする。
【0074】
2 /a2 +y2 /b2 =1
次に、元の顔画像の色情報を(Ro、Go、Bo)とするとき、補正を行った後の色情報(Rr、Gr、Br)は下式で表すことができる。
【0075】
【数10】
Figure 0003842073
次に、部位領域塗りつぶし手段103によって、検出した部位領域の内部を塗りつぶす(ステップS612)。すなわち、先ほど色決定手段301および色補正手段308によって求めた色情報(Rr、Gr、Br)を用いて、部位領域塗りつぶし手段103で検出した部位領域の内部を塗りつぶす。図9は実際に口領域を塗りつぶした画像の一例を示している。
【0076】
なお、本実施形態では、RGB情報からの変換例を示したが、RGB情報を色相(H)、彩度(S)、明度(V)のHSV情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、RGB情報からHSV情報に変換する式の一例(株式会社オーム社発行の「C言語で学ぶ実践画像処理」より引用)を下記に示す。
【0077】
【数11】
Figure 0003842073
このようにして求めたHSV情報を用いて、先ほどのRGB情報での変換方法と同様に行うことで、色の補正を行うことができる。また、HSV情報からRGB情報に変換する式の一例についても下記に示す。
【0078】
【数12】
Figure 0003842073
次に、画素抽出手段501によって、部位領域塗りつぶし手段103によって部位領域を塗りつぶした顔画像と、顔画像入力手段101によって取得した塗りつぶす前の顔画像とを比較し、対応する座標の画素同士の色相、彩度、明度のうち少なくとも一つを比較することで、閥値以上の値の差を持つ画素の抽出を行う(ステップS613)。図12は、元の顔画像511と口領域を塗りつぶした顔画像510の一例である。これら2つの画像を比較することで、元の顔画像から口の部位のみの色情報を抽出できることがわかる。
【0079】
ここで、抽出方法についてもう少し詳しく説明する。元の顔画像におけるある画素の色情報(Ro、Go、Bo)と、元の顔画像の画素に対応する塗りつぶした顔画像の画素の色情報(Rr、Gr、Br)との距離Lengthを以下のように表す。
【0080】
【数13】
Figure 0003842073
この距離がある閾値以上の場合は塗りつぶした領域に含まれる部位の色情報と判断し、抽出する。例えば、この方法を口の領域で実行すると、口周りの色は塗りつぶした色と比較的色情報が近いため抽出されず、唇の色や歯の色は塗りつぶした色と比較的色情報が遠いため抽出される。従って、元の顔画像における部位の色情報のみ抽出することができる。ここで、歯の色である白っぽい色と影の色である黒っぽい色でフィルタをかけると、唇の色のみ抽出することができる。
【0081】
次に、比率計算手段502によって、元の顔画像から抽出した部位の色情報の平均と、部位記憶手段104に記憶されている部位の画像の色情報の平均とを計算し(ステップS614)、それぞれの平均値から比率を求める(ステップS615)。
【0082】
ここで、比率の計算方法について説明する。まず、元の顔画像からn個抽出した部位の色情報(Roi 、Goi 、Boi )(i=1 〜n )の平均/Or、/Og、/Obは下記の式で計算できる。
【0083】
【数14】
Figure 0003842073
次に、合成する部位の画像の色情報の平均を/Rr、/Rg、/Rbと表したとき、それぞれの色情報の比率Ratio _r 、Ratio _g 、Ratio _b は下記の式で計算できる。
【0084】
【数15】
Figure 0003842073
次に、画像補正手段503によって、部位の画像を元の顔画像に含まれる部位の色に近づけるように補正する(ステップS616)。
【0085】
ここで、この補正の方法について説明する。予め用意した部位の画像の色情報(R、G、B)と、ステップS615で計算した比率(Ratio _r 、Ratio _g 、Ratio _b )を用いて計算する。補正した部位の画像の色情報(R_p 、G_p 、B_p )は下記の式で計算できる。
【0086】
R_p =Ratio _r ×R
G_p =Ratio _g ×G
B_p =Ratio _b ×B
以上のような補正を行うことで、元の顔画像の各部位の色情報に近い部位の画像に補正することができる。
【0087】
次に、画像認識手段504によって、元の顔画像に含まれる部位の大きさを求める(ステップS617)。ここで述べる大きさとは、部位の縦の長さ(height)と横の長さ(width )である。
【0088】
ここで、部位の大きさを求める方法について説明する。先ほどのステップS613と同様に、ある闘値以上の距離となる画素をすべて抽出する。そして、図13に示すように、抽出したすべての画素からX座標、Y座標それぞれの最大座標と最小座標(Xmax、Xmin、Ymax、Ymin)を求める。このとき、下記の式で部位の大きさを計算することができる。
【0089】
width =Xmax−Xmin+1
height=Ymax−Ymin+1
次に、画像サイズ変更手段505によって、元の顔画像に含まれる部位の大きさとなるように、予め用意した部位の画像の大きさを変更する(ステップS618)。例えば、先ほど求めた元の顔画像の部位の大きさと、予め用意した部位の画像の大きさとの比率を計算し、その比率に従って部位の画像を拡大、縮小することで実現できる。
【0090】
次に、合成手段105によって、これまで修正してきた部位の画像を、部位領域を塗りつぶした顔画像に合成する(ステップS619)。合成方法としては、部位の画像の中点座標と、合成するために塗りつぶした領域の中点座標とを合わせるように合成するなどがあげられる。図10は、実際に口の画像を合成した画像の一例である。
【0091】
[第4の実施形態]
次に、発明に係る第4の実施形態について説明する。
【0092】
図7は、第4の実施形態に係る画像処理装置のブロック図、図8は、第4の実施形態に係る画像処理装置の処理動作を説明するためのフローチャート、図14〜図18は、第4の実施形態に係る説明図である。
【0093】
本実施形態の画像処理装置は、図5に示す構成に加えて、顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段701と、変形候補領域抽出手段701で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段702と、変形領域決定手段702によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段703と、表情合成を行う表情によって合成する部位の画像の種類を変更する画像選択手段704と、表情合成を行う表情によって合成する部位の画像の大きさを変更する画像変更手段705と、顔画像に含まれる眉、目、鼻、口、頬など顔の部位のうち少なくとも一つの部位における大きさ、座標、相対位置の少なくとも一つから変形領域の変形パラメータを決定する変形パラメータ決定手段706と、変形領域決定手段702で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段707と、変形領域決定手段702で決定された変形領域から変形を行う部位と変形を行わない部位を判断する部位判断手708とを追加した構成となっている。なお、図7では、図5に示す機能ブロックと同じブロックに同符号を付している。
【0094】
次に、上記構成の画像処理装置における画像処理について、図8に示す画像処理フローチャートを参照して詳細に説明する。
【0095】
まず、顔画像入力手段101により、顔画像を入力する(ステップS801)。顔画像の入力は、ビデオカメラ等により、その場で静止画像として入力しても良いし、予めディジタルカメラから転送するなどによってファイルに記録した画像を入力しても良い。
【0096】
次に、部位領域検出手段102により、顔画像に含まれる目、鼻、口、頬などの部位を含む領域を検出する(ステップS802)。検出方法としては、色情報からそれぞれの部位の認識を行っても良いし、それぞれの部位の座標から相対関係によって領域を指定しても良い。例えば、口領域を抽出する場合、両目の中心座標から口領域の横幅を計算し、鼻と口の中心座標から口領域の縦幅を計算することができる。
【0097】
次に、塗りつぶす色情報(R、G、B)の決定を行う(ステップS803)。塗りつぶす色情報は、例えば頬領域に含まれる画素の抽出など、色決定手段301によって顔画像に含まれる少なくとも一つの画素の色情報から求めるが、このような塗りつぶす色情報の抽出方法として、以下に2種類の方法を示す。
【0098】
第1の方法は、距離計算手段302によって、検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算し(ステップS804)、色抽出手段303によって、距離を計算した領域周囲の座標から色情報(例えば、RGB情報)を抽出する(ステップS805)。そして、領域周囲色決定手段304によって、計算した距離と抽出した色情報とから領域内の座標を塗りつぶす色を求める(ステップS806,S810)。
【0099】
例えば、図11に示すように、部位領域を楕円状でとり、領域内に含まれる画素Aと領域の周囲に含まれるC1、C2、C3、C4との距離L1、L2、L3、L4を計算する。計算式は下式で表される。
【0100】
【数16】
Figure 0003842073
ここで、C1、C2、C3、C4に関する色情報をそれぞれ、C1(R1、G1、B1)、C2(R2、G2、B2)、C3(R3、G3、B3)、C4(R4、G4、B4)とおくと、領域内に含まれる画素Aを塗りつぶす色(R、G、B)は下式で表される。
【0101】
【数17】
Figure 0003842073
第2の方法は、領域内色抽出手段305によって、塗りつぶす領域から少なくとも二つ以上の画素の色情報を抽出し(ステップS807)、平均計算手段306によって、領域内色抽出手段により抽出した色情報の平均を求め(ステップS808)、この求めた平均の色情報から、塗りつぶす色情報を求める(ステップS809,S810)。ここで、領域内色抽出手段305で抽出した色情報をRi、Gi、Bi(i=2,3,・・・n)とするとき、塗りつぶす色情報(R、G、B)は、下式で表される。
【0102】
【数18】
Figure 0003842073
次に、色補正手段308により、求めた色情報(R、G、B)の補正を行う(ステップS811)。例えば、楕円の中心点からの距離によって、元の顔画像の色情報と先ほど求めた画素Aを塗りつぶす色情報(R、G、B)とをαブレンドすることで、顔の形状に近い丸みを帯びた塗りつぶしが実現できる。ここで、楕円状の領域は下式で表されるとする。
【0103】
2 /a2 +y2 /b2 =1
次に、元の顔画像の色情報を(Ro、Go、Bo)とするとき、補正を行った後の色情報(Rr、Gr、Br)は下式で表すことができる。
【0104】
【数19】
Figure 0003842073
次に、部位領域塗りつぶし手段103によって、検出した部位領域の内部を塗りつぶす(ステップS812)。すなわち、先ほど色決定手段301および色補正手段308によって求めた色情報(Rr、Gr、Br)を用いて、部位領域塗りつぶし手段103で検出した部位領域の内部を塗りつぶす。図9は実際に口領域を塗りつぶした画像の一例を示している。
【0105】
なお、本実施形態では、RGB情報からの変換例を示したが、RGB情報を色相(H)、彩度(S)、明度(V)のHSV情報など他の色情報に変換して色の補正を行うこともできる。また、明度と彩度を変更せずに色相のみ変更したい場合は、色相情報のみ色の補正を行うことで、元の明るさや鮮やかさを残したまま、色相情報のみ変更することができる。以下に、RGB情報からHSV情報に変換する式の一例(株式会社オーム社発行の「C言語で学ぶ実践画像処理」より引用)を下記に示す。
【0106】
【数20】
Figure 0003842073
このようにして求めたHSV情報を用いて、先ほどのRGB情報での変換方法と同様に行うことで、色の補正を行うことができる。また、HSV情報からRGB情報に変換する式の一例についても下記に示す。
【0107】
【数21】
Figure 0003842073
次に、画素抽出手段501によって、部位領域塗りつぶし手段103によって部位領域を塗りつぶした顔画像と、顔画像入力手段101によって取得した塗りつぶす前の顔画像とを比較し、対応する座標の画素同士の色相、彩度、明度のうち少なくとも一つを比較することで、閥値以上の値の差を持つ画素の抽出を行う(ステップS813)。図12は、元の顔画像511と口領域を塗りつぶした顔画像510の一例である。これら2つの画像を比較することで、元の顔画像から口の部位のみの色情報を抽出できることがわかる。
【0108】
ここで、抽出方法についてもう少し詳しく説明する。元の顔画像におけるある画素の色情報(Ro、Go、Bo)と、元の顔画像の画素に対応する塗りつぶした顔画像の画素の色情報(Rr、Gr、Br)との距離Lengthを以下のように表す。
【0109】
【数22】
Figure 0003842073
この距離がある閾値以上の場合は塗りつぶした領域に含まれる部位の色情報と判断し、抽出する。例えば、この方法を口の領域で実行すると、口周りの色は塗りつぶした色と比較的色情報が近いため抽出されず、唇の色や歯の色は塗りつぶした色と比較的色情報が遠いため抽出される。従って、元の顔画像における部位の色情報のみ抽出することができる。ここで、歯の色である白っぽい色と影の色である黒っぽい色でフィルタをかけると、唇の色のみ抽出することができる。
【0110】
次に、画像選択手段704によって、表情情報から合成する部位の画像を決定する(ステップS814)。例えば、唇の画像に関しては、図14に示すようにいくつか用意されている。これらの画像710〜712は、表情情報と対応付けされており、例えば「あかんべ」の表情を行うときは、図14の画像710を選択し、驚きの表情を行うときは画像711を選択する。
【0111】
次に、比率計算手段502によって、元の顔画像から抽出した部位の色情報の平均と、部位記憶手段104に記憶されている部位の画像の色情報の平均とを計算し(ステップS815)、それぞれの平均値から比率を求める(ステップS816)。
【0112】
ここで、比率の計算方法について説明する。まず、元の顔画像からn個抽出した部位の色情報(Roi 、Goi 、Boi )(i=1 〜n )の平均/Or、/Og、/Obは下記の式で計算できる。
【0113】
【数23】
Figure 0003842073
次に、合成する部位の画像の色情報の平均を/Rr、/Rg、/Rbと表したとき、それぞれの色情報の比率Ratio _r 、Ratio _g 、Ratio _b は下記の式で計算できる。
【0114】
【数24】
Figure 0003842073
次に、画像補正手段503によって、部位の画像を元の顔画像に含まれる部位の色に近づけるように補正する(ステップS817)。
【0115】
ここで、この補正の方法について説明する。予め用意した部位の画像の色情報(R、G、B)と、ステップS816で計算した比率(Ratio _r 、Ratio _g 、Ratio _b )を用いて計算する。補正した部位の画像の色情報(R_p 、G_p 、B_p )は下記の式で計算できる。
【0116】
R_p =Ratio _r ×R
G_p =Ratio _g ×G
B_p =Ratio _b ×B
以上のような補正を行うことで、元の顔画像の各部位の色情報に近い部位の画像に補正することができる。
【0117】
次に、画像変更手段705によって、表情情報によって合成する部位の画像の大きさを変更する(ステップS818)。例えば、驚きの表情が選択された場合は合成する唇画像をY軸方向に大きくすることや、怒りの表情が選択された場合は合成する唇画像をX軸方向に大きくすることで、比較的表情を強く表現することができる。
【0118】
次に、画像認識手段504によって、元の顔画像に含まれる部位の大きさを求める(ステップS819)。ここで述べる大きさとは部位の縦の長さ(height)と横の長さ(width )である。
【0119】
ここで、部位の大きさを求める方法について説明する。先ほどのステップS813と同様に、ある闘値以上の距離となる画素をすべて抽出する。そして、図13に示すように、抽出したすべての画素からX座標、Y座標それぞれの最大座標と最小座標(Xmax、Xmin、Ymax、Ymin)を求める。このとき、下記の式で部位の大きさを計算することができる。
【0120】
width =Xmax−Xmin+1
height=Ymax−Ymin+1
次に、画像サイズ変更手段505によって、元の顔画像に含まれる部位の大きさとなるように、予め用意した部位の画像の大きさを変更する(ステップS820)。例えば、先ほど求めた元の顔画像の部位の大きさと、予め用意した部位の画像の大きさとの比率を計算し、その比率に従って部位の画像を拡大、縮小することで実現できる。
【0121】
次に、合成手段105によって、これまで修正してきた部位の画像を、部位領域を塗りつぶした顔画像に合成する(ステップS821)。合成方法としては、部位の画像の中点座標と塗りつぶした領域の中点座標とを合わせるように合成するなどがあげられる。図10は、口の画像を合成した画像の一例である。
【0122】
次に、変形候補領域抽出手段701によって、顔画像から眉、目、口、頬などの変形を行う領域を抽出する(ステップS822)。領域の抽出方法としては、顔画像の色情報から各部位を認識することで領域を指定する、各部位の座標情報から相対的に領域を指定するなどがあげられる。
【0123】
図15は、顔画像における変形領域を示した一例であり、各変形領域を黒い枠で囲んで示している。
【0124】
次に、変形領域決定手段702によって、表情情報から、変形候補領域抽出手段701によって抽出した領域のうちどの領域の変形を行うかを決定する(ステップS823)。例えば、笑いの表情を合成する場合は、図16に示すように、眉を下げる、目を細める、口元を上げるという処理を行うため、変形領域としては両眉、両目、口を選択する。また、ウインクの表情を合成する場合は、片目を閉じる、片眉を下げる、頬を上げるという処理を行うため、変形領域としては片眉、片目、片頬を選択する。
【0125】
次に、変形パラメータ決定手段706によって、顔画像の各部位の大きさを認識することで各部位の変形を行うパラメータ量を決定する(ステップS824)。例えば、目のサイズに関係なく変形パラメータを一定にすると、目を閉じるような表情合成を行ったとき、目が完全に閉じきらない場合がある。そのため、目を閉じるパラメータを、目の大きさに従って動的に変更することで、大きな目の画像や小さな目の画像の場合でも、目を閉じる表情合成が実現できる。
【0126】
次に、装飾物検出手段707によって、顔画像に含まれる眼鏡のような装飾物を検出する(ステップS825)。例えば、頬領域の変形を行う際に眼鏡が含まれている場合、部位と同様に眼鏡が変形され不自然なものとなる。そのため、変形を行う際に、頬に関する画素であるか、眼鏡に関する画素であるかを判断する必要がある。そして、頬に関する画素である場合は変形を行い、眼鏡に関する画素である場合は変形を行わないことで、自然な表情合成を実現することができる。
【0127】
ここで、眼鏡を判別する方法の一例をあげる。まず、元の顔画像のエッジ画像を作成する。眼鏡をかけている顔画像の場合、頬の領域に細長いエッジが表れる。この頬領域において、図17に示すようにX軸方向にエッジのカウントを行い、ある閾値以上を示した場合、カウントを行ったY座標は眼鏡が含まれると判断する。このようなエッジのカウントを、頬領域すべてのY座標に関して行って、最大および最小のY座標を求める。この求めた範囲が眼鏡を含む領域となる。
【0128】
次に、部位判断手段708によって、顔画像から抽出したそれぞれの部位の領域において、変形を行う部位であるかを判断する(ステップS826)。例えば、眉の領域の変形を行う場合、領域内に前髪が含まれるときがある。このような状態で眉毛を変形すると、同時に前髪も変形してしまうため前髪が切れる場合がある。領域内の部位を区別する方法としては、エッジ画像を使用する、色情報から閾値によって区別する、眉毛の形状認識を行うなどがあげられる。
【0129】
次に、顔画像変形手段703によって、顔画像から抽出した領域の変形を行う(ステップS827)。変形方法としては、sin関数や一次関数などを使って逆変換による写像を用いて表情合成を行うなどの方法があげられる。図18は、逆変換によって合成した一例である。笑いの表情は、符号717で示すように、両目の領域をsin関数で若干細くし、口の領域をsin関数で口元を上げることで実現できる。また、驚きの表情は、符号718で示すように、両眉毛の領域を上げ、両目の領域をsin関数によって大きく見開き、口の領域は予め用意した縦に大きく開いた驚きの表情用の唇画像をステップS814で選択し、選択された唇画像をステップS818で縦に若干大きく拡大し、補正を行った唇画像を合成することで実現できる。因みに、符号716は普通の表情を表している。
【0130】
以上説明した画像処理装置は、入力画像を利用して静止画像または動画像を生成する画像処理を機能させるためのプログラムで実現されている。
【0131】
発明の対象とするのは、このプログラムそのものであってもよいし、このプログラムをコンピュータで読み取り可能な記録媒体に格納されているものであってもよい。
【0132】
本発明では、この記録媒体として、図示は省略しているが、画像処理が行なわれるために必要なメモリ、例えばROMのようなものそのものがプログラムメディアであってもよいし、また、図示していない外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロコンピュータがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示しないプログラム記憶エリアにロードされて、そのプログラムが実行される方式であってもよい。このロード用のプログラムは予め本体装置に格納されているものとする。
【0133】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、FD(フレキシブルディスク)やHD(ハードディスク)等の磁気ディスクやCD−ROM/MO/MD/DVD等の光ディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM、EEPROM、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【0134】
また、本発明においては、インターネットを含む通信ネットワークと接続可能なシステム構成とした場合には、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【0135】
さらに、本発明では、プログラム自体として、図1、図3、図5、図7に示されている各機能ブロックで実行される処理そのものであってもよいし、あるいはインターネットを含む通信ネットワークとアクセスすることで取り込める、あるいは取り込めたものであってもよいし、こちらから送り出すものであってもよい。さらには、この取り込んだプログラムに基づいて、上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。あるいは、こちらから送り出す際に上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。なお、これらのものはプログラムに限定されず、データであってもよい。
【0136】
【発明の効果】
本発明によれば、顔画像における任意の部位を塗りつぶすことで顔画像から消去することができるため、後に予め用意した部位の画像を合成しても違和感のない合成画像を作成することができる。
【0138】
また、本発明によれば、領域を塗りつぶす色を、領域周囲の色から抽出し、色相、彩度、明度を徐々に変化させることで、自然に領域を塗りつぶすことができる。
【0139】
また、本発明によれば、部位を塗りつぶす色を領域の外側から内側へ徐々に変更していくため、塗りつぶしても比較的違和感なく、顔画像の部位を消去することができる。
【0144】
また、本発明によれば、顔画像における眉、目、口、頬などの変形候補領域のうち、表情情報から変形領域および変形パラメータを決定することで、変形領域を様々な形状に変形することができるため、目的とする表情合成を実現することができる。
【0148】
また、本発明によれば、入力された顔画像に装飾物が含まれている場合でも、目的としている部位を判断することができるため、装飾物が部位の動きと共に変形しない表情合成を実現することができる。
【0149】
また、本発明によれば、入力された顔画像の変形領域に変形を行わない部位が含まれている場合でも、目的としている部位を判断することができるため、目的の部位の変形と共に他の部位が変形しない表情合成を実現することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る画像処理装置のブロック図である。
【図2】第1の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図3】本発明の第2の実施形態に係る画像処理装置のブロック図である。
【図4】第2の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図5】本発明の第3の実施形態に係る画像処理装置のブロック図である。
【図6】第3の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図7】本発明の第4の実施形態に係る画像処理装置のブロック図である。
【図8】第4の実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。
【図9】第1の実施形態に係る説明図である。
【図10】第1の実施形態に係る発明図である。
【図11】第2の実施形態に係る説明図である。
【図12】第3の実施形態に係る発明図である。
【図13】第3の実施形態に係る説明図である。
【図14】第4の実施形態に係る説明図である。
【図15】第4の実施形態に係る説明図である。
【図16】第4の実施形態に係る説明図である。
【図17】第4の実施形態に係る説明図である。
【図18】第4の実施形態に係る説明図である。
【符号の説明】
101 顔画像入力手段
102 部位領域検出手段
103 部位領域塗りつぶし手段
104 部位記憶手段
105 合成手段
301 距離計算手段
302 色抽出手段
303 色決定手段
304 色補正手段
501 画素抽出手段
502 比率計算手段
503 画像補正手段
504 画像認識手段
505 画像サイズ変更手段
701 変形候補領域抽出手段
702 変形領域決定手段
703 顔画像変形手段
704 画像選択手段
705 画像変更手段
706 変形パラメータ決定手段
707 装飾物検出手段
708 部位判断手段

Claims (5)

  1. 顔画像を入力する顔画像入力手段と、
    顔画像に含まれる部位の領域を検出する部位領域検出手段と、
    前記部位領域検出手段で検出された領域に含まれる任意の座標を塗りつぶす色情報を前記顔画像入力手段によって入力された顔画像に含まれる少なくとも一つの画素の色情報から求める色決定手段とを備え、
    前記部位領域検出手段で検出された部位領域内を少なくとも一つの色で塗りつぶす画像処理装置において、
    前記部位領域検出手段で検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を計算する距離計算手段と、
    前記距離計算手段で距離を計算した領域の周囲に含まれる少なくとも二つの座標における色を抽出する色抽出手段と、
    顔画像における眉、目、口、頬などの変形を行う領域を抽出する変形候補領域抽出手段と、
    前記変形候補領域抽出手段で抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを決定する変形領域決定手段と、
    前記変形領域決定手段によって決定された変形領域を変形の程度を決める変形パラメータに従って変形する顔画像変形手段と、
    前記変形領域決定手段で決定された変形領域から眼鏡など顔に付随する装飾物を検出する装飾物検出手段とをさらに備え、
    前記色決定手段で求める色情報の決定は、前記距離計算手段で求めた少なくとも二つの距離と前記色抽出手段で抽出した少なくとも二つの色とから求め、
    前記装飾物検出手段によって装飾物であると検出された画素は顔画像の処理を切り替えることを特徴とする画像処理装置。
  2. 前記変形領域決定手段で決定された変形領域から変形を行う変形部位と変形を行わない非変形部位を判断する部位判断手段をさらに備え、
    前記部位判断手段によって変形する変形部位であると判断された画素のみ変形することを特徴とする請求項1に記載の画像処理装置。
  3. 顔画像を画像入力手段から入力する顔画像入力ステップと、
    前記顔画像入力ステップで入力された顔画像に含まれる部位の領域を、部位領域検出手段にて検出する部位領域検出ステップと、
    前記部位領域検出ステップで検出された部位領域内を、部位領域塗りつぶし手段にて少なくとも一つの色で塗りつぶす部位領域塗りつぶしステップと、
    前記部位領域検出ステップで検出された領域に含まれる任意の座標と検出された領域の周囲に含まれる少なくとも二つの任意の座標との距離を距離計算手段にて計算する距離計算ステップと、
    前記距離計算ステップで計算された距離の領域の周囲に含まれる少なくとも二つの座標における色を、色抽出手段にて抽出する色抽出ステップと、
    前記部位領域塗りつぶしステップで塗りつぶす色情報を、前記距離計算ステップで求めた少なくとも二つの距離と前記色抽出ステップで抽出した少なくとも二つの色とから求める 色決定ステップと、
    顔画像における眉、目、口、頬などの変形を行う領域を変形候補領域抽出手段にて抽出する変形候補領域抽出ステップと、
    前記変形候補領域抽出ステップで抽出された少なくとも一つの変形候補領域のうち表情情報によってどの領域を変形するかを変形領域決定手段にて決定する変形領域決定ステップと、
    前記変形領域決定ステップによって決定された変形領域を変形の程度を決める変形パラ メータに従って顔画像変形手段にて変形する顔画像変形ステップと、
    前記変形領域決定ステップで決定された変形領域から眼鏡など顔に付随する装飾物を装飾物検出手段にて検出する装飾物検出ステップと、
    前記装飾物検出ステップによって装飾物であることが検出された画素の顔画像の処理を切替手段にて切り替える切替ステップとを、コンピュータの前記各手段に実行させることを特徴とする画像処理プログラム。
  4. 前記変形領域決定ステップで決定された変形領域から変形を行う部位と変形を行わない部位を部位判断手段にて判断する部位判断ステップと、
    前記部位判断ステップによって変形する部位であると判断された画素のみ前記顔画像変形手段にて変形するステップとを、コンピュータの前記各手段にさらに実行させることを特徴とする請求項3に記載の画像処理プログラム。
  5. 請求項3または請求項4に記載の画像処理プログラムを格納したコンピュータ読み取り可能な記録媒体。
JP2001157776A 2001-05-25 2001-05-25 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 Expired - Fee Related JP3842073B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001157776A JP3842073B2 (ja) 2001-05-25 2001-05-25 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001157776A JP3842073B2 (ja) 2001-05-25 2001-05-25 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2002352258A JP2002352258A (ja) 2002-12-06
JP3842073B2 true JP3842073B2 (ja) 2006-11-08

Family

ID=19001589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001157776A Expired - Fee Related JP3842073B2 (ja) 2001-05-25 2001-05-25 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3842073B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284126A (ja) * 2008-05-21 2009-12-03 Seiko Epson Corp 画像出力装置、画像出力方法、およびプログラム
JP5256974B2 (ja) * 2008-10-01 2013-08-07 セイコーエプソン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6330312B2 (ja) * 2013-12-18 2018-05-30 カシオ計算機株式会社 顔画像処理装置、投影システム、画像処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS636675A (ja) * 1986-06-27 1988-01-12 Canon Inc 画像処理装置
JP2685458B2 (ja) * 1987-10-23 1997-12-03 キヤノン株式会社 画像処理方法
JP3139617B2 (ja) * 1996-03-25 2001-03-05 オムロン株式会社 似顔絵作成方法及び装置
JP3444148B2 (ja) * 1997-07-07 2003-09-08 株式会社ナビタイムジャパン 眉描画方法
JP3810943B2 (ja) * 1999-05-06 2006-08-16 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2002352258A (ja) 2002-12-06

Similar Documents

Publication Publication Date Title
US8150205B2 (en) Image processing apparatus, image processing method, program, and data configuration
KR101455950B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기록 매체
CN109325988B (zh) 一种面部表情合成方法、装置及电子设备
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
EP2720190B1 (en) Image processing device, image processing method, and control program
KR101614193B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기록 매체
KR101554403B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체
CN108537749B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US7653220B2 (en) Face image creation device and method
US20060188144A1 (en) Method, apparatus, and computer program for processing image
JP5359856B2 (ja) 画像合成装置、画像合成方法及びプログラム
US20070273686A1 (en) Image processing device, image processing method, program, storage medium and integrated circuit
CN103493473A (zh) 图像处理装置、图像处理方法、图像处理程序和记录介质
CN109474780A (zh) 一种用于图像处理的方法和装置
JP3723349B2 (ja) 口紅色変換システム
CN113723385A (zh) 视频处理方法及装置、神经网络的训练方法及装置
KR20160110038A (ko) 화상 처리 장치 및 화상 처리 방법
KR100411760B1 (ko) 애니메이션 영상 합성 장치 및 방법
CN108537162A (zh) 人体姿态的确定方法和装置
JP3842073B2 (ja) 画像処理装置および画像処理プログラムならびに画像処理プログラムを記録した記録媒体
CN115937919A (zh) 一种妆容颜色识别方法、装置、设备及存储介质
US20240013358A1 (en) Method and device for processing portrait image, electronic equipment, and storage medium
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
KR20010084996A (ko) 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
CN113781330B (zh) 图像处理方法、装置及电子系统

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060425

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060615

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060809

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees